微光图像增强算法学习记录(一)

微光图像增强(LLIE)旨在恢复照明并提高微光图像的可见性,本文对阅读的文献进行记录和分享,帮助回顾和大家建立学习资料。

  • 文献一
    • 摘要及前沿摘选
    • 主要贡献
    • 网络结构
    • 实验
    • 结论
  • 文献二
    • 摘要
  • 文献三
    • 摘要
    • 主要贡献
    • 网络架构
    • 实验
  • 文献四
    • 摘要
    • 实验

文献一

在这里插入图片描述

摘要及前沿摘选

在这里插入图片描述
论文翻译:
当一个人在弱光条件下拍摄图像时,图像往往能见度低。除了降低图像的视觉美感外,这种低质量还可能显著降低许多主要为高质量输入而设计的计算机视觉和多媒体算法的性能。在本文中,我们提出了一种简单而有效的微光图像增强(LIME)方法。更具体地说,首先通过找到R、G和B通道中的最大值来单独估计每个像素的照度。此外,我们通过在初始照明图上施加结构先验来细化初始照明图,作为最终照明图。具有构造良好的照明图,可以相应地实现增强。在许多具有挑战性的微光图像上进行的实验揭示了我们的LIME的功效,并表明其在增强质量和效率方面优于现有技术。

在这里插入图片描述
论文翻译:
此外,变分方法旨在通过在直方图上施加不同的正则化项来提高HE性能。例如,上下文和变分对比度增强(CVC)[6]试图找到一种关注大灰度差异的直方图映射,而工作[7]通过寻求2D直方图(LDR)的分层差异表示来实现改进。然而,在自然界中,它们专注于对比度增强,而不是利用真实的照明原因,存在增强过度和不足的风险。另一种解决方案是伽玛校正,它是对图像的非线性操作。主要缺点是,伽玛校正的非线性操作是在不考虑某个像素与其邻居的关系的情况下对每个像素单独执行的,因此可能会使增强的结果变得脆弱,并且在视觉上与真实场景不一致。
在这里插入图片描述
论文翻译:
在Retinex理论[8]中,主要的假设是(彩色)图像可以分解为两个因素,比如反射率和照明。基于Retinex的早期尝试,如单尺度Retinex(SSR)[9]和多尺度Retineex(MSR)[10],将反射率视为最终增强结果,这通常看起来不自然,并且经常看起来过度增强。[11]中提出的方法试图在保持照明自然度的同时增强对比度。尽管它防止了结果的过度增强,但在我们的实验中,它在效率和视觉质量方面都不如我们的方法令人印象深刻。傅等人提出了一种通过融合初始估计的照度图(MF)的多个导数来调整照度的方法[12]。MF的性能大部分是有希望的。但是,由于光照结构的盲目性,MF可能会失去纹理丰富区域的真实感。[13]的最新工作提出了一种用于同时反射率和光照估计(SRIE)的加权变分模型。利用估计的反射率和照度,可以通过操纵照度来增强目标图像。如[14]所示,倒置的微光图像看起来像雾度图像,如图2所示。基于这一观察结果,[14]的作者对倒置的微光图像进行了除雾处理。在去雾之后,所获得的不真实图像被再次反转,作为最终的增强结果。最近,李等人遵循这一技术路线,通过首先对输入图像进行过度分割,然后自适应地对不同的片段进行去噪,进一步提高了视觉质量[15]。尽管上述类似除雾的方法可以提供合理的结果,但它们所依赖的基本模型缺乏物理解释。相比之下,我们的方法具有清晰的物理直觉。
在这里插入图片描述

主要贡献

在这里插入图片描述
论文翻译:
我们的方法属于基于Retinex的类别,旨在通过估计其照明图来增强微光图像。值得注意的是,与[13]等将图像分解为反射率和照明分量的传统基于Retinex的方法不同,我们的方法只估计一个因素,比如照明,这缩小了解决方案空间,降低了计算成本,以达到所需结果。首先通过找到R、G和B通道中每个像素的最大强度来构建照明图。然后,我们利用照明的结构来细化照明图。给出了一种基于增广拉格朗日乘子(ALM)的算法来精确求解精化问题,同时设计了另一个加速求解器来大大减少计算量。在许多具有挑战性的图像上进行了实验,以揭示我们的方法与其他最先进的方法相比的优势。

网络结构

在这里插入图片描述
在这里插入图片描述
不使用全局的最大R、G、B三通道的值,而是使用每个像素点的RGB的最大值,有助于确保恢复不饱和
目标是非均匀地增强低光图像的照明,而不是消除光源引起的颜色偏移

在这里插入图片描述
另一个广泛使用的模型是基于观察到的倒置微光图像1−L看起来与雾度图像相似,因此表示为公式(4)。
其中a表示全球大气光。尽管倒置微光图像1−L的视觉效果在直觉上与雾度图像相似,但与模型(1)相比,上述的物理意义仍然模糊。下面我们将展示(4)和(1)之间的关系。
在这里插入图片描述
之前的方法大多关注于邻域像素,
在这里插入图片描述
如何使目标函数公式(8)最小,作者给出了相应的方案。如下方的伪代码。
在这里插入图片描述
然后就是如何加速上面的迭代求解过程。
最后是算法的整体流程。
在这里插入图片描述

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

结论

在这里插入图片描述
翻译
在本文中,我们提出了一种高效、有效的方法来增强微光图像。微光增强的关键是照明图的估计效果。已经开发了结构感知平滑模型来提高照明一致性。我们设计了两种算法:一种可以获得目标问题的精确最优解,另一种可以交替求解近似问题,显著节省时间。此外,我们的模型对不同的(结构)加权策略是通用的。实验结果表明,与几种最先进的替代方案相比,我们的方法是先进的。值得肯定的是,我们的微光图像增强技术可以为许多基于视觉的应用提供高可见性输入,如边缘检测、特征匹配、对象识别和跟踪,从而提高其性能。

文献二

摘要

Yang, ** Nie. “Reference-free low-light image enhancement by associating hierarchical wavelet representations.” Expert Systems with Applications 213 (2023): 118920.
在这里插入图片描述
翻译
对于计算机视觉和图像内容理解来说,微光图像由于其对比度和光照差而成为一个明显的挑战。因此,微光图像增强(LLIE)技术引起了人们的极大关注。然而,现有的基于深度学习技术的LLIE方法大多依赖于参考图像来指导监督训练。在真实世界的场景中捕获参考图像是非常困难的。为了弥补这一点,我们提出了一种无参考的低光增强框架,通过小波分解和关联估计像素曲线。典型的LLIE方法大致在RGB图像上应用照明调整。与此相反,我们重新审视了当前的LLIE管道,并通过提取和关联频率先验提出了一个细粒度的图像增强框架。首先,利用小波变换将图像分解到频域。然后,利用层次小波分解实现了跳频信息的传递。最后,在小波频率之间具有一致关联的情况下,应用无参考损耗函数。这些损失用于指导细粒度的无参考LLIE范式。我们通过综合实验验证了我们的方法,并证明我们的模型在定量指标和视觉感知方面优于其他相关方法。

文献三

Liu, Yunlong, et al. “Low-Light Image Enhancement with Multi-stage Residue Quantization and Brightness-aware Attention.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.
在这里插入图片描述
在这里插入图片描述

摘要

在这里插入图片描述
在这里插入图片描述

翻译:

微光图像增强(LLIE)旨在恢复照明并提高微光图像的可见性。传统的LLIE方法往往产生较差的结果,因为它们忽略了噪声干扰的影响。基于深度学习的LLIE方法专注于学习弱光图像和正常光图像之间的映射函数,该函数优于传统的LLIE算法。然而,大多数基于深度学习的LLIE方法还不能完全利用训练数据集中正常光图像提供的辅助先验的指导。在本文中,我们提出了一种基于亮度感知注意力和残差量化码本的具有正常光先验的亮度感知网络。为了实现更自然、更逼真的增强,我们设计了一个查询模块来获得更可靠的正常光特征,并通过融合分支将其与低光特征融合。此外,我们提出了一个亮度感知注意力模块,以进一步提高网络对亮度的鲁棒性。对真实捕获数据和合成数据的大量实验结果表明,我们的方法优于现有的最先进方法。

主要贡献

在这里插入图片描述
翻译:
提出了一种新的基于VQ-VAE的三阶段框架微光图像增强方法。据我们所知,我们提出的方法是第一种基于VQ的LLIE方法。
(1)通过残差量化构建了一个更具层次性和表达力的码本。此外,我们还设计了一个查询模块来弥合弱光特征和普通光码本之间的差距。
(2)为了避免下采样操作丢失图像细节,我们提出了一种融合低光特征和不同尺度的正常光先验的融合分支。
(3)设计了一个亮度感知注意力模块,该模块学习亮度图来调制特征,以提高网络对亮度的鲁棒性。
(4)在几个流行数据集上的大量实验结果表明,我们提出的方法优于现有的几种最先进的LLIE方法。

网络架构

在这里插入图片描述
在这里插入图片描述
翻译:
第一阶段I:阶段I的网络包含正常光编码器EN、具有码本C的残差量化(RQ)模块和正常光解码器DN。学习一个有表现力的码本C和一个精确的解码器DN是阶段I的核心。更多细节将在第3.2节中描述。
•第二阶段:在第二阶段,我们建议学习一个查询模块Q,并根据微光编码器EL和学习的查询Q的特征之间的相似性来选择码本项目。编码器EL和查询Q的参数需要训练,而在第一阶段学习的码本C和解码器DN是固定的。更多细节将在第3.3节中描述。
•第三阶段:在第三阶段,我们提出了一个融合分支来融合预训练编码器EL和解码器DN的特征。这样,它可以进一步保护更有价值的细节,并获得比第二阶段更好的性能。更多细节将在第3.4节中描述。

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

文献四

在这里插入图片描述

摘要

在这里插入图片描述

实验

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/482990.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

AGV|机器人导航识别二维码视觉传感器TDCS-0100与上位机PLC联机实例说明

目前二维码视觉导航的AGV出货量非常大,几乎都是仓储型AGV使用的导航方式。在地面或者天花板等位置标贴二维码作为标记点,通过扫描读取二维码信息和二维码相对相机的角度来确定当前位置。 本文重点介绍AGV|机器人导航识别二维码视觉传感器TDCS-0100与上位…

linux下线程分离属性

linux下线程分离属性 一、线程的属性---分离属性二、线程属性设置2.1 线程创建前设置分离属性2.2 线程创建后设置分离属性 一、线程的属性—分离属性 什么是分离属性? 首先分离属性是线程的一个属性,有了分离属性的线程,不需要别的线程去接合…

测试ALPHA开发板CAN1的设备树文件

一. 简介 前面一篇文章学习了 ALPHA开发板上的 CAN接口的设备节点信息,文章如下: ALPHA开发板修改CAN的设备树节点信息-CSDN博客 本文对设备树文件进行测试,即开发板加载 .dtb设备树文件。 二. 加载测试 CAN的设备树文件 1. 拷贝设备树…

认识String类

认识String类 前面我们学习了类和对象,这一小节咱们来谈String类 目录 认识String类前言一、String类的创建方式二、String引用类型的特点及方法1.存储内容2.String对象的比较3.字符串查找在这里插入图片描述4.转换(一)数字转为为字符串&…

Swift 结构化并发之全局 Actor 趣谈

概览 在 Swift 结构化并发构成的体系中,一个称为“演员”(Actor)的成员扮演了非常重要的角色,它被用来隔离和同步执行中的数据。 除了普通 Actor 以外,还有一个全局“演员”(Global Actor)的概念,它是做什么的?又有什么与众不同的长处呢? 在本篇博文中,您将学到如…

【Swagger】接口文档生成

文章目录 一、前后端分离开发流程二、YApi导入接口文档三、Swagger3.1 介绍3.2 使用步骤3.2.1 导入 knife4j 的maven依赖3.2.2 在配置类中加入 knife4j 相关配置3.2.3 配置类中设置静态资源映射3.2.4 访问测试 3.3 常用注解3.4 全局参数设置 四、YApi 与 Swagger 一、前后端分离…

网络安全实训Day8

写在前面 网络工程终于讲完了。这星期到了网络安全技术部分。 网络安全实训-网络安全技术 网络安全概述 信息安全:所有保障计算机硬件、系统、软件、数据不因有意或无意的行为导致的服务中断、数据损坏或丢失等安全事件的保障技术 网络安全:基于计算机…

Spark Stage

Spark Stage 什么是Stage Spark中的一个Stage只不过是物理执行计划其中的一个步骤,它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task,每组任务被称为一个Stage,可以简单理解为MapReduce里面的Map Stage, Reduce Stag…

Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步

OGG 是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化。 OracleMysqlIP address192.168.80.100192.168.80.16DB version19.2.05.7host nametempmysql OS version: CentOS 7.9 一,Oracle 服务…

文件上传二—WEB攻防-PHP应用文件上传中间件CVE解析第三方编辑器已知CMS漏洞

演示案例: PHP-中间件-上传相关-Apache&NginxPHP-编辑器-上传相关-第三方处理引用PHP-CMS源码-上传相关-已知识别到利用 #PHP-中间件-上传相关-Apache&Nginx 复现漏洞环境:vulhub (部署搭建看打包视频) 由于PHP搭建常用中…

深度学习(过拟合 欠拟合)

过拟合: 深度学习模型由于其复杂性,往往容易出现过拟合的问题。以下是一些深度学习中常见的过拟合原因和解决方法: 1. 数据量不足:深度学习模型通常需要大量的数据来进行训练,如果数据量不足,模型容易过度…

Python界面库Flet(1)介绍和快速使用

Python界面库Flet(1)快速上手使用 Author:Once Day Date:2024年3月19日 一位热衷于Linux学习和开发的菜鸟,试图谱写一场冒险之旅,也许终点只是一场白日梦… 漫漫长路,有人对你微笑过嘛… 全系列文章可参考专栏: Pyt…

Collection与数据结构 数据结构预备知识(二):包装类与泛型

1.包装类 在Java中,由于基本类型不是继承自Object,为了在泛型代码中可以支持基本类型,Java给每个基本类型都对应了一个包装类.可以把包装类理解为基本数据类型所对应的引用数据类型. 1.1基本数据类型与对应的包装类 基本数据类型包装类byteByteshortShortintIntegerlongLong…

基于springboot+vue的旅游网站

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

【wails】(10):研究go-llama.cpp项目,但是发现不支持最新的qwen大模型,可以运行llama-2-7b-chat

1,视频演示地址 2,项目地址go-llama.cpp 下载并进行编译: git clone --recurse-submodules https://github.com/go-skynet/go-llama.cpp cd go-llama.cpp make libbinding.a项目中还打了个补丁: 给 编译成功,虽然有…

C#新语法(持续更新)

文章目录 顶级语句全局using 指令Using资源管理文件范围的命名空间声明可空的引用类型记录(record)类型 顶级语句 C#9.0中直接在C#文件中直接编写入口方法的代码,不用类,不用Main。同一个项目中只能有一个文件具有顶级语句。顶级语句中可以直接使用await…

Mysql数据库深入理解

目录 一、什么是数据库 二、Mysql基本架构图 1.Mysql客户端/服务器架构 2.客户端与服务器的连接过程 3.服务器处理客户端请求 4.一条查询SQL执行顺序 4.1连接器 4.2查询缓存 4.3解析器 4.4执行器 4.4.1预处理阶段 4.4.2优化阶段 4.4.3执行阶段 5.一条记录如何存…

汇丰:当前的美股是泡沫吗?

汇丰认为,当前的风险资产并不构成泡沫,更类似于2017年的市场环境,风险资产有望继续稳步上升。 隔夜美股飙涨,标普创三个月最大周涨,纳指收盘创历史新高。结合去年以来的强劲表现,有观点认为由科技股支撑的…

网络安全笔记-day7,共享文件服务器

文件共享服务器 准备阶段 打开虚拟机win2003 创建文件 D:. —share   –down   |  test1.txt   |   —up     01xxx.txt     02xxx.txt 配置IP win2003 192.168.1.10 255.255.255.0 winxp 192.168.1.20 255.255.255.0 创建共享文件夹 创建共享&#xff1…

freeRTOS动态内存heap4源码分析

1 前言 随着功能安全的推广,动态内存分配在RTOS领域的用武之地将越来越小。但heap4毕竟是为RTOS量身打造,相对简单,作为堆内存管理的入门学习,仍是很不错的选择。 1.1 标准c库动态内存函数的弊端 对于标准C库的malloc和free函数&…
最新文章