摘" 要：低照度条件下的图像细节和纹理难以分辨，导致信息丢失严重，传统增强方法需要大量人工调参、效率低且增强后细节不突出。为解决这一问题，提出一种基于卷积神经网络（CNN）的低照度图像增强模型，其通过数据驱动的网络结构自动学习低照度图像的分解与增强，并通过端到端训练更新模型参数。模型包括分解网络、光照调整网络和降噪模块，并在分解网络和光照调整网络中加入卷积块注意力模块（CBAM），以更全面地捕获图像中的重要信息。模型首先通过分解网络将图像分解为光照分量和反射分量，然后分别输入光照调整网络和降噪模块进行处理，最后重建得到增强后的图像。实验结果表明，与其他增强算法相比，该方法能更有效地提升低照度图像的对比度和纹理细节，提供更清晰可靠的图像质量。
关键词：低照度图像；图像增强；卷积神经网络；CBAM注意力机制
中图分类号：TP391" " 文献标识码：A" " 文章编号：2096-4706（2024）21-0050-07
Low Illumination Image Enhancement Method Based on Deep Convolutional Neural Networks
XU Jun， RONG Shuchang， LI Mo， LIU Xuan， LIU Zhaohan， WU Zhen
（China University of Mining and Technology-Beijing， Beijing" 100083， China）
Abstract： The image details and textures under low illumination conditions are difficult to distinguish， resulting in serious information loss. The traditional enhancement method requires a lot of manual adjustment for parameters， low efficiency and no prominent details after enhancement. To solve this problem， a low illumination image enhancement model based on Convolutional Neural Networks （CNN） is proposed. It automatically learns the decomposition and enhancement of low illumination image through a data-driven network structure， and updates model parameters by end-to-end training. This model includes modules of decomposition network， illumination adjustment network and noise reduction， and Convolutional Block Attention Module （CBAM） is added to the decomposition network and the illumination adjustment network， to capture important information in the image more comprehensively. This model firstly decomposes the image into the illumination component and the reflection component by the decomposition network， and then inputs the illumination adjustment network and noise reduction module respectively for processing， and finally reconstructs to obtain the enhanced image. The experimental results demonstrate that compared to other common enhancement algorithms， this method effectively improves the contrast and texture details of low illumination image， providing clearer and more reliable image quality.
Keywords： low illumination image; image enhancement; CNN; CBAM
0" 引" 言
随着信息化和智能化的发展，图像和视频采集系统被广泛应用于各个领域。然而，在低照度环境中获取的图像和视频数据常常存在照度低、细节纹理丢失等问题[1-2]，这些低质量图像不仅直接影响后续任务的分析与决策，同时也限制了相关计算机视觉任务的开展。因此，研究低照度图像增强方法具有十分重要的意义。
传统低照度图像增强方法大致包括基于直方图均衡化[3]的方法（Histogram Equalization， HE）、基于Retinex理论的方法和[4]基于去雾算法的图像增强方法。基于直方图均衡化的方法是通过重新分配图像的像素值，从而增加图像的对比度使图像更加清晰[5]。Retinex理论认为观察到的图像由反射分量和光照分量构成，实现低照度图像增强就是通过估计出光照分量后并消除，直接将最后获取的反射分量作为图像增强后的结果。然而这种方法可能丢失了光照分量中的信息，代表方法有早期出现的单尺度Retinex算法SSR[6]、多尺度Retinex算法MSR[7]以及LIME[8]等经典算法。基于去雾算法的低照度图像增强算法则是认为在某些情况下，低照度和雾气可能在视觉上产生相似的效果[9]，如Dong等[10]提出的用于低照度视频增强的方法。这些传统增强方法虽然在低照度图像增强领域取得了一定成效，但普遍存在增强过程中可能引入噪声、对比度失衡和鲁棒性差等缺点，使得在不同场景下的低照度图像增强效果难以保持一致。
基于深度学习的增强方法通过数据驱动的方式端到端地训练深度学习网络，自动学习图像中的复杂特征和映射关系。如Lore等[11]利用基于堆叠深度自动编码器的技术实现提高图像对比度和降低噪声含量，但由于编码器对输入图像的大小要求较高且参数较多，因此在多场景下图像增强效果不佳。Tao等[12]使用卷积神经网络进行图像特征提取，但在多尺度特征上细节有所丢失。Wang等[13]基于照度先验提出的GLADNet网络在增强图像清晰度方面有所欠缺。Shi等[14]提出的双分支卷积神经网络RetinexNet虽然能有效提升图像对比度，但存在颜色失真的问题。Guo等[15]提出的基于零参考深度曲线估计的增强方法Zero-DCE，虽然避免了训练时需要的配对数据，给复杂环境下的图像增强带来了便利，但增强后的图像存在过曝光现象且未考虑增强后的噪声问题。
综合考虑以上因素，本文提出了一种适用于复杂环境的低照度图像增强方法。该方法通过深度卷积神经网络（Convolutional Neural Network， CNN），将输入的低照度图像通过分解网络解耦为光照分量和反射分量，然后分别对光照分量进行修正，反射分量进行降噪处理，最后通过Retinex约束进行图像重建，得到增强后的图像。该方法克服了现有方法中需要大量调参、增强后细节丢失、边缘模糊、增强后噪声未处理等缺点。
1" 相关理论
1.1" Retinex理论
Retinex理论是Land提出的一种关于视觉感知的理论，该理论认为人眼接收到的图像S（x，y）是由光照图I（x，y）和反射图R（x，y）组成，如式（1）和图1所示。前者反映了光源的位置、强度以及光线在场景中的传播情况，后者反映了光在物体表面的散射和吸收情况。
（1）
1.2" CBAM卷积注意力模块
CBAM（Convolutional Block Attention Module）是一种强大的深度学习模块，用于增强CNN在图像处理任务中的表征能力[16]。其核心结构包括通道注意力模块和空间注意力模块，如图2所示，两者共同作用以提升网络对图像内重要信息的关注度。
通道注意力模块通过学习每个通道的权重，动态调整通道的重要性，以更有效地捕捉不同通道之间的关联信息，提高图像语义特征的提取能力。与传统的全局池化操作相比，通道注意力机制能更细粒度地调整通道的权重，使网络更关注图像中的重要特征。空间注意力模块则通过学习每个空间位置的权重，使网络能更准确地聚焦于图像中的关键区域，有助于在处理复杂场景时抑制光照不均匀和阴影等影响，提高对图像细节的捕捉能力。
2" 模型结构
本文提出了一种基于深度卷积神经网络的低照度图像增强模型，旨在有效解决低照度图像质量下降的问题。整体网络结构如图3所示，该模型由三个关键模块组成：分解网络（DecomNet）、光照调整网络（Illumination Adjustment Net）和反射降噪模块（Reflection Denoise Module）。低照度图像首先输入分解网络，生成光照分量预测图和反射分量预测图。接着光照分量预测图经过光照调整网络进行光照修正，同时反射分量预测图经过反射降噪模块进行降噪处理。通过这种深度学习实现的图像分解和修复流程，能够有效消除图像噪声，增强关键细节，从而提供更清晰可靠的图像。这种方法不仅适用于多种低照度场景，而且避免了传统方法中烦琐的人工调参问题。
2.1" 分解网络
分解网络（DecomNet）旨在将低照度图像分解成反射分量和光照分量，网络结构如图4所示。网络输入层采用空洞卷积，有效扩大了感受野，有助于更好地考虑输入图像的上下文信息[17]。为了增强网络对细节和结构信息的捕捉能力，特征图先经过CBAM注意力模块处理，生成注意力权重分配后的特征图，再分别输入反射预测网络和光照预测网络中。
反射预测网络采用U-Net结构[18]中的encode-decode结构，以减少输入输出间的信息损失。并在每步跳跃连接前先接入CBAM模块，进一步提升网络对全局和局部信息的利用能力。光照预测网络则由4层Conv3×3+LeakyReLU以及1层Conv1×1组成。最后，分解网络的输出通过Sigmoid层映射，将反射分量R和光照分量I的预测值限制在[0，1]的取值范围内。
该网络的损失函数设计LDecom：
（2）
式中，λrec、λr、λis分别为重建损失系数、反射分量一致性损失系数、光照平滑损失系数。
重建损失函数λrec（Reconstruction Loss），是关于Retinex理论的具体表现，约束了模型在分解前后的光照分量和反射分量尽可能保持一致，具体形式为式（3）：
（3）
根据Retinex理论可知，R（x，y）为物体的反射分量理论上只由物体本身的性质决定，与外界环境无关，因此在输入的低照度/正常照度矿井图像对中，低照度图像经过分解网络输出后的反射分量Rlow与正常照度图像的反射分量Rnormal应保持一致，因此设置了反射一致性损失Lir（Reflection Consistency Loss）用于约束反射分量的一致性：
（4）
光照平滑损失函数Lis（Illumination Smoothness Loss），约束了模型在训练时在保持图像整体具有光滑性的同时又不大量丢失局部细节，具体形式如式（5）：
（5）
式中，∇为x方向和y方向的梯度，‖∙‖1为l1损失，λg为梯度平衡系数，⊙为按元素逐乘。
分解网络的初始学习率设置为10-3，训练总次数Epoch为100，训练时的Loss曲线如图5所示，由图可知当训练次数为75时网络达到收敛状态，网络损失趋于稳定。
2.2" 降噪模块
由于采集设备、环境等因素的影响，低照度图像常受到大量噪声的干扰，导致图像失真、质量下降，以及细节丢失和对比度减弱。分解网络损失函数的约束使得反射分量不仅增强了图像的大部分细节，同时还可能加强了原始输入图像中的噪声。因此，为了提升增强后图像的质量，本文选择采用经典的BM3D（Block Matching 3D Filtering）降噪算法对反射分量进行有效处理。
BM3D算法为一种经典的图像降噪方法，具体算法流程如图6所示，通过将图像分块、寻找相似块、进行三维变换和聚类，最终合并相似块并进行逆变换，实现图像降噪。该算法在去噪效果和适用性上表现优异，能有效去除多种类型的噪声[19]，同时保留图像细节，提高图像质量。
2.3" 光照调整网络
通过分解网络得到的低照度图像的光照分量 具有较低的亮度且细节不够突出等问题，因此需要设计光照调整网络（Illumination Adjustment Net）来对特征图中的暗区域进行调整和修正，光照调整网络结构如图7所示。
为了更好地处理整个图像上不均匀反射图恢复，光照调整网络需要引入了反射图的引导和参考[20]。因此，调整网络的输入层同时引入了Ilow和Rlow，将其拼接后经过1层Conv3×3+ReLU的卷积层进行特征整合，然后输入编解码网络中，在编码过程的下采样过程中，为了进一步减少信息损失，采用跨步卷积替代最大池化操作。最后由1层Conv3×3的卷积层输出增强后的光照分量。这一结构的设计旨在有效提升低照度图像的亮度，并突显细节，从而改善整体的图像质量。
为使增强后的图像与正常照度的参考图像在光照分量上保持一致性，并在保留主体结构的同时尽可能保留更多的细节信息，设计了光照调整损失函数LAdjust：
（6）
（7）
（8）
式中，λie、λis分别为光照一致损失系数，平滑损失系数，‖∙‖2为l2损失。
3" 实验设置与结果分析
3.1" 数据集选择
本文方法采用LOL-v2-real数据集作为评估基准。LOL-v2-real数据集是通过调整ISO和曝光时间从真实场景采集而来，包含了多个复杂场景，如室内、室外街道、房屋等。该数据集包含689对用于训练的低光照和对应的正常光照图像，以及100对用于测试的图像对。这些图像对提供了丰富多样的场景，涵盖了在真实环境中拍摄的低照度图像及其对应的正常光照图像，从而能够全面评估本文方法在复杂场景下的增强效果。
3.2" 训练细节及评价指标
为提高模型的泛化能力及降低过拟合风险，对输入数据首先进行随机旋转、翻转和缩放等数据增强操作后选取patch size为48的像素块输入分解网络和光照调整网络中训练，选取的批处理大小为16，初始学习率为10-3。实验环境为NVIDIA RTX 3050 GPU和TensorFlow 2的深度学习开源框架，并采用Adam优化器对网络进行优化。
实验采用了峰值信噪比（PSNR）和结构相似性指数（SSIM）两个指标客观评价模型对煤矿低照度图像增强效果。PSNR用于衡量图像重建与原始图像之间的相似程度，数值越高表示重建图像质量越高；而SSIM则用于评估图像结构的相似性，其数值在0到1之间，越接近1表示重建图像与原始图像的结构越相似。这两个指标能够客观地评价模型对低照度图像的增强效果。
3.3" 实验结果与分析
为进一步说明本文方法的有效性，将本文提出的低照度图像增强方法与其他常见算法进行了对比实验，所对比的算法包括RetinexNet算法、GLADNet算法、LIME算法、MSR算法、NPE算法、DONG算法。评价分为主观评价和客观评价两个部分，主观评价根据增强后的效果图的清晰度、对比度和细节保留程度等进行评价，客观评价则采用评价指标量化图像增强效果。
3.3.1 图像增强效果图对比分析
图8展示了部分图像增强效果图结果。从左到右依次展示了LOL-v2-real数据集中的低照度输入图像和对应的正常照度参考图像，以及经过RetinexNet、GLADNet、LIME、MSR、NPE、DONG算法和本文提出的方法增强后的效果图。
通过仔细观察和视觉分析可以发现各算法在图像增强后的效果存在明显差异。RetinexNet虽然能够显著提升亮度，但增强后的图像存在颜色失真、噪点多和边缘模糊等问题。GLADNet增强后的图像同样出现了颜色失真，并且对比度提升不够明显。MSR、NPE和DONG算法虽然能够提升图像对比度但丢失图像细节，导致图像清晰度下降。LIME在增强图像视觉效果增强上具有良好效果，但在图像强光区域出现过度增强的现象。相较之下，本文提出的算法在保留图像细节的同时成功抑制了噪声，呈现出更为清晰、自然的图像效果。
3.3.2" 客观评价指标分析
为客观评价本文方法的有效性，表1列出了和其他算法的实验结果，分析实验数据可知，本文所提出的方法在PSNR和SSIM指标上比所对比的各算法均有优势，PSNR值相较RetinexNet、GLADNet、LIME、MSR、NPE、DONG算法分别提升11.9%、13.3%、16.7%、71.4%、15.4%、15.9%，SSIM值分别提升21.2%、5.5%、36.9%、89.9%、55.9%、49.8%，说明本文方法在还原图像细节、减少失真以及保留图像结构和内容一致性方面均表现出色。
3.3.3" 消融实验分析
为了验证本文所提出的图像增强模型中深度神经网络与CBAM注意力模块的融合的有效性，以及BM3D降噪模块在低照度图像增强任务中的必要性，进行了如下相关消融实验。
图9所示的增强效果图以及表2中的数据分别对应缺少CBAM注意力模块、缺少BM3D降噪模块和二者均缺少的实验结果。通过对效果图和实验数据的分析可以看出，当网络缺少CBAM注意力模块时，PSNR值下降8.6%，SSIM值下降2.1%，模型对图像中的细节提取能力以及光照分布的感知能力都有所下降。同样地，缺少BM3D降噪模块时，PSNR值下降22.9%，SSIM值下降29.3%，导致模型对增强后的噪声无法有效抑制。因此可以得出在整个图像增强框架中，CBAM模块通过提供更强的感知力和对细节的关注，有助于改善图像的整体质量，而BM3D降噪模块则在噪声抑制方面发挥关键作用，确保最终增强的图像清晰、细节丰富，消融实验结果进一步证明了这些结构在网络中的必要性和有效性。
4" 结" 论
本文针对煤矿低照度图像增强任务，提出了一种基于深度卷积神经网络的低照度图像增强模型。该模型的双分支结构对应于Retinex理论中的光照分量和反射分量，分别对光照分量进行修正并对反射分量进行降噪。通过在分解网络和光照调整网络中引入CBAM卷积注意力模块，增强了分解网络对图像细节和结构信息的捕捉效果，并强化了光照调整网络对图像光照信息的感知能力。实验结果表明，与其他经典增强算法相比，本文提出的方法在多场景的低照度图像增强任务中表现出显著优势。该方法不仅在提高图像清晰度方面表现优异，而且在抑制增强后噪声和提升图像纹理细节方面均取得了良好效果。
参考文献：
[1] 刘寿鑫，龙伟，李炎炎，等.基于HSV色彩空间的低照度图像增强 [J].计算机工程与设计，2021，42（9）：2552-2560.
[2] 刘健，郭潇，徐鑫龙，等.基于Retinex理论的低照度图像增强技术 [J].火力与指挥控制，2019，44（9）：139-143.
[3]赵丽.基于直方图均衡的夜间图像增强算法研究 [D].兰州：兰州大学，2018.
[4] LAND E H，MCCANN J J. Lightness and Retinex Theory [J].Journal of the Optical Society of America，1971，61（1）：11-11.
[5] 刘燕君，刘奇.基于同态滤波与直方图均衡化的超声图像增强 [J].中国组织工程研究与临床康复，2011，15（48）：9031-9034.
[6] JOBSON D J，RAHMAN Z，WOODELL G A. Properties and Performance of a Center/Surround Retinex [J].IEEE Transactions on Image Processing，1997，6（3）：451-462.
[7] JOBSON D J，RAHMAN Z，WOODELL G A. A multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes [J].IEEE Transactions on Image Processing，1997，6（7）：965-976.
[8] GUO X J，LI Y，LING H B. LIME： Low-Light Image Enhancement Via Illumination Map Estimation [J].IEEE Transactions on Image Processing，2017，26（2）：982-993.
[9] 余春艳，徐小丹，林晖翔，等.应用雾天退化模型的低照度图像增强 [J].中国图象图形学报，2017，22（9）：1194-1205.
[10] DONG X，WANG G，PANG Y，et al. Fast Efficient Algorithm for Enhancement of Low Lighting Video [C]//2011 IEEE International Conference on Multimedia and Expo.Barcelona：IEEE，2011：1-6.
[11] LORE K G，AKINTAYO A，SARKAR S. LLNet： A Deep Autoencoder Approach to Natural Low-light Image Enhancement [J].Pattern Recognit，2017，61：650-662.
[12] TAO L，ZHU C，XIANG G Q，et al. LLCNN： A Convolutional Neural Network for Low-light Image Enhancement [C]//2017 IEEE Visual Communications and Image Processing （VCIP）.St.Petersburg：IEEE，2017：1-4.
[13] WANG W J，WEI C，YANG W H，et al. GLADNet： Low-Light Enhancement Network with Global Awareness [C]//2018 13th IEEE International Conference on Automatic Face amp; Gesture Recognition （FG 2018）.Xian：IEEE，2018：751-755.
[14] SHI Y M，WU X P，ZHU M. Three-channel Retinex Decomposition for Low-light Image Enhancement [C]//7th International Symposium on Advances in Electrical， Electronics and Computer Engineering （ISAEECE 2022）.Xishuangbanna：SPIE，2022，12294：1-7.
[15] GUO C L，LI Y C，GUO J C，et al. Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：1777-1786.
[16] 张宸嘉，朱磊，俞璐.卷积神经网络中的注意力机制综述 [J].计算机工程与应用，2021，57（20）：64-72.
[17] 赵永强，饶元，董世鹏，等.深度学习目标检测方法综述 [J].中国图象图形学报，2020，25（4）：629-654.
[18] 江泽涛，覃露露.一种基于U-Net生成对抗网络的低照度图像增强方法 [J].电子学报，2020，48（2）：258-264.
[19] 李明.低照度图像增强技术的研究及实现 [D].南京：南京邮电大学，2016.
[20] 王满利，张航，李佳悦，等.基于深度神经网络的煤矿井下低光照图像增强算法 [J].煤炭科学技术，2023，51（9）：231-241.
作者简介：徐俊（2003—），男，汉族，江西南昌人，本科在读，研究方向：深度学习、计算机视觉。
基金项目：中国矿业大学（北京）大学生创新训练项目（202304070，202414021）
