摘 要：高分2号卫星影像的应用日益多样化，如何获取高质量融合影像成为需要研究的重要问题。为了从原始的全色影像和多光谱影像中获取高空间分辨率和高光谱分辨率的影像，结合方向信息和脉冲耦合神经网络对非下采样轮廓波变换算法进行改进。以甘肃省兰州市的GF-2全色影像和多光谱影像作为数据源，提出了一种结合PCNN和NSCT的遥感影像融合方法，通过定性评估和定量评估，与IHS方法、BT方法、PCA方法和GS方法相比，改进后的方法在改善空间细节和保留光谱信息方面具有更好的效果。
关键词：高分2号影像；遥感影像融合；脉冲耦合神经网络；非下采样轮廓波变换；方向信息
中图分类号：TP751 文献标识码：A 文章编号：2096-4706（2024）20-0107-05
A Fusion Method for GF-2 Panchromatic Multispectral Images
WANG Xiaoyu1， YANG Jun2
（1.School of Science and Technology， Xinyang University， Xinyang 464000， China;
2.Faculty of Geomatics， Lanzhou Jiaotong University， Lanzhou 730070， China）
Abstract： The application of GF-2 satellite images is becoming increasingly diversified， and how to obtain high-quality fusion images has become an important issue that needs to be studied. In order to obtain high spatial resolution and high spectral resolution images from the original panchromatic images and multispectral images， the Nonsubsampled Contourlet Transform algorithm is improved by combining orientation information and Pulse Coupled Neural Network. Based on the GF-2 panchromatic images and multispectral images of Lanzhou， Gansu Province as the data source， a remote sensing image fusion method combining PCNN and NSCT is proposed. Through qualitative evaluation and quantitative evaluation， compared with IHS method， BT method， PCA method and GS method， the improved method has better effect in improving spatial details and preserving spectral information.
Keywords： GF-2 image; remote sensing image fusion; Pulse Coupled Neural Network; Nonsubsampled Contourlet Transform; orientation information
0 引 言
遥感数据获取来源包括卫星和无人机等系统的拍摄，遥感技术在获取这些数据以用于地球科学，自然科学，民事和军事等领域的各种应用中都起着至关重要的作用[1]。例如对地观测卫星高分2号能够在同一覆盖区域内同时拍摄高空间分辨率的全色影像和高光谱分辨率的多光谱影像。融合的意义在于将全色影像和多光谱影像相结合获得包含高质量空间细节和丰富多样光谱特征的影像。早期的全色与多光谱融合是基于成分替换的方法，一般分为正变换、替换、逆变换三步完成融合。此类方法简单且有效，但是在融合过程中光谱信息或空间信息丢失较为严重，通过对成分替换分量和全色影像进行多分辨率分析并融合可以有效地减少丢失的影像空间特征或光谱特征。但是目前的融合算法在融合过程中信息丢失问题不能完全解决，设计算法必须在空间信息和光谱信息中做出权衡，合理的系数融合规则能有效提高融合影像的质量。
1 结合PCNN的NSCT遥感影像融合算法
1.1 非下采样轮廓波变换
非下采样轮廓波（Nonsubsampled Contourlet Transform， NSCT）变换相较于轮廓波变换，增加了平移不变性。NSCT变换是由非下采样金字塔（Nonsubsampled Pyramid， NSP）和非下采样方向滤波器组（Nonsubsampled Directional Filter Bank， NSDFB）组成。其中NSP减小了滤波器的采样失真，NSDFB提供了多方向分解的属性[2]。NSCT变换的流程如图1所示。
首先将原始影像进行NSP分解，得到了一幅低通子带影像和一幅带通子带影像，然后对带通子带影像通过NSFDB分解为多方向的影像，最后对低通子带重复以上的两个步骤，获取原始影像多尺度多方向的分解影像。NSP分解可以让NSCT具有平移不变性，通过双通道二维塔形滤波组实现，NSFDB是一个双通道下采样扇形方向滤波器组，可以完成影像的分解与重构工作。
1.2 脉冲耦合神经网络
PCNN是一个反馈网络，每个PCNN神经元由三部分组成：感受野、调制场和脉冲发生器[3]。在图像处理中，PCNN是具有二维连接的单层反馈型网络，并且PCNN方法在影像融合领域有很好的效果。PCNN神经元的数学表达式如式（1）所示：
（1）
式中，Fij表示反馈输入，Sij表示外部输入，Lij表示连接输入，Wijab表示权值矩阵，Uij表示内部活动项，Eij表示动态阈值，Yij表示脉冲输出，和表示衰减参数，β表示链接系数，VE表示阈值放大系数，Tij表示神经元点火次数。
在传统的PCNN方法中，单个影像灰度值用于激励一个神经元，像素和神经元之间的关系是一一对应的。实践证明PCNN在图像处理领域是能够适用的，但是有时候得到的结果并不理想[4]。由于人类视觉系统对方向信息十分敏感，因此本研究利用影像方向信息来刺激神经元。文献[5]详细介绍了如何获取影像方向信息，它的数学表达式如式（2）所示：
（2）
式中，X（i，j）表示图块的中心（i，j），AL和AR表示块中的左右区域，如图2所示。计算块中每个像素的角度方向，这些方向信息能够有效地表示图像的平滑性。
1.3 影像融合规则
1.3.1 低频分量融合规则
影像的低频分量包含了影像的纹理特征和形状轮廓以及光谱信息，这些信息在融合的过程中容易受噪声影响导致融合影像边缘出现模糊现象。所以需要设计合理的融合规则对低频分量进行融合。而高斯隶属度函数对于低频分量的信息能够较好地描述[6]，函数表达式如下：
（3）
式中，x表示研究对象集合中的元素，μ表示函数曲线的中心，σ表示控制函数曲线的宽度。为了融合结果能够更好地对影像特征进行表达，使用该函数作为加权系数用于低频分量的融合。低频子带系数计算式如下：
（4）
式中，D（i，j）表示低频系数，α表示原始影像低频分量的像素均值，β表示原始影像低频分量中像素的方差，k表示用于调整高斯函数的参数，按照经验设置k=0.8。低频分量融合规则表示如下：
（5）
式中，Df（i，j）表示融合后的低频系数，Dp（i，j）和Dm（i，j）表示全色影像和多光谱影像的低频系数。
1.3.2 高频分量融合规则
高频分量能够反映影像的空间细节信息，使用绝对值最大、梯度、区域能量等传统融合规则时会损失部分细节信息。为了更好的融合高频分量，结合方向信息和PCNN选择高频系数。PCNN和人眼视觉相似，对单个像素不敏感但是对边缘纹理信息较为敏感，所以使用边缘纹理信息作为PCNN的外部刺激。边缘纹理信息计算式如下：
（6）
式中，S（i，j）表示高频分量的边缘纹理信息， 表示原始影像的高频子带系数，（i，j）表示高频子带系数的位置。Z1、Z2和Z3表示卷积核：
Z1=，Z2=，
Z3=
传统的PCNN结构中链接强度的作用十分重要，它可以控制神经元的活动，为了更好地保留融合影像的空间细节，根据方向信息设置链接强度值。将每个像素点和邻域内的方向信息作为链接强度的输入：
（7）
式中，表示链接强度，φ表示用于限定大小的系数，Iij表示方向信息，的值会随着I值的变化而变化。
所以高频分量融合规则是：首先将原始影像进行NSCT分解得到高频分量和，利用公式计算高频分量的边缘纹理信息S，然后利用方向信息计算PCNN模型中链接强度β的值，利用β确定点火次数，从而得到和得融合结果。
1.4 算法设计
首先将GF-2多光谱影像转换到IHS颜色空间，并对GF-2全色影像与多光谱影像的亮度分量I进行直方图匹配。然后通过NSCT变换将全色影像和I分量分解成高频系数和低频系数。由于影像灰度值直接输入PCNN模型的融合效果不够理想，因此将影像的方向信息应用到PCNN模型中来处理高频系数，并使用高斯隶属度函数作为加权系数融合低频分量。通过逆NSCT变换后得到新的Inew分量，最后将Inew分量、H分量、S分量IHS逆变换生成融合影像。
结合PCNN的NSCT遥感影像融合算法的流程图如图3所示。
结合PCNN的NSCT遥感影像融合算法步骤为：
1）将多光谱影像转换到IHS空间。
2）使用NSCT分解全色影像和多光谱影像的I分量。
3）采用方向信息结合PCNN方法融合NSCT分解的高频分量，使用高斯隶属度函数作为加权系数融合NSCT分解的低频分量。
4）通过逆NSCT重建Inew分量。
5）将融合后的多光谱影像转换回RGB空间。
1.5 数据来源
GF-2卫星影像是中国自主研发的商业遥感卫星，传感器的空间分辨率达到了亚米级，能够提供1米分辨率的全色影像和4米分辨率的多光谱影像，在城市规划、国土检测、环境反演等领域应用十分广泛。本文实验数据为2017年8月4日的甘肃地区影像，数据来源与兰州交通大学测绘与地理信息学院。
2 融合效果评价指标
2.1 主观定性评价
主观定性评价是将人作为评价的载体，通过人眼视觉系统的直接观测，对影像融合的效果进行评估，通过自身的先验知识对融合影像的优劣进行主观定性评价[7]。通过与IHS方法，BT方法PCA方法和GS方法融合结果对比，从两个方面进行评价：
1）通过观察融合前后影像清晰度、边缘信息、纹理特征及空间细节的变化，对融合影像的空间分辨率进行评价[8]。
2）通过观察融合前后影像的亮度、对比度、地物颜色、局部光谱信息的变化，对融合影像的光谱分辨率进行评价[9]。
具体融合效果如图4所示，通过目视解译，发现在整体清晰度方面，空间信息保持较好的是本文方法，其次是GS方法和IHS方法，PCA方法和BT方法稍逊一筹。从纹理特征观察，表现最好的是本文算法，无论是河岸线还是建筑本文方法的融合影像都能清楚地反映出它们的纹理细节，IHS方法建筑物边缘出现了模糊现象，BT方法，PCA方法和GS方法在道路和绿地部分出现部分伪影现象。从光谱特征来看，IHS方法和BT方法出现了明显的颜色失真，绿地部分IHS融合结果偏绿，BT融合结果偏青，PCA方法和GS方法绿地颜色相较于原始影像颜色偏淡，本文方法绿地颜色与原始影像几乎一致。
2.2 客观定性评价
影像融合质量的定量评价主要依据融合后影像能否具备较好的光谱保真度和能够提高空间细节信息。具体的定量评价指标有很多，本文通过客观分析影像的特点，选取信息熵、均值、相关系数、平均梯度、偏差度和光谱扭曲度六个指标评价影像融合算法[10]。通过MATLAB 2016b计算不同方法的融合结果的评价指标，结果如表1所示。
信息熵的值越大表示影像包含信息越丰富，均值变化越小表示影像空间信息保留越好，相关系数和偏差度能够间接反映融合影像与原始影像的空间信息与光谱信息的匹配程度，评价梯度对影像地物的细节纹理特征十分敏感，能够客观的评价影像纹理变换的特点，光谱扭曲度能直接表示融合影像对比原始影像的光谱退化程度。由表2可知，本文方法融合影像的信息熵达到了1.62，GS方法、PCA方法和IHS方法数值较为接近，BT方法信息熵值最小只有0.81。均值变化GS方法，PCA方法和本文方法几乎一致，IHS方法和BT方法变化较大，说明本文方法的融合影像质量最高，GS方法和PCA方法的融合影像质量接近，IHS方法和BT方法的融合影像质量最低，丢失了较多信息。相关系数，偏差度和光谱扭曲度本文方法表现最好，分别有0.91，0.08和20.05，GS方法和PCA方法的融合效果相似，PCA方法对光谱信息的保留优于GS方法，而对空间信息的保留略低于GS方法，IHS方法和BT方法光谱扭曲度都很高，说明这两种方法的融合影像有明显的颜色失真现象。结果表明本文方法融合影像与原始影像有较高的结构相似度同时有效保留了光谱信息，本文方法的融合影像无论是空间分辨率还是光谱分辨率均高于其余4种方法，能够有效地保留原始影像的空间细节和光谱特征。
3 结 论
本文以甘肃省兰州市的GF-2全色影像和多光谱影像作为数据源，提出了一种结合PCNN和NSCT的遥感影像融合方法，通过与IHS方法、BT方法、GS方法和PCA方法融合结果进行主观定性客观定量评价分析，本文的方法在目视解译和客观定量评价的表现上总体优于对比的4种融合方法，能够清晰地表现地物的边缘纹理特征，同时还有效保留了原始影像的多光谱信息。
参考文献：
[1] 王淑香，金飞，林雨准，等.考虑局部方差互信息和梯度一致性的改进SFIM遥感图像融合方法 [J].地球信息科学学报，2024，26（3）：693-708.
[2] 徐欣钰，李小军，赵鹤婷，等.NSCT和PCNN相结合的遥感图像全色锐化算法 [J].自然资源遥感，2023，35（3）：64-70.
[3] 王艳.基于PCNN的红外与可见光图像融合算法 [D].兰州：兰州交通大学，2020.
[4] 邸敬，任莉，刘冀钊，等.基于NSST域混合滤波与改进边缘检测PCNN的医学图像融合 [J].光电子·激光，2023，34（9）：997-1008.
[5] WANG X N，LIANG D Q. Orientation Information Measure based Image Restoration [C]//Proceedings of the 2003 International Conference on Machine Learning and Cybernetics.Xian：IEEE，2003：2925-2930.
[6] 马雪景，王文焕，刘国巍.人工神经网络在含噪图像边缘检测算法中的应用 [J].西安工程大学学报，2021，35（2）：79-84.
[7] 杨迎港，张合兵.遥感影像融合方法对GF-2影像土地利用分类的影响 [J].测绘与空间地理信息，2023，46（12）：49-52.
[8] 成飞飞，付志涛，牛宝胜，等.基于非下采样剪切波变换的国产高分遥感影像融合 [J].激光与光电子学进展，2022，59（12）：449-457.
[9] 付鸿鹏.高分七号卫星数据质量评价及处理方法研究 [J].测绘与空间地理信息，2022，45（12）：143-145+149.
[10] 李景文，陈文达，姜建武.融合边缘特征和对抗网络的遥感影像超分辨重建方法 [J].计算机应用与软件，2023，40（2）：240-245.
作者简介：王筱宇（1995—），男，汉族，河南信阳人，硕士研究生在读，研究方向：遥感影像分析与处理、GIS空间分析。
