摘" 要：云雾覆盖是影响光学遥感影像林业监测利用率的重要因素之一。文章针对传统云识别方法对噪声敏感，深度学习方法对云边缘识别精度不高的问题，提出了一种协同U-Net与隐马尔可夫模型的遥感影像云识别方法。首先，基于U-Net网络结构对云进行初步识别，改善传统方法对噪声的敏感性；其次，利用隐马尔可夫模型进行后端处理，优化云识别的边缘轮廓。实验结果表明，协同U-Net与隐马尔可夫模型的遥感影像云识别方法的精度相较于传统方法提升了5%，同时较好地保留了云的边缘轮廓。
关键词：遥感影像；云识别；U-Net神经网络；隐马尔可夫模型
中图分类号：TP39；TP751 文献标识码：A 文章编号：2096-4706（2024）24-0036-04
Remote Sensing Image Cloud Identification of Cooperation with U-Net and Hidden Markov Model
CHENG Zhiqiang， CUI Chengling
（Beijing Geoway Information Technology Inc.， Beijing" 100043， China）
Abstract： Cloud and fog cover is one of the important factors affecting the utilization rate of optical remote sensing image forestry monitoring. In view of the problems that the traditional cloud recognition method is sensitive to noise and the Deep Learning method is not accurate in cloud edge recognition， a remote sensing image cloud recognition method of cooperation with U-Net and Hidden Markov Model is proposed in this paper. Firstly， the cloud is preliminarily identified based on the U-Net network structure to improve the sensitivity of the traditional method to noise. Secondly， it uses the Hidden Markov Model for back-end processing to optimize the edge contour of cloud recognition. The experimental results show that the accuracy of the remote sensing image cloud recognition method of cooperation with U-Net and Hidden Markov Model is improved by 5% compared with the traditional method. At the same time， the edge contour of the cloud is better preserved.
Keywords： remote sensing image; cloud identification; U-Net Neural Network; Hidden Markov Model
0" 引" 言
随着我国对地观测卫星技术的蓬勃发展，国产卫星影像的获取数量在急速增加，但并不是所有的卫星遥感影像都可以用于后续的信息提取与解译[1-2]，特别是林业遥感监测。其中，一个重要的影响因素就是遥感影像的云雾覆盖，导致林业范围识别不准确、林火监测困难等。根据国际卫星云气候学计划的统计数据显示，全球范围内平均的云覆盖率约为67%。由此可见，遥感卫星在对地拍摄的过程中，极易受到云雾干扰[3-4]。具有云雾覆盖的遥感影像不仅对地表地物形成了遮挡，严重时将无法对缺失的地物信息进行复原，给后续智能化目标识别与分类等工作带来了极大影响。因此，对于海量遥感数据的云量进行检测与定量评估是一项重要的研究工作，也是遥感卫星影像云雾处理领域一直以来的研究热点与难点问题[5]。
目前，国内外专家学者展开了针对光学遥感影像的云识别工作，并取得了一定的研究成果，基于光学遥感影像的云识别方法大致可以分为两大类[6-8]：基于光谱特征的云识别与基于纹理特征的云识别。基于光谱特征的云识别方法[9-10]，主要是从云的高反射与云顶低温等特点人手，通过可见光或红外光谱的阈值法来完成云识别。为了提升云特征与云下地物特征的光谱差异，同态滤波去云法、去云模板法等方法被用来去除遥感影像中的云覆盖[11]。但鉴于云雪特征的辐射信息极为相似，若在云下地物为冰雪或薄卷云等情况下，仅用此方法则难以将云特征与云下地物特征进行较好的分离[12]。宋小宁等人[13]分别采用多光谱综合法、红外差值法及指数法实现了MODIS影像云检测，但对于单波段的遥感影像或（可见光、近红外）波段信息受限的遥感影像而言，这些方法并不适用。
基于纹理特征的云识别算法[14-16]，主要是通过对遥感影像上云与其他地物纹理特征的差异进行深入分析，提取特征或特征组合来完成遥感影像的云识别。此类方法包括传统的图像分割算法、区域生长法以及灰度共生矩阵法等等[17-19]。此类方法不仅对噪声比较敏感，而且云的种类较多，单纯通过纹理特征进行云识别的精度也受限，在云识别的应用中具有一定的局限性。随着人工智能的不断发展，基于深度学习等算法进行特征学习与归纳，并以此作为分割标准，使得遥感影像的识别精度有所提升。李腾腾[20]等人通过支持向量机进行遥感影像的云识别，但云的识别边缘保持不够完整。陈洋[21]等人通过制作云标签，通过卷积神经网络完成云识别，但识别结果因没有判断最优设置导致与主观感受存在一些小差异。
由此可见，实现遥感影像云轮廓高精度提取是一个难点问题，针对传统方法对噪声敏感、边缘保持度不高等现象，本文提出了一种结合U-Net与隐马尔可夫模型的云识别算法，基于U-Net结构实现遥感影像云识别，并通过隐马尔可夫模型对所提取的云轮廓进行精细化处理，使其与人主观感受更为契合。
1" 遥感影像云识别原理
本文提出一种结合U-Net网络结构与隐马尔可夫模型的云识别方法。首先，利用U-Net深度学习网络结构对遥感影像进行特征提取，通过训练的云识别模型来完成遥感影像云识别；其次，将待识别影像，初始的云识别结果以及标签文件输入隐马尔可夫模型，改善影像云边缘识别效果。
1.1" U-Net深度学习网络结构
U-Net是一个基于全卷积神经网络FCN改进的图像分割网络结构[22]，整体结构如图1所示，呈现“下采样-上采样”（或称“编码-解码”）结构。该网络就是一个全卷积神经网络，输入和输出都是图像，没有全连接层，仅有卷积层和下采样层。较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题。其独特的收缩、扩展结构具有较强的表达能力和空间感知能力，使得参与训练的数据远大于输入的数据，仅需少量的数据就可以完成训练过程，提高了训练效率。
整体包含两个部分：
1）下采样包含多个卷积层（conv）、激活函数（ReLU）和池化层（max pool），主要通过逐渐降低影像的尺度和通道数来提取原始影像典型特征。
2）上采样包含多个反卷积层（up-conv）、跳跃连接和特征拼接（copy and crop），主要用于将特征图恢复到原始尺寸，同时将编码器中的低级特征与高级特征进行融合，最终生成与原始图像大小相同的分割结果。该网络通过能量Softmax函数计算最后的特征映射（feature map），Softmax公式如下：
（1）
其中，ak（x）表示每一像素点x对应特征通道k的得分，K表示类的数量，pk（x）表示类k对像素点x的分类结果。
U-Net神经网络用于图像识别，图像语义分析取得了较好的实验效果，但云是一种特征相对较少、特征不显著的地物类型，不能保证遥感影像中云识别的边缘可以较好地保留，因此在U-Net初步分割后需要通过隐马尔可夫模型进一步保留云特征的边缘轮廓。
1.2" 隐马尔可夫模型
隐马尔可夫模型（Hidden Markov Model， HMM）属于统计模型，用来描述一个含有隐含未知参数的马尔可夫过程，能够从可观察的参数中确定隐含参数，并利用这些参数来做进一步的分析[23]。在隐马尔可夫模型中通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。隐马尔可夫模型理论原则上相邻像素具有相同标签的概率较大，用Ni表示第i个像素的邻域，则像素i隶属于聚类j的先验概率为：
（2）
其中，li表示像素i的标签，β表示邻域像素作用强度，W（β）表示归一化项，确保先验概率在0与1的范围内，U（li=jβ）表示能量函数，定义如下：
（3）
式（3）中，表示第I个像素的标签，Vc表示势能函数，当邻域像素与中心像素具有相同标签时，达到稳定状态，势能为0，反之为1，即：
（4）
由上述定义可以看出，邻域像素与中心像素具有相同标签的像素数越多，先验概率越大，符合预先设想，可将其视为控制参数尺度的参数，其数学描述如下：
（5）
通过联合U-Net网络结构对云特征的提取，类别标签与原始图像，使得遥感图像云识别结果更贴合原有图像中云的待分割区域轮廓。
2" 实验结果与分析
本实验在Windows环境下TensorFlow学习框架，Intel（R）CPU E3-1505M v3 @ 2.3 Hz，显卡NVIDIA Quadro K2200，128 GB内存。实验中选取广东省区域内云量含量相对较多的资源三号卫星影像数据3景，为了解决遥感影像过大难以训练的问题，将遥感影像切割成256×256像素大小的影像块，共约16 000张，通过翻转、加噪声以及形态学变换等处理对数据进行扩充，总共有约24 000张，以增大深度学习网络的训练集数据。为了验证本文方法的可靠性，实验与Otsu方法、小波变换方法、K-mean聚类方法以及SVM方法的云识别结果进行对比，实验结果如图2所示。
从图2中可以直观地看出，与基于传统的云识别方法相比，如Otsu方法、小波变换方法、K-means聚类方法以及SVM方法，本文所提出的云识别方法具有更好的抗噪性，并未将噪声误识别成云信息而提取出来。对比来看，通过传统方法提取的云信息结果，其边缘结构的保持也相对较差，与人的主观感受还存在一定差距。本文所提出的方法，实现了遥感影像的云识别，并且针对不同大小、薄厚的特征云具有较好的识别结果，同时改善了对噪声信息的敏感性问题。
为了进一步说明本文所提出的云识别方法中HMM后端处理的效果，本文还进行了消融实验，实验基于U-Net云识别结果与协同HMM后端处理的结果进行了对比分析，如图3所示。
从实验结果可以看出，单一的U-Net网络架构云识别结果，云的边缘保持度较差，基于U-Net网络前端的云识别结果与原图图像中云边缘的吻合度相差较多，边缘细节比较粗糙，精度较低。耦合U-Net前端与HMM后端处理的云识别结果，云识别结果的边缘明显优化，云识别结果的边缘与原图影像的云边缘相比较，细节有了明显提升，精度有了进一步优化。为了定量化评价本文方法与不同方法云识别结果，更好地说明不同方法的云识别效果好坏，实验采用总体精度（OA）、平均距离系数（Avg_PerpenDist）以及分割精度（Precision）三种评价指标对云识别结果进行定量分析与评价，其数学描述如下所示：
（6）
（7）
（8）
式中：TP表示被正确预测为正样本的数量；FP表示被错误预测为正样本的数量；FN表示被错误预测为负样本的数量，TN表示被正确预测为负样本的数量，Aα和Bα表示在分割级别为α的前提下，对模糊范围A和B进行阈值处理后得到的结果。
实验通过总体精度、平均距离系数以及分割精度对云识别结果进行评价，其结果如表1所示。从定量的评价结果来看，OA值能很好地表征分类精度，小波变换的云识别精度相对最低，U-Net网络与U-Net+HMM模型的云识别精度相对较高，云检测精度达到94.81%，此方法云检测精度优于U-Net约4.4%，优于小波变换、K-means、Otsu、SVM等经典算法约6%以上，从而也进一步优化了单一U-Net前端网络的云检测精度。
综上所述，实验对多幅遥感影像进行了云识别，分别计算每张遥感影像的评价指标，并对3个评价指标分别取平均值进行分析。在3个评价指标计算结果中，通过量化指标结果可以直观地看到云识别效果的好坏。传统云识别方法因对噪声敏感、边缘结果保持度不够，导致云识别的精度较低，综合3个指标，本文所提出的协同U-Net与HMM的云识别方法较传统云识别方法的精度提高6%以上。避免了经典算法对高分辨率遥感影像噪声敏感这一缺点，改善了在云检测中U-Net边缘保持度不够这一缺点，本文方法有较好的云检测精度，较好的边缘保持度，与主观感受更为一致，从而实现了基于单幅全色影像的云检测识别。
3" 结" 论
本文协同U-Net与HMM方法实现了遥感影像云识别，并通过定量化评价指标对云识别结果进行定性评估，此方法云检测精度优于Otsu方法、小波变换方法、K-means聚类方法以及SVM方法等传统算法约5%。本文方法改善了传统云识别方法对噪声的敏感性问题，同时针对云识别结果中U-Net边缘保持度一般化的问题，协同HMM对云识别结果进行了后续处理，使得云识别结果具有较高的精度，更好地保持了云识别结果的边缘结构、与人的主观感受更为一致。
参考文献：
[1] 董志鹏，王密，李德仁，等.利用对象光谱与纹理实现高分辨率遥感影像云检测方法 [J].测绘学报，2018，47（7）：996-1006.
[2] ZHU H，GAO X M，TANG X M，et al. Super-resolution Reconstruction and Its Application Based on Multilevel Main Structure and Detail Boosting [J].Remote Sensing，2018，10（12）：2065.
[3] HUGHES M J，HAYES D J. Automated Detection of Cloud and Cloud Shadow in Single-date Landsat Imagery Using Neural Networks and Spatial Post-processing [J].Remote Sensing，2014，6（6）：4907-4926.
[4] ZHE Z，WOODCOCK C E. Automated Cloud，Cloud Shadow， and Snow Detection in Multitemporal Landsat Data： An Algorithm Designed Specifically for Monitoring Land Cover Change [J].Remote Sensing of Environment，2014，152（5）：217-234.
[5] 胡根生，陈长春，梁栋.联合云量自动评估和加权支持向量机的Landsat图像云检测 [J].测绘学报，2014，43（8）：848-854.
[6] 朱红，宋伟东，谭海，等.多尺度细节增强的遥感影像超分辨率重建 [J].测绘学报，2016，45（9）：1081-1088.
[7] 方臣，吴龙，胡飞，等.基于纹理和支持向量机的GF-1图像土地覆被分类研究 [J].资源环境与工程，2019，33（1）：109-112.
[8] 李玲，王红，刘庆生，等.基于纹理特征和支持向量机的ALOS图像土地覆被分类 [J].国土资源遥感，2011（4）：58-63.
[9] 李微，方圣辉，佃袁勇，等.基于光谱分析的MODIS云检测算法研究 [J].武汉大学学报：信息科学版，2005（5）：435-438+443.
[10] 徐冬宇，厉小润，赵辽英，等.基于光谱分析和动态分形维数的高光谱遥感图像云检测 [J].激光与光电子学进展，2019，56（10）：93-101.
[11] 韩念龙，刘闯，庄立，等.基于不同小波变换与同态滤波结合的CBERS-02B卫星CCD图像的薄云去除 [J].吉林大学学报：地球科学版，2012，42（1）：275-279+288.
[12] 殷青军，杨英莲，徐维新.NOAA卫星资料云雪识别方法的研究 [J].高原气象，2002（5）：526-528.
[13] 宋小宁，赵英时.MODIS图象的云检测及分析 [J].中国图象图形学报，2003（9）：112-116.
[14] 曹琼，郑红，李行善.一种基于纹理特征的卫星遥感图像云探测方法 [J].航空学报，2007（3）：661-666.
[15] 贾亮亮，汪小钦，王峰.基于波段运算和纹理特征的高分一号多光谱数据云检测 [J].遥感信息，2018，33（5）：62-68.
[16] 孙磊，曹晓光.基于多种纹理特征的全色图像云雪区特征提取 [J].电子设计工程，2014，22（2）：174-176+179.
[17] 李超炜，邓新蒲，赵昊宸.基于多特征提取的遥感影像云检测算法研究 [J].数字技术与应用，2017（9）：124-127.
[18] OTSU N. A Threshold Selection Method from Gray-level Histograms [J].IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）：62-66.
[19] 孔俊，王佳男，谷文祥，等.基于区域的自动种子区域生长法的彩色图像分割算法 [J].东北师大学报：自然科学版，2008，40（4）：47-51.
[20] 李腾腾，唐新明，高小明.资源三号影像朵云识别中云雪分离研究 [J].测绘通报，2016（2）：46-49+68.
[21] 陈洋，范荣双，王竞雪，等.基于深度学习的资源三号卫星遥感影像云检测方法 [J].光学学报，2018，38（1）：362-367.
[22] RONNEBERGER O，FISCHER P，BROX T. U-Net： Convolutional Networks for Biomedical Image Segmentation [J/OL].arXiv：1505.04597 [cs.CV].（2015-05-18）.https：//arxiv.org/abs/1505.04597.
[23] 赵雪梅，李玉，赵泉华.结合高斯回归模型和隐马尔可夫随机场的模糊聚类图像分割 [J].电子与信息学报，2014，36（11）：2730-2736.
作者简介：程志强（1989.08—），男，汉族，河南信阳人，中级工程师，项目经理，硕士，研究方向：摄影测量与遥感相关专业。
