摘" 要：目前，教室的成像因受设备性能低和环境复杂的影响，会出现教学环境下对师生认识不全的情况。为了充分利用图像信息，全面细致地了解教学情况，文章提出一种改进的字典学习的教室图像超分辨率重建方法。通过采用字典学习算法训练自构的教室图像数据集得到对应的低秩字典和稀疏字典，使用训练的两个字典重建训练集图像，再参与训练，得到残差字典，然后运用训练得到的三个字典重建低分辨率图像，最终得到高分辨率图像。将提出的算法与几种经典算法进行对比实验，可视化和量化结果均表明，提出的算法在PSNR和SSIM上都获得了显著的提升。
关键词：低秩矩阵分解；局部线性嵌入；残差字典；图像超分辨率
中图分类号：TP391.4" 文献标识码：A 文章编号：2096-4706（2024）12-0027-05
An Improved Dictionary Learning Super-resolution Reconstruction Method for Classroom Images
DING Yuxiang
（School of Information and Artificial Intelligence， Anhui Business College， Wuhu" 241002， China）
Abstract： At present， the imaging of classrooms is affected by low equipment performance and complex environments， resulting in incomplete understanding of teachers and students in the teaching environment. In order to fully utilize image information and comprehensively and meticulously understand the teaching situation， this paper proposes an improved dictionary learning super-resolution reconstruction method for classroom image. By using dictionary learning algorithms to train a self constructed classroom image dataset， corresponding low rank and sparse dictionaries are obtained. The two trained dictionaries are used to reconstruct the training set images， and then participate in training to obtain residual dictionaries. Then， the three trained dictionaries are used to reconstruct low resolution images， ultimately high-resolution images are obtained. Comparative experiments are conducted between the proposed algorithm and several classic algorithms， and both visual and quantitative results show that the proposed algorithm achieved significant improvements in both PSNR and SSIM.
Keywords： low rank matrix factorization; locally linear embedding; residual dictionary; image super-resolution
0" 引" 言
图像超分辨率重建主要是对图像退化过程的研究和应用。图像重建的方法就是利用已知的先验知识，对损失的高频细节信息进行预估，实现图像扩大尺度后依然能够保留高质量图像信息的目标。图像超分辨率重建技术在很多领域（如遥感图像领域、安防监控领域、医疗图像领域、军事领域、影像视频领域）得到了关注和应用。在日常生活中，人们对高分辨率图像的需求越来越迫切。使用超分辨率重构技术能够提高信号的清晰度，既不用考虑兼容性问题，又节约了带宽和技术投入成本，已经被越来越多的研究人员所关注。
在重建算法中，基于学习的算法凭借重建性能的优越性，成为图像超分辨率重建领域主流研究方向。这是因为基于学习的算法是使用先验知识来指导高分辨率图像的重建。通过对图像样本的学习，能够获取低分辨率图像与对应高分辨率图像之间的映射关系，将映射关系作为先验知识应用于图像重建可以重建高分辨率图像的细节信息，提升重建图像的质量。国内外许多学者都在超分辨率图像重构领域做出了卓越的贡献。2010年，Yang等[1]引入压缩感知理论，采用字典学习和稀疏表示的方法来处理样本图像，基于自然图像的稀疏特性，学习得到图像块的稀疏表示系数和高低分辨率字典来重建图像，最终取得了不错的效果。2016年，Dong等[2]引入卷积神经网络理论，在重建高分辨率图像的过程中，使用三层卷积神经网络拟合了高低分辨率图像的映射关系，从而恢复了图像的边缘细节信息，在取得显著效果的同时也为后续的研究提供了全新的思路和方法。此后，Zeyde等[3]开始使用K-SVD训练字典，这种方法得到的过完备字典在训练时间上远远短于之前的字典，精度也有一定的提升。Timofte等[4]则将流形学习与稀疏表示的字典相结合，充分利用两种方法各自的优势，一是保证了图像重建的效果，二是缩短了图像重建的时间。2021年，融合邻域回归和稀疏表示的图像超分辨率重建算法[5]关注图像内部的特征信息，训练得到稀疏字典和低秩字典，用于重建图像，显著提升了重建图像的质量。随着图像超分辨率算法[6-11]的发展，其应用范围正变得越来越广。
然而，上述算法更多的是对所有场景的应用，所使用训练集的覆盖范围较广，对教室场景特征信息映射关系的获取不全。另外，上述算法在重建过程中容易丢失细节信息。为此，本文提出一种改进的字典学习的教室图像超分辨率重构算法。通过对已有图像超分辨率重建模型加以改进并更新训练集，加强了对图像细节信息的构建，提升了重建算法的性能。
1" 改进的图像超分辨率重建模型
为了更好地重建教室图像，使用教室图像作为训练集，充分学习了教室场景下的图片，使训练得到的字典包含更多有关教室图像重建的特征信息。利用图像内部不同的特征信息将训练集图像分解为低秩部分和稀疏部分，分别训练得到低秩字典和稀疏字典，再对训练集图像进行下采样得到低分辨率图像，然后结合训练得到字典重建高分辨率图像，将重建之后的图像与原训练集图像做差得到易缺失细节信息的残差图像，接下来对原图像和残差图像进行联合训练得到残差字典，最后再使用训练得到的低秩字典、稀疏字典和残差字典重建低分辨率图像，得到最终的高分辨率图像，具体过程如下。
1.1" 训练阶段
训练阶段首先需要使用低秩分解对图像进行处理，将样本训练集的图像分解为低秩部分Ha和稀疏部分He：
（1）
再通过对原图像进行先下采样再上采样的处理，得到相同尺寸的高分辨率图像和对应的模糊图像Yl：
（2）
其中，v表示随机噪声，L表示高低分辨率图像的映射关系矩阵。由于图像低秩部分含有图像的大部分信息，本文采用字典学习的方法对图像的低秩部分进行处理，将Ha的图像块集" 和Yl的图像块集" 作为字典学习的训练集。
对于图像块集，首先使用PCA方法对" 降维得到对应的图像块训练集 ，然后使用KSVD算法处理 ，通过不断迭代求出最优解，这样就能得到稀疏系数" 和对应的低分辨率字典Dl：
（3）
根据高低分辨率图像具有相同稀疏系数这一属性，能够得到对应的高分辨率字典 ，可以通过求解下面的最优化问题得到：
（4）
对于图像的稀疏部分同样采用上述方法进行学习，可由解下面的最优化问题得到：
（5）
然后使用训练得到的字典重建训练集图像Yc，采用字典学习的方法进行学习，将Hh和Yc的图像块集" 和" 作为字典学习的训练集。采用类似的方法学习对应的残差字典：
（6）
通过字典训练，最终得到低分辨率图像关于重建的图像低秩部分、图像稀疏部分、图像残差部分的字典对 。训练过程如图1所示。
1.2" 重建阶段
在重建阶段，需要将给定的低分辨率图像Zl重建为高分辨率图像，重建过程如下：
1）先将图像Zl扩大到指定大小，得到图像Yl。
2）将图像Yl分块得到图像块集 。
3）对于图像块集 ，利用字典Dl得到稀疏系数 ，再依据相同的稀疏系数并结合图像低秩部分的字典" 得到对应的低秩部分图像块集" ，这样就能得到高分辨率图像的低秩部分Ha。
4）在低分辨率字典Dl中依据邻域嵌入算法的原理，利用在低分辨率空间学习得到的LLE重构权重重新构建高分辨率空间的图像。对于任一低分辨率图像块" ，通过对重构误差做极小化来计算LLE重构权值系数 ：
（7）
高分辨率图像稀疏部分的图像块" 可由对应的低分辨率图像块" 结合权重得到：
（8）
从而得到高分辨率图像的稀疏部分He。
5）融合图像Ha和图像He，得到重建的高分辨率图像Hh，但此时恢复的高频信息不足，因此再利用学习到的残差字典对{Dc，Dh}处理重建的高分辨率图像Hh，得到最终的高分辨率图像Yh，具体过程如图2所示。
2" 实验结果与分析
2.1" 实验参数设置
实验平台为处理器Intel Core i5-9400@2.90 GHz，内存为8 GB的64位Windows 10专业版，MATLAB R2016a。图像训练集为自构建的46幅图片。设定低秩平衡因子为0.45，学习字典的尺度大小为1 024，KSVD迭代次数为20。
2.2" 评价指标
在评估图像超分辨率重建算法的有效性时，通常使用的是PSNR（峰值信噪比）和SSIM（结构相似性）这两项评价指标。由于所得到的结果不受外界因素的干扰，能够准确客观地验证图像超分辨率重建算法是否有效，从而做出公正统一的评价。两个指标的表达式分别为：
（9）
（10）
重建图像的质量越好，PSNR值越高。重建图像与原始图像的相似程度越高，SSIM的值越接近于1。
2.3" 实验结果与分析
字典学习的效果会受训练集的影响。现有字典大都采用的是覆盖范围较广的数据集，比如Set14 [3]、Set5 [3]、BSD100 [4]、Urban100 [4]等。本文是针对教室这一场景，因此使用的是教室图片构成的训练集和测试集。为了研究自构建训练集和经典训练集对测试集重建效果的影响，使用自构建的测试集对结果进行验证分析。
实验中参与训练的图像块大小为3×3，放大倍数为3，邻域嵌入参数K = 24，平衡因子为0.45，将字典的尺度分别设置为128、256、512、1 024，使用的算法为经典的Zeyde算法。实验结果如表1所示，由实验结果不难发现自构建的训练集在字典精度上有所提升。
为了验证所提算法的有效性，本节采用自构建教室图片作为训练集，分别对图片进行了放大3倍和放大4倍的实验，并将本章算法与几种典型的图像超分辨率重建算法效果进行了对比。其中，作为对比的SR算法包括Zeyde [3]、NE+LLE [4]和CNASSR [5]，使用图像评价中最常用的PSNR和SSIM指标进行客观评价。从实验结果可以看出，提出的算法相比其他算法在重建图像的质量上有明显的提升，如表2所示。
最后，将提出的算法与其他算法进行对比实验，对自构建的测试集进行图像超分辨率重建，使用PSNR和SSIM作为客观评价标准，结果如图3和图4所示。在主观评估方面，通过人眼观察实验结果，会发现在重建图像的边缘效果上，提出的算法相比其他算法恢复的效果更好，如图5和图6所示，且与上述客观评估结果相统一。实验结果表明提出的算法通过恢复更多的高频细节信息，能够使重建图像的质量得以提升。
3" 结" 论
为了提升教室图像的重建效果，提出一种改进的字典学习的教室图像超分辨率重构算法。通过使用自构建的教室图像训练集提升了字典的精度，再依据现有模型重建高分辨率图像，但存在高频信息恢复不足的情况，从而改进模型，增加了残差字典的训练，进一步提高图像细节信息的重建。经过实验验证，改进后的算法在放大尺度为3、4的客观和主观评价标准上都有明显的提升。
参考文献：
[1] YANG J C，WRIGHT J，HUANG T，et al. Image Super-resolution via Sparse representation [J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873.
[2] DONG C，LOY C C，HE K M，et al. Image Super-Resolution Using Deep Convolutional Networks [J/OL].arXiv：1501.00092v3 [cs.CV].[2023-09-06].https：//arxiv.org/abs/1501.00092.
[3] ZEYDE R，ELAD M，PROTTER M. On Single Image Scale-up Using Sparse-Representations [C]//Proceedings of the 7th International Conference on Curves and Surfaces. [S.l.]：Springer，2010：711–730.
[4] TIMOFTE R，DE V，GOOL L V. Anchored Neighborhood Regression for Fast Example-Based Super-Resolution [C]//2013 IEEE International Conference on Computer Vision. Sydney：IEEE，2013：1920-1927.
[5] 丁玉祥，卞维新，接标，等.融合邻域回归和稀疏表示的图像超分辨率重构 [J].计算机工程与应用，2021，57（2）：230-236.
[6] 蔡体健，彭潇雨，石亚鹏，等.通道注意力与残差级联的图像超分辨率重建 [J].光学精密工程，2021，29（1）：142-151.
[7] 陈贵强，何军.自然场景下遥感图像超分辨率重建算法研究 [J].计算机科学，2022，49（2）：116-122.
[8] 宋全博，李扬科，范业莹，等.先验GAN的CBCT牙齿图像超分辨率方法 [J].计算机辅助设计与图形学学报，2023，35（11）：1751-1759.
[9] 柏正尧，陶劲宇.采用伪3D卷积网络的脑部MRI图像超分辨率重建 [J].计算机辅助设计与图形学学报，2022，34（2）：208-216.
[10] 程德强，陈杰，寇旗旗，等.融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法 [J].仪器仪表学报，2022，43（8）：73-84.
[11] 林毅，周芃，陈彦明.基于语义注意力的医学图像超分辨率方法 [J].计算机科学，2023，50（S2）：1017-1022.
作者简介：丁玉祥（1994—），男，汉族，安徽芜湖人，助教，硕士，研究方向：机器学习与图像处理。
