摘" 要：针对手动对焦体验差、深度相机和ToF模组自动对焦成本高且可扩展性差的问题，文章提出基于改进边缘锐度计算的投影仪自动对焦算法。首先，通过角点检测提取并分块投影区域的棋盘格图像。其次，采用改进边缘锐度算法评估提取区域清晰度。再次，利用爬山法调节马达步进获取新图像并分块评估。在此基础上，持续迭代找到图像清晰度最佳的马达步进位置，实现投影仪的自动对焦。最后，通过实物样机验证了文章所提方法的可行性。
关键词：自动对焦；角点检测；改进边缘锐度算法；爬山法
中图分类号：TP301.6" " 文献标识码：A" 文章编号：2096-4706（2024）22-0047-05
Projector Automatic Focus Algorithm Based on Improved Edge Sharpness Calculation
Abstract： Aiming at the problems of poor manual focusing experience， high cost and poor scalability of automatic focus of depth camera and ToF module， this paper proposes a projector automatic focus algorithm based on improved edge sharpness calculation. Firstly， the checkerboard image of the projection area is extracted and segmented through corner detection. Secondly， the improved edge sharpness algorithm is used to evaluate the clarity of the extracted area. Then， the hill climbing algorithm is used to regulate motor steps to obtain new images and evaluate by partitioning. On this basis， the motor step position with the best image clarity is found by continuous iteration to realize the automatic focus of the projector. Finally， the feasibility of the proposed method is verified by a physical prototype.
Keywords： automatic focus; corner detection; improved edge sharpness algorithm; hill climbing algorithm
0" 引" 言
随着计算机处理能力和微成像技术的发展，基于图像处理的计算机视觉自动检测系统得到广泛应用，其中自动对焦是关键技术之一。国外对自动对焦和焦点评估函数的研究历史悠久，国内的研究也越来越丰富。
Zhang等[1]通过对小波变换图像清晰度评价算法、自适应聚焦窗口选择方法和爬山搜索算法进行改进，实现了显微镜的自动对焦。Wang等[2]提出了一种基于深度学习的相机自动对焦和全聚焦成像的方法，解决了焦点模糊问题，提高了对焦速度和图像质量。Zhang等[3]基于数字图像处理的自动控制显微镜聚焦算法，提高了数字图像处理的聚焦效果和准确性。Zhou等[4]应用不同的自动对焦标准来估计物距，并结合斑点照明和现有清晰度评估函数，使自动对焦算法更稳定和鲁棒。Liang等[5]提出了一种基于梯度提升机的光学显微镜自动对焦学习方法，提高了自动对焦的速度和准确性。Luo等[6]提出了一种基于深度学习的显微镜图像单帧自动对焦方法，能从单张显微镜图像中实现盲自动对焦，广泛适用于各种非相干成像模态，可显著提高成像速度，对大样本区域的高通量成像具有重要意义。马海波等[7]针对图像背景复杂、目标物体相对较小，当前显微镜自动对焦算法普遍稳健性较差的问题，提出一种改进的自动对焦算法。罗文睿[8]提出了一种基于改进爬山算法的数字显微镜自动对焦方法，在保证调焦精度的情况下有效提高了自动对焦的速度。陈仕旗等[9]提出了一种基于曲线拟合与数据相似度的自动对焦算法，该算法相比传统自动对焦算法具有更高的精度和抗噪性，可有效避免迟滞误差影响。刘璐等[10]设计了一种基于投影条纹并与光学显微镜高度匹配的自动对焦系统，有效提高了自动对焦的速度。Jia等[11]提出了一种基于改进拉普拉斯算子和爬山搜索算法的自动对焦算法，解决了传统自动对焦技术中存在的抗噪性差、聚焦速度慢和效率低等问题。
自动对焦问题在投影仪成像中也越来越受关注，在投影仪的自动对焦技术中，多数都是利用距离传感器辅助电机模组步进来调整投影图像的清晰度实现对焦，将会增加成本且可扩展性差。为了解决现存技术中存在的问题和不足，本文提出了一种基于改进边缘锐度计算的投影仪自动对焦算法，有效实现了投影仪的自动对焦，成本低且可扩展性强。
1" 自动对焦算法
图1展示了自动对焦算法的框架，在整个对焦流程中，马达持续自动步进，图像也不断生成，直至达到最佳步进位置。首先，对镜头当前位置处的图像进行投影区域的提取，并对其进行分块处理。其次，计算图像的清晰度数值，并予以记录。然后，通过持续对比每帧图像的清晰度数值大小，获取最佳清晰度值所对应的位置。最后，依据位置信息自动将马达步进到该位置，以实现投影仪的自动对焦。
对焦的有效范围指在整个对焦过程中，若马达行程范围内存在有效焦点，则对焦结束后会呈现出最为清晰的投影图像；否则，若超过对焦有效范围，将无法成功对焦到有效焦点处，从而导致对焦失效。
1.1" 基于Harris角点检测的投影区域提取
采用棋盘格内Harris角点检测[12]方法得到第一个和最后一个棋盘格的内角点对应的矩形区域（投影区域），并对该区域的图像进行提取，从而得到实际的投影图像如图2所示。
将提取的实际投影图像分为上下左右中五个小块区域。然后分别检测5块的清晰度，选择最佳清晰度的区域作为最佳对焦区域，并以该区域的清晰度值作为整个图像的清晰度评估值。
1.2" 基于改进边缘锐度的图像清晰度评估算法
图像清晰度评估根据评价指标是否参考原始图像分为：全参考评价指标、半参考评价指标、无参考评价指标。
全参考图像质量评价是于选取理想图像作为参考图像的前提下，对比待评图像与参考图像的差异，剖析待评图像的失真程度，进而获取待评图像的质量评估结果。全参考评价指标涵盖了均方误差（Mean Square Error， MSE）、平均绝对误差（Mean Absolute Error， MAE）、信噪比（Signal to Noise Ratio， SNR）、峰值信噪比（Peak-Signal to Noise Ratio， PSNR）、信息保真度准则（Information Fidelity Criterion， IFC）、视觉信息保真度（Visual Information Fidelity， VIF）以及结构相似度（Structure Similarity， SSIM）等多种评价方式。部分参考，亦称半参考，它是以理想图像的部分特征信息作为参照，来对待评图像进行比较分析，以此得出图像质量的评价结论。无参考图像质量评价方法的评价指标包含基于图像统计特性的均值、标准差、平均梯度、熵等方法。
在实际应用场景中，鉴于投影环境的多变性，通常难以获取理想的参考图像，这使得全参考和无参考图像评价方法的有效性会有所下降。无参考图像质量评价方法完全摆脱了对理想参考图像的依赖，应用更为广泛。因此，本文自动对焦方法在清晰度数值判断上采用了无参考图像的清晰度评价方法。在无参考图像的质量评价中，图像的清晰度是评判图像质量好坏的关键指标，它能较好地与人的主观感受相契合。在无参考图像的清晰度评价方法中，可选的评价方法包括能量梯度函数、方差函数、Laplacian梯度函数、基于Sobel算子核的Tenengrad梯度函数等。本文采用的对焦清晰度函数为边缘锐度算法值（Edge sharpness Algorithm Value， EAV）函数[13]，通过统计图像某一边缘方向的灰度变化情况来评价，计算公式如式（1）所示：
式（1）中，表示边缘法向的灰度变化率， 表示该方向的总体灰度变化。
上述算法仅针对图像的特定边缘区域进行统计，其能否代表整幅图像的清晰度尚存疑问。此外，在计算之前需要人工选定边缘区域，不利于实现程序运算的自动化。因此，本文对上述算法予以改进，将边缘的梯度计算转变为对逐个像素邻域梯度的计算。采用逐个像素8邻域梯度距离加权的方法计算得到整体图像梯度，计算公式如式（2）所示：
式（2）中，M和N分别表示为图像的行数和列数。
1.3nbsp; 基于爬山搜索算法的步进调节
锐度评价函数EAV算法决定了聚焦的精度，而峰值搜索方法决定了自动对焦的速度。本文采用爬山算法搜索[14]，通过搜寻锐度评价函数的最大峰值，从而得到准确对焦的位置。
爬山法（Hill Climbing， HC）是一种局部择优的贪心搜索算法，从本质上讲，属于梯度下降法。该算法每一次都从当前的节点起始，和周围的邻接点展开比较。若当前节点为最大，则返回该节点，将其当作最大值；若当前节点不为最大，就用最高的邻接点来替换当前节点，以此达成向山峰高处攀爬的目标。如此循环往复，直至抵达最高点。
爬山搜索算法主要实现步骤如下：
1）随机选择一个登山的初始时间T，并初始化边界值EPS。当T大于边界值EPS时，就将当前点与其邻接点进行比较。如果Res小于NewRes，转移结果为NewRes，并记录新坐标点Pos。如果Res大于NewRes，不转移，依旧为Res。其中，Res为临时清晰度极大值点，NewRes为当前的清晰度值。
2）根据记录下来的新坐标点Pos，去转移状态Status。状态转移计算公式如式（3）所示：
3）将T乘以一个小于且十分接近于1的系数delta，以体现时间对结果的影响。不断重复上述步骤，直到邻接点中不再有比Res大的点。
在本文中，马达电机驱动光机镜头模组进行移动，在移动的每一个位置，相机模组都会抓取一帧图像。然后，提取出实际的投影区域，并对得到的一系列不同清晰程度的实际投影图像进行清晰度评估。如图3所示，马达步进算法的原理采用了爬山寻优的理论方法。每当马达步进至一个位置Pos时，相机就会抓取一次图像，并提取实际投影区域来计算当前的清晰度Res，同时将每一对Pos和Res进行记录。爬山循环方法会依次比较Res的大小，并更新最大清晰度Maxval以及对应的马达位置Maxpos。最后，将马达重新回到此最大清晰度对应的位置Maxpos，从而实现对焦。爬山寻优的规则为：在同一个方向中，如果计算连续三次的清晰度都依次减小，则马达反向行走；当走到一个位置的清晰度均比前三次大，且也比后三次大时，则可以确定这个位置就是对焦的位置，即最大清晰度位置Maxpos。
2" 实验仿真与结果分析
本文以内角点个数为15×11的棋盘格图像为对象，开展投影仪的自动对焦实验。首先，通过手动按压调焦按钮，大约每按2至5次步长调焦便采集一张图像，共采集了5张清晰度变化各异的图像。
以首张棋盘图像作为模板进行定标，利用Harris角点检测方法确定待提取的投影区域范围，当投影仪发生移动时，需要重新检测投影区域。将该投影区域的范围应用于后续其他对焦过程中采集的棋盘图像，依次对投影区域进行提取。采集的5张图像经过投影区域自动提取后的结果如图4所示。
将投影区域划分为5块小棋盘格块，计算出最佳对焦区域，用最佳对焦区域去评估每一个清晰度下的棋盘格图像，并以最佳对焦区域的棋盘格图像作为整个图像的清晰度标准。
通过改进的边缘锐度算法对图像的清晰度进行评估，在锐度计算中，选取Laplace算子和sobel算子作为清晰度评估标准。分别使用Laplace1算子采用[-1，-1，-1；-1，8，-1；-1，-1，-1]、Laplace2算子采用[0，1，0；1，-4，1；0，1，0]以及sobel算子对图像清晰度进行评估，并对这三种算子所得的清晰度评估结果进行对比。对比结果如表1所示。
根据表1中的数据可知，当采用Laplace1算子时，4.jpg的清晰度低于5.jpg，这与人类视觉上的清晰度数值不一致，且数值差异较小。采用Laplace2算子和sobel算子时，能够有效区分图像的清晰度，且满足与人类视觉上的清晰度一致的数值要求。因此，本文选取Laplace2算子和sobel算子来对图像清晰度进行评估。
然后，本文将投影仪分别正对墙面和斜对墙面来进行图像采集，并对自动采集的5张图像展开清晰度评估，以找出最佳清晰度所对应的图像，从而实现自动对焦。
在正对墙面的情况下，采集了5张图像，随后对所有图像进行投影区域的提取，其提取结果如图5所示。
通过Laplace2和sobel算子对5张图像的清晰度进行计算，其计算结果如表2所示。从表2中的数据可以看出，5.jpg图像的清晰度值最高，完全契合人眼的视觉感知。这表明本文所提出的方法，在投影仪正对墙面的情况下，能够有效实现自动对焦，找出最清晰的图像位置。
在斜视墙面30度的情形下，同样采集了5张图像，整体图像质量呈现为左右侧一半清晰一半模糊的状态，由于倾斜墙面的角度较小，视觉上模糊和清晰的差别并不显著。随后，对所有图像进行投影区域的提取，其提取结果如图6所示。
同样，采用Laplace2和sobel算子对图6中5张图像的清晰度进行计算，其计算结果如表3所示。从表3中的数据可以看出，2.jpg图像的清晰度是最高的，完全符合人眼的视觉。这表明本文所提出的方法，在投影仪斜对墙面的情况下，也能够实现有效对焦，搜索出最清晰的图像位置。
3" 结" 论
本文通过爬山搜索算法自适应调节马达步进，从而获取每次步进所采集的投影的棋盘格图像。利用Harris角点检测方法来提取投影区域的图像，并进一步自适应地提取投影区域的五个小区域。基于所提出的改进边缘锐度算法，实现对提取的五个小区域的清晰度评估，并以清晰度最佳的小区域的清晰度值作为整个图像的清晰度评估值。通过对比每次步进后图像的清晰度值，得到最清晰的图像及其对应的步进位置，从而实现了投影仪的自动对焦。实验结果表明，本文所提出的基于改进边缘锐度计算的投影仪自动对焦算法，简单且有效，对焦结果精度高、稳定性好。能够有效地实现图像清晰度的评估，并快速自动地将模糊的投影图像对焦清晰，使投影图像得以有效展示。增添了用户的体验感，且摄像头功能的可扩展性强。
参考文献：
[1] ZHANG H J，YAO J. Automatic Focusing Method of Microscopes Based on Image Processing [J/OL].Mathematical Problems in Engineering，2021，2021（1）：8243072（2021-06-18）.https：//doi.org/10.1155/2021/8243072
[2] WANG C，HUANG Q，CHENG M，et al. Deep Learning for Camera Autofocus [J].IEEE Transactions on Computational Imaging，2021，7：258-271.
[3] ZHANG J，ZHANG T. Focusing Algorithm of Automatic Control Microscope Based on Digital Image Processing [J/OL].Journal of Sensors，2021，2021（1）：5643054（2021-09-25）.https：//doi.org/10.1155/2021/5643054.
[4] ZHOU X，WEN X，JI Y，et al. Image Reconstruction Using Autofocus in Single-lens System [J].Applied Sciences，2022，12（3）：1378.
[5] LIANG Y，YAN M，TANG Z，et al. Learning to Autofocus Based on Gradient Boosting Machine for Optical Microscopy [J/OL].Optik，2019，198：163002（2022-01-27）.https：//doi.org/10.3390/app12031378.
[6] LUO Y，HUANG L，RIVENSON Y，et al. Single-shot Autofocusing of Microscopy Images Using Deep Learning [J].ACS Photonics，2021，8（2）：625-638.
[7] 马海波，张鹏程，张权，等.基于HOG特征的显微镜自动对焦算法研究 [J].测试技术学报，2018，32（6）：481-486.
[8] 罗文睿.基于改进爬上算法的数字显微镜自动对焦方法 [J].工具技术，2019，53（9）：112-116.
[9] 陈仕旗，李明臻，苏建功.基于曲线拟合与数据相似度的自动对焦算法 [J].南方农机，2023，54（6）：131-133.
[10] 刘璐，闫佩正，但西佐，等.基于条纹投影的显微镜自动对焦研究 [J].光学学报，2019，39（8）：276-283.
[11] JIA D，ZHANG C，WU N，et al. Autofocus Algorithm Using Optimized Laplace Evaluation Function and Enhanced Mountain Climbing Search Algorithm [J].Multimedia Tools and Applications，2022，81（7）：10299-10311.
[12] HARRIS C，STEPHENS M. A Combined Corner and Edge Detector [C]//Proceedings of the Alvey Vision Conference.Manchester：AVC，1988：1-6.
[13] AHMAD R，DING Y，SIMONETTI O P. Edge Sharpness Assessment by Parametric Modeling： Application to Magnetic Resonance Imaging [J].Concepts in Magnetic Resonance Part A，2015，44（3）：138-149.
[14] MARTIN G. Encyclopedia of Cognitive Science [J].Reference Reviews，2003，17（5）：13-14.
