摘" 要：针对家用投影仪没有正对成像平面而引发梯形畸变成像问题，设计一款基于DToF测距传感器模块、三轴加速度传感器模块和图像变换的便捷式梯形几何校正系统，实现无须人工干预的梯形畸变画面自动修正。同时引入基于顶点预标定的最大内接矩形算法，辅助畸变校正画面实现面积最大化和长宽比例不失真。实验结果表明，该系统能以低廉的硬件成本、便捷的操作方式完成投影仪在复杂空间姿态下梯形畸变成像的修正工作，增强观影舒适度。
关键词：家用投影仪；梯形几何校正；直接飞行时间测距传感器；三轴加速度传感器；图像变换
中图分类号：TP37" " 文献标识码：A" " 文章编号：2096-4706（2024）09-0047-06
Design of a Convenient Trapezoidal Geometry Correction System for Household Projectors
CHEN Jianfeng1， HONG Kun2， GUO Yanfang1， ZHANG Wei1，3
（1.School of Physics amp; Optoelectronic Engineering， Guangdong University of Technology， Guangzhou" 510006， China; 2.Shenzhen Luckystar Technology Co.， Ltd.， Shenzhen" 518109， China; 3.School of Electronics amp; Electrical Engineering， Zhaoqing University， Zhaoqing" 526061， China）
Abstract： A convenient trapezoidal geometric correction system based on DToF ranging sensor module， three-axis acceleration sensor module， and image transformation is designed to address the problem of trapezoidal distortion imaging caused by household projectors as it has not facing imaging plane. This system can achieve automatic correction of trapezoidal distortion screen without manual intervention. At the same time， a maximum inscribed rectangle algorithm based on vertex pre calibration is introduced to assist in achieving maximum area and non distortion aspect ratio in distortion correction screen. The experimental results show that the system can correct the trapezoidal distortion imaging of the projector in complex spatial poses with low hardware cost and convenient operation， enhancing the viewing comfort.
Keywords： household projector; trapezoidal geometric correction; DToF ranging sensor; three-axis acceleration sensor; image transformation
0" 引" 言
家用投影仪凭借大画面、护眼、便携等优势逐渐得到普通消费者的青睐。尤其在新冠疫情期间，针对学生居家网课学习，国家疾病预防控制局《儿童青少年新冠肺炎疫情期间近视预防指引》建议优先使用投影仪作为上课媒介[1]。但受限于成像特性，投影仪需要正对平整成像表面才能呈现矩形画面，任何的位置偏移或投影到曲面等非平整表面将引发形如梯形、不规则多边形的几何畸变，严重降低观影舒适度。
针对上述问题，Shi等人设计了一款投影仪定位机器人[2]，根据摄像头捕获的畸变画面，自动调整投影仪与成像平面的位置，实现自动梯形几何校正，但硬件成本过高；冯春东等人针对投影仪在曲面幕布上的畸变成像，提出基于二次准均匀B样条曲线的曲面几何校正[3]，王明冬等人利用贝塞尔曲面模型实现在球面幕布投影成像的球面几何校正[4]，二者通过人工调整参数可实时把控校正效果，但幕布或投影仪发生位移后需重新手动调整，校正过程烦琐；Zhao等人使用两对双目摄像头对曲面幕布进行三维重建，计算投影仪与曲面幕布间的单应性矩阵实现自动曲面几何校正[5]，Zhang等人利用RGBD相机生成的点云数据实现在不规则成像表面投影成像的自动几何校正[6]，Tehrani等人使用已知内参的相机根据捕获画面去估计成像系统中的投影仪内外参、相机外参和成像表面的几何形状，实现三维复杂表面的自动几何校正[7]，三者的相机方案具有较强的场景适用性，但校正过程要求具备专业设备和相机标定与空间变换知识，不满足家用投影仪一般性操作的需求。
针对当前几何校正方案存在成本高昂、操作烦琐复杂等问题，本文设计了一款适合家用投影仪一般应用场景的梯形几何校正系统。通过直接飞行时间（Direct Time of Flight， DToF）测距传感器和三轴加速度传感器实时感知投影仪的空间姿态，使用透视投影模型和空间坐标变换建立投影图像与成像画面在投影仪不同空间姿态下的动态单应性矩阵，实现投影仪在复杂空间姿态下的一键式自动梯形畸变校正。
1" 梯形几何校正原理
根据无光学偏轴投影仪的特性，在平整成像表面上的梯形畸变成像可分为图1（b～d）所示的三种基础类型。在家用投影仪日常使用场景，比较容易出现的是如图1（e）所示由三种基础畸变融合，引发形如不规则四边形的畸变。由于成像画面的内容来源于投影芯片上的投影图像，梯形畸变校正可通过如图1（f）所示把投影图像中特定区域像素的RGB值赋为（0，0，0）进行裁剪，以呈现矩形画面，再通过插值运算把剩余有效像素的RGB值重新采样，以牺牲源图像细节来保全被裁剪掉的图像内容，实现畸变成像画面的修正。梯形几何畸变与校正图如图1所示。
2" 系统总框架
硬件结构框架如图2所示，主要由获取投影仪与成像平面距离并换算yaw偏航角的DToF传感器模块和获取投影仪方向轴重力加速度g分量并换算pitch俯仰角、roll滚转角的三轴加速度传感器模块组成。
软件算法框架如图3所示。空间坐标变换依据投影仪姿态角建立当前空间姿态下的“投影图像-成像画面”单应性矩阵，得到投影图像与成像画面的坐标映射关系；在成像画面中使用最大内接矩形算法，生成4个最大内接矩形顶点坐标，同时得到相应的投影图像坐标；通过投影图像上的4对原始顶点坐标与最大内接矩形校正坐标所建立的透视变换矩阵，对投影图像的所有像素坐标进行透视变换，分离出需要裁剪和投影的区域，生成投影图像处理模板；把模板套用到帧缓存器中准备输出的投影图像，同时执行插值运算保全投影图像内容；最后传输到投影芯片投影输出，实现梯形几何校正。
3" 硬件结构框架
3.1" 三轴加速度传感器模块
三轴加速度传感器模块利用微机电系统（Micro Electro Mechanical System， MEMS）技术在半导体材料上搭建测量加速度的力学系统或利用压电效应感知质量块对压电材料的施力变化[8]，通过电信号的变化换算加速度数据。为转换加速度数据为所需的投影仪空间姿态角，建立如图4所示的加速度空间坐标系对传感器进行空间变换分析，坐标系O-asxasyasz表示厂商定义的系统坐标系，坐标系O-auxauyauz表示实际应用场景中自行定义的用户坐标系，通过重力加速度g分解到用户坐标系下x、y、z轴的分量，结合式（1～3）所示各姿态角空间旋转矩阵和预先定义的yaw-pitch-roll空间旋转顺序，得到姿态角换算关系为式（4）。
对式（1～4）计算整理后得式（5），可知三轴加速度传感器模块只能换算投影仪的pitch、roll，无法换算yaw。
3.2" DToF传感器模块
DToF传感器模块可拆分为由激光发射器组成的发射区和由单光子雪崩二极管（Single Photon Avalanche Diode， SPAD）阵列和时间数字转换器（Time Digital Converter， TDC）组成的接收区[9]，发射区发射近红外光脉冲到被测物体，接收区接收返回的脉冲并根据发射和接收的时间差算出距离。利用SPAD矩阵的最左区域、中间区域、最右区域构建三角形可求得yaw。为简化分析过程，只考虑图5中脉冲从被测物体返回接收区的光路，图5中DToF模块已发生水平向左的偏航旋转。
图5中的OA、OB、OC长度和所选SPAD矩阵区域间的夹角θ可通过模块数据直接读取，AB、BC长度可先通过余弦定理分别求出，最后结合余弦定理和三角形内角和得式（6）求出∠ BOO，即yaw。
投影仪空间旋转姿态角yaw、pitch、roll的获取，能辅助软件算法计算投影仪在不同空间姿态下动态的“投影图像-成像画面”单应性矩阵，实时感知梯形畸变成像画面。
4" 软件算法框架
4.1" 空间变换
透视投影模型能建立二维平面和三维空间坐标映射关系的特性，常用于建立相机静态的“捕获图像-拍摄物体”单应性矩阵，但本系统能够实时获取投影仪的空间姿态角，可考虑对透视投影模型进行空间变换，建立动态的“投影图像-成像画面”单应性矩阵，生成与空间姿态角相关的单应性矩阵通式。在图6的透视投影线性模型中，等效投影芯片像素坐标系OL-xLyL上任意点P（xL，yL）映射到世界坐标系OW-xWyWzW的P（xW，yW，zW）可用式（7～9）表示。
式（7）表示等效投影芯片上的像素坐标通过投影仪的内参转换为基于投影仪坐标系OP-xPyPzP下的空间长度坐标，其中kPixel表示像素密度（单位：像素/毫米），u和v分别表示等效投影芯片像素坐标系与投影仪坐标系原点间x、y轴方向上像素偏移量，f表示投影仪的焦距；式（8）表示计算等效投影芯片相对于当前投影距离中最佳投影位置（投影仪正对成像平面）的坐标，其中Ru表示投影仪的空间姿态，对应式（4）中的Ru；式（9）表示基于“光沿直线传播”的理想条件下，光线从投影光心穿过等效投影芯片传播到成像平面的成像画面坐标，其中Dist表示投影光心距离成像平面的投影距离，H表示联立式（7～9）所得“投影图像-成像画面”动态单应性矩阵。H主要有两个用途，一是求得投影仪在不同空间姿态下的成像画面大小、形状、位置等状态；二是求得成像画面最大内接矩形区域所映射的投影图像区域。
4.2" 最大内接矩形校正
在图像处理学中，常用遍历法、中心扩散法、遍历中心扩散法、边界排序生长法计算最大内接矩形[10]，这些方法适用于任意形状的图形，但需要消耗大量时间来遍历像素寻找特征点。为快速确定最大内接矩形的边界，基于“投影图像-成像画面”动态单应性矩阵H，提出一种顶点预标定的最大内接矩形算法。根据H计算得到的梯形畸变成像画面顶点坐标，构造画面轮廓直线方程，结合内接矩形相邻顶点坐标x或y相等的特性和式（10）所示的内接矩形长宽比限制条件来计算最大内接矩形的四个顶点坐标。式（10）中的数字代表预标定矩形顶点的取点顺序。
最大内接矩形校正的MATLAB仿真效果如图7所示，图中黑色虚线为梯形畸变成像画面轮廓，深灰色矩形为最大内接矩形校正区域。然而图7只是梯形畸变成像中的4种畸变情况和对应的最大内接矩形，不同的投影仪空间姿态，会呈现高度差异化的成像画面，导致最大内接矩形顶点的取点顺序、位置和数量包含不确定性，可通过脚本遍历投影仪在任意空间姿态下的成像画面轮廓，手工标定内接矩形顶点的取点顺序、数量和所在轮廓，生成多个最大内接矩形数学模型，在执行校正时，根据画面轮廓直线方程斜率的正负组合来调取对应的数学模型，辅助畸变校正画面实现面积最大化和长宽比例不失真。
4.3" 透视变换与插值运算
本文最大内接矩形校正的结果只能得到4个投影图像顶点校正坐标，为投影输出完整矩形成像画面，需要对投影图像内所有像素坐标进行透视变换，以分离出像素裁剪区和像素投影区。为避免复杂的空间几何和透视投影分析工作，把校正前后的4对顶点像素坐标分别代入式（11）构建非齐次线性方程组式（12）求得透视变换矩阵T，其中（x，y，1）是顶点校正齐次坐标，（x，y，1）表示初始顶点齐次坐标，σ表示尺度因子。
投影图像内的所有像素坐标与透视变换矩阵T和尺度因子倒数σ-1相乘后，分离出裁剪区和投影区的像素，令裁剪区的像素RGB值都赋为（0，0，0），以屏蔽像素显示；令投影区的像素RGB值重新采样，以保全因图像裁剪而丢失的图像内容。
投影区的RGB值采样将使用透视变换逆矩阵T-1和尺度因子σ与投影区像素坐标相乘，让投影区的像素坐标取相乘结果所对应的RGB值，其间会遇到如图8所示像素坐标存在浮点数的RGB取值问题，这就涉及通过插值运算从一个或多个相邻像素之间加权取RGB值。插值运算常用双线性插值法，规定1个像素的RGB值由相邻4个像素决定，由于i或j轴相邻像素点的RGB值存在线性关系，通过求得它们之间的线性方程，就可以推算出处于该两点之间的像素点的RGB值。以图8为例，根据像素点0（[i]，[j]）、1（[i]，[j+1]）、2（[i+1]，[j]）、3（[i+1]，[j+1]）来确定像素点4（i，j）的RGB值，其构造的RGB值线性方程组如式（14）所示。
对式（14）整理计算后得式（15），即可根据相邻4个像素求出目标像素的RGB值。
5" 实验结果
图9表示在内置了DToF传感器模块和三轴加速度传感器模块的无光学偏轴投影仪上执行梯形几何校正，图9（a）表示投影仪在复杂摆放表面的空间姿态进行侧投成像的梯形畸变成像画面，图9（b）表示执行梯形几何校正后的矩形成像画面，可以明显观察到成像画面的形状由不规则四边形校正为矩形，同时尽可能还原了源成像画面内容。
6" 结" 论
针对家用投影仪没有正对成像平面而引发梯形畸变成像的问题，设计了一款便捷式梯形几何校正系统。实验表明，该系统便捷性好，投影仪在复杂摆放平面上进行侧投成像时，能实现一键式自动修正梯形畸变成像画面；鲁棒性好，与传统外置相机方案相比，DToF传感器受环境光影响较小；适配性强，数字光处理（Digital Light Processing， DLP）和液晶成像（Liquid Crystal Display， LCD）投影仪的不同成像方式不影响该系统的梯形几何校正效果，同时可调节透视投影模型中等效投影芯片像素坐标系和投影仪坐标系原点的相对位置，适配任意光学偏轴投影仪；克服了现有几何校正方案存在成本高昂、校正操作烦琐复杂等问题，更适用于家用投影仪。
参考文献：
[1] 胡锡丰.家用投影仪：新兴家电背后的荣光与阴影 [N].中国质量报，2023-03-15（T14）.
[2] SHI L Z，LIU C Y，YANG S C，et al. Auto-alignment Design of Projection Robotics [C]//2019 Chinese Control Conference（CCC）.Guangzhou：IEEE，2019：4565-4570.
[3] 冯春东，陈姚节，薛雅婷，等.多通道曲面投影的B样条几何校正 [J].计算机仿真，2019，36（7）：234-238.
[4] 王明冬，盖孟，赖舜男，等.面向球幕投影系统的几何校正方法 [J].图学学报，2019，40（4）：631-636.
[5] ZHAO S H，ZHAO M Y，DAI S L. Automatic Registration of Multi-Projector Based on Coded Structured Light [J].Symmetry，2019，11（11）：1397
[6] ZHANG C，MAN X C，HAN C. Geometric Correction for Projection Image Based on Azure Kinect Depth Data [C]//2020 International Conference on Virtual Reality and Visualization （ICVRV）.Recife：IEEE，2020，196-199.
[7] TEHRANI M A，GOPI M，MAJUMDER A. Automated Geometric Registration for Multi-Projector Displays on Arbitrary 3D Shapes Using Uncalibrated Devices [J].IEEE Transactions on Visualization and Computer Graphics，2021，27（4）：2265-2279.
[8] 牛伟萌，房立清，齐子元，等.基于MEMS加速度传感器的位移测量系统 [J].仪表技术与传感器，2020（3）：62-66+72.
[9] 杨旭.基于DTOF的锁相环研究和设计 [D].西安：西安电子科技大学，2022.
[10] 邹哲康，朱铮涛，陈映谦，等.基于机器视觉的最大内接矩形快速检测算法 [J].计算机测量与控制，2021，29（6）：194-198.
作者简介：陈健锋（1999—），男，汉族，广东东莞人，硕士研究生，研究方向：光电信息；洪坤（1977—），男，汉族，安徽霍山人，副总经理，研究方向：光电信息；郭焰芳（1997—），男，汉族，福建莆田人，硕士研究生，研究方向：物联网技术；张伟（1968—），男，汉族，湖北武汉人，副教授，硕士生导师，博士，研究方向：光电信息。
