基于增益标定的ToF相机运动模糊矫正方法

中图分类号：TP391.4；TP273. + 4 文献标识码：A 文章编号：2096-4706（2025）07-0024-05

Abstract： This paper aims to reduce the motion blur generated by Time of Flight （ToF）cameras in dynamic scenes，so as toimprove theimagequalityandtheaccuracyofdepthinformation.Acorrection methodbasedongaincalibrationis proposed. Through gaincalibration，thegaincoeficientofeachpixelisaccuratelydetermined，andthe four-bitphaseshift method inthe depthcalculationprincipleisintroducedtooptimizetheexposure time，thusachievingtheefectofimproving theimagequality andtheacuracyof depth measurement.Aseriesof testsontheimprovement effectarecariedoutonthe motionblur test platform.Theresultsshowthatthismethodcansignificantlyimprovethedepth imagequalityoftheToFcamerasindynamic scenes. When the rotation speed of the test device is within the range of 100 to 2 0 0 r / m i n ， the percentage reduction in the number of erroneous pixels caused by motion blur can reach more than 3 5 % ， and can be up to 4 1 . 4 6 % at most. Through experimental verification，the motion blur correction methodforToFcameras basedon gain calibration can efectively improve the image quality and accuracyof depth information，demonstrating itsbroadapplication potential indynamic environments.

Keywords：ToF;motion blur; gain calibration; four-bit phase shift method

0 引言

随着计算机视觉和图像处理技术的快速发展，ToF相机因其高精度的深度信息获取能力，在工业检测[1]、无人机定位[2-3]、机器人导航[4领域得到了广泛应用。然而，ToF相机在动态场景中拍摄移动物体时，面临着运动模糊的挑战，这不仅影响深度图像的质量，还可能导致相位解算错误，影响深度信息的准确性。因此，开发一种新的ToF相机去模糊方法，对于提高ToF相机在动态场景下的应用性能，具有重要的实际价值和理论意义。前人针对该问题也做出了一定研究。例如，Hoon等人引入了一个概率模型来预测发生运动模糊时产生的无效像素的位置[7]。此外，Lindner等人尝试对ToF的运动模糊进行建模来补偿伪影[8]。Strub等人使用结构光的KinectV1传感器和使用ToF的KinectV2传感器捕捉径向运动模糊，通过比较静态和旋转深度图之间的失真量衡量不同Kinect传感器生成的深度图的失真程度[9]。尽管已有研究致力于解决ToF相机的运动模糊问题，但现有方法在处理复杂动态场景下的模糊问题时仍存在局限性。这些方法在实际应用中可能不够高效，或者只适用于特定类型的运动模糊。传统RGB相机的去模糊算法在ToF相机上的应用效果也并不理想，甚至可能引入新的噪声，这表明需要针对ToF相机的特性寻找新的去模糊方法。本研究旨在开发一种新的ToF相机去模糊方法，与现有方法相比，本研究将重点关注如何利用ToF相机的深度解算原理与其本身的增益特性相结合，来实现更高效、更准确的去模糊效果。本研究的关键问题包括：研究ToF相机模糊产生机制，对相机进行精确增益标定，通过增益系数与深度结算方法的关联分析，开发一种新的有效减轻ToF相机在动态场景下运动模糊的矫正方法，并通过实验验证其效果。

1．基于增益标定的运动模糊矫正原理

1.1双抽头I-ToF传感器的基本原理

ToF相机通过发射特定频率的光脉冲并测量反射回来的光脉冲的时间差，来计算物体的距离[]，从而生成深度图像。这一过程可以用式（1）描述：

其中 d 表示距离， c 表示光速， Δ t 表示光脉冲往返的时间差。

ToF技术主要分为直接ToF（D-ToF）和间接ToF（I-ToF）。D-ToF传感器使用单光子雪崩二极管（SPADs）直接测量时间，提供高精度时间分辨率，但集成密度和CMOS工艺兼容性限制了其应用。I-ToF传感器则一般采用CMOS工艺兼容的双抽头像素结构，允许高空间分辨率和大规模生产，因此在多个领域得到广泛应用。

双抽头I-ToF传感器的每个像素点分为A和B两个抽头，它们通过收集调制光的相位变化来间接测量光波的往返时间。A和B抽头具有 的初始相位差，能够捕捉反射光波的相位变化。在A和B抽头中产生的电荷，使得传感器能够通过测量发射光波和接收光波之间的相位差来计算光波的往返时间，从而得到物体的距离信息，并生成深度图像。

1.2基于增益标定的矫正方法

四位相移法是解决I-ToF传感器中相位解算问题的有效手段。该方法通过在不同时间点捕获四个不同相位的图像，然后利用这些图像计算出每个像素的精确相位信息。双头I-ToF传感器利用四位相移法求解相位的步骤如下：

发射器发射光波，假定为理想正弦波形，则发射光可以分别表示为：

S （ t ） = cos （ ω t ）

发射器发射出的光波被目标物体反射后，由初始就具有 相位差的A、B两接收器在四个不同的相位（ 、 、 和 ）下捕获相应的信号可以表示为：

其中 B 表示环境光强， A 表示调制度， φ 表示待求相位。

传感器分别输出A、B两个Tap的信号，用 （简称为 A - B ）的模式计算出四个不同相位下的输出信号 ，分别表示为：

待求相位 φ 即可由反正切函数推出：

利用传感器输出的四张原始图像，即可通过数学推导计算出每个像素的相位值。

由式（1）和（9）将每个像素的相位信息转换为距离信息，生成最终的深度图像：

其中 d 表示距离， c 表示光速， φ 表示发射端与接收端光脉冲产生的相位差， f 表示光脉冲的调制频率，通常为定值。

由传统四步相移法可以发现，一帧深度帧的生成依赖于四帧曝光帧。在光照条件差的环境中，为了保证图像的亮度和清晰度，不得不增加单帧曝光时间，增加了图像模糊的风险。

为了减轻运动模糊，本研究提出了一种创新的基于增益标定的矫正方法。通过精确测定每个像素中TapA和TapB的增益系数，并将其应用于相位解算，从而减少了生成一帧深度图像所需的曝光时间。

通过增益标定得到ToF传感器每个像元 A 、 B 两个Tap的平均增益系数 、 后，将其引入传统四步相移法对相位差的计算中。由式（3）和（4），A、 B 两接收器在不同相位下捕获相应的信号又可以表示为：

其中 和 分别表示在不同相位下，TapA和TapB接收到的信号。 和 表示无光照条件下TapA和TapB的暗噪声成分。

将ToF相机原本的曝光模式由原本的四帧亮曝光，改为前两帧 亮曝光，后两帧（ 、 ）暗曝光模式，在这种改进模式下，TapA在不同相位下捕获相应的信号分别为（TapB同理）：

同样，对相位求解方法进行改进，得到四个不

同相位下TapA和TapB所捕获到的信号后，以 （简化为 ）的模式计算出四个不同相位下的输出信号 ， 表示为：

待求相位 φ 同样可由反正切函数推出：

以上原理可知，采用基于增益标定的矫正方法，能够将相位求解所需的曝光次数从传统的四帧亮曝光改为两帧亮曝光和两帧暗曝光。这种优化使得获取一帧深度图像所需的总曝光时间减少了一半，降低了运动模糊产生的风险。

2. 方法实现

2.1 增益标定过程

为了获取每个像元中两个抽头TapA和TapB的增益系数，首先需对该ToF相机的传感器进行增益标定，这一过程主要包含以下几个步骤。

2.1.1 暗场图像采集

在暗室环境中关闭所有光源和ToF相机发射端，采集多幅暗场图像。通过均值化处理或中值滤波，生成主暗场图以表征ToF传感器的随机噪声，用于后续噪声分析和校正。

2.1.2 平场图像采集

采用改变匀光光源出射光通量的方法进行平场图采集。将ToF传感器置于匀光光源前 2 0 0 mm 处，固定曝光时间为 1 0 0 0 μ s ，并在 0 ～ 1 0 0 0 l m 范围内以5 0 l m 间隔改变光通量，每次调整后采集多幅图像。

2.1.3数据关系曲线绘制与拟合

利用数字图像处理工具处理图像数据，计算不同光通量下TapA和TapB的平均灰度值，并绘制与光通量的关系曲线。通过最小二乘法拟合曲线，建立光通量与TapA、TapB平均计数值的数学模型，精确提取增益系数和暗噪声值。

2.2相位解算与运动模糊矫正方法的具体实现

完成增益标定并获得每个像素中TapA和TapB的平均增益系数后，进一步实现相位解算，下文说明具体实现步骤。

2.2.1曝光模式的调整

更改相机的曝光模式，使相机能够按如图4所示的两种不同的曝光模式进行曝光：

1）原始工作模式：在一个深度帧的周期内配置四个曝光帧，四帧均进行亮曝光。

2）改进后的工作模式：在一个深度帧的周期内同样配置四个曝光帧，但前两帧进行亮曝光，后两帧进行暗曝光。

2.2.2相位求解方式的选择与深度解算

同时准备 和 两种不同的相位求解方式，若相机工作为原始工作模式，按照 模式由式（9）计算相位。若相机工作在改进后的工作模式，则按照 模式由式（21）对相位进行求解。根据不同的相位求解方式求解出相位 φ 后，由式（10）计算出距离信息，得到最终的深度图像。由深度图像评判改进方法的效果。

3 实验设计与结果分析

为验证基于增益标定的相位解算与运动模糊矫正方法的有效性，使用Sony_IMX528型号的二抽头I-ToF传感器，在控制环境和匀光光源下进行了实验。实验中，ToF传感器被固定在距离光源 2 0 0 mm 处，曝光时间设为 1 0 0 0 μ s ，通过调整光源光通量从 0 ～ 1 0 0 0 l m 、间隔50流明来进行增益标定。

实验通过增益标定过程，获得光源的出射光通量与TapA、TapB的平均计数之间的关系数据及拟合结果如图1所示。

根据拟合结果，增益系数 和 以及暗噪声值 1 分别为： ， ， ， 9

完成ToF传感器的增益标定后，通过一系列实验来验证所提方法的有效性。实验使用ToF相机拍摄不同动态状态下的运动模糊测试装置，按照2.2节描述的相位及深度解算过程，对比传统四步相移法和增益标定矫正方法的效果。

运动模糊测试装置及ToF相机的摆放位置如图2所示，ToF相机安装在测试装置前方 7 0 0 mm 处，对准中心以确保能拍摄到边缘。通过调节扇叶转速至100、125、150、175、 2 0 0 r / m i n ，模拟不同运动状态，并在每个速度下拍摄20张图像。然后，使用两种方法解算深度图像，并以单片扇叶边缘的模糊像素数作为评估改进的标准。

本文选取的去模糊前后的对比示例图在测试装置转速为100、 2 0 0 r / m i n 时如图3所示。

除直观感受外，表1给出了传统四步相移法和增益标定矫正方法在测试装置不同运动状态下产生的模糊像素数情况。

从表1中的数据可以得出，传统四步相移法分别在测试装置转速为100、125、150、175、 2 0 0 r / m i n 情况下单片扇叶产生的运动模糊像素数分别为7.26、18.38、25.16、33.48、50.66，而增益标定矫正方法解算出的深度图像单片扇叶产生的运动模糊像素数分别为3.01、6.99、10.35、13.89、18.15，单片扇叶所产生的模糊像素数减少百分比分别为： 4 1 . 4 6 % ，3 8 . 3 0 % 、 4 1 . 1 4 % 、 4 1 . 4 9 % 、 3 5 . 8 3 % 。实验结果表明，经过增益标定矫正后的图像，其产生的运动模糊像素数在转速为 1 0 0 ～ 2 0 0 r / m i n 的范围内都有显著降低，其模糊像素数减少百分比可达 3 5 % 以上。

4结论

本研究提出的基于增益标定的ToF相机运动模糊矫正方法，通过精确测定增益系数以优化曝光时间，有效地减轻了动态场景下的图像模糊问题。实验结果验证了该方法在提高图像质量和深度信息准确性方面的有效性。实验数据有力地证实了本方法在提升图像质量和深度信息准确性方面的显著成效。在测试装置转速范围为 1 0 0 ～ 2 0 0 r / m i n 的条件下，经增益标定方法矫正后的深度图像下均展现出了卓越的性能，运动模糊像素数的减少百分比均超过了 3 5 % ，最高可达4 1 . 4 6 % ，该结果说明该方法在ToF相机拍摄不同运动速度的目标物体时具备一定通用性。未来的研究可以进一步探索增益标定方法的自动化和实时应用，以及在更广泛的动态场景中的应用潜力。

参考文献：

[1]闻修俊，肖昊菁，王殿龙，等.基于双目视觉与ToF结合的海洋吊装定位研究[J].仪表技术与传感器，2023（6）：121-126.

[2]杨绪霆，姚顽强，郑俊良，等.无人机地形跟随在矿区沉陷监测中的应用[J].测绘通报，2021（5）：111-115.

[3]周晨飞，文显运.架空输电线路无人机巡检技术分析[J].电子元器件与信息技术，2020，4（10）：59-61.

[4]刘志海，柏海龙，崔鑫龙，等.自动喂养机器人导航定位系统研究[J].机床与液压，2020，48（5）：59-62.

[5] YANGCM，KANG JH，EOMDS，et al. Enhancing（上接23页）FPGA驱动，并使用少数命令，就可以成功烧录程序，具备文件校验功能，从而确保烧录文件的准确性。并且，无须额外的烧录器及机器机箱开盖，降低了售后程序烧录成本并加快了烧录程序的速度。

参考文献：

[1]段瑞枫，陈艳，洪凯，等.基于PCIe级联网口的农业监测视频高速传输系统研究[J].农业机械学报，2024，55（3）：203-212.

[2]张彪，宋红军，刘霖，等.基于PCIE接口的高速数据传输系统设计[J].电子测量技术，2015，38（10）：113-117.

[3]王锋，吕天志，杨明洋.一种基于PCIe总线的SPIFlash内FPGA程序在线更新方法[J].电子制作，2021（9）：5 6 - 5 9 + 6 5

[4]王涛，钱昀莹，张铆，等.基于DSP28335的FPGA软件在线升级方法[J].电子设计工程，2024，32（3）：17-21.

[5]邓怡兴，傅佳烨，胡中泽.MCU模拟JTAG的FPGA在线升级设计[J].集成电路与嵌入式系统，2024，24（6）：71-76.

ToFSensor PrecisionUsing3DModelsand Simulation forVision Inspection in IndustrialMobileRobots[J/OL].Applied Sciences， 2024，14（11）：4595[2024-09-27].https：//www.mdpi. com/2076-3417/14/11/4595.

[6]郑太雄，江明哲，冯明驰.基于视觉的采摘机器人目标识别与定位方法研究综述[J].仪器仪表学报，2021，42（9）：28-51.

[7]JINYH，KOKW，LEEWH.AnIndoorLocationBased Positioning System Using Stereo Vision With the Drone Camera[J].MobileInformationSystems，2018：1-13.

[8]LINDNERM，SCHILLERI，KOLBA，etal.Time-of-Flight Sensor Calibration forAccurate Range Sensing[J].ComputerVision and ImageUnderstanding，2009，114（12）：1318-1328.

[9]STRUBE，BOHNEW，LINDNERS，etal.PossibilitiesandLimitationsofERDA：ExamplesFrom theERDA ToF Set-UpAttheHahn-Meitner-Institut[J].SurfaceandInterfaceAnalysis，2003，35（9）：753-756.

[10]王文渊，郭承军.基于TOF相机的深度图像增强方法研究现状[C]//第十二届中国卫星导航年会论文集——S02导航与位置服务.南昌：电子科技大学电子科学技术研究院，2021：68-73.

作者简介：文静（1999一），女，汉族，陕西安康人，硕士研究生在读，研究方向：光电信号处理。

[6]吴海龙.一种基于XilinxFPGA的串口在线升级方法[J].单片机与嵌入式系统应用，2023，23（8）：50-52+56.

[7]刘丽霞，孙昆，张力，等.中标麒麟下基于PCIe总线的时统板驱动实现[J].计算机应用，2023，43（S2）：130-134.

[8]甄国涌，苏慧思，陈建军，等.基于FPGA的PCIe接口的数据传输设计与实现[J].国外电子测量技术，2021，40（12）：72-76.

[9]姜育生，梁妮，贺国旗.基于MDM9607平台的SPI接口驱动解析及应用[J].现代信息科技，2023，7（2）：149-152.

[10]靳燕.基于MD5算法的文件完整性检测系统分析及设计[J].网络安全技术与应用，2019（11）：36-38.

[11]曾祥义，刘伟，肖昊．一种嵌入式设备固件安全更新方案[J].电子科技，2023，36（8）： 1 4 - 1 8 + 6 4

作者简介：林智武（1996一），男，汉族，广东湛江人，硕士，研究方向：嵌入式系统与控制；党成斌（1983一），男，汉族，青海西宁人，工程师，本科，研究方向：工业控制计算机系统。