郭继平，李名兆，周迎春，李阿蒙，张俊杰
（深圳市计量质量检测研究院，广东 深圳 508055）
随着制造业数字化、智能化转型发展，生产线上对运动状态下产品或工件物体的非接触表面三维结构尺寸和表面缺陷的高精度快速测量需求日益增多。基于散斑结构光投影和立体视觉原理的三维成像和测量技术，具有非接触、速度快、抗环境干扰能力强、适用于运动物体测量等特点，在工业测量领域有着广阔的应用前景，成为近年来国内外研究的热点［1-5］。
基于散斑投影的三维重建方法的关键步骤是利用数字图像相关算法搜索查找左右相机采集的散斑图像的对应点。该步骤计算量大、计算复杂度高、耗时长，成为散斑投影三维重建方法应用于快速在线工业测量的限制因素之一。此外，在钣金件辊压成形等典型的连续性制造中，工业产线对产品和工件的质量检测，需要同时对3D面型轮廓及关键表面几何结构尺寸进行精确快速测量，当前国内缺乏针对性的自主在线测量设备。本文针对上述问题，通过对散斑三维重建算法的优化，提升三维重建计算效率，结合辊压成形智能制造场景中钣金件快速检测需求，研究开发基于快速散斑三维重建的在线测量系统，并通过已校准溯源的测量标准对系统测量数据结果的精度进行了验证分析。
1.1 散斑结构光三维重建步骤
典型的基于散斑投影的三维重建系统一般由1个投影装置和2个相机组成，如图1所示。其基本步骤为：①投影装置投射散斑结构光至物体表面，左右两个相机同步采集包含物体表面信息的散斑图像；
②对散斑图像进行预处理，包括滤波、散斑区域的提取、图像去畸变等；
③对处理后的图像进行投影校正，并利用数字图像相关算法搜索得到物体表面点在两个相机所成图像中的整像素匹配点对；
④利用非线性优化方法计算亚像素匹配点对；
⑤基于系统标定数据，利用双目立体视觉原理计算匹配点对的空间三维坐标，获得物体表面三维数据。
图1 散斑投影三维重建示意图Fig.1 Schematic diagram of speckle projection 3D reconstruction
上述步骤③和④的匹配点对搜索是关键步骤，但由于计算量较大，较为耗时，选择合适的搜索策略和优化算法十分重要，关系到三维重建的精度和效率［6-7］。本文利用二阶图像投影校正算法和优化的亚像素优化算法提升三维数据重建效率。
1.2 二阶图像投影校正
基于散斑投影的三维重建系统中的两个相机构成双目立体视觉系统，其中一个相机获得的散斑图像特征点位于另一个相机平面对应的极线上。如图2所示，aL(uL，vL)和aR(uR，vR)是物体表面点A在左右相机所成散斑图像中的对应点，(ui，vi)(i=L，R)为各自图像坐标。aL，aR分别落在对应图像的极线paL，paR上，图中eL，eR为极点，OL，OR为相机光心。这一性质可用于左右相机散斑图像对应点的搜索过程，使得数字图像相关计算搜索从整个图像区域的二维搜索简化为沿极线方向的一维搜索，可减少搜索计算时间。通常情况下，极线在图像中有一定的斜率。直接沿极线进行对应点搜索仍较为耗时，且容易产生误匹配。为此，可对预处理后的散斑图像进行投影校正，使得搜索路径沿u轴方向进行，以进一步提升效率，减少错误［8-9］。
图2 极线搜索及图像投影校正示意图Fig.2 Schematic diagram of polar line search and image projective rectification
采用的图像投影校正方法包括图像水平线变换校正和共线性变换校正两个步骤。首先根据式（1）将左右相机图像极线调整至与u轴平行。
式中：a，b，c为调整系数，可通过已知对应图像坐标点由最小二乘法解算求出。然后，可根据式（3）完成共线性变换。
通过变换，左右相机图像共轭极线paL，paR的v坐标调整至相同，散斑图像的对应点相关搜索仅需沿u轴进行，可大幅提升对应点搜索效率［10］。
1.3 对应点快速搜索
完成上述投影校正变换处理后，通过双线性插值算法获得可直接进行数字相关计算的新物体散斑图像。本文选择搜索子图像窗口半宽m为10像素，对左相机子图像区域IL沿其中心点v坐标在右相机图像中沿u轴进行相关搜索，并采用基于去均值归一化互相关函数的相关算法依据式（4）计算相关系数Ci［11］。
式（4）中：fi为IL中第i个子区内像素点对应的灰度值为对应子区图像度值均值；
gi为右相机图像水平极线上第i个待匹配子区域内像素点的灰度值为该子区图像灰度均值。当Ci取最大值时对应的子区域即为匹配区域，其中心点即为对应点。
1.4 对应点亚像素优化及三维重建算法
经过上述快速对应点搜索步骤，得到整像素级对应点坐标。为提升散斑重建三维数据精度，需对整像素对应点坐标进行亚像素优化。采用简化的视差变换模式构造目标函数对整像素对应点坐标进行亚像素优化［10］。首先，利用二阶视差变换模式给出对应点坐标的变换关系，如式（5）；
同时再构建优化目标函数，如式（6）。其中，uT为左右相机散斑相机子区域图像水平视差；
∆u，∆v为对应点距子区域图像中心的图像坐标偏差。
定义待优化参数为
并由此定义优化目标函数τ（σ），采用Newton-Raphson迭代算法可实现该优化过程求解，其迭代公式为
式中：σ0为初值（可采用整像素对应点坐标参数）；
∇τ(σ0)为τ（σ）在σ0处的梯度值；
∇∇(σ0)为τ（σ）在σ0处的二次偏导。
按照式（8）循环迭代，直至前后两次结果的差值小于规定阈值，即可得到σ的最优解，并将结果代入式（5），可得到对应点亚像素图像坐标xi(ui，vi，1)，i=L，R。根据双目立体视觉原理，将xi带入式（9）联立方程即可求得对应点的空间三维坐标。
式中：Mi为相机内参矩阵；
Ri，Ti为世界坐标系到相机坐标系的旋转平移变换矩阵，可通过相机标定预先获得［12］。
根据上述方法，构建基于散斑投影的三维在线测量系统如图3所示。系统中使用的投影模块有效像素数为1280 × 800，相机有效像素数为2448 ×2048，帧率为20 fps。直线电机可模拟在线测量工况带动被测工件运动。
图3 散斑三维在线测量装置图Fig.3 Speckle 3D online measurement system
为验证本文开发系统的实用性，选取辊压成形制造工件作为测量对象，模拟流水线运动状态进行测量实验，将测量结果与工件设计3D模型进行对比，输出整体面形误差及在线检测中关注的关键几何尺寸。同时为验证系统测量结果的准确性，采用经校准溯源的台阶标准器进行了测量实验，给出测量数据的误差分析结果。
2.1 工件测量实验结果
应用本文测量系统对如图4（a）所示的辊压成形钣金件进行测量，测量时设置电动马达带动工件以1.5 m/min速度运动。图4（b）和图4（c）给出了两个相机采集到的物体散斑图像和三维重建数据结果。使用本文优化的图像投影校正和亚像素优化算法，图像采集及计算处理时间总计约4.6 s。使用优化前的算法重复该实验过程，图像采集及计算处理时间总计约8.2 s。由此表明，优化的算法可显著提高散斑图像三维重建效率。
图4 工件三维重建实验结果Fig.4 3D reconstruction result of workpiece
结合产线对该工件的实际质量检测需求，使用本文系统软件分别对工件整体面型轮廓误差、上下面高度差及平面度进行了测量分析。整体面型轮廓与CAD模型进行自动匹配，得到误差分布如图5所示。同时，系统可根据获得的3D数据计算出工件上下面高度差为54.075 mm，工件上表面平面度为0.530 mm。实验结果表明本文开发的散斑三维测量系统适用于工件在线测量任务。
图5 面型轮廓分析结果Fig.5 Measurement results of surface profile
2.2 精度验证实验结果
为验证测量结果的精度，使用图6（a）所示台阶标准器进行了验证测量。应用本文系统对该标准器重建的三维数据结果如图6（b）所示。台阶标准器的台阶面高度、上台阶面平面度经校准溯源，使用本系统软件测量得到的结果及误差如表1所示，台阶高和平面度计算时，去除了部分错误三维数据点。根据验证测量结果，本文系统台阶面高度测量误差为- 0.032 mm，上台阶面平面度测量误差为0.052 mm（采用最小二乘平面拟合，参与拟合计算的有效数据点数为12681个，拟合标准偏差为0.009 mm）。由实验结果可知，结构尺寸测量误差可控制在0.035 mm以内，可满足工业生产中部分产品或工件的在线测量要求。
表1 数据精度验证结果Tab.1 Precision verification results mm
图6 验证标准器三维重建结果Fig.6 3D reconstruction result of step standard
针对物体表面在线三维测量需求，利用优化的投影校正算法和亚像素优化算法，开发出一种基于散斑结构光投影的三维测量系统，可成功用于钣金件等产品的在线测量。此次研究开发的系统仅能实现一个视角下的物体表面数据三维重建和测量分析，对于有遮挡关系的复杂物体数据获取不完整，不能实现对物体全部表面完整数据的获取和测量，三维数据重建和测量分析过程仍相对耗时。今后仍需对完整物体表面数据获取、快速实时在线测量算法进行深入研究，进一步提高系统的应用范围。
猜你喜欢 散斑对应点三维重建 三点定形找对应点初中生学习指导·中考版(2022年1期)2022-02-09激光显示中的彩色散斑测量研究上海电机学院学报(2021年5期)2021-02-11以“点”为核 感悟本质教学月刊·小学数学(2021年2期)2021-02-08激光投影显示散斑抑制方法研究数字通信世界(2021年2期)2021-01-13“一定一找”话旋转初中生学习指导·中考版(2020年2期)2020-09-10基于Mimics的CT三维重建应用分析软件(2020年3期)2020-04-20用于检验散斑协方差矩阵估计性能的白化度评价方法雷达学报(2017年3期)2018-01-19比较大小有诀窍中学生数理化·七年级数学人教版(2016年8期)2016-12-07三维重建结合3D打印技术在腔镜甲状腺手术中的临床应用腹腔镜外科杂志(2016年12期)2016-06-01多层螺旋 CT 三维重建在肋骨及软骨损伤中的诊断价值转化医学电子杂志(2015年4期)2015-12-27