Design of light-pen vision measurement system for large-scale spherical parts
-
摘要: 为实现大尺寸球形零件的三维形貌、球径和球度误差等参数的测量,设计了光笔式视觉测量系统,系统主要由高分辨率摄像机、光笔和配套的图像处理软件组成。首先介绍了系统的测量原理,然后依次研究了其中的关键技术:光笔的结构设计和基于近景摄影测量的光笔标定方法,利用单应性矩阵建立光笔坐标系和摄像机坐标系之间转换关系的方法。基于光栅尺的精度评价实验表明,在2000 mm×1500 mm视场范围内,相对测量精度优于0.05 mm/m。选取大尺寸金属球为实验对象,提取了球面若干点的三维坐标,生成拟合球并计算出球度误差为2.068 mm。Abstract: In order to measure the three-dimensional shape, spherical diameter and sphericity error of the large-size spherical parts, a light-pen vision measurement system is designed. The system is mainly composed of high-resolution camera, light pen and supporting image processing software. Firstly, this paper introduces the measurement principle of the system, and then gives the key technologies in turn: the structural design of the light pen and the light pen calibration method based on close-range photogrammetry, and the method of establishing the conversion relationship between the light-pen coordinate system and the camera coordinate system by using the homography matrix. The accuracy evaluation experiment based on grating ruler shows that the relative measurement accuracy is better than 0.05 mm/m in 2000 mm×1500 mm field of view. Taking the large-size metal ball as the measured object, the three-dimensional coordinates of multiple points on the balll surface are extracted to generate the fitting ball, and then the sphericity error is calculated to be 2.068 mm.
-
Keywords:
- large-size spherical parts /
- light-open /
- close-range photogrammetry /
- grating ruler
-
球形结构的零件在航空航天装备、机械制造和精密仪器仪表等领域应用广泛,如航空发动机的角接触球轴承、硬密封球阀、球形铰链和球形曲柄曲轴等[1-3]。在某些特殊工业生产过程中,大尺寸的球形或非整形球面特征的零件也有较大需求,如高压天然气输送管道的球阀[4-5],其直径约在100~1 016 mm;制造天线球面屏的大型球面模胎,其曲率半径可达12.8 m[6]。针对不同尺寸的球形零件,球径和球度误差的测量评定是进行产品质量控制的重要手段。
目前,球形零件的测量设备主要包括三坐标测量机、气动量仪、激光干涉仪以及激光跟踪仪等[7-8]。这些设备用于大尺寸的球形零件测量时,仍存在不足之处。三坐标测量机工作于实验室环境,无法应用于工业现场,其测头只能沿3个坐标轴方向移动,自由度有限,受自身结构和测头长度制约,无法探测大尺寸整球面的底部区域,存在测量盲区,并且维护成本高。气动量仪和激光干涉仪仅适用于小尺寸球形构件的测量。激光跟踪仪可实现高精度大范围的三维点测量,但其价格昂贵,并且易受环境温度、压力等因素的影响。
综合上述问题,本文设计了一种光笔式视觉测量系统用于大尺寸球形零件的测量。在摄像机视场范围内,系统自带的光笔可以在三维空间内自由移动,光笔的针状测头能够探测到球形零件表面的任意点,并快速生成测点的三维坐标,进而拟合出理想球,计算获得球径和球度误差。
1. 系统工作原理
光笔式视觉测量系统主要由摄像机、光笔和配套的图像处理软件组成,其工作原理如图1所示。摄像机的空间位置固定,其坐标系为
$ {O_C} - {X_C}{Y_C}{Z_C} $ ,原点$ {O_C} $ 位于摄像机的光心。光笔上分布有共面的控制点,其自身坐标系为$ {O_P} - {X_P}{Y_P}{Z_P} $ ,原点$ {O_P} $ 位于右下角的控制点处。测量时,手持光笔在摄像机的视场范围内自由移动,光笔测头接触球形件表面的任意点,每接触一点拍摄一张像片,并保证像片内含有全部的控制点。利用图像处理软件提取出像片中每个控制点的像素坐标,它们在光笔坐标系的三维坐标已知,进而计算出光笔坐标系和摄像机坐标系之间的位姿关系,即旋转矩阵
$ {{\boldsymbol{R}}_{PC}} $ 和平移矢量$ {{\boldsymbol{T}}_{PC}} $ 。假设光笔测头在自身坐标系$ {O_P} - {X_P}{Y_P}{Z_P} $ 的坐标为$ \left({X}_{Ph},{Y}_{Ph},{Z}_{Ph}\right) $ ,则它在摄像机坐标系的坐标为$$ \left[ {\begin{array}{*{20}{c}} {{X_{Ch}}} \\ {{Y_{Ch}}} \\ {{Z_{Ch}}} \end{array}} \right] = {{\boldsymbol{R}}_{PC}}\left[ {\begin{array}{*{20}{c}} {{X_{Ph}}} \\ {{Y_{Ph}}} \\ {{Z_{Ph}}} \end{array}} \right] + {{\boldsymbol{T}}_{PC}} $$ (1) 实际上,
$ \left({X}_{Ch},{Y}_{Ch},{Z}_{Ch}\right) $ 就是光笔测头接触的球面被测点在摄像机坐标系下的三维坐标。光笔测头每接触一点,分别对应不同的旋转矩阵$ {{\boldsymbol{R}}_{PC}} $ 和平移矢量$ {{\boldsymbol{T}}_{PC}} $ ,依据式(1)就可以计算出球面上所有被测点在摄像机坐标系下的三维坐标。2. 光笔设计
2.1 光笔结构
为了有效探测大尺寸球形零件表面的三维点,光笔设计成图2所示的结构,包括定向棋盘格、金属测杆和针状探头三部分。定向棋盘格粘贴于平面精度等级较高的亚克力透明板上,保证所有角点共面,光笔坐标系原点
$ {O_P} $ 位于图2所示的角点位置,$ {X_P} $ 轴沿水平方向,$ {Y_P} $ 轴沿竖直方向,$ {Z_P} $ 轴按右手法则确定,每个小方格(包括黑色和白色)的尺寸为28.4 mm×28.4 mm,从而计算出所有角点在光笔坐标系的三维坐标,其$ {Z_P} $ 坐标均为0。金属测杆用于扩展测量范围,可以依据被测对象几何尺寸大小定制不同长度的测杆。针状测头与测杆螺纹连接,与球面三维点形成点接触,避免了球形测头产生的半径补偿误差。2.2 光笔标定
光笔标定是确定针状测头在光笔自身坐标系
$ {O_P} - {X_P}{Y_P}{Z_P} $ 的精确三维坐标。本文采用近景摄影测量方法[9-10]实现光笔标定,如图3所示,手持摄像机从多个角度拍摄光笔的9张像片,要求每张像片均包含完整的光笔图像。光笔标定的具体步骤如下:首先,在9张像片内提取针状测头和图2虚框内全部角点的像素坐标,并对每张像片提取的像素坐标进行匹配(按相同顺序排列);其次,根据所有角点在光笔坐标系内已知的三维坐标和它们在每张像片的像素坐标,可以建立每个摄像机(亦称摄站)坐标系和光笔坐标系之间的转换关系(转换原理参考本文章节3),也就确定了所有摄站的空间位姿;最后,采用近景摄影测量中的光束平差算法,求出光笔的针状测头在其自身坐标系
$ {O_P} - {X_P}{Y_P}{Z_P} $ 的精确三维坐标,结果为(−200.328 mm,91.430 mm,−12.531 mm)。所有摄站的位姿和角点以及测头的空间分布,如图4所示。3. 坐标系的转换
在图1中,要获得被测点在摄像机坐标系的三维坐标,关键是建立光笔坐标系和摄像机坐标系之间的位置关系,即计算出旋转矩阵
$ {{\boldsymbol{R}}_{PC}} $ 和平移矢量$ {{\boldsymbol{T}}_{PC}} $ 。如图5所示,物方平面是光笔棋盘格所处平面,任意控制点(即角点)为$ {M_i} $ ,它们在像平面的像点为$ {m_i} $ ,坐标系转换的具体步骤如下:(1)像点的像素坐标转换至摄像机坐标系,并归一化处理。设像点的像素坐标为
$ {m_i} = {\left[ {{x_i},{y_i}} \right]^{\rm{T}}}\left( {i = 1,2, \cdots ,n} \right) $ ,并假设已对$ {m_i} $ 做了畸变矫正处理。再令摄像机的内参数矩阵为:$$ {\boldsymbol{K}} = \left[ {\begin{array}{*{20}{c}} {{f_x}}&0&{{c_x}} \\ 0&{{f_y}}&{{c_y}} \\ 0&0&1 \end{array}} \right] $$ (2) 其中:
$ {f_x} $ 、$ {f_y} $ 为摄像机的主距,$ {c_x} $ 、$ {c_y} $ 为摄像机的主点坐标。将像点
$ {m_i} $ 转换至摄像机坐标系,并以主距为单位做归一化处理。令转换后的归一化坐标为$ {m'_i} = {\left[ {{x'_i},{y'_i},1} \right]^{\rm{T}}} $ ,则有$$ \left\{ \begin{gathered} {x'_i} = \left( {{x_i} - {c_x}} \right)/{f_x} \hfill \\ {y'_i} = \left( {{y_i} - {c_y}} \right)/{f_y} \hfill \\ \end{gathered} \right. $$ (3) (2)构建物方平面与像平面之间的单应性矩阵。令控制点
$ {M_i} $ 在光笔坐标系的齐次坐标为$ {M'_i} = {\left[ {{X_i},{Y_i},0,1} \right]^{\rm{T}}} $ ,则有$$ \lambda {m'_i} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{R}}_{PC}}}&{{{\boldsymbol{T}}_{PC}}} \end{array}} \right]{M'_i} $$ (4) 其中:
$ \lambda $ 为非零的比例系数。将旋转矩阵$ {{\boldsymbol{R}}_{PC}} $ 的第$ i $ 列元素表示${{r}_i}$ ,则式(4)演变为$$ \begin{split} & \lambda \left[ {\begin{array}{*{20}{c}} {{x'_i}} \\ {{y'_i}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{{r}_1}}&{{{r}_2}}&{{{r}_3}}&{{{\boldsymbol{T}}_{PC}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_i}} \\ {{Y_i}} \\ 0 \\ 1 \end{array}} \right] \hfill \\ & \begin{array}{*{20}{c}} {}&{}&{} \end{array} = \left[ {\begin{array}{*{20}{c}} {{{r}_1}}&{{{r}_2}}&{{{T}_{PC}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_i}} \\ {{Y_i}} \\ 1 \end{array}} \right] \hfill \\ \end{split} $$ (5) 令
$ {\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{{{r}}_1}}&{{{{r}}_2}}&{{{\boldsymbol{T}}_{PC}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{h_{11}}}&{{h_{12}}}&{{h_{13}}} \\ {{h_{21}}}&{{h_{22}}}&{{h_{23}}} \\ {{h_{31}}}&{{h_{32}}}&{{h_{33}}} \end{array}} \right] $ ,则$ {\boldsymbol{H}} $ 即为物方平面与像平面之间的单应性矩阵,它隐含了光笔坐标系与摄像机坐标系之间的转换关系。将$ {\boldsymbol{H}} $ 矩阵的分解表达式代入式(5),一组对应点$ {M_i} $ 和$ {m_i} $ 可以写出关于$ {\boldsymbol{H}} $ 的两个线性方程,即$$ \left\{ \begin{gathered} {x'_i}\left( {{h_{31}}{X_i}{\text{ + }}{h_{32}}{Y_i}{\text{ + }}{h_{33}}} \right) = {h_{11}}{X_i}{\text{ + }}{h_{12}}{Y_i}{\text{ + }}{h_{13}} \hfill \\ {y'_i}\left( {{h_{31}}{X_i}{\text{ + }}{h_{32}}{Y_i}{\text{ + }}{h_{33}}} \right) = {h_{21}}{X_i}{\text{ + }}{h_{22}}{Y_i}{\text{ + }}{h_{23}} \hfill \\ \end{gathered} \right. $$ (6) $ n $ 组对应点列写出$ 2n $ 个线性方程,构建目标函数,采用Levenberg-Marquardt(LM)算法进行非线性优化求解,最终获得$ {\boldsymbol{H}} $ 的最佳近似解。(3)确定
$ {{\boldsymbol{R}}_{PC}} $ 和$ {{\boldsymbol{T}}_{PC}} $ 的近似解。将单应性矩阵以三个列向量的形式表达,即$ {\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{{{h}}_1}}&{{{{h}}_2}}&{{{{h}}_3}} \end{array}} \right] $ ,则旋转矩阵$ {{\boldsymbol{R}}_{PC}} $ 的列向量和平移矢量$ {{\boldsymbol{T}}_{PC}} $ 的计算公式为:$$ \left\{ \begin{gathered} {{{r}}_1} = {{{h}}_1}/\left| {{{{h}}_1}} \right| \hfill \\ {{{r}}_2} = \left( {{{{h}}_2} - \left( {{{{h}}_1}^T{{{h}}_2}} \right) * {{{h}}_1}} \right)/\left| {{{{h}}_2} - \left( {{{{h}}_1}^T{{{h}}_2}} \right) * {{{h}}_1}} \right| \hfill \\ {{{r}}_3} = {{{r}}_1} \times {{{r}}_2} \hfill \\ {{\boldsymbol{T}}_{PC}} = {{{h}}_3} \hfill \\ \end{gathered} \right. $$ (7) 其中:“
$ \left| {} \right| $ ”代表向量的模,“$ \times $ ”代表向量的叉积。(4)确定
$ {{\boldsymbol{R}}_{PC}} $ 和$ {{\boldsymbol{T}}_{PC}} $ 的最优解。构造如下的目标函数$$ {\sum\limits_{i = 1}^n {\left\| {{m_i} - \hat m\left( {{\boldsymbol{K}},{{\boldsymbol{R}}_{PC}},{{\boldsymbol{T}}_{PC}},{M_i}} \right)} \right\|} ^2} $$ (8) $ \hat m\left( {{\boldsymbol{K}},{{\boldsymbol{R}}_{PC}},{{\boldsymbol{T}}_{PC}},{M_i}} \right) $ 是物方平面控制点$ {M_i} $ 依据近似的$ {{\boldsymbol{R}}_{PC}} $ 、$ {{\boldsymbol{T}}_{PC}} $ 和摄像机内参数矩阵$ {\boldsymbol{K}} $ 在像平面的重投影像素坐标,$ {m_i} $ 则是实际提取的像素坐标。式(7)是一个非线性最小化问题,代入$ {{\boldsymbol{R}}_{PC}} $ 和$ {{\boldsymbol{T}}_{PC}} $ 的近似解,再利用LM算法获得它们的最优解。4. 实验
4.1 精度评价实验
本文选取高精度的光栅尺评价光笔式视觉测量系统的测量精度,光栅尺在1.0 m的行程范围内测量误差优于5 μm。实验设备包括已标定的摄像机(尼康D3200)、光笔、光栅尺(动尺和定尺)以及数显表。
如图6所示,光栅尺动尺初始位置在最右侧,将数显表调零,然后让动尺向左移动一定距离,并由数显表读出,作为位移基准值。动尺顶部开有锥孔,在其移动的起点和终点,光笔分别探测锥孔尖端,以确保接触到同一点,同时由位置固定的摄像机拍摄两张像片,依据本文前述理论获得锥尖移动前后的两个三维坐标,进而计算出动尺的位移,作为光笔式视觉测量系统的测量值。实验共选择了3个基准值,针对每个基准值均测量5次,测量结果如表1所示。
测量次序 基准$ {d_1} = 200.024 $ mm 基准$ {d_2} = 400.060 $ mm 基准$ {d_3} = 600.150 $ mm 测量值 误差 测量值 误差 测量值 误差 1 200.008 −0.016 400.093 0.033 600.141 −0.009 2 200.038 0.014 400.089 0.029 600.165 0.015 3 200.018 −0.006 400.045 −0.015 600.119 −0.031 4 200.039 0.015 400.096 0.036 600.211 0.061 5 200.045 0.021 400.049 −0.011 600.195 0.045 绝对均值 200.031 0.015 400.074 0.025 600.166 0.032 实验中,摄像机距离光栅尺约1.8 m,视场范围约2 000 mm×1 500 mm。表中数据表明,在上述视场范围内,系统的相对测量精度约为0.05 mm/1.0 m,能够满足一般工业产品在加工制造过程中的几何精度要求。
影响该系统测量精度的主要因素包括:摄像机标定的精度、光笔标定的精度和图像处理过程中角点像素坐标的提取精度。通过选择尺寸更加精确的标定板,增加像片的拍摄数量等措施,进一步提高摄像机标定和光笔标定的精度。利用Harris角点检测算法(精度0.03像素)可获得光笔中定向棋盘格角点的精确像素坐标[11]。另外,还要保证测量环境具有足够的光照强度,以便获得清晰的光笔像片。若环境光线较暗,可在摄像机的闪光模式下拍摄。
4.2 测量实验
实验设备包括直径约为280 mm的大尺寸金属球、摄像机(尼康D3200)和光笔。摄像机固定于三脚架上,金属球固定于工作台,二者距离约为1.5 m。如图7所示,手持光笔依次探测球的顶部和前后左右等区域,每接触一点,摄像机拍摄一幅像片,经图像处理后,计算出被测点在摄像机坐标系下的三维坐标。
实验共提取金属球表面的160个测点,并由这些点生成最小二乘拟合球,如图8所示。具体数据如下:拟合球的球心坐标为(−32.632 mm,88.427 mm,1171.249 mm),球半径为R = 140.047 mm,被测点到球心的球半径变化区间为[139.346 mm,141.275 mm],则金属球的球径误差为1.929 mm。
5. 结语
为了实现大尺寸球形件的球径、球度误差测量,设计了一种光笔式视觉测量系统。其中的光笔设计成点接触形式,避免了球形测头的半径补偿误差,并利用近景摄影测量方法完成光笔标定。提出了利用物方平面与像平面的单应性矩阵构建光笔坐标系与摄像机坐标系之间位姿关系的方法。基于光栅尺的精度评价实验表明,系统的相对测量精度为0.05 mm/1.0 m。同时,针对大尺寸金属球实现了球径和球度误差测量。
-
表 1 精度评价实验的结果
测量次序 基准$ {d_1} = 200.024 $ mm 基准$ {d_2} = 400.060 $ mm 基准$ {d_3} = 600.150 $ mm 测量值 误差 测量值 误差 测量值 误差 1 200.008 −0.016 400.093 0.033 600.141 −0.009 2 200.038 0.014 400.089 0.029 600.165 0.015 3 200.018 −0.006 400.045 −0.015 600.119 −0.031 4 200.039 0.015 400.096 0.036 600.211 0.061 5 200.045 0.021 400.049 −0.011 600.195 0.045 绝对均值 200.031 0.015 400.074 0.025 600.166 0.032 -
[1] 刘悦阳, 杨海生, 苏冰, 等. 航空发动机双列角接触球轴承摩擦功耗仿真分析[J]. 机械传动, 2021, 45(2): 129-135. [2] 张成兴. 球面磨削方式和球面磨削机床探讨[J]. 制造技术与机床, 2013(5): 77-79. DOI: 10.3969/j.issn.1005-2402.2013.05.026 [3] 仇文军. 基于球面电容传感器的精密球铰链关节间隙测量方法研究[D]. 杭州: 杭州电子科技大学, 2020. [4] 李振林, 张海峰, 郝一博, 等. 天然气管道球阀内漏发声机理及检测试验[J]. 振动. 测试与诊断, 2017, 37(3): 525-531,630. [5] 王新勇. 长输天然气管道大口径球阀内漏故障及检测方法分析[J]. 中国石油和化工标准与质量, 2019, 39(13): 58-59. DOI: 10.3969/j.issn.1673-4076.2019.13.028 [6] 王波, 赵转萍, 龚醒. 基于Matlab的大型球面模胎质量控制研究[J]. 机电工程, 2015, 32(3): 358-361. [7] 杨恒亮, 屠大维, 赵其杰. 基于三坐标测量机的大口径球面拟合测量方法[J]. 工具技术, 2007(12): 78-81. DOI: 10.3969/j.issn.1000-7008.2007.12.023 [8] 曾汉平, 王凤伟, 张辉. 球径和球度误差气动测量新方法[J]. 计测技术, 2010, 30(3): 32-33. DOI: 10.3969/j.issn.1674-5795.2010.03.010 [9] 黄桂平. 数字近景工业摄影测量关键技术研究与应用[D]. 天津: 天津大学, 2005. [10] 李云雷, 蒋灵搏. 基于近景工业摄影的三维视觉测量[J]. 制造业自动化, 2015, 37(3): 45-48. [11] Harris C J. A combined corner and edge detector[J]. Proc Alvey Vision Conf, 1988, 1988(3): 147-151.