Research on automatic alignment and focusing of tool damage visual detection system
-
摘要:
为解决数控机床刀具无拆卸条件下，基于机械臂的刀具损伤视觉检测系统对准对焦调节耗时长、计算分析方法鲁棒性差等难题，提出了一种融合YOLOv5网络智能感兴趣区域（region of interest, ROI）的机器人视觉系统自动对准对焦方法。首先，利用ROI模型检测并定位刀具中心，通过九点标定法计算机械臂末端对准坐标；然后自适应筛选ROI对焦窗口，采用改进的Laplacian函数计算清晰度评价值以确定最佳刀具图像。在实际设备上开展实验后结果表明，所提方法比一般方法灵敏度至少提高1.63倍，平均中心点误差为3.76像素，有效提升了刀具损伤视觉检测系统的准确度和灵活性。
Abstract:Under the condition of no disassembly of CNC machine tools, to address the challenges of time-consuming alignment and focusing adjustment in the tool damage visual detection system based on robotic arm, along with poor robustness of the calculation analysis method, an automatic alignment and focusing method for a robot vision system that integrates the YOLOv5 network for intelligent region of interest (ROI) fusion is proposed. Firstly, the ROI model is utilized to detect and locate the center of the tool, and the coordinates for the end effector of the robotic arm are calculated using the nine-point calibration method. Subsequently, an adaptive selection of the ROI focusing window is performed, and an improved Laplacian function is employed to compute the sharpness evaluation value for determining the best tool image. Experimental results conducted on actual equipment demonstrate that the proposed method enhances sensitivity by at least 1.63 times compared to conventional methods, with an average center point error of 3.76 pixels, effectively improving the accuracy and flexibility of the tool damage visual detection system.
-
Keywords:
- tool damage /
- visual inspection /
- autofocus /
- automatic alignment /
- robotic arm
-
高端数控机床是切削制造业的核心加工设备，而刀具是机械切削加工的直接执行者，不可避免会出现磨损，刀具磨损对产品加工质量和效率具有重要影响[1]。目前，刀具状态检测方法主要分为直接法和间接法[2]。间接法主要为切削力法、振动法和声波发射法等，但这些方法依靠传感器和信号处理，易受噪声干扰，可靠性不高；直接法主要有射线测量法、电阻测量法、机器视觉测量法等[3]。基于机器视觉的直接检测法可直接聚焦刀刃损伤视觉图像进行定量分析，检测目标直接、精度高、可靠性强[4]，为刀具健康管理与寿命预测提供有效手段。
目前，国内外学者展开了对刀具损伤视觉检测系统的广泛研究。叶祖坤等[5]提出在机视觉检测铣刀磨损状态方法但该方法需要对现有机床改造，并手动调整被测刀具位置以获取清晰完整刀具图像。Pan Y等[6]使用在线和离线刀具图像采集视觉系统，建立了硬质合金铣刀图像数据集（NJUST-CCTD），进而训练深度学习模型对刀具状态分类，但所述视觉系统没有考虑自动对准对焦功能，在前处理阶段效率低且图像质量依赖于主观性判断。王冲冲[7]提出运用机械手夹持视觉系统移动到指定位置并通过自动对焦获得最佳图像的方法，实现了刀具在位检测，但该方法速度和准确性不足，且没有考虑刀具中心对准以及机床主轴与装夹刀具之间多景深问题。余厚云等[8]提出了一种基于图像灰度分布的相机位姿自动校准方法，但该方法适用的被测对象仅限制于圆形零件。
上述文献所提刀具视觉检测系统存在局限性：（1）视觉系统位姿无法自适应校准，依赖于手动调整距离，灵活性差、耗时长、不利于自动化；（2）缺乏对自动对准的研究，忽视了刀具中心偏离视野中心带来图像畸变问题；（3）所述对准对焦方法基于传统机器视觉，只能针对形状规则的检测对象，难以适应多景深工业场景下高质量视觉图像获取的需求。
针对上述问题，本文提出了一种融合YOLOv5网络智能感兴趣区域的机器人视觉系统自动对准对焦方法。该方法智能检测并定位刀具中心，通过九点标定法计算出六自由度机器人末端对准坐标，位姿对准后采用改进的Laplacian函数即Laplacian-ROI自动对焦算法确定最佳刀具图像和对焦位姿。最终以数控机床为平台，在基于机械臂的刀具损伤视觉检测系统上验证了本方法的可行性和效率，为智能生产线上刀具巡检灵活性差等问题提供解决方案。
1. YOLOv5目标检测算法
目标检测是计算机视觉领域的研究热点，其目的是识别图像目标并定位。刀具中心定位依赖于目标检测算法，因此，在多景深图像中可框选出ROI区域即刀具的窗口检测模型至关重要。如图1所示，单阶段目标检测算法YOLOv5是YOLO[9−11]系列目标检测模型的第5个版本，由Ultralytics团队开发，可直接对图像进行计算生成检测结果，检测速度快，适用于实时视频分析、工业质检等领域，在资源有限的应用中具有较大优势。
2. 基于YOLOv5和ROI取窗的自动对准对焦方法
针对现有刀具损伤在机视觉检测系统需采用传统清晰度评价以及手动调参方法以实现对准对焦，造成耗时长、鲁棒性差等难题，本文提出一种融合YOLOv5网络智能ROI取窗的自动对准对焦方法，具体流程如图2所示。
首先，机械臂到达检测位点后，调整至采集图像的初始位姿，同时为防止运动轨迹与机床产生干涉，使刀具进入视野。对系统初始化设置，重构图像大小为
1440 ×960，图像流容器$ {{\bf{f}}} = \{ {f_1},{f_2}, \cdots ,{f_n}\} $，其中n为总帧数。机械臂末端位姿数据容器$ {{\bf{p}}} = \{ {p_1},{p_2}, \cdots ,{p_n}\} $，索引i满足$ 1 \leqslant i \leqslant n $，最佳帧为初始帧，最佳帧索引初始化为1，最佳帧评分初始化为0。然后，采用九点标定法确定刀具中心在二维平面相机坐标系与机器人基座坐标系的位置关系[12]。刀具中心按照特定的九点分布进行位置标定。通过ROI检测模型确定中心点位置后，机械臂末端从1点～9点沿逆时针方向等距离L移动。获取9组特征点在像素坐标系下坐标和对应机械臂末端坐标，建立9组点方程式（1），运用最小二乘法对未知数优化，解算像素坐标系到机械臂坐标系下的仿射变换。
$$ \sum _{i}{\left\| { \left(\begin{array}{c}{{\bf{F}}}_{x}[i]\\ {{\bf{F}}}_{y}[i]\\ 1\end{array}\right)-{\boldsymbol{H}}\cdot \left(\begin{array}{c}{{\bf{E}}}_{x}[i]\\ {{\bf{E}}}_{y}[i]\\ 1\end{array}\right)} \right\| }^{2}=\text{Minium} $$ (1) 式中：$ {\mathbf{E}}_{x} $和$ {\mathbf{E}}_{y} $为刀具中心像素点集合；$ {\mathbf{F}}_{x} $和$ {\mathbf{F}}_{y} $为机器人末端点二维坐标集合；${\boldsymbol{H}} $为优化得出的仿射矩阵。
$$ {\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{h_{11}}}&{{h_{12}}}&{{h_{13}}} \\ {{h_{21}}}&{{h_{22}}}&{{h_{23}}} \\ 1&1&1 \end{array}} \right] $$ (2) 若画幅高度和宽度分别为A、B，进一步计算对准二维坐标为((Bh11+Ah12+h13)/2, (Bh21+Ah22+h23)/2)。
最后，位姿对准后，机械臂在初始和极限高度范围内沿机床主轴方向移动，同时读取并存储图像和位姿信息。自动对焦流程如图3所示，对图像流进行重构、统计帧等预处理后，采用Laplacian-ROI算法计算当前帧清晰度评价值。该算法自适应选取ROI窗口，将刀具预测框内窗口灰度值作为ROI(x, y)输入，再与Laplace算子做卷积运算得到梯度值，取各像素点的梯度平方和作为清晰度评价值$F $。即
$$ F=\sum\limits_x^{ }\sum\limits_y^{ }\left[ROI(x,y)\otimes{{{\boldsymbol{L}}}}\right]^2 $$ (3) 式中：L为Laplace算子，$ {\boldsymbol{L}} = \left[ {\begin{array}{*{20}{c}} 0&1&0 \\ 1&{ - 4}&1 \\ 0&1&0 \end{array}} \right] $。
采用贪婪搜索法确定全局最优解。将连续序列帧清晰度评价值进行比较，若满足当前帧评价值大于历史最大评价值，则系统更新最佳帧索引号。当遍历的帧索引最大时，搜索直接结束，读取最佳帧索引原图并提取ROI区域，机械臂移动至最佳位姿，完成自动对准对焦。
3. 实验验证与分析
3.1 实验设备
为验证所述自动对准对焦方法的有效性，在科德数控机床上进行了刀具中心自动对准和自动对焦等相关实验。实验视觉检测系统包括工业相机、工业镜头和六自由度机械臂。工业相机选用海康MV-CS200-10GM二代工业面阵相机，镜头为海康MVL-KF3524M-25MP工业相机镜头，采用Jaka ZU Pro 16型六自由度协作机械臂。自动对准对焦算法由C++语言编写，机械臂运动二次开发控制采用JAKA公司机械臂运动函数接口。ROI检测模型的搭建和训练在Windows操作系统的Pytorch1.13.0深度学习框架上进行，编程语言为Python 3.8.18，CPU为Intel Core i9-12900H，GPU为NVIDIA GeForce RTX 3060，如图4所示。
3.2 ROI检测模型训练
模型训练前，采集500张铣削刀具图像作为数据集，包括刀具清晰且完整、模糊、欠焦和过焦等不同情况图像。进行翻转、旋转等方式使数据增强后，按照9∶1比例划分为训练集和验证（测试）集。训练参数迭代次数为300次，批处理大小为16。
训练结果显示，均值平均精度（mean average precision, mAP）达到了99.74%，而模型大小仅为13.6 MB。如图5所示，当刀具边刃呈现完整、成像模糊或未捕获到部分边刃时，模型皆能成功检测刀具，置信度在0.7以上，模型泛化性能佳。图5方框中央的点表示刀具中心，同时整个画幅中心也在图片正中显示。
3.3 清晰度评价方法对比实验
清晰度评价函数原理是依据图像中灰度特征或高频分量等计算出图像的清晰度评价值，常用算法主要为Laplacian、Brenner、Tenengrad、Variance方差、EOG和DCT函数6种[13−14]。实验前，以5 mm为移动步长采集8 mm直径铣刀和16 mm直径铣刀两组序列图像集，各序列含21张图像，其索引号越大表示物距越小。在数控加工场景下，机床主轴和装夹刀具之间产生多景深，移动镜头时，背景和刀具底刃都有各自最清晰的成像位置。如图6所示，索引为1帧时刀具与背景皆模糊；第11帧刀具成像清晰；21帧背景成像清晰。因此多景深干扰将导致清晰度评价函数难以准确判断出刀具的最佳帧。针对该问题，传统的方法是采用对焦窗口选择法如中央取窗法等来静态筛选评价区域，但这些方法没有考虑目标物动态位置而直接取窗，鲁棒性差，难以适应多景深复杂场景。本文将所提方法与上述清晰度评价函数以及中央取窗法、无取窗进行对比。
图7所示为两组序列的归一化清晰度评价曲线，其中8、16 mm序列中刀具清晰图像对应索引分别为12、11，而背景清晰索引分别为19、21。8 mm序列的无取窗和中央取窗中除DCT和Variance方差函数外其他函数曲线都明显呈现单个峰值，但由于背景信息干扰过大，这些函数将刀具清晰位置误判为第19帧，这一帧其实是背景达到最清晰时的图像。经过本文方法后，除DCT函数外其他函数都准确将刀具清晰位置作为峰值点，且函数曲线形态更加尖锐。其中改进后的Laplacian函数在索引为12时出现显著的极大值且两侧曲率陡峭，在索引为19时评价值相对最小，表现对背景信息的过滤能力最强。16 mm序列无取窗曲线中所有函数都在背景清晰位置出现最值，经过中央取窗法后，这种情况并没有显著改善。而通过本文方法计算后，EOG函数将第12帧误判为最清晰帧，DCT函数没有单个峰值，其他4种函数在刀具清晰位置处形成峰值，在背景清晰处函数值明显减小，且改进后的Laplacian函数曲线最尖锐，弱化背景效果最明显。
为综合评价函数性能，本文选取了单峰性、准焦率P、单帧处理时间T、清晰度比率R和灵敏度F这5种评价指标[15−17]，见表1。
表 1 评价指标窗口方法 准焦率/（%） 单峰性 单帧处理
时间/ms清晰度
比率灵敏度 Laplacian 68.16 — 52.48 8.34 2.189 6 Laplacian-C 94.86 × 46.76 12.91 2.039 0 Laplacian-ROI 100 √ 23.95 38.38 5.759 8 Tenengrad 38.82 — 66.95 19.73 0.825 2 Tenengrad-C 54.75 — 49.33 14.83 0.552 3 Tenengrad-ROI 100 — 23.61 7.34 0.527 9 Variance 69.86 × 2 029.81 1.50 0.044 3 Variance-C 98.68 × 791.48 1.13 0.004 2 Variance-ROI 100 × 275.71 1.36 0.009 2 Brenner 44.98 — 607.29 19.79 0.920 6 Brenner-C 71.48 — 260.29 14.12 0.628 9 Brenner-ROI 100 — 92.34 19.52 0.717 0 EOG 37.41 × 2 675.14 1 357.02 1.139 2 EOG-C 37.40 × 1 038.37 1 411.15 1.139 3 EOG-ROI 41.14 √ 344.39 1 879.96 0.969 3 DCT 89.56 × 51.29 1.13 0.004 8 DCT-C 86.61 × 48.24 1.18 0.002 9 DCT-ROI 73.62 × 23.21 1.96 0.004 8 单峰性指图像序列仅有单个峰值，以“√”表示性能优秀，“—” 表示性能良好，“×”表示性能一般。理想的图像清晰度评价曲线呈现单峰或单谷性，并在极值两侧逐渐递减或递增。单帧处理时间最能反映实时性。使用算法耗时来评价函数的计算复杂度，取多次评价单帧图像花费时间的平均值作为算法耗时，性能越好的清晰度评价函数耗时越短。准焦率表示函数准确将最佳清晰图像计算为峰值图像的概率。清晰度比率R用以表征函数区分准焦—离焦图像的能力，见式（4）。灵敏度表征函数F在准焦位置附近变化的剧烈程度，见式（5），灵敏度越高则说明函数能胜任更精细的对焦，在接近最佳位置时评价值变化显著。
$$ R = \frac{{{F_{\max }}}}{{{F_{\min }}}} $$ (4) $$ F = \left\{ {\begin{array}{*{20}{l}} {\dfrac{{{F_{\max }} - F({{\textit{z}}_{\max }} + \varepsilon )}}{{2F({{\textit{z}}_{\max }} + \varepsilon )}} + \dfrac{{{F_{\max }} - F({{\textit{z}}_{\max }} - \varepsilon )}}{{2F({{\textit{z}}_{\max }} - \varepsilon )}},\;\;0 < {{\textit{z}}_{\max }} < n} \\ {\dfrac{{{F_{\max }} - F({{\textit{z}}_{\max }} + \varepsilon )}}{{F({{\textit{z}}_{\max }} + \varepsilon )}},\;\;{{\textit{z}}_{\max }} = 0} \\ {\dfrac{{{F_{\max }} - F({{\textit{z}}_{\max }} - \varepsilon )}}{{F({{\textit{z}}_{\max }} - \varepsilon )}},\;\;{{\textit{z}}_{\max }} = n} \end{array}} \right. $$ (5) 式中： $ {F}_{\mathrm{m}\mathrm{a}\mathrm{x}} $、$ {F}_{\mathrm{m}\mathrm{i}\mathrm{n}} $分别为图像序列中评价最大值、最小值；$ {\textit{z}}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为评价最大值的横坐标；ε为横坐标变化值，本文设置ε = 1；n为图像序列最大索引。
Laplacian等表示无取窗后的函数曲线，Laplacian-C等表示中央取窗法，Laplacian-ROI等表示本文改进后的方法。分析表1给出的评价指标情况可知，经本文方法后，各评价函数在准焦率、单峰性等方面显著提升，单帧处理时间大幅减小。从整体上看，Laplacian-ROI即改进的Laplacian算法单帧计算时间低至23.95 ms，且视觉检测灵敏度至少提高1.63倍，单峰性优异，处理速度快，对于评价清晰度更加灵敏和有效，更适用于多景深刀具状态视觉检测清晰度评价系统。
3.4 自动对准对焦实验
分别选择45°平底四刃及三刃钨钢铣刀的6、8 mm等6种不同直径刀具，每种开展5次重复实验，在安全工作距离范围内进行自动对准对焦，同时加入人工对准对焦实例。根据工业相机客户端实时展示的图像判断刀具像质以及中心位置，并采用示教器手动模式调整机械臂。当更换不同直径铣刀后，系统需要重新校准位姿。记录每次实验后的刀具中心点像素坐标、清晰度评价值以及所用时间，并求解平均值，结果见表2。同时以像素坐标计算中心点误差来表示机械臂运动完成后刀具中心点与像素中心点(720, 480)的直线像素距离。
表 2 自动对准对焦实验结果刀具直径/mm 方法 中心点误差/像素 清晰度评价值 时间/s 6 人工 39.22 45.61 45.66 本文 4.47 56.11 5.43 8 人工 50.50 46.51 35.50 本文 1.58 49.54 7.45 10 人工 75.41 58.44 31.24 本文 4.53 60.17 9.97 12 人工 26.57 48.87 40.65 本文 6.02 53.78 8.29 16 人工 23.77 43.12 43.95 本文 2.12 83.62 8.33 20 人工 97.14 34.35 39.42 本文 3.81 42.50 7.99 平均 人工 52.10 46.51 39.40 本文 3.76 57.62 7.91 ROI提取如图8所示，视觉系统完成自动对准对焦后，提取ROI图像，刀具磨损、破损形貌清晰可见，可有效抑制背景信息干扰。实验与人工相比，整个自动对准对焦平均时间缩短31.49 s，评价值提高19.9%，平均中心点误差仅为3.76像素。表明本文方法实现了刀具损伤图像的清晰准确采集，显著提升了刀具损伤视觉检测系统的效率和灵活性。
4. 结语
为实现高质量刀具损伤图像高效获取，本文提出了一种面向刀具损伤检测的机器人视觉系统自动对准对焦方法，该方法融合YOLOv5网络智能感兴趣区域并结合九点标定法，实现刀具中心准确定位与自动对准。随后，采用改进的Laplacian图像清晰度评价函数，以优化自动对焦算法。最终，利用六自由度机械臂和C++二次开发SDK，结合图像识别与深度学习技术，在数控机床平台上进行了实验验证。
实验结果显示，本文提出的自动对准对焦方法灵敏度至少提高1.63倍，平均中心点误差仅为3.76像素。相较于传统方法，该方法具有更高的实时性和准确性，适用于工业视觉检测的多景深复杂场景，提高了刀具损伤视觉检测的灵活性和效率，增强了生产线刀具状态监测的自动化程度。
-
表 1 评价指标
窗口方法 准焦率/（%） 单峰性 单帧处理
时间/ms清晰度
比率灵敏度 Laplacian 68.16 — 52.48 8.34 2.189 6 Laplacian-C 94.86 × 46.76 12.91 2.039 0 Laplacian-ROI 100 √ 23.95 38.38 5.759 8 Tenengrad 38.82 — 66.95 19.73 0.825 2 Tenengrad-C 54.75 — 49.33 14.83 0.552 3 Tenengrad-ROI 100 — 23.61 7.34 0.527 9 Variance 69.86 × 2 029.81 1.50 0.044 3 Variance-C 98.68 × 791.48 1.13 0.004 2 Variance-ROI 100 × 275.71 1.36 0.009 2 Brenner 44.98 — 607.29 19.79 0.920 6 Brenner-C 71.48 — 260.29 14.12 0.628 9 Brenner-ROI 100 — 92.34 19.52 0.717 0 EOG 37.41 × 2 675.14 1 357.02 1.139 2 EOG-C 37.40 × 1 038.37 1 411.15 1.139 3 EOG-ROI 41.14 √ 344.39 1 879.96 0.969 3 DCT 89.56 × 51.29 1.13 0.004 8 DCT-C 86.61 × 48.24 1.18 0.002 9 DCT-ROI 73.62 × 23.21 1.96 0.004 8 
下载: 导出CSV
表 2 自动对准对焦实验结果
刀具直径/mm 方法 中心点误差/像素 清晰度评价值 时间/s 6 人工 39.22 45.61 45.66 本文 4.47 56.11 5.43 8 人工 50.50 46.51 35.50 本文 1.58 49.54 7.45 10 人工 75.41 58.44 31.24 本文 4.53 60.17 9.97 12 人工 26.57 48.87 40.65 本文 6.02 53.78 8.29 16 人工 23.77 43.12 43.95 本文 2.12 83.62 8.33 20 人工 97.14 34.35 39.42 本文 3.81 42.50 7.99 平均 人工 52.10 46.51 39.40 本文 3.76 57.62 7.91
下载: 导出CSV
-
[1] He J L,Sun Y X,Yin C,et al. Cross-domain adaptation network based on attention mechanism for tool wear prediction[J]. Journal of Intelligent Manufacturing,2023,34(8):3365-3387. DOI: 10.1007/s10845-022-02005-z
[2] 田崇顺,胥实现,李国超,等. 基于CMOS图像传感器的铣刀侧刃磨损检测误差自补偿方法研究[J]. 制造技术与机床,2023(10):104-110. [3] 崔春蕾. 基于超分辨率的微细铣削刀具磨损状态机器视觉检测方法研究[D]. 合肥:中国科学技术大学,2024. [4] 熊哲,闵丞志,徐国达,等. 移动式刀具失效巡检系统[J]. 制造技术与机床,2023(6):146-151. [5] 叶祖坤,周军,秦超峰,等. 采用切削刃重构的刀具磨损视觉检测方法[J]. 西安交通大学学报,2022,56(11):11-20. DOI: 10.7652/xjtuxb202211002 [6] Pan Y,Xu G D,Xiong Z,et al. NJUST-CCTD:an image database for milling tool wear classification with deep learning[J]. The International Journal of Advanced Manufacturing Technology,2023,127(7):3681-3698.
[7] 王冲冲. 基于高精度计算机视觉的刀具磨损在位检测[D]. 上海:东华大学,2014. [8] 余厚云,王慧青,张辉,等. 产品表面质量视觉检测中的相机位姿自动校准[J]. 东南大学学报(自然科学版),2020,50(5):942-949. [9] Gu W C,Sun K X. AYOLOv5:improved YOLOv5 based on attention mechanism for blood cell detection[J]. Biomedical Signal Processing and Control,2024,88:105034. DOI: 10.1016/j.bspc.2023.105034
[10] Mahaur B,Mishra K K. Small-object detection based on YOLOv5 in autonomous driving systems[J]. Pattern Recognition Letters,2023,168:115-122. DOI: 10.1016/j.patrec.2023.03.009
[11] 申光鹏,苗鸿宾,余浪,等. 基于深度学习的目标识别与抓取研究[J]. 制造技术与机床,2024(2):85-90,98. [12] 白富瑞. 基于视觉的手术针包装卡识别与分拣装配系统研究[D]. 济南:山东大学,2024. [13] Yazdanfar S,Kenny K B,Tasimi K,et al. Simple and robust image-based autofocusing for digital microscopy[J]. Optics Express,2008,16(12):8670-8677. DOI: 10.1364/OE.16.008670
[14] Yang C P,Chen M H,Zhou F F,et al. Accurate and rapid auto-focus methods based on image quality assessment for telescope observation[J]. Applied Sciences,2020,10(2):10020658.
[15] 汪路涵,巩岩,张艳微,等. 人眼自动对焦及瞳孔中心自动对准系统[J]. 光学学报,2023,43(5):118-126. [16] 翟永平,周东翔,刘云辉,等. 聚焦函数性能评价指标设计及最优函数选取[J]. 光学学报,2011,31(4):242-252. [17] 梁路瑶,赵晓云,赵金泉. 一种基于U-NET多景深图片目标物定位自动聚焦算法[J]. 强激光与粒子束,2022,34(12):161-170.
计量
- 文章访问数: 50
- HTML全文浏览量: 7
- PDF下载量: 16
