易焕银

摘要：为了解决产品制造企业对r型销的间隙测量难度大、效率低的问题，本文提出了一种基于机器视觉的r型销间隙测量方法，介绍了测量方法的整体结构，首先利用连通域分析进行图像预处理并提取对象边沿，然后利用hough变换检测外边沿直线并分区搜索两个较宽间隙端点的大致位置，再利用最小二乘法拟合得到内边沿直线并获取各间隙拐点的准确位置，最后搜索各间隙的另一端点并计算出各间隙的宽度。实验表明，此方法自动适应被测对象型号、位置和角度的变化，用c++实现的该算法平均运行时间约为50 ms。在5个对象各100次随机摆放的重复性测量实验中，窄、中、宽三間隙的最大绝对误差分别为0.038 mm、0.059 mm和0.071 mm，最大相对误差分别为3.360%、1.059%和0.670%，满足企业实际应用的需要。

关键词：机器视觉r型销间隙测量霍夫变换最小二乘法

中图分类号： tp391.4 文献标志码： a

r-pin gap measurement method d on machine vision

yi huanyin

（guangdong communication polytechnic， guangzhou， guangdong province， 510800 china）

abstract： in order to solve the problem of high difficulty and low efficiency in the gap measurement of r-pins by manufacturers， a method for measuring the gap of r-pins d on machine vision is proposed. the overall structure of the measurement method is introduced. firstly， connected component analysis is used to preprocess the image and the edge of the is extracted. then， the hough transform is used to detect the outer edge line and partitioned search for the approximate positions of the two wide gap endpoints. after that， least square method is used to fit the inner edge straight line and obtain the accurate position of the inflection point of each gap. finally， the other endpoints of each gap is searched and the width of each gap is calculated. experiments show that the method automatically adapts to changes in the model， position and angle of the measured . the average running time of the algorithm implemented in c++ is about 50 ms. in the repeatability measurement experiment with 5 s each placed 100 times randomly， the maximum absolute errors of the narrow， medium， and wide gaps are 0.038 mm， 0.059 mm and 0.071 mm， and the maximum relative errors are 3.360%， 1.059% and 0.670% respectively， meeting the actual application needs of enterprises.

key words： machine vision; r-pin; gap measurement; hough transform; least square method

r型销，又称b型开口销或弹簧销，作为一种限位类零件，因其锁紧程度高，在汽车、铁路、机械、电力等行业应用广泛[1]。由于r型销的间隙大小对装配后产品整体的可靠性和运行性能有重要影响，因此生产企业要求在装配前检测其间隙值是否在工艺要求的范围内。而产品或零部件的间隙测量一直是工业测量的痛点问题，人工测量r型销间隙的方法效率过低、可重复性精度不高。

关于开口销的视觉检测方法，相关文献[2-6]基于深度学习和传统图像处理技术，提出了多种应用场景下的开口销缺失、松脱等各类缺陷的视觉检测方法。马官兵等人[7]搭建了一套水下核电厂堆内构件的控制棒导向筒开口销的超声检测系统。而关于间隙的工业测量方法，张鹏贤等人[8]提出了一种基于激光的管道焊口间隙的视觉检测方法，路亚缇、陈健等人[9-10]提出了基于opencv的盾尾间隙视觉测量系统，张智森等人[11]设计了一种测量柱塞组件轴向间隙的夹具。

为了解决制造企业检测r型销的各间隙难度大、效率低的问题，本文提出了一种基于机器视觉的对r型销的各间隙进行快速、无接触的测量方法，实现了对不同型号和位置随机摆放的对象的自动识别与间隙测量。经过实验验证，此方法在速度和精度方面都达到了企业实际应用的要求。

1 ?方法设计

图1（a）为典型的r型销，图1（b）中的h1、h2和h3为待测量的3个间隙，p1与p2、p3与p4、p5与 p6分别为h1、h2和h3的2个端点。

本方法由5个模块构成，如图2所示：图像采集模块、图像预处理模块、间隙拐点的获取模块、各间隙另一端点获取模块和各间隙宽度的检测与结果显示模块，其中间隙拐點的获取模块是核心。图2中的p1至p6对应于图1中的p1至p6，直线l1、l2对应于步骤1.3中的l1、l2。

1.1图像采集

图像采集模块用于获取r型销的轮廓图像，包括工业相机、镜头、视觉光源和计算机等硬件，其中视觉光源的选型和调节是关键。图3（a）为采集到的原图，记为f（x，y）。系统采用500万像素的国产cmos面阵工业相机和亮度可调的国产led背光源，镜头采用日本某公司生产的25mm工业镜头。调光时，在不损伤检测对象边沿的情况下适当增大背景亮度。

1.2 图像预处理

预处理的目的是提取对象边沿部分并去除背景中的噪点。

首先，对原图f（x，y）进行反向二值化处理，得到的图像g_b （x，y），由式（1）表示，式中t为经过调光实验获得的最优阈值。

再对图像g_b （x，y）进行连通域分析并保留最大连通域以去除对象外的噪点，得到以r型销为前景的二值化图像g（x，y），并由g（x，y）得到r型销的重心g。

其次，分别对二值图g（x，y）进行形态学膨胀和腐蚀操作，结构化元素均使用7×7的矩形，再将二者结果相减，得到较粗的r型销边沿。对于本问题，对比canny、sobel等边沿提取算法，基于形态学的边沿提取方法所获取的r型销的边沿更加完整、稳定。

最后，进行连通域分析并保留面积最大的连通域以去除噪点，得到r型销的外边沿图g_o （x，y），如图3（b）所示。此部分获取较粗的外边沿是为了保证后续hough直线检测步骤获得对象的外边沿直线段的完整性。

1.3 间隙拐点获取

间隙拐点是指3个间隙在弯曲边沿上的端点，如图1（b）中的p1、p3、p5所示。3个间隙拐点的准确获取是本问题的关键，包括如下7个步骤。

（1）首先采用概率霍夫变换[12]对图3（b）中的g_o （x，y）进行直线检测，然后合并距离相近且夹角较小的线段并保留最长的线段l1，如图4（a）中的虚线所示。合并的原因是外边沿的直线段并非严格直线（由图4（a）可见，该对象外边沿直线段中间部分有一定的弯曲），hough直线检测无法获得外边沿直线段的完整拟合直线，这将导致后续间隙拐点的检测结果偏差过大。合并方法为两两比较霍夫直线检测的输出线段，若两线段的中点到另一方所在直线的距离及两线段之间的夹角都小于各自阈值，则进行合并，在两个线段的4个端点中保留距离最大的2个，作为合并后的新线段。

（2）先对1.2中得到的二值图g（x，y）进行形态学腐蚀操作，得到结果图g_e （x，y），结构化元素使用3×3的矩形，再将二者结果相减得到较细的边沿图像g_t （x，y），由式（2）表示。此部分获取较细的边沿是为了保证后续步骤准确定位r型销的边界以提高测量结果的精度。最后求取g_t （x，y）前景的最小外接矩形t，并根据与l1的位置关系将矩形t的4个顶点r0、r1、r2、r3的顺序调整至图中位置，结果如图4（b）所示，其中点c为矩形t的中心，点g为步骤1.2得到的r型销的重心。

g_t （x，y）=g（x，y）-g_e （x，y） （2）

（3）对边沿图像g_t （x，y）进行连通域分析，保留第二大的连通区域，得到r型销的内边沿图，记为g_i （x，y），如图4（c）中的实线部分所示。

（4）求取2个较宽间隙的拐点p1和p5的大致位置p1_a、p5_a。首先，分别求取重心g到三直线r0-r1、r0-r3和r1-r2的垂足pp1、pp2和pp3。然后，由点g、pp1、r0、pp2及g、pp1、r1、pp3得到2个矩形，图4（c）中用虚线框绘出，c1、c2为2个矩形的中心点。最后，遍历内边沿g_i （x，y）连通域的所有像素，求各矩形框内前景点到直线l1距离最大的点，即为2个较宽间隙拐点的大致位置，如图4（c）中的p1_a、p5_a两点所示。式（3）为l1的直线方程，边界点到直线l1的距离由式（4）表示，其中（x0， y0）为边界点的坐标。由于此步骤分区搜索是基于位置较为粗略的外边沿（由步骤1中的hough直线检测并合并相近直线后得到）的条件下进行的，因此得到结果仅为2个较宽间隙拐点的大致位置。

ax+by+c=0 （3）

d=|（ax_0+by_0+c）/√（a^2+b^2 ）| （4）

（5）求间隙端点p2、p6的大致位置p2_a、p6_a，并拟合得到内边沿直线段部分的拟合直线l2。首先，将p1_a、p5_a周围小范围置零（方法为分别以p1_a、p5_a为圆心以10像素为半径绘制背景色的实心圆，目的是排除周围毛刺点对后续线搜索步骤的干扰）。然后，求p1_a、p5_a关于l1的对称点，并从p1_a、p5_a出发向各自的对称点方向进行线搜索，各自找到的首个前景点即为间隙端点p2、p6的大致位置p2_a、p6_a。再将p2_a、p6_a周围小范围置零，进行连通域分析后得到的第二大连通域即为p2_a、p6_a之间的内边沿部分。最后，以第二大连通域内的所有点为参数进行最小二乘法直线拟合即可得到内边沿直线段的拟合直线l2，结果如图4（d）中的直线l2所示。

（6）求取2个较宽间隙的拐点p1和p5的准确位置。方法与步骤4类似，用直线l2替换直线l1，其他参数保持不变，即可求得2个较宽间隙的拐点p1和p5的准确位置，结果如图4（d）所示。

（7）求最窄间隙的拐点p3。首先在细边沿内边沿图像g_i （x，y）中将拐点p1、p5小范围置零。然后进行连通域分析并保留第二大连通域，如图4（e）所示。最后遍历连通域的所有像素点，求取与直线l2距离最小的点即为最窄间隙拐点p3。最终获得3个间隙拐点p1、p3、p5，如图4（f）所示。

1.4 各间隙另一端点的获取

首先，将3个间隙拐点p1、p3、p5周围小范围区域置零，方法和目的与1.3中的步骤5相同，结果如图5（a）所示。然后，求各间隙的另一端点的位置p2、p4、p6。求取p1、p3、p5关于直线l2的对称点p11、p31、p51，分别以间隙拐点p1、p3、p5为起点，在至p11、p31、p51的线段上进行线搜索，找到的第一个边界点即为各间隙的另一端点p2、p4、p6，如图5（b）所示。

（a） 将3个间隙拐点p1、p3、p5周围小范围置零 （b）利用线搜索得到的各间隙的另一端点p2、p4、p6

图5 获取各间隙另一端点的过程

1.5 各间隙宽度的检测与结果显示

首先，计算由1.3和1.4中获得的各间隙的2个端点之间的距离，即为各间隙的测量值。然后，以1.3中获得的最小外接矩形的长度为依据判定r型销的型号。最后，获取该型号预设的阈值信息，并根据3个间隙的测量值是否均在阈值范围内，判断该对象是否通过检测。

2 ?实验验证

以5个r型销为实验对象，先进行各个对象水平放置条件下的单次测量实验，再进行位置和角度随机摆放条件下的测量结果可重复性实验。检测系统基于mfc和opencv开发实现，实验中像素当量（pixel equivalent）测定为0.0278 mm/pix，即采集图像中的每个像素对应视野中的实际物理尺寸为0.0278 mm。

首先，将5个r型销均在水平摆放的条件下，采用提出的方法对各个间隙进行测量，以物理接触式探针设备测量的结果作为各间隙的实际值，测量和误差计算结果如表1所示。

由表1可见，在最大绝对误差方面，窄间隙为0.023 mm，中间隙为0.026 mm，宽间隙为0.043 mm。在最大相对误差方面，窄间隙为2.034%，中间隙为0.467%，宽间隙为0.406%。最大绝对误差和最大相对误差都达到了企业应用的精度要求。虽然窄间隙的最大绝对测量误差最小，但由于窄间隙的实际值较小，因此最大相对误差较大。

其次，为了验证方法在不同摆放条件下测量结果的可重复精度，将上述5个r型销分别随机摆放至100个不同的位置后进行测试，共得到500组实验数据，测量数据及误差的统计结果如表2所示。算法平均运行时间约为50 ms，速度上完全满足企业应用的需要。

由表2可见，100次随机摆放的测量结果偏差较小，在最大绝对误差方面，窄间隙为0.038 mm，中间隙为0.059 mm，宽间隙为0.071 mm。在最大相对误差方面，窄间隙为3.360%，中间隙为1.059%，宽间隙为0.670%。相对于水平摆放测试，100次随机摆放条件下测量数据的最大绝对误差和最大相对误差都有所增大，但依然在企业实际应用的允许波动范围内。导致误差增加的主要原因是不同摆放条件下成像的边界差异。

3 ?结语

根据制造企业的生产工艺需求，本文设计了一种对r型销间隙进行快速测量的视觉方法。通过将对象边沿分割并获取各段边沿到内边沿拟合直线的极值得到各间隙拐点，再利用线搜索获得各间隙的另一端点并计算出间隙值。此方法自动识别不同型号的r型销，且支持被测对象任意摆放。通过实验验证，此方法运行速度较快、精度较高，与传统的人工测量方法相比，基于此方法实现的检测系统在测量精度和检测效率方面具有明显的优势，达到了生产企业的实际应用要求。

参考文献

[1] 张攀，张勇，荣溪超，等. r型销类零件装配到位判定方法[j].上海计量测试，2019，46（3）：47-49.

[2] 闵锋，郎达，吴涛.基于语义分割的接触网开口销状态检测[j].华中科技大学学报：自然科学版，2020，48（1）：77-81.

[3] 王健，罗隆福，邹津海，等.基于图像识别的高铁接触网紧固件开口销故障分类方法[j].电气化铁道，2020，31（2）：45-49.

[4] 王昕钰，王倩，程敦诚，等.基于三级级联架构的接觸网定位管开口销缺陷检测[j].仪器仪表学报，2019，40（10）：74-83.

[5] 钟俊平，刘志刚，陈隽文，等.高速铁路接触网悬挂装置开口销不良状态检测方法研究[j].铁道学报，2018，40（6）：51-59.

[6] 崔耀林.基于深度自编码网络的接触网开口销缺失识别[j].电气化铁道，2019，30（3）：43-47.

[7] 马官兵，丁辉，王韦强，等.核电厂控制棒导向筒开口销超声检测系统设计开发[j].核动力工程，2021，42（2）：144-147.

[8] 张鹏贤，韦志成，刘志辉.管道焊口间隙量与错边量的激光视觉检测[j].焊接学报，2018，39（11）：103-107，133-134.

[9] 路亚缇，徐智良.基于labview的视觉盾尾间隙测量系统研究[j].现代隧道技术，2020，57（1）：197-202.

[10] 陈健，周兆钊，刘飞香，等.基于盾构机盾尾间隙空间结构的视觉测量研究[j].机床与液压，2020，48（19）：116-121，107.

[11] 张智森，赵勇，康林春，等.某型柱塞组件轴向间隙测量夹具优化设计[j].组合机床与自动化加工技术，2016（10）：140-141，144.

[12] j. matas，c. galambos，j. kittler.robust detection of lines using the progressive probabilistic hough transform[j].computer vision & image understanding，2000，78（1）：119-137.