带倒角的端面间隙视觉测量方法、装置、设备及存储介质与流程

1.本发明涉及产品装配及制造技术领域，具体涉及带倒角的端面间隙视觉测量方法、装置、设备及存储介质。


背景技术：

2.在产品对接装配过程中，往往对两个工件端面间隙有严格要求，尤其在自动化装配过程中，端面间隙的测量精度直接影响产品的装配质量。视觉图像测量技术作为一种非接触测量的手段，具备成本低、精度高、操作简单等特点。利用光学系统超高的分辨率配合当前图像处理技术，基于计算机视觉的端面间隙测量方法在自动化、智能化的装配过程具备广泛的应用前景。
3.然而，现有技术中端面间隙视觉测量方法存在以下缺点：
4.(1)当前基于图像处理的端面间隙方法利用端面与间隙的图像灰度变化确定端面与间隙的分界线，该方法只适用于两个端面不存在倒角，且工件装配过程中间隙内部不存在任何其他工件。
5.(2)产品的装配活动是一个连续过程，两个工件位置的相对运动表现为端面间隙的动态变化。现有方法只针对当前时刻静态图像进行分析未考虑动态变化过程这一连续性。
6.(3)在光学镜头的选择上，现有方法并未考虑利用倒角深度与镜头景深的关系。


技术实现要素：

7.针对上述背景技术中现有端面间隙视觉测量方法的至少一个缺陷，本发明目的在于提供带倒角的端面间隙视觉测量方法、装置、设备及存储介质，该方法针对端面存在倒角的情况，选择景深与倒角深度接近的镜头，利用图像的信息熵对间隙与倒角进行区域分割；然后分割边界的邻域内进行像素统计判定倒角和间隙的界线。
8.本发明充分考虑同一型号的不同工件倒角特征不一致，同一工件的一次装配活动倒角特征变化不大。使用模板匹配技术在测量开始阶段选择倒角部分区域作为匹配模板，在测量过程中对倒角进行快速匹配寻找倒角位置。本发明充分考虑产品装配过程中，间隙的变化是连续的这一特性，使用卡尔曼滤波对倒角与间隙的分界线在图像中的位置进行预测。
9.本发明通过下述技术方案实现：
10.第一方面，本发明提供了一种带倒角的端面间隙视觉测量方法，包括视觉图像采集系统和工控机，所述视觉图像采集系统实时获取待测量工件a、工件b装配过程中端面图像，并通过网络传输到工控机，所述主控机内的图像处理算法实时计算端面缝隙大小；其中，待测量工件a、工件b的端面均带倒角；该测量方法包括：
11.s1：对视觉图像采集系统(相机)进行标定，并采用模板匹配技术选择工件a、工件b倒角部分区域创建模板图像；
12.s2：通过视觉图像采集系统采获取工件a、工件b的端面间隙图像信息，根据创建的模板图像，在测量过程中对倒角进行快速匹配得到倒角模板匹配结果，并对所述倒角模板匹配结果进行判定；及根据所述倒角模板匹配结果进行工件a、工件b的端面间隙实时检测与计算。
13.进一步地，步骤s1中，采用模板匹配技术选择工件a、工件b倒角部分区域创建模板图像，包括：
14.通过手动选择图像上待测量工件a、工件b倒角的上半部分区域作为形状特征匹配模板；在工件装配过程中，设置低阈值的模板匹配参数，所述模板匹配参数包括旋转角度为
‑
20～+20、缩放指数为0.8～1.2倍。
15.进一步地，步骤s2中，对所述倒角模板匹配结果进行判定；及根据所述倒角模板匹配结果进行工件a、工件b的端面间隙实时检测与计算，具体包括：
16.步骤a：对所述倒角模板匹配结果进行判定，记录上倒角位置p
up
、下倒角位置p
down
，所述倒角模板匹配结果的匹配得分最小值为s，若s>90％，判定倒角位置已确定进入步骤b；若s<40％，判定倒角未找到进入步骤g；若40％≤s≤90％，判定倒角位置确定但置信度较低进入步骤i；
17.步骤b：以上倒角位置p
up
及下倒角位置p
down
位置为中心，选取局部邻域沿着图像垂直方向计算直方图；
18.步骤c：对所述直方图进行高斯滤波，并计算一价导数，得到倒角与缝隙的分界点；其中，倒数为零的点记倒角与缝隙的分界点；
19.步骤d：采用随机抽样一致算法ransac对步骤c检测的所有极值点进行直线拟合；
20.步骤e：对步骤d拟合的直线长度、倾斜角度进行判断：若直线长度大于设定阈值且角度小于设定阈值时，则判定检测成功，记录工件a倒角与缝隙的分界线l1位置为p
1i
，工件b倒角与缝隙的分界线l2位置为p
2i
，同时更新卡尔曼滤波器，进入步骤f；否则进入步骤k；
21.步骤f：计算线段l1和l2的最近距离为d1个像素，最远距离为d2个像素，则缝隙大小为(d1+d2)/2*x，其中x为单个像素的尺寸；
22.步骤g：选择9x9的模板图像对图像进行信息熵运算，并进行阈值分割；
23.步骤h：检测所述信息熵值大于设定阈值且具有一定宽度的两块矩形区域记为倒角所在区域；记录工件a倒角下边界位置e
up
，工件b倒角上边界e
down
，以e
up
、e
down
位置为中心，选取局部邻域沿着图像垂直方向计算直方图，进入步骤c；
24.步骤i：分别对工件a倒角与缝隙的分界线l1位置序列p1、工件b倒角与缝隙的分界线l2位置序列p2进行卡尔曼滤波，预测分界线l1位置与分界线l2位置作为预测结果；
25.步骤j：将步骤i中的所述预测结果与所述倒角模板匹配结果对比，若小于设定阈值说明二者检测一致，所述倒角模板匹配结果进入步骤b；否则匹配失败，进入步骤k；
26.步骤k：在图像窗口，通过人工划线标记工件a倒角与缝隙的分界线l1位置为p
1i
，工件b倒角与缝隙的分界线l2位置为p
2i
，同时更新卡尔曼滤波器；进入步骤f。
27.进一步地，步骤b、步骤h中均选取宽度为10，高度为40的局部邻域沿着图像垂直方向计算直方图。
28.进一步地，待测量工件a、工件b的端面均带倒角，且倒角在同侧或者异侧。
29.进一步地，该测量方法适用于端面存在倒角情况的两个工件端面间隙视觉测量。
30.进一步地，所述视觉图像采集系统包括ccd相机、远心镜头、环形光源，所述ccd相机、远心镜头、环形光源依次设于同一轴线上；且所述远心镜头的景深与倒角深度接近，选择合理景深的镜头可使倒角与间隙的界线在图像上更加清晰。
31.第二方面，本发明还提供了一种带倒角的端面间隙视觉测量装置，该装置支持所述的一种带倒角的端面间隙视觉测量方法，该测量装置包括：
32.标定单元，用于对视觉图像采集系统(相机)进行标定；
33.模板图像创建单元，用于采用模板匹配技术选择工件a、工件b倒角部分区域创建模板图像；
34.采集单元，用于通过视觉图像采集系统采获取工件a、工件b的端面间隙图像信息；
35.缝隙实时检测单元，用于根据所述模板图像创建单元创建的模板图像，在测量过程中对倒角进行快速匹配得到倒角模板匹配结果，并对所述倒角模板匹配结果进行判定；及根据所述倒角模板匹配结果进行工件a、工件b的端面间隙实时计算；
36.输出单元，用于输出工件a、工件b的端面间隙结果。
37.第三方面，本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种带倒角的端面间隙视觉测量方法。
38.第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种带倒角的端面间隙视觉测量方法。
39.本发明与现有技术相比，具有如下的优点和有益效果：
40.1、本发明针对端面存在倒角的情况，选择景深与倒角深度接近的镜头，利用图像的信息熵对间隙与倒角进行区域分割；然后分割边界的邻域内进行像素统计判定倒角和间隙的界线。
41.2、本发明充分考虑同一型号的不同工件倒角特征不一致，同一工件的一次装配活动倒角特征变化不大。使用模板匹配技术在测量开始阶段选择倒角部分区域作为匹配模板，在测量过程中对倒角进行快速匹配寻找倒角位置。
42.3、本发明充分考虑产品装配过程中，间隙的变化是连续的这一特性，使用卡尔曼滤波对倒角与间隙的分界线在图像中的位置进行预测。
附图说明
43.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
44.图1为本发明一种带倒角的端面间隙视觉测量方法流程图。
45.图2为本发明带倒角的端面间隙视觉测量示意图。
46.图3为本发明缝隙实时检测步骤逻辑流程图。
具体实施方式
47.在下文中，可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所发明的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在
本发明的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
48.在本发明的各种实施例中，表述“或”或“a或/和b中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“a或b”或“a或/和b中的至少一个”可包括a、可包括b或可包括a和b二者。
49.在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本发明的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。
50.应注意到：如果描述将一个组成元件“连接”到另一组成元件，则可将第一组成元件直接连接到第二组成元件，并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地，当将一个组成元件“直接连接”到另一组成元件时，可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。
51.在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
52.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
53.实施例1
54.如图1至图3所示，本发明一种带倒角的端面间隙视觉测量方法，包括视觉图像采集系统和工控机，所述视觉图像采集系统包括ccd相机、远心镜头、环形光源，所述ccd相机、远心镜头、环形光源依次设于同一轴线上；且所述远心镜头的景深与倒角深度接近，保证拍摄效果。
55.所述视觉图像采集系统实时获取待测量工件a、工件b装配过程中端面图像，并通过网络传输到工控机，所述主控机内置的图像处理算法实时计算端面缝隙大小；其中，待测量工件a、工件b的端面均带倒角；
56.该测量方法的应用对象是端面存在倒角情况的两个工件端面间隙视觉测量，即待测量工件a、工件b的端面均带倒角，且倒角在同侧或者异侧。如图2所示，图2为工件a、工件b的端面倒角在同侧的情况，这样只需要配置一组视觉图像采集系统即可；如果工件a、工件b的端面倒角在异侧，那么需要配置两组视觉图像采集系统，在倒角侧均需要配置视觉图像
采集系统，保证工件a、工件b的端面倒角信息在视觉图像采集系统的监控范围内，且被实时采集到。
57.如图1所示，该测量方法包括：
58.s1：对视觉图像采集系统的相机进行标定，并采用模板匹配技术选择工件a、工件b倒角部分区域创建模板图像；
59.s2：通过视觉图像采集系统采获取工件a、工件b的端面间隙图像信息，根据创建的模板图像，在测量过程中对倒角进行快速匹配得到倒角模板匹配结果，并对所述倒角模板匹配结果进行判定；及根据所述倒角模板匹配结果进行工件a、工件b的端面间隙实时检测与计算。
60.具体实施如下：
61.第一，进行图像测量前应对相机进行标定，步骤如下：
62.选用带有圆形图案的标定板放置在工件前端，其半径为rmm。调整光源后使用相机拍摄清晰的图像，使用亚像素边缘检测算法提取图像边缘后使用hough变换检测圆特征。假设圆半径所占像素个数为n，则图像每个像素的大小为
63.第二，图像测量前创建模板图像，步骤如下：
64.在工件的装配过程中，倒角底部受到光照的影响，其边缘信息存在变化，所以通过手动选择图像上工件a、工件b倒角的上半部分区域作为形状特征匹配模板。在工件装配过程中，倒角尺寸、角度并未发生太大变化，为了加快匹配速度设置较小的旋转角度、缩放指数等模板匹配参数。为了便于后续确定端面与缝隙的界线。
65.第三，如图3所示，缝隙实时检测步骤如下：
66.步骤1：读取端面间隙图像。
67.步骤2：在装配过程中，工件a、工件b只存在垂直方向运动，选择模板创建过程中垂直方向区域作为形状模板匹配搜索区域以加快搜索速度，通过设置较低的匹配分数保证模板位置正确、快速找到。
68.步骤3：对所述倒角模板匹配结果进行判定，记录上倒角位置p
up
、下倒角位置p
down
，所述倒角模板匹配结果的匹配得分最小值为s，若s>90％，判定倒角位置已确定进入步骤4；若s<40％，判定倒角未找到进入步骤9；若40％≤s≤90％，判定倒角位置确定但置信度较低进入步骤11；
69.步骤4：以上倒角位置p
up
及下倒角位置p
down
位置为中心，选取宽度为10个像素，高度为40个像素的局部邻域沿着图像垂直方向计算直方图；
70.步骤5：对所述直方图进行高斯滤波，并计算一价导数，得到倒角与缝隙的分界点；其中，倒数为零的点记倒角与缝隙的分界点；
71.步骤6：采用随机抽样一致算法ransac对步骤5检测的所有极值点进行直线拟合；
72.步骤7：对步骤6拟合的直线长度、倾斜角度进行判断：若直线长度大于设定阈值且角度小于设定阈值时，则判定检测成功，记录工件a倒角与缝隙的分界线l1位置为p
1i
，工件b倒角与缝隙的分界线l2位置为p
2i
，同时更新卡尔曼滤波器，进入步骤8；否则进入步骤13；
73.步骤8：计算线段l1和l2的最近距离为d1个像素，最远距离为d2个像素，则缝隙大小为(d1+d2)/2*x；其中x为单个像素的尺寸。
74.步骤9：选择9x9的模板图像对图像进行信息熵运算，并进行阈值分割；
75.步骤10：检测所述信息熵值大于设定阈值且具有一定宽度的两块矩形区域记为倒角所在区域；记录工件a倒角下边界位置e
up
，工件b倒角上边界e
down
，以e
up
、e
down
位置为中心，选取宽度为10个像素，高度为40个像素的局部邻域沿着图像垂直方向计算直方图，进入步骤5；
76.步骤11：分别对工件a倒角与缝隙的分界线l1位置序列p1、工件b倒角与缝隙的分界线l2位置序列p2进行卡尔曼滤波，预测分界线l1位置与分界线l2位置作为预测结果；
77.步骤12：将步骤11中的所述预测结果与所述倒角模板匹配结果对比，若小于设定阈值说明二者检测一致，所述倒角模板匹配结果进入步骤4；否则匹配失败，进入步骤13；
78.步骤13：在图像窗口，通过人工划线标记工件a倒角与缝隙的分界线l1位置为p
1i
，工件b倒角与缝隙的分界线l2位置为p
2i
，同时更新卡尔曼滤波器；进入步骤8。
79.本发明方法针对端面存在倒角的情况，选择景深与倒角深度接近的镜头，利用图像的信息熵对间隙与倒角进行区域分割；然后分割边界的邻域内进行像素统计判定倒角和间隙的界线。
80.本发明充分考虑同一型号的不同工件倒角特征不一致，同一工件的一次装配活动倒角特征变化不大。使用模板匹配技术在测量开始阶段选择倒角部分区域作为匹配模板，在测量过程中对倒角进行快速匹配寻找倒角位置。
81.本发明充分考虑产品装配过程中，间隙的变化是连续的这一特性，使用卡尔曼滤波对倒角与间隙的分界线在图像中的位置进行预测。
82.实施例2
83.如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种带倒角的端面间隙视觉测量装置，该装置支持实施例1所述的一种带倒角的端面间隙视觉测量方法，该测量装置包括：
84.标定单元，用于对视觉图像采集系统(相机)进行标定；
85.模板图像创建单元，用于采用模板匹配技术选择工件a、工件b倒角部分区域创建模板图像；
86.采集单元，用于通过视觉图像采集系统采获取工件a、工件b的端面间隙图像信息；
87.缝隙实时检测单元，用于根据所述模板图像创建单元创建的模板图像，在测量过程中对倒角进行快速匹配得到倒角模板匹配结果，并对所述倒角模板匹配结果进行判定；及根据所述倒角模板匹配结果进行工件a、工件b的端面间隙实时计算；
88.输出单元，用于输出工件a、工件b的端面间隙结果。
89.所述的一种带倒角的端面间隙视觉测量方法的执行步骤按照实施例1方法的流程步骤执行即可，在此实施例中不再一一赘述。
90.另外，本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种带倒角的端面间隙视觉测量方法。
91.另外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种带倒角的端面间隙视觉测量方法。
92.本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
93.本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
94.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
95.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
96.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。