一种基于机器视觉的切割路径规划方法及装置与流程

1.本发明涉及机器视觉技术领域，尤其是一种基于机器视觉的切割路径规划方法及装置。


背景技术：

2.贴片式元件在电子产品中大量使用，是现代电子技术的发展与应用最明显的特点。
3.目前，在贴片式元件的加工过程中，其陶瓷坯体的切边主要是通过人工放大图像来对齐左右边缘或巴块后，控制切割刀进行切割，该方法成本低廉，但是此方法需要多次调整物体位置以确保目标物体在左右图像的恰当位置，导致检查速度慢；另一方面通过肉眼对准切割线，无法保证加工的重复精度。


技术实现要素：

4.有鉴于此，本发明实施例提供一种精度高且效率高的，基于机器视觉的切割路径规划方法及装置。
5.本发明的一方面提供了一种基于机器视觉的切割路径规划方法，包括：
6.获取原始图像信息；
7.识别所述原始图像信息中的边信息或标记信息；
8.当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置；或者，当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置；
9.根据所述切割线位置，确定切割路径。
10.可选地，所述获取原始图像信息，包括：
11.标定左相机和右相机，确定相机坐标系与世界坐标系之间的转换关系；
12.通过所述左相机和右相机采集原始图像，其中，所述左相机的视野和所述右相机的视野中均包含目标对象；
13.根据所述目标对象的灰度值，确定分割阈值；
14.根据所述分割阈值对所述原始图像进行阈值分割，确定所述原始图像中的主体；
15.对阈值分割后的图像进行膨胀操作，将图像中离散像素点连通。
16.可选地，所述对阈值分割后的图像进行膨胀操作，将图像中离散像素点连通，包括：
17.配置3
×
3的膨胀核；
18.对所述原始图像进行遍历，将所述原始图像中各个像素点在3
×
3领域里的灰度最大值，作为对应像素点的新灰度值；
19.生成膨胀后的图像。
20.可选地，识别所述原始图像信息中的边信息或标记信息，包括：
21.查找所述原始图像中主体的长度信息、宽度信息和像素面积；
22.根据所述长度信息、所述宽度信息以及所述像素面积与标准值之间的比较结果，识别所述原始图像信息中的边信息或标记信息。
23.可选地，当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置，包括：
24.当所述原始图像信息中存在边信息时，找出所述原始图像中面积最大的目标主体；
25.对所述目标主体进行轮廓提取，获取所述目标主体的边缘信息；
26.根据所述边缘信息，对所述目标主体的轮廓进行直线拟合，得到多条直线；
27.根据各条直线在世界坐标系下的斜率，计算各条直线的延长趋势；
28.根据所述各条直线的延长趋势进行匹配寻优，找到世界坐标系下靶块的边；
29.根据所述靶块的边计算切割线位置。
30.可选地，所述当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置，包括：
31.当所述原始图像信息中存在标记信息时，将原始图像划分成多个感兴趣区域；
32.将预存储的模板图像与原始图像进行卷积运算，得到灰度图像；
33.对所述灰度图像进行相关系数计算；
34.根据计算得到的所述相关系数，从所述原始图像中查找匹配度最高的区域，确定区域中心；
35.根据所述区域中心的信息，计算切割线位置。
36.可选地，所述切割线位置的计算过程包括：
37.根据相机坐标系与世界坐标系之间的转换关系，计算所述靶块的边或者所述区域中心的空间坐标，确定空间点；
38.根据多个所述空间点拟合得到空间直线；
39.将所述空间直线的位置作为所述切割线位置。
40.本发明实施例的另一方面还提供了一种基于机器视觉的切割路径规划装置，包括：
41.第一模块，用于获取原始图像信息；
42.第二模块，用于识别所述原始图像信息中的边信息或标记信息；
43.第三模块，用于当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置；或者，当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置；
44.第四模块，用于根据所述切割线位置，确定切割路径。
45.本发明实施例的另一方面还提供了一种电子设备，包括：处理器以及存储器；
46.所述存储器用于存储程序；
47.所述处理器执行所述程序实现如前面所述的方法。
48.本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
49.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或
计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
50.本发明的实施例首先获取原始图像信息；识别所述原始图像信息中的边信息或标记信息；当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置；或者，当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置；根据所述切割线位置，确定切割路径。本发明提高了精度和效率。
附图说明
51.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例提供的整体步骤流程图。
具体实施方式
53.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
54.针对现有技术存在的问题，本发明实施例提供了一种基于机器视觉的切割路径规划方法，如图1所示，本发明的方法包括以下步骤：
55.获取原始图像信息；
56.识别所述原始图像信息中的边信息或标记信息；
57.当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置；或者，当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置；
58.根据所述切割线位置，确定切割路径。
59.可选地，所述获取原始图像信息，包括：
60.标定左相机和右相机，确定相机坐标系与世界坐标系之间的转换关系；
61.通过所述左相机和右相机采集原始图像，其中，所述左相机的视野和所述右相机的视野中均包含目标对象；
62.根据所述目标对象的灰度值，确定分割阈值；
63.根据所述分割阈值对所述原始图像进行阈值分割，确定所述原始图像中的主体；
64.对阈值分割后的图像进行膨胀操作，将图像中离散像素点连通。
65.可选地，对阈值分割后的图像进行膨胀操作，将图像中离散像素点连通，包括：
66.配置3
×
3的膨胀核；
67.对所述原始图像进行遍历，将所述原始图像中各个像素点在3
×
3领域里的灰度最大值，作为对应像素点的新灰度值；
68.生成膨胀后的图像。
69.可选地，识别所述原始图像信息中的边信息或标记信息，包括：
70.查找所述原始图像中主体的长度信息、宽度信息和像素面积；
71.根据所述长度信息、所述宽度信息以及所述像素面积与标准值之间的比较结果，识别所述原始图像信息中的边信息或标记信息。
72.可选地，当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置，包括：
73.当所述原始图像信息中存在边信息时，找出所述原始图像中面积最大的目标主体；
74.对所述目标主体进行轮廓提取，获取所述目标主体的边缘信息；
75.根据所述边缘信息，对所述目标主体的轮廓进行直线拟合，得到多条直线；
76.根据各条直线在世界坐标系下的斜率，计算各条直线的延长趋势；
77.根据所述各条直线的延长趋势进行匹配寻优，找到世界坐标系下靶块的边；
78.根据所述靶块的边计算切割线位置。
79.可选地，所述当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置，包括：
80.当所述原始图像信息中存在标记信息时，将原始图像划分成多个感兴趣区域；
81.将预存储的模板图像与原始图像进行卷积运算，得到灰度图像；
82.对所述灰度图像进行相关系数计算；
83.根据计算得到的所述相关系数，从所述原始图像中查找匹配度最高的区域，确定区域中心；
84.根据所述区域中心的信息，计算切割线位置。
85.可选地，所述切割线位置的计算过程包括：
86.根据相机坐标系与世界坐标系之间的转换关系，计算所述靶块的边或者所述区域中心的空间坐标，确定空间点；
87.根据多个所述空间点拟合得到空间直线；
88.将所述空间直线的位置作为所述切割线位置。
89.本发明实施例的另一方面还提供了一种基于机器视觉的切割路径规划装置，包括：
90.第一模块，用于获取原始图像信息；
91.第二模块，用于识别所述原始图像信息中的边信息或标记信息；
92.第三模块，用于当所述原始图像信息中存在边信息时，根据所述原始图像在世界坐标系下靶块的边，计算得到切割线位置；或者，当所述原始图像信息中存在标记信息时，根据所述原始图像中的区域中心，计算得到切割线位置；
93.第四模块，用于根据所述切割线位置，确定切割路径。
94.本发明实施例的另一方面还提供了一种电子设备，包括：处理器以及存储器；
95.所述存储器用于存储程序；
96.所述处理器执行所述程序实现如前面所述的方法。
97.本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储
有程序，所述程序被处理器执行实现如前面所述的方法。
98.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
99.下面对本发明的具体工作原理进行详细说明：
100.在本发明实施例中，一种基于机器视觉的切割路径规划方法，包括以下步骤：
101.s1：采集图像：标定相机，确定相机坐标系与世界坐标系的转换关系。获取图像，电机带动左右两个相机寻找目标物，通过x、y两个方向移动，确保目标物能同时出现在左右两个相机的视野范围内，捕捉图片，获取原图。
102.s2：阈值分割，突出主体。
103.具体地，本实施例根据主体的灰度值，从0-255中，筛选出合适的阈值，进行阈值分割，突出主体。本实施例中在实际应用时合适的阈值170-190。
104.s3：对图像进行膨胀操作，连通由于干扰产生的离散像素点。
105.具体地，本实施例设置一个3x3的膨胀核，遍历整张图像，将像素点在3x3领域里的灰度最大值，作为该像素点的新灰度值输出，获得膨胀后的图片，连通由于干扰产生的离散像素点。
106.s4：判断是否存在边或者标记，否则返回步骤2；若存在边，则寻边进入s5；若存在标记，则寻标记进入s8。
107.具体地，本实施例寻找得到的主体的像素面积，长，宽，并将这三个值与设定的主体面积，长，宽作比较，若大于则认定存在边或者存在标记，然后再人工判断寻边还是寻标记。
108.s5：若寻边，找出面积最大的主体，对主体进行轮廓提取，获取边缘信息。
109.具体地，本实施例利用sobel算子，进行边缘提取。
110.s6：对提取的轮廓进行直线拟合，得到多条直线，利用各条直线在世界坐标系下的斜率k，计算各条直线的延长趋势δ(k)。
111.具体地，本实施例运用hough直线检测，输入检测的轮廓，得到多条直线。
112.s7：对左右相机捕获的图片中各条直线的延长趋势δ(k)做匹配寻优。寻找得到世界坐标系下靶块的边，计算切割线位置并反馈给执行机构。
113.具体地，本实施例选择左右两图像各一条直线的延长趋势，计算平均延长趋势的值，后由该值与其他延长趋势计算平方差，依次类推将所有直线组合都计算处延长趋势的平方差，将平方差小于设定值的直线提取，进行空间直线拟合，将得到产品边的空间位置。
114.s8：若寻标记，先划分图像的感兴趣区域roi。
115.s9：将模板图像与相机捕获得到的相片进行卷积运算，对卷积运算后得到的灰度图像进行一次相关系数计算。
[0116][0117]
1≤i≤m-m+1,1≤j≤n-n+1
[0118]
其中，d(i,j)代表相似度；m代子图的横向长度；n代表子图的纵向长度；s(i，j)代
表(i，j)点的灰度值；t(s,t)代表(s,t)点的灰度值。
[0119]
本实施例以原始图像的图像坐标(i，j)为起点，分割mxn大小的子图，计算相似度d(i，j)，在所有能取得的子图中，找到与模板图最相近的子图，即相似度d(i，j)最小的区域。
[0120]
s10：获取原图像中匹配度最高的区域，计算区域中心。利用区域中心的信息，计算出切割位置并反馈给执行机构。
[0121]
具体地，本实施例通过确定匹配度最高的区域的外接矩形，然后计算矩形中心，进而确定区域中心。
[0122]
在所述切割线计算的过程中，本实施例利用坐标转换将矩形中心计算出其空间坐标，多次取像后，运用多个空间点拟合空间直线，并将线作为切割线位置。
[0123]
可选地，本实施例在步骤s1中的镜头为130w像素工业相机的镜头，且配备定制光源。
[0124]
可选地，本实施例在步骤s2中通过阈值分割形成二极化图像。
[0125]
下面以具体的应用场景为例，对本发明的方法的实现过程进行详细描述：
[0126]
实施例1：
[0127]
一种基于机器视觉的切割路径规划方法，包括步骤如下：
[0128]
s1：采集图像：标定相机，确定相机坐标系与世界坐标系的转换关系，获取图像，电机带动左右两个相机寻找目标物，通过x、y两个方向移动，确保目标物能同时出现在左右两个相机的视野范围内，捕捉图片，获取原图。
[0129]
s2：阈值分割，突出主体。
[0130]
s3：对图像进行膨胀操作，连通由于干扰产生的离散像素点。
[0131]
s4：判断是否存在边或者标记，否则返回步骤s2；识别到存在边，进入步骤s5。
[0132]
s5：找出面积最大的主体，对主体进行轮廓提取，获取边缘信息。
[0133]
s6：对提取的轮廓进行直线拟合，得到多条直线，利用各条直线在世界坐标系下的斜率k，计算各条直线的延长趋势δ(k)。
[0134]
s7：对左右相机捕获的图片中各条直线的延长趋势δ(k)做匹配寻优。寻找得到世界坐标系下靶块的边，计算切割线位置并反馈给执行机构。
[0135]
本实施例计算切割后的切割线与理论计算的切割线位置偏差在
±
10um以内，角度偏差在
±
0.5
°
。在一片完整的贴片式元件切割时(即切四边)，其所想需的时间的平均值为23.1s
[0136]
实施例2：
[0137]
一种基于机器视觉的切割路径规划方法，包括步骤如下：
[0138]
s1：采集图像：标定相机，确定相机坐标系与世界坐标系的转换关系，获取图像，电机带动左右两个相机寻找目标物，通过x、y两个方向移动，确保目标物能同时出现在左右两个相机的视野范围内，捕捉图片，获取原图。
[0139]
s2：阈值分割，突出主体。
[0140]
s3：对图像进行膨胀操作，连通由于干扰产生的离散像素点。
[0141]
s4：判断是否存在边或者标记，否则返回步骤2；若存在边，则寻边进入s5；若存在标记，则寻标记进入s8。
[0142]
s8：若寻标记，先划分图像的感兴趣区域roi。
[0143]
s9：将模板图像与相机捕获得到的相片进行卷积运算，对卷积运算后得到的灰度图像进行一次相关系数计算。
[0144]
s10：获取原图像中匹配度最高的区域，计算区域中心。利用区域中心的信息，计算出切割位置并反馈给执行机构。
[0145]
本实施例计算切割后的切割线与理论计算的切割线位置偏差在
±
10um以内，角度偏差在
±
0.5
°
。在一片完整的贴片式元件切割时(即切四边)，其所需的时间的平均值为22.8s。
[0146]
综上所述，应用本发明视觉算法的贴片式元件的切割机，通过相机对准切割线，保证加工的重复精度；通过视觉算法，可以在0.3秒内完成路径规划，快速实现拟切割线的定位和识别。
[0147]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0148]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0149]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0150]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0151]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0152]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0153]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0154]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0155]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。