一种多特征融合的视觉识别方法及系统与流程

1.本发明涉及小型断路器柔性装配系统技术领域，尤其涉及一种多特征融合的视觉识别方法及系统。


背景技术：

2.随着工业生产中对机器自动化、智能化需求的日渐提高，机器视觉作为工业生产向智能化方向发展的重要技术之一，已得到愈加深入的研究，越来越多的视觉检测、测量及定位等技术被应用到实际生产当中。
3.将机器视觉技术应用于工业制造中的研究，不仅可以降低制造设备的机械化程度，提高提高工业生产的灵活性与柔性，同时可以提高产品的质量与生产的效率。但是，基于机器视觉的智能制造技术的发展，其可行及可靠性依靠高精度的图像分类、识别和定位跟踪等技术来支撑，而生产中所面临的形色多样的生产对象、复杂的工业环境与其不同的功能要求，给视觉的识别处理工作带来极大的困难和挑战。
4.在工业装配方面，在面对复杂程度相对较低的识别对象时，可以支持向量机等建模方法进行分类，一旦识别对象越多、越复杂时，模型训练所需的数据量也就越大，极大地延长了开发周期。此外，识别对象复杂度低时，可利用其轮廓、面积与颜色等信息进行分类，并通过特征匹配及模板匹配等方法对抓取点坐标和姿态进行估计，但当识别对象复杂程度较高时，尤其在小型断路器的自动装配应用中，断路器零部件外形及种类复杂多样，部分零件自身特征点区分不明显，无法通过特征匹配、模板匹配的方法对其旋转角度和抓取点坐标进行准确估计，即无法将识别的误差控制在系统允许的误差范围之内，从而无法正确引导机器人完成后续零件姿态调整及夹取装配的工作。
5.因此，亟需一种用于小型断路器自动装配中的机器视觉识别方法，能够对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在系统允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导。


技术实现要素：

6.本发明实施例所要解决的技术问题在于，提供一种多特征融合的视觉识别方法及系统，能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在系统允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导。
7.为了解决上述技术问题，本发明实施例提供了一种多特征融合的视觉识别方法，用于小型断路器柔性装配系统中，包括以下步骤：
8.步骤s1、接收现场零件整体拍摄的零件源图；
9.步骤s2、对所述零件源图进行分割处理，得到各独立状态的零件图像；
10.步骤s3、基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相
异的多个零件图像均归属于同一类图像中；
11.步骤s4、基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
12.步骤s5、确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
13.步骤s6、将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
14.其中，在所述步骤s1和所述步骤s2之间，还包括以下步骤：
15.对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
16.其中，所述步骤s2中的“各独立状态的零件图像”是通过将最小矩形框中零件像素重新画入具有其最大外接矩形框大小的空白图像中的方式，对所述零件源图中所包含的多个零件分割成各自独立的零件来得到的。
17.其中，所述步骤s3具体包括：
18.基于零件种类，对各独立状态的零件图像进行一级分类识别，以确定各独立状态的零件图像中各零件的种类，并进一步基于各零件种类的摆放姿态，对归属于同一零件种类下的零件图像进行二级分类识别，以确定各零件图像的图像分类归属。
19.其中，所述各独立状态的零件图像中各零件的种类是在各独立状态的零件图像中，先通过对各零件轮廓面积、最小外接矩形框面积以及颜色进行分析比较，再采用比较分析后所得的实际特征数据与第一设定阈值比较的方式来实现的。
20.其中，所述各零件图像的图像分类归属是基于各独立状态的零件图像进行一级分类识别之后，先通过对各零件自身在各摆放姿态下的颜色、最小矩形框面积、成像结构以及零件固有的特定特征进行分析比较，再采用比较分析后所得的实际特征数据与第二设定阈值比较的方式来实现的。
21.其中，所述步骤s4具体包括：
22.提取同一类图像中两个摆放姿态相异的零件图像分别作为相应零件的模板图像及旋转图像；
23.在每一零件的模板图像和旋转图像上，均通过对各零件最小矩形框中感兴趣的边及感兴趣的顶点位置进行分析选取，并根据需求重新规定矩形框各顶点储存顺序，且进一步依次寻找与各顶点距离最近或最远的零件轮廓点作为关键点；
24.将每一零件的模板图像上的关键点与其对应旋转图像上的关键点进行匹配，而后计算各零件的模板图像与旋转图像中相对应的两两关键点形成的向量，并进一步将各零件所计算的向量间的夹角平均值设为各零件旋转角度；
25.通过三对及以上的关键点对，计算得到各零件的模板图像与旋转图像间的仿射变换矩阵。
26.其中，所述步骤s5具体包括：
27.通过相机标定获取相机内参及外参矩阵，依次经过从像素坐标系到图像坐标系、图像到相机坐标系及相机到世界坐标系的转换，并结合世界坐标系与机器人坐标系之间的
平移和旋转关系，得到能将像素坐标从像素坐标系转换到机器人坐标系的坐标转换矩阵；
28.通过所述仿射变换矩阵对所述零件源图中指定的抓取点进行仿射变换，得到抓取点在实际图像中的像素坐标，而后通过所述坐标变换矩阵对抓取点像素坐标进行空间转换，得到抓取点在机器人坐标系下的坐标。
29.本发明实施例还提供了一种多特征融合的视觉识别系统，包括：
30.图像接收单元，用于接收现场零件整体拍摄的零件源图；
31.图像分割单元，用于对所述零件源图进行分割处理，得到各独立状态的零件图像；
32.图像分级识别单元，用于基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
33.零件旋转角度计算单元，用于基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
34.抓取点坐标变换单元，用于确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
35.信息发送单元，用于将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
36.其中，还包括：
37.图像预处理单元，用于对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
38.实施本发明实施例，具有如下有益效果：
39.1、与现有技术相比，本发明通过将最小矩形框中零件像素点画入具有其最大外接矩形框大小的空白图像中的方式进行零件图像分割，能有效避免零件相距较近时出现的将非目标零件部分同时分割至一张图像中的问题；通过对零件轮廓面积、最小外接矩形框面积、颜色以及成像结构等特征进行分析，以阈值比较的方式进行两级分类识别，在保证分类准确度的同时，又能减短系统的开发周期；
40.2、本发明通过寻找与重定顺序后最小矩形框顶点相距最近或最远的零件轮廓点的方式获取关键点对，再通过关键点对计算零件旋转角度与实际抓取点坐标，最后将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，从而能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在系统允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导；
41.3、本发明相较建模分类的方式，更便于后期系统的维护与调整，且相较特征匹配及模板匹配等方式，更能满足系统对识别精度的要求。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据
这些附图获得其他的附图仍属于本发明的范畴。
43.图1为本发明实施例提供的多特征融合的视觉识别方法的流程图；
44.图2为图1步骤s2的应用场景中零件源图分割处理时的分割对比图；
45.图3为图1步骤s3的应用场景中零件图像进行一级分类识别时的流程图；
46.图4～图11为图1步骤s3的应用场景中零件图像进行二级分类识别时的零件操作示意与算法流程图；
47.图12为图1步骤s4的应用场景中的角度计算示意图；
48.图13为图1步骤s5的应用场景中的标定需坐标系示意图；
49.图14为本发明实施例提供的多特征融合的视觉识别系统的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
51.如图1所示，为本发明实施例中，提出的一种多特征融合的视觉识别方法，用于小型断路器柔性装配系统中，包括以下步骤：
52.步骤s1、接收现场零件整体拍摄的零件源图；
53.具体过程为，在接收到图像采集信号之后调用相机进行拍照，从而得到相机现场零件整体拍摄的零件源图。
54.步骤s2、对所述零件源图进行分割处理，得到各独立状态的零件图像；
55.具体过程为，在零件源图上，通过将最小矩形框中零件像素重新画入具有其最大外接矩形框大小的空白图像中的方式，对所述零件源图中所包含的多个零件分割成各自独立的零件来得到各独立状态的零件图像。
56.在一个实施例中，如图2中(a)所示，以绿色最小矩形框无法直接进行图像分割，当零件相距较近时，以蓝色最大外接矩形框分割，则出现图2中(b)所示将非目标零件部分同时分割至一张图像中的问题，而按所提供方法，以将最小矩形框中零件像素点画入具有其最大外接矩形框大小的空白图像中的方式进行图像分割，如图2中(c)所示，则可有效避免上述问题的发生。
57.应当说明的是，在零件源图进行分割处理之前，还包括对零件源图进行预处理；其中，预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合等步骤。
58.步骤s3、基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
59.具体过程为，基于零件种类，对各独立状态的零件图像进行一级分类识别，以确定各独立状态的零件图像中各零件的种类，并进一步基于各零件种类的摆放姿态，对归属于同一零件种类下的零件图像进行二级分类识别，以确定各零件图像的图像分类归属。
60.其中，各独立状态的零件图像中各零件的种类是在各独立状态的零件图像中，先通过对各零件轮廓面积、最小外接矩形框面积以及颜色进行分析比较，再采用比较分析后所得的实际特征数据与第一设定阈值比较的方式来实现的。
61.其中，各零件图像的图像分类归属是基于各独立状态的零件图像进行一级分类识别之后，先通过对各零件自身在各摆放姿态下的颜色、最小矩形框面积、成像结构以及零件固有的特定特征进行分析比较，再采用比较分析后所得的实际特征数据与第二设定阈值比较的方式来实现的。
62.在一个实施例中，对零件图像进行一级分类识别。如图3所示，s0为分割后第一个零件的最小矩形框面积，用以初始化变量max_s和min_s，而s
n
则是另外四个零件的最小矩形框面积。th1、th2分别为绿色与红色像素数的参考阈值。sr1、sr2分别为图片3和4代表的零件最小矩形框面积。
63.在另一个实施例中，对零件图像进行二级分类识别。
64.零件0：比较最小矩形框面积max_s与给定阈值th3的大小，其分类结果lab0如下式(1)所示：
[0065][0066]
如图4中(a)和(c)所示，本发明实施例对姿态01、02矩形框可能出现的两种情况，以p1点为基础点，判断p1p2与p1p3的长短情况，并按下式(2)重新规定四个顶点的顺序，如图4中(b)和(d)所示。
[0067][0068]
如图4中(b)和(d)阴影区域所示，本发明实施例以q1q2所在的长边划定感兴趣区域(roi)。假设表示零件的像素点集合为s，感兴趣区域内像素点集合为s，通过下式(3)对感兴趣的矩形长边做出选择,记作l：
[0069][0070]
对选取的边l的两个端点，即顶点，同样以感兴趣方式做出选择。如图5所示，实际操作中a点为最终选取的感兴趣点，同时记录与其构成矩形短边和长边的b、c两点。设向量ab和ac的夹角为φ，因在图像中顺时针转动角度为负，反之为正，故根据下式(4)做出类别判断，记作：
[0071][0072]
零件1：如图6所示，零件1二级分类算法流程，th4为零件1在自身不同姿态下的绿色像素数参考阈值，th1与其的区别在于，th1为自身与其它零件比较的参考；th5为自身轮廓面积的参考阈值；小圆如图7中(a)图中黄色标记的圆并与(b)形成对比。子流程
‘
姿态10or11’的步骤同零件0姿态01和02的区分步骤基本一致。但零件1选取的感兴趣边为矩形框的短边，且其依据是两条短边与质心点m距离的大小。实际操作如图7中(c)和(d)所示，选取的边为ab边，点为a点。其分类结果如下式(5)，记作lab1：
[0073]
[0074]
零件2：比较零件2最小矩形框面积min_s与给定阈值th6的大小，如下式(6)做出类别判断，记作lab2：
[0075][0076]
如图8所示，对零件2轮廓进行凸包检测找出其中间弯曲处的弯曲点o。凸包即如图8中(a)和(c)中的蓝色包围线，为凸多边形，凸包所包围白色区域即为凸性“缺陷”。同样以零件0中边选取的方式找到ab边所在，而两种姿态下均有矩形框顶点a距离o点较近，从而确定a点所在。设向量oa和ob的夹角为φ，分类结果如下式(7)，记作lab2：
[0077][0078]
零件3：如图9所示，零件3的二级分类算法流程，依据其在一级分类中是否通过红色提取判断作出进一步判断。s3为其最小矩形框面积，th7为姿态30和32的区分阈值，th8为姿态31和33的区分阈值。
[0079]
零件4：比较零件4最小矩形框面积s4与给定阈值th9和th
10
的大小，th9<th
10
。其分类结果如下式(8)所示，记作lab4：
[0080][0081]
对于姿态41、42和43，比较零件轮廓面积s
cnt
与给定阈值th
11
的大小，将其分为两个子类，如下式(9)所示，记作lab4：
[0082][0083]
如图10所示，姿态41和42在灰度、形状、边缘梯度等方面均存在极大的相似度，难以准确区分，因此采用机械的方式使其变为姿态40或43再进行角度识别。
[0084]
对于姿态44和45：顺次对矩形框顶点划定感兴趣区域，满足如下式(10)表述的条件,即确定为感兴趣顶点。其中，s为零件像素点集合，s为感兴趣区域内像素点集合。
[0085][0086]
回缩矩形框，获取新矩形内部的零件轮廓点；比较获取的轮廓点与不以感兴趣顶点为端点的两条原矩形框的边的最小距离的大小以确定两条边的位置。实际操作如图11所示，感兴趣顶点为a，与回缩后矩形框内轮廓点最小距离较小的边为bd边，另一边即为cd边。设向量ab和ac的夹角为φ，根据下式(11)做出类别判断，记作lab4：
[0087][0088]
步骤s4、基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
[0089]
具体过程为，提取同一类图像中两个摆放姿态相异的零件图像分别作为相应零件
的模板图像及旋转图像；
[0090]
在每一零件的模板图像和旋转图像上，均通过对各零件最小矩形框中感兴趣的边及感兴趣的顶点位置进行分析选取，并根据需求重新规定矩形框各顶点储存顺序，且进一步依次寻找与各顶点距离最近或最远的零件轮廓点作为关键点；
[0091]
将每一零件的模板图像上的关键点与其对应旋转图像上的关键点进行匹配，而后计算各零件的模板图像与旋转图像中相对应的两两关键点形成的向量，并进一步将各零件所计算的向量间的夹角平均值设为各零件旋转角度；
[0092]
通过三对及以上的关键点对，计算得到各零件的模板图像与旋转图像间的仿射变换矩阵。
[0093]
在一个实施例中，如图12所示，为角度计算示意图，计算实际图像中两个关键点的向量ac及对应模板中的向量a1c1，其夹角θ即为旋转角。为减小误差，尽可能求多个值取平均。
[0094]
步骤s5、确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
[0095]
具体过程为，通过相机标定获取相机内参及外参矩阵，依次经过从像素坐标系到图像坐标系、图像到相机坐标系及相机到世界坐标系的转换，并结合世界坐标系与机器人坐标系之间的平移和旋转关系，得到能将像素坐标从像素坐标系转换到机器人坐标系的坐标转换矩阵；
[0096]
通过所述仿射变换矩阵对所述零件源图中指定的抓取点进行仿射变换，得到抓取点在实际图像中的像素坐标，而后通过所述坐标变换矩阵对抓取点像素坐标进行空间转换，得到抓取点在机器人坐标系下的坐标。
[0097]
在一个实施例中，首先将提前保存的与当前姿态零件对应的模板图像中的抓取点像素坐标通过仿射变换，得出抓取点在实际图像中的像素坐标，如下式(12)所示：
[0098][0099]
其中，m1为仿射变换矩阵、(u,v)为抓取点在实际图像中的像素坐标、(u0,v0)为抓取点在模板图像中的像素坐标
[0100]
其次，将实际抓取点像素坐标经过如图13所示相机标定及手眼标定所需的4次坐标系变换，得到抓取点机器人坐标系下坐标，如下式(13)所示：
[0101][0102]
其中，m2为坐标转换矩阵、(x,y,z)为抓取点在机器人坐标系下的坐标、(x0,y0,z0)则为机器人坐标系与世界坐标系间的偏移量。
[0103]
步骤s6、将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
[0104]
具体过程为，以机器人的控制器为主控制器，接收信息包括零件类别、旋转角度和抓取点在机器人坐标系下的坐标，从而确保实现对机器人调整零件姿态及夹取装配工作的
正确引导。其中，机器人的控制器承担接收关电开关输入的零件到达信号、输出相机开始拍照信号及对机器人运动和气缸夹爪动作的控制信号等作用。
[0105]
如图14所示，为本发明实施例中，提供的一种多特征融合的视觉识别系统，包括：
[0106]
图像接收单元110，用于接收现场零件整体拍摄的零件源图；
[0107]
图像分割单元120，用于对所述零件源图进行分割处理，得到各独立状态的零件图像；
[0108]
图像分级识别单元130，用于基于零件种类及摆放姿态，对所述各独立状态的零件图像进行两级分类识别，以确定各零件图像中零件的种类及图像分类归属；其中，同一零件种类而摆放姿态相异的多个零件图像均归属于同一类图像中；
[0109]
零件旋转角度计算单元140，用于基于同一类图像中的零件图像，确定各零件的模板图像及旋转图像，并对各零件的模板图像与相应旋转图像进行关键点提取及匹配，以计算出各零件旋转角度以及图像之间的仿射变换矩阵；
[0110]
抓取点坐标变换单元150，用于确定像素坐标系到机器人坐标系转换的坐标转换矩阵，并结合所述仿射变换矩阵，将所述零件源图中的抓取点坐标变换到实际机器人坐标系下的坐标；
[0111]
信息发送单元160，用于将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，以实现对机器人调整零件姿态及夹取装配工作的引导。
[0112]
其中，还包括：
[0113]
图像预处理单元，用于对所述零件源图进行预处理；其中，所述预处理包括图像灰度化、零件边缘提取、二值化、形态学操作、零件轮廓提取及最大最小矩形框拟合。
[0114]
实施本发明实施例，具有如下有益效果：
[0115]
1、与现有技术相比，本发明通过将最小矩形框中零件像素点画入具有其最大外接矩形框大小的空白图像中的方式进行零件图像分割，能有效避免零件相距较近时出现的将非目标零件部分同时分割至一张图像中的问题；通过对零件轮廓面积、最小外接矩形框面积、颜色以及成像结构等特征进行分析，以阈值比较的方式进行两级分类识别，在保证分类准确度的同时，又能减短系统的开发周期；
[0116]
2、本发明通过寻找与重定顺序后最小矩形框顶点相距最近或最远的零件轮廓点的方式获取关键点对，再通过关键点对计算零件旋转角度与实际抓取点坐标，最后将各零件的种类和旋转角度，以及变换后的抓取点坐标发送给实际机器人的控制器，从而能对实际场景中散乱放置零件的类别和旋转角度，以及抓取点坐标信息进行识别获取，并保证识别误差在系统允许范围以内，实现对机器人调整零件姿态及夹取装配工作的正确引导；
[0117]
3、本发明相较建模分类的方式，更便于后期系统的维护与调整，且相较特征匹配及模板匹配等方式，更能满足系统对识别精度的要求。
[0118]
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0119]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。
[0120]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。