一种基于视觉的零件快速识别方法与流程

本发明属于机器人视觉定位领域，涉及一种基于视觉的零件快速识别方法。

背景技术：

21世纪以来，随着机器人技术的不断成熟，机器人技术得到了更广泛应用。从工业机器人发展到服务型机器人，机器人逐渐走入了人们的日常生活当中，给我们带来了诸多方便。随着人类物质生活水平的提高及精神生活的日益丰富，未来机器人将跟人类更密切的联系在一起。

目前，在生产中应用的工业机器人，一般采用示教或者离线编程的方式，只是简单地重复执行预先编制好的程序，完成程序设定的动作，这在工业生产中受到了许多限制。

在工业生产线中，会存在大量的零件识别和定位抓取。传统的人工分类不能精确和准确识别，存在以下几个问题：①识别速度慢；②存在漏检。通过机器视觉，对零件进行自动识别分类，可以将人们从大量的体力劳动中解脱出来。

论文“基于双目视觉的服务机器人仿人机械臂控制，上海大学学报(自然科学版),2012,18(5):506-512.徐昱琳,杨永焕,李昕,等”，采用双目立体视觉实现目标的抓取，即在识别物体时，采用颜色分割法将RGB颜色空间转换至HSV颜色空间，并通过选取阈值来分割图像，分割后的图像受背景干扰较大且噪点较多。

论文“双目立体视觉的目标识别与定位，智能系统学报,2011,6(4):303-311，尚倩,阮秋琦,李小利”，采用双目立体视觉实现目标识别与定位；该双目立体视觉系统主要包括摄像机标定、图像分割、立体匹配和3维测距4个模块，其中立体匹配是双目视觉定位的最关键的一步，但实现目标区域的准确立体匹配 较难，且立体匹配的不准确将直接导致所获取的深度信息产生偏差，同时其实时性是双目和多目定位视觉系统面临的最大挑战。

技术实现要素：

本发明目的在于提供一种基于视觉的零件快速识别方法，从零件的轮廓数、各个轮廓的几何特征和形状特征三个方面，将待测零件图像与零件库中的模板零件图像比较和识别，实现了实时准确地对平面零件进行识别、分类以及定位，有效地解决了现有机器人无法及时适应工作环境或目标对象发生变化，导致操作失败，从而无法满足柔性生产系统的要求。

为解决上述技术问题，本发明采用如下的技术方案：一种基于视觉的零件快速识别方法，所述方法包括：S1，采集多个零件的模板图像，建立零件库；S2，采集待测零件图像，并提取该零件特征；S3，对待测图像进行识别；S4，对待测图像中的零件进行定位。

进一步地，所述步骤S1、S2中，对零件图像的预处理包括：图像采集、灰度增强、滤波去噪、形态学操作以及二值化。

进一步地，所述步骤S1、S2中，零件图像的特征包括：图像中轮廓的个数、各个轮廓的几何特征及其形状特征。

进一步地，所述步骤S3中，通过对待检零件图像与模板图像进行前期所提取特征的相似度比较来进行识别。

进一步地，所述步骤S4中，根据零件的最小外接矩形进行零件的定位抓取。

本发明与现有技术相比具有以下的有益效果：

本发明方案从零件的轮廓数、各个轮廓的几何特征和形状特征三个方面，将待测零件图像与零件库中的模板零件图像比较和识别，实现了实时准确地对平面零件进行识别、分类以及定位。

附图说明

图1是基于视觉的零件快速识别方法的流程框图。

图2是待检零件图像的预处理流程框图。

图3是待检零件的轮廓图。

图4是待检零件的最小外接矩形及其与坐标系的夹角。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种基于视觉的零件快速识别方法，所述方法包括：

S1，采集多个零件的模板图像，建立零件库；

采集多个零件的模板图像，每个模板图像都代表一类零件，再提取零件特征，保存到零件库中。

S2，采集待测零件图像，并提取该零件特征。

步骤S1与S2均须进行图像预处理操作以及图像特征提取操作；其中，

图像预处理是零件识别过程中的重要环节。在零件图像采集环境中，由于条件限制和一些随机干扰，如光照强度、拍摄角度、设备性能优劣等原因可能会造成图像模糊、混入噪声、对比度不够等缺点，所得到的原始图像往往不能直接使用，需要进行一系列的预处理操作来消除零件图像受到的干扰。参见图2，图像预处理操作包括：

1)图像采集实际上就是将数字图像数据采集到计算机中的过程，可使用性能比较好的工业相机进行图像采集，并将采集后的数字图像数据交给计算机进行处理。

2)由于采集的数字图像是彩色图像，而彩色图像色彩丰富，包含信息量大， 图像处理速度较慢，考虑到工业机器人对工件的定位没有使用彩色图像的必要性，另外对定位识别速度要有一定的要求，所以对彩色图像灰度化是必不可少的。

3)滤波去噪是图像处理和计算机视觉中最基本的操作，其中最常用的是高斯滤波(出自论文Computer Vision:Algorithms and applications.作者：Szeliski R.Beijing:Tsinghua University Press，2012.)，它的原理是邻域内像素值的加权平均。

4)形态学操作是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量，比如边界、骨架以及凸壳，还包括用于预处理或后处理的形态学过滤、细化和修剪等；膨胀和腐蚀是形态学处理的两种基础操作，许多形态学算法都是以这两种运算为基础的。

5)图像二值化就是将图像上的像素点的灰度值设置为0或255，将整个图像呈现出明显的黑白效果。图像的二值化有利于图像的进一步处理，使图像变得更加简单，不但能凸显出感兴趣目标的轮廓，还能减小数据处理量。

图像特征提取是实现零件识别的关键，经过边缘检测的图像反映了图像的最基本特征。对于机械零件图像，具有明显的几何特征和形状特征。本发明结合了图像中轮廓的个数、各个轮廓的几何特征及其形状特征作为零件图像的特征，对零件图像进行识别。

1)图像轮廓的提取。

边缘是零件图像的基本特征之一，它通常存在于背景、目标与目标、区域与区域、基元与基元之间。边缘检测图像是二值图像，反映了零件的基本的信息和特征。

参照图3，对经过预处理的零件图像进行二值化，之后进行边缘检测，可 获得零件的各个轮廓。

本发明中，提取轮廓的个数作为图像特征之一。另外，针对零件的每个轮廓，需要进一步提取特征；在本发明中，主要提取每个轮廓的几何特征和形状特征。

2)几何特征的提取。

面积和周长及其最小外接矩形可作为零件图像的重要特征，是衡量其所占范围的一种客观度量，由零件所占区域的边界决定。对图像进行旋转和平移时，区域的面积、周长及其最小外接矩形不发生改变；而当其进行缩放或者放大时，区域的面积、周长及其最小外接矩形也发生改变。

本发明在获得零件的各个轮廓之后，分别求出对应的轮廓内的区域的面积、周长及其最小外接矩形的宽和高，将其作为轮廓的几何特征，并将各个轮廓对应的几何特征按照面积大小进行排序。

3)形状特征的提取。

矩特征主要表现了图像区域的几何特征，也称为几何矩，它具有旋转、平移、尺度等特性的不变特征。Hu于1962年提出了基于代数不变量的矩不变量，并通过对几何矩的非线性组合，导出了一组对于图像平移、旋转和尺度变化不变的矩。

对于离散的数字图像f(x,y)的p+q阶中心距定义为：

其中，表示图像的区域中心。中心距表示图像内不同灰度级的像素相对于其中心是如何分布的，因此中心距具有位置无关性。为了获取针对图像缩放无关的性质，对中心距进行标准化操作：

其中，

基于标准化的二阶和三阶中心距，可以导出HU不变矩如下：

m1＝η20+η02

m2＝(η20-η02)²-4η11²

m3＝(η30-3η12)²+3(η21-η03)²

m4＝(η30+η12)²+(η21+η03)²

m5＝(η30-3η12)(η30+η12)[(η30+η12)²-3(η21+η03)²]+(3η21-η03)(η21+η03)[(3η30+η12)²-(η21+η03)²]

m7＝(3η21-η03)(η30+η12)[(η30+η12)²-3(η21+η03)²]+(3η21-η30)(η21+η03)[3(η30+η12)²-(η21+η03)²]

本发明中，主要利用Hu矩的前3个作为形状特征。

S3，对待测图像进行识别；

将待测图像与零件库中的每幅图像进行比较，找出误差最小并且满足误差小于某一定值的模板图像，则认为该零件与此模板图像的零件是同一类别，否 则，认为该零件的类别未知。

本发明根据前期所提取的轮廓数、各个轮廓的几何特征和形状特征方面进行比较，根据图像的相似度来判定待测零件的类别。

本发明对图像进行定义如下：图像A为图像库中的模板图像；图像B为待测图像。

对提取的零件特征进行定义如下：

m表示轮廓数；C1[i]表示第i个轮廓区域内的面积(1<＝i<＝m，代表图像中的第i个轮廓)；C2[i]表示第i个轮廓的周长；C3[i]、C4[i]分别表示第i个轮廓的最小外接矩形的宽和高；C5[i]、h[k]表示第k个轮廓的hu矩的第k个(1<＝k<＝3)。

1)几何相似度的计算。

根据图像A和图像B的各个轮廓的周长、面积、最小外接矩形的宽和高来计算图像A和图像B的几何相似度slOnSize：

(1)如果轮廓数m^A≠m^B，则认为图像A与图像B不相似。否则，m＝m^A，转入(2)。

(2)对于第1个轮廓，当temp<ε1(测试值：ε1＝0.1)，转入(3)。否则，交换图像B的每个轮廓的和转入(3)。

(3)对于第i个轮廓(1<＝i<＝m)，当temp>ε1(测试值：ε1＝0.1)时，认为图像A与图像B中的零件几何不相似。否则，slOnSize+＝temp，转入(4)。

(4)得到图像A与图像B的相似度：slOnSize＝slOnSize/m。

2)形状相似度的计算。

根据轮廓矩方法，计算图像A和图像B的形状相似度slOnShape：

(1)如果轮廓数m^A≠m^B，则认为图像A与图像B不相似。否则，m＝m^A，转入(2)。

(2)对于第i个轮廓(1<＝i<＝m)，temp＝I(Ai,Bi)，当temp>ε2(本实验中ε2＝5)时，则认为图像A与图像B中的零件形状不相似。否则，slOnShape+＝temp，转入(3)。

(3)得到图像A与图像B的形状相似度：slOnShape＝slOnShape/m。轮廓矩匹配方法如下：

其中：sign为符号函数，为图像A的C5[i].h[k]，(1<＝k<＝3)，为图像B的C5[i].h[k]。

3)零件的识别方法如下：

(1)将待测图像与零件库中所有模板图像(个数为num)分别进行几何过滤，计算几何相似度slOnSize[num]。若存在几何相似的模板图像，则取slOnSize[num]中值最小的前3个对应的图像，进入步骤(2)；否则，测试图像中的零件的类别未知。

(2)对于待测图像与满足几何相似的每个图像(最多为3个)，进行形状特征比较，计算轮廓相似度slOnShape[3]。若存在相似的模板图形，则取slOnShape[3]中最小的值对应的图像为匹配的模板图像，即认为待测零件与匹配的模板零件为同一类别。否则，待测图像中的零件的类别未知。

S4，对待测图像中的零件进行定位；

本发明主要是根据零件的最外围轮廓的最小外接矩形来进行定位。

参照图4，在提取零件区域时，提取零件图形的最外围轮廓的外接矩形的中心center、最小外接矩形的偏转角angle(即：此时逆时针旋转angle，则矩形的宽与x轴平行)、最小外接矩形的宽width和高height。

工业机器人在进行工件抓取时，根据获取的角度信息进行抓手抓取方向调整，调整为抓取两条长边的方向最为合理。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。