基于产品特征的图像识别与机器人自动定位方法与流程

本发明属于工艺生产技术领域，具体涉及基于产品特征的图像识别与机器人自动定位方法。

背景技术：

随着工业生产水平的提高和当今社会对产品需求以及产品质量要求的提高，智能制造已经称为一个必然的趋势。产品的自动识别和机器人的自动定位是随着现代化工业生产中自动化和智能化技术的不断要求而发展起来的，它在节省时间和劳动力以及提高效率和准确性方面都有着十分重要的意义。

现有的基于产品特征的图像识别主要识别包括产品的全局特征和局部特征。全局特征包括纹理特征、形状特征、颜色特征等。局部特征包括sift特征和surf特征。在全局特征中，纹理是表达图像的一种重要特征，它不依赖于颜色或亮度而反映图像的同质现象，反映了表面结构组织排列的重要信息以及它们与周围环境的联系。纹理特征不是基于像素点的特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。常见的基于产品纹理特征的提取方法有统计法、信号分析法、模型法、结构法和几何法。其中，统计法简单、易于实现，但缺少图像的全局信息；信号分析法能对纹理进行多分辨率扫描，但对非规则纹理图像的处理效果不佳，且计算量大；结构法只适合于纹理基元较大且排列规则的图像。形状特征属于图像的中间层特征，形状通常被认为是一条封闭的轮廓曲线所包围的区域。对形状特征点描述主要可分为两类：基于轮廓形状和基于区域形状。区分方法在于形状特征仅从轮廓中提取还是从整个形状区域中提取。颜色特征是人类感知和区分不同物体的一种基本视觉特征，描述了图像或图像区域所对应的景物的表面性质。常见的特征提取和匹配方法有颜色直方图、颜色集、颜色矩和颜色聚合向量。在目前的硬件条件下，通常是将彩色图转化成灰度图像，按照灰度图像处理方法处理，从而减少复杂度。在局部特征中，已有了大量基于sift特征提取和基于surf特征提取的算法，可以实现图像识别。

从上述可以看出，基于产品全局特征和局部特征的图像识别方法都有很多，对比全局特征和局部特征，全局特征是对整张图像进行特征提取，过程往往较快，能提供更多的上下文信息，但是丢失了很多局部特点；局部特征有较强的鲁棒性，对旋转、缩放不敏感，具有匹配度高、不易误配等优点，但无法识别相似的位置。并且识别出的结果没有直接传输给机器人或者由人工干预完成将识别结果输入机器人的过程，这样识别结果无法自动传输给机器人，造成资源浪费和人工干预主观性太强的后果，从而影响整个生产或检测线的速度和精度。

技术实现要素：

针对以上技术问题，本发明提出了一种基于产品特征的图像识别与机器人自动定位方法，将图像识别和机器人定位过程紧密结合，提高生产线流动速度和减少人工干预带来的主观影响，包括以下步骤：

(1)由ccd相机生成的灰度图像，使用中值滤波方法对图像进行滤波，有效减少图像噪声点；

(2)对图像进行全局特征和局部特征的提取、融合，实现更精确的目标定位和轮廓提取；

(3)将步骤(2)中图像坐标系下的位置信息通过标定相机的参数矩阵转换为世界坐标系下的位置信息，并将此世界坐标通过通信模块发送给机器人的运动控制模块；

(4)机器人的运动控制模块收到步骤(3)的世界坐标，并根据此信息控制机器人运动至目标位置；

(5)由反馈模块计算步骤(4)中机器人到达的实际位置是否超过设定好的阈值；

(6)若步骤(5)中计算得到的偏差超过设定好的偏差阈值，则由运动控制模块控制机器人向目标位置移动，实现自动纠偏，否则，认为机器人已到达目标位置，不需要纠偏。

有益效果：

本发明提出一种基于产品特征的图像识别与机器人自动定位方法，将基于产品特征的图像识别和机器人的自动定位统一起来，能够全自动地完成从图像采集到图像识别再到机器人定位的全过程。

在图像识别模块中，综合了全局特征提供更多上下文信息、局部特征鲁棒性强的优点，提取特征后将其进行融合，最后经过分类处理，输出分类结果，使基于产品特征的图像识别更加准确，克服了全局特征丢失局部特点、局部特征没有足够上下文信息的缺点。

附图说明

图1为本发明工件位置与机器人实际位置、预期位置示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

本发明采用的是灰色相机，所以提取的全局特征不包括颜色特征。提取的全局特征为形状特征，局部特征为surf特征，这两种特征具有的共同特点是具有旋转不变性。对于形状特征，形状特征是人类视觉进行物体识别时所需要的关键信息之一，它不随周围的环境如亮度等因素的变化而变化，是一种稳定信息。对于局部特征surf特征，surf特征的核心矩阵是hession矩阵，通过在不同的尺度下寻找特征点来增强尺度不变性。为了提高surf特征匹配的准确率，引入ransac(随机抽样一致)算法，通过不断迭代来提出错误数据。最后将提取的全局特征与局部特征融合，对其进行训练，最后使用分类模型输出分类结果。具体为：

(1)由ccd相机生成的灰度图像，并对图像进行滤波，减少图像的噪声；

(2)对滤波后的图像进行surf特征提取，并运用kd-树算法进行特征匹配，实现目标的准确定位；

(3)对步骤(2)定位到的目标进行形状特征提取，实现目标的轮廓检测。

上述步骤对图像的全局特征和局部特征分别进行提取，实现了多特征融合，同时考虑了上下文信息和局部特点的旋转不变性等优点，使定位的精度得到进一步提高。

在机械制造过程中，以往机械零件的装卸、分拣或者搬运都是通过人工或半人工的方式来完成的，效率低下并且人员可能受到意外伤害。本发明可以用于机械智能制造领域进行零件识别，并且机器人的自动定位可以实时完成零件的分拣或者搬运，在制造领域有着巨大的优势。具体为：

(4)将上述步骤(3)中图像坐标系下的位置信息转换为世界坐标系下的位置信息，并发送给机器人的运动控制模块；

(5)机器人的运动控制模块控制机器人运动至指定位置，由于存在机器人本身的误差和标定误差，所以会导致实际到达的位置与预期位置有一定的偏差，如图1所示；

(6)首先比较z方向的偏差|dz|与设定阈值之间的大小，机器人末端与工件z方向的距离由激光测距仪测得，若计算后偏差大于设定阈值，则通过运动控制模块自动纠偏，缩小与预期位置的偏差，完成z方向纠偏；

(7)然后比较x方向的偏差|dx|与设定阈值之间的大小，x方向距离偏差通过将步骤(6)位置的图像坐标通过参数矩阵转换计算得到，若偏差大于设定阈值，则通过运动控制模块自动纠偏，缩小与预期位置的偏差，完成x方向纠偏；

(8)最后比较y方向的偏差|dy|与设定阈值之间的大小，y方向距离偏差通过将步骤(7)位置的图像坐标通过参数矩阵转换计算得到，若偏差大于设定阈值，则通过运动控制模块自动纠偏，缩小与预期位置的偏差，完成y方向纠偏。

技术特征：

1.基于产品特征的图像识别与机器人自动定位方法，包括如下步骤：

(1)由ccd相机生成的灰度图像，使用中值滤波方法对图像进行滤波，有效减少图像噪声点；

(2)对图像进行全局特征和局部特征的提取、融合，实现更精确的目标定位和轮廓提取；

(3)将步骤(2)中图像坐标系下的位置信息通过标定相机的参数矩阵转换为世界坐标系下的位置信息，并将此世界坐标通过通信模块发送给机器人的运动控制模块；

(4)机器人的运动控制模块收到步骤(3)的世界坐标，并根据此信息控制机器人运动至目标位置；

(5)由反馈模块计算步骤(4)中机器人到达的实际位置是否超过设定好的阈值；

(6)若步骤(5)中计算得到的偏差超过设定好的偏差阈值，则由运动控制模块控制机器人向目标位置移动，实现自动纠偏，否则，认为机器人已到达目标位置，不需要纠偏。

技术总结
本发明一种基于产品特征的图像识别与机器人自动定位方法，将图像识别和机器人定位过程紧密结合，提出了新的高精度的图像识别算法，为机器人提供更精确的位置信息，融合了全局特征的形状特征和局部特征的SURF特征，结合了全局特征的上下文信息以及局部特征的鲁棒性强、对旋转等不敏感的优点，能够更准确的实现基于产品特征的图像识别，并且能够与机器人通信，控制机器人到达指定位置，并具备自动纠偏的重要功能，能够对比机器人当前位置与图像识别输出的位置，计算偏差，并融合激光信息，准确计算机器人手末端与特征表面的距离，实现自适应纠偏的机器人自动准确定位。

技术研发人员：何智成;马亚东;胡朝辉;宋凯
受保护的技术使用者：广西柳州联耕科技有限公司
技术研发日：2019.12.20
技术公布日：2020.06.05