一种基于混合模型的零件识别与定位方法与流程

本发明涉及视觉工业机器人技术领域，特别涉及一种基于混合模型的零件识别与定位方法。

背景技术：

工业机器人是机械机构、运动规划和控制系统等关键技术的综合集成，具有工作效率高、稳定可靠、重复精度好等优点，广泛应用于焊接、码垛、装配、加工、检测、物流搬运和喷涂等领域，在劳动密集型产业转型升级中发挥重要作用。2014年我国工业机器人销量5.7万台，已成为全球第一大工业机器人市场，2015年国务院印发的《中国制造2025》提出加快发展智能装备，大力鼓励发展工业机器人技术。目前，瑞士abb、日本发那科公司、日本安川电机和德国库卡机器人等巨头占据中国机器人产业60％市场份额，垄断高端工业机器人核心技术，因此开发自主技术意义重大。

视觉精确识别定位技术是工业机器人在非结构化环境中自主识别与定位零件，进行柔性作业的核心技术，克服了传统工业机器人通过示教编程作业，缺乏应变能力的问题，显著地促进了智能工业机器人发展，适应了高精度、高速和智能化作业需求。因此研究开发工业机器人的视觉精确识别定位技术意义重大，应用前景广阔。

目前，零件识别普遍采用模板匹配算法，它是在搜索图像上移动一个与模板一样大小的窗口，计算窗口图像与模板图像的相似度，并寻找相似度最优位姿的过程。但是该算法一方面只能得到离散的平移和旋转精度；另一方面是在摄像机视角变化、非线性光照变化、遮挡或杂乱背景等工况下，零件与模板图像常存在几何变形。上述两方面原因导致模板匹配算法识别定位精度低。

技术实现要素：

本发明的目的在于提供一种基于混合模型的零件识别与定位方法，以提高视觉工业机器人识别与定位精度。

为实现以上目的，本发明采用一种基于混合模型的零件识别与定位方法，包括如下步骤：

s1、采集零件图像，并利用模板匹配算法识别出零件图像中的零件，得到每个零件对应的位姿；

s2、分别提取识别出的每个零件的边缘点集，以及提取模板图像的边缘点集及其方向向量；

s3、基于高斯混合模型，分别构建各零件边缘点集与模板图像边缘点集之间的几何误差的似然函数；

s4、采用em算法对所构建的似然函数进行优化，得到所述几何误差的优化值；

s5、利用所述几何误差的优化值对相应零件的位姿进行修正，得到各零件的修正位姿以对所述零件图像中的各零件进行识别。

其中，在所述步骤s5之后，还包括：

s6、将所述各零件的修正位姿转换至世界坐标系中，得到各零件在世界坐标系中的位姿以对所述零件图像中的各零件进行识别。

其中，所述步骤s1，具体包括：

在利用所述模板匹配算法识别出零件图像中的零件时，基于金字塔分层搜索策略，得到所述零件图像中每个零件的位姿。

其中，所述在利用所述模板匹配算法识别出零件图像中的零件时，基于金字塔分层搜索策略，得到所述零件图像中每个零件的位姿，具体包括：

利用所述模板匹配算法识别出所述零件图像中各零件的粗略位姿；

计算出与所述零件图像和模板图像相适应层数的图像金字塔；

基于各零件的粗略位姿，在所述图像金字塔的最高层进行一次完整的模板匹配，在最高层搜索所述零件图像中的各零件；

将在最高层搜索得到的各零件追踪到所述图像金字塔的最底层，得到所述零件图像中各零件的精细位姿。

其中，所述的步骤s3，具体包括：

根据每个零件的边缘点集、模板图像边缘点集的方向向量及设定的尺度因子，计算所述模板图像边缘点集中任意点的概率；

根据所述模板图像边缘点集中任意点的概率，构建所述零件边缘点集和模板图像边缘点集件的几何误差的负对数似然函数。

其中，所述的步骤s4，具体包括：

s41、对所述负对数似然函数的参数进行初始化处理，得到参数初始化值，其中负对数似然函数的参数包括尺度因子及几何误差；

s42、根据所述参数初始化值或者上一次负对数似然函数迭代的参数，计算隐性变量的后验概率；

s43、根据所述后验概率对所述几何误差及尺度因子的似然函数进行优化，得到新的参数值；

s44、重复步骤s42～s43，直至所述几何误差及尺度因子的似然函数收敛，得到几何误差值和尺度因子。

其中，所述的步骤s6，具体包括：

将世界坐标系固定在平面标定板上；

通过标定得到平面标定板与摄像机间的位姿矩阵以及内参数矩阵；

根据所述位姿矩阵及内参数矩阵，计算所述零件图像中的零件在世界坐标系中的位姿。

与现有技术相比，本发明存在以下技术效果：本发明首先使用基于归一化互相关系数的模板匹配算法采集到的零件图像进行粗识别，得到零件的粗略位姿，然后基于高斯混合模型构建关于零件与模板图像边缘点集间几何误差的似然函数，应用em算法得到几何误差的优化值，并利用几何误差的优化值来修正零件的位姿，实现精确识别零件图像中零件的目的。因边缘对光照变化具有不变性，且基于高斯混合模型的位姿调整算法对噪声鲁棒性高，所以本发明可适用于非线性光照变化、杂乱或遮挡工况下零件的精确识别定位，具有很好的鲁棒性。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是本发明中一种基于混合模型的零件识别与定位方法的流程示意图；

图2是本发明中采集到的零件图像；

图3是本发明中的模板图像；

图4是本发明中采用归一化互相关系数的模板匹配算法对零件图像识别的结果示意图；

图5是本发明中各零件边缘点集和模板图像边缘点集的分布示意图；

图6是本发明中基于高斯混合模型得到零件几何误差精确值的结果示意图；

图7是本发明中利用几何误差精确值对零件图像中所有零件位姿进行修正的结果示意图；

图8是本发明中另一种基于混合模型的零件识别与定位方法的流程示意图；

图9是本发明中摄像机坐标系与世界坐标系转换的示意图；

图10是本发明中采用模板匹配算法和本发明方法进行试验的原理图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于混合模型的零件识别与定位方法，包括如下步骤s1～s5：

s1、采集零件图像，并利用模板匹配算法识别出零件图像中的零件，得到每个零件对应的位姿；

需要说明的是，本实施例中使用维视视觉公司生产的型号为mv120sc，成像分辨率为1280像素×960像素，焦距为8mm的工业摄像机采集图像，采集的图像如图2所示。然后创建模板图像如图3所示，应用基于归一化互相关系数的模板匹配算法和金字塔分层搜索策略，识别出零件位姿(xi,θi),i＝1,2,3,…,k，k表示识别出的零件数量，θi表示第i个零件的角度，xi表示第i个零件的位置值，是一个二维坐标值，得到的识别结果如图4所示。

需要说明的是，基于归一化互相关系数的模板匹配算法具体原理如下：在零件图像上移动一个与模板图像尺寸一样的窗口，计算窗口图像与模板图像的归一化互相关系数，即相似度；寻找相似度大于某一个阈值的位置作为零件的位姿。其中，归一化互相关系数为：

式中，q为模板图像像素点的数量，s(x,y)为零件图像i上任意像素坐标点(x,y)的相似度，(r,c)为模板图像t上的像素坐标，t(r,c)为模板图像在像素点(r,c)处的灰度值。

由于模板匹配算法计算开销大，为此，采用金字塔分层搜索策略进行加速，具体原理如下：首先，计算出与零件图像和模板图像具有适用层数的图像金字塔；其次，在最高层金字塔进行一次完整的模板匹配；然后，将在图像金字塔最高层搜索得到的零件都追踪到图像金字塔的最底层，得到零件的精细位姿。达到了减少计算开销、提高零件识别速度。

s2、分别提取识别出的每个零件的边缘点集，以及提取模板图像的边缘点集及其方向向量；

需要说明的是，如图5所示，提取每个零件边缘点集，记为xi＝{xi,1,xi,2,…,xi,m}，m为零件边缘点总数量；提取模板图像边缘点集及其方向向量，分别记为y＝{y1,y2,…,yn}和v＝{v1,v2,…,vn}，n为模板图像边缘点总数量。

s3、基于高斯混合模型，分别构建各零件边缘点集与模板图像边缘点集之间的几何误差的似然函数；

需要说明的是，本实施例中的几何误差包括旋转误差矩阵ri、平移误差矩阵ti和缩放误差si。该几何误差的似然函数的构建过程为：

(1)设点集y来源于一个高斯混合模型，点集y中任意点的概率为：

式中：σ是尺度因子且大于零，yn为模板图像的第n个边缘点，是个二维坐标值，yn∈y，xi,m∈xi，vn是yn的方向向量，vn∈v，p()表示概率函数，t为转置符号。

(2)构建点集y的负对数似然函数：

式中：xi,m为第i个零件第m个边缘点。

s4、采用em算法对所构建的似然函数进行优化，得到所述几何误差的优化值；

其中，旋转误差矩阵ri、平移误差矩阵ti和缩放误差si的优化值如图6所示。图6和图5相比，可知em算法能有效地最小化上述负对数似然函数，解算出最优的几何误差值。

s5、利用所述几何误差的优化值对相应零件的位姿进行修正，得到各零件的修正位姿以对所述零件图像中的各零件进行识别。

其中，零件图像中各零件位姿经修正后的示意图如图7所示，图7和图4相比，基于高斯混合模型的零件位姿修正算法能有效修正零件位姿，实现精确识别目的。需要说明的是，本实施例通过采用归一化互相关函数的模板匹配算法对零件图像中的零件进行粗识别，得到零件的粗略位姿，然后基于高斯混合模型构建零件与模板点集件的几何误差的似然函数，期望最大化算法(expectationmaximizationalgorithm，em)，得到几何误差的优化值，再利用几何误差的优化值对相应零件的位姿进行修正，可精确识别零件图像中的零件。

进一步地，步骤s4，具体包括如下步骤：

s41、对所述负对数似然函数的参数进行初始化处理，得到参数初始化值，其中负对数似然函数的参数包括尺度因子σ及ri、ti和si；

s42、根据所述参数初始化值或者上一次负对数似然函数迭代的参数，计算隐性变量的后验概率，其中，后验概率q(xi,m|yn)的计算公式为：

s43、根据所述后验概率对所述几何误差及尺度因子的似然函数进行优化，得到新的参数值；

需要说明的是，几何误差及尺度因子的似然公式为：

s44、重复步骤s42～s43，直至所述几何误差及尺度因子的似然函数收敛，得到几何误差值和尺度因子。

需要说明的是，利用线性最小二乘法计算优化后的几何误差值ri',ti',si'，然后求尺度因子σ的导数并令其为零即可求解出尺度因子σ。

进一步地，步骤s5中，利用所述几何误差的优化值对相应零件的位姿进行修正，具体为：

利用优化得到的ri',ti',si'，修正相应零件的位姿，修正公式具体为：

式中：r'i(1,1)表示第i个零件的旋转矩阵r'i第1行第1列上的元素值，x'i指修正后的零件位置值，θ'i指修正后的零件角度值，t'i表示第i个零件的平移矩阵，s'i表示第i个零件优化后的缩放误差，为一常量。

进一步地，如图8所示，本实施例公开的一种基于混合模型的零件识别与定位方法，在上述实施例公开的内容的基础上，在步骤s5之后还包括s6：

s6、将所述各零件的修正位姿转换至世界坐标系中，得到各零件在世界坐标系中的位姿以对所述零件图像中的各零件进行识别，其具体过程为：

(1)将世界坐标系固定在平面标定板上，该平面标定板位置由用户根据实际需求进行设定；

(2)通过标定得到平面标定板与摄像机间的位姿矩阵(r，t)以及内参数矩阵k；

(3)根据所述位姿矩阵(r，t)及内参数矩阵k，计算所述零件图像中的零件在世界坐标系中的位姿，令：

式中：k指摄像机内参数矩阵，r指世界坐标系与摄像机坐标系间的旋转矩阵，t指世界坐标系与摄像机坐标系间的平移矩阵，h是单应性矩阵，[rt]表示矩阵r和矩阵t进行相乘运算，hpf指单应性矩阵第p行第f列元素值，1≤p≤3，1≤f≤4。

根据如下公式计算得到的(x'i,y'i)即为零件在世界坐标系中的位置：

式中：x'i(1)、x'i(2)即为修正后的x'i的二维坐标值。

需要说明的是，本实施例根据工业摄像机与世界坐标系的位姿矩阵和工业摄像机内的参数矩阵，将零件位姿转换至世界坐标系中，转换示意图如图9所示，便于工业机器人拾取零件，能实现对零件图像中零件的准确定位。

采用现有技术中的模板匹配算法和本发明方法进行如下实验：

(1)用hough变换检测模板图像长边以及与待配准零件紧挨放置的尺子上的直线，分别记为l1和l2，l1和l2的夹角θ作为待配准零件的实际角度，如图10所示；

(2)使用精度0.02mm游标卡尺测量零件中心到尺子距离为d＝17.60mm，如图10所示；

(3)应用形状匹配算法和本发明的技术方案分别计算零件位姿值，记为(x1,θ1)和(x2,θ2)，再计算x1和x2到l2的距离，分别记为d1和d2。模板匹配算法和本发明方法得到的定位结果如表1所示：

表1

由表1中的实验数据可知：应用本发明方法测量零件距离以及零件角度的误差分别为-0.01mm±0.57mm和-0.04°±0.36°，均优于形状匹配算法，表明本发明方法具有较高、较稳定的定位精度。而且结合图4、图7，从视觉角度可以看出，采用高斯混合模型和em算法对模板匹配算法进行修正后，即使在非线性光照比那话、杂乱或遮挡工况下条件下，对零件的识别定位也更精确。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。