一种基于二进制特征匹配的遮挡工件识别方法及装置制造方法
【专利摘要】本发明涉及一种基于二进制特征匹配的遮挡工件识别方法及装置，它在解决遮挡工件识别问题的同时，可以降低计算复杂度，减少存储空间，提高匹配精度，而且对环境光线、视角变化和部分遮挡都具有较好的鲁棒性，在不同干扰环境下都可以对遮挡工件进行识别，具有良好的识别效果。因此，本发明可以广泛用于图像识别领域。
【专利说明】-种基于二进制特征匹配的遮挡工件识别方法及装置
【技术领域】
[0001] 本发明涉及一种工件识别方法及装置，特别是关于一种基于二进制特征匹配的遮 挡工件识别方法及装置。
【背景技术】
[0002] 机器人在工业装备制造中应用广泛，在工业生产中发挥了巨大作用。机器人既可 用于加工、装配、搬运、分拣等单调繁琐的重复性工作，又可用于焊接、喷涂、激光加工、压力 铸造等对人体有害的工艺操作。使用机器人不仅能节约人力、降低工人劳动强度、提高生产 效率、降低生产成本，而且生产的产品质量稳定。将机器视觉技术引入机器人控制中，使机 器人能模拟人类视觉认知和判断的功能，通过获取现场图像，基于一定的图像处理和模式 识别技术实现目标识别、分拣等，可极大提高机器人的智能化水平。
[0003] 工件识别是机器视觉应用于工业领域的关键技术之一，目的是将一种类型的工件 从其它类型的工件中区分出来。在机械加工、装配、分拣等自动化生产环节中，都需要先对 工件进行识别，但遮挡问题是工件识别过程中具有挑战性的问题。在工业生产线或工作台 上，工件的摆放位姿不固定，多个工件之间常存在遮挡，摄取的工件图像信息不完整，导致 工件识别准确度显著下降，甚至无法识别，导致生产效率的降低。
[0004] 现有的工件识别中的问题如下：
[0005] l)Liu ff,ffang P,Qiao H. Part-based adaptive detection of workpieces using differential evolution.Signal Processing,2012,92 (2):301-307.
[0006] 中提出一种部分遮挡工件的检测方法，其基本思路是：利用基于形状划分的方法， 将模板工件的完整轮廓划分成多个子轮廓，根据它们的辨别力赋予不同的权重，然后用差 分演化方法实现遮挡工件的检测和定位。该方法检测结果的准确性依赖于轮廓分段的合理 性，适用于轮廓变化比较多的工件，而对于轮廓变化比较少的工件，其检测精度较低，适用 性较差。
[0007] 2)Liu Μ Y, Tuzel 0, Veeraraghavan A. Fast object localization and pose estimation in heavy clutter for robotic bin picking. The International Journal of Robotics Research，2012, 31 (8) :951-973.中提出一种适用于遮挡工件识别设备及方 法，其基本思路是：利用多角度曝光摄像头拍摄图像，计算出工件边缘的深度信息，然后利 用快速形状匹配算法，实现工件识别和姿态判定。以上两种方法设备复杂，成本较高；数据 获取和处理过程复杂，计算量较大。
[0008] 3) Wang X H, Fu ff P, Zhu D X. Research on recognition of work-piece based on improved SIFT algorithm. International Conference on Electronic Measurement&Instruments，Beijing，China，20091:417-421.中提出一种基于改进 SIFT(Scale Invariant Feature Transform,尺度不变特征变换）算法的工件识别方法。其 基本思路是：利用SIFT算法获取图像在平移、旋转、缩放和遮挡等情况下的稳定特征，应用 棋盘距离和街区距离的线性组合取代欧氏距离，并采用动态减少计算距离过程中所涉及的 特征数目来提高算法的效率，有效的解决了遮挡工件的识别问题。该方法利用SIFT算法提 取特征点和生成特征描述子的过程复杂，计算量大；特征描述子用浮点数表示，内存占用量 大，匹配速度低。
[0009] 4)桂振文，刘越，王涌天.一种适用于移动终端的视觉搜索方法.中国专利： 103530649A，2014-01-22.中 申请人:公开了一种适用于移动终端的视觉搜索方法。其基 本思路是：利用移动终端采集当前场景的待识别工件图像，并获取采集图像时移动终端的 重力方向和当前场景的GPS信息；采用二进制局部特征检测算法BRISK (Binary Robust Invariant Scalable Keypoints，二进制鲁棒伸缩不变性关键点）对待识别工件图像进行 特征点检测，得到待识别工件图像的特征点；根据所述重力方向，用特征描述符FREAK (Fast Retina Keypoint，快速视网膜关键点）对所述特征点进行描述，获得待识别工件图像的二 进制局部特征向量；将GPS信息和二进制局部特征向量打包成一描述符文件，从样本库中 寻找与待识别工件图像最相近的样本图像，实现视觉搜索。该专利存在以下问题：（1)利 用FREAK算法建立描述子时采用固定采样模式，只抽取有限的采样点个数，这种方法虽然 计算量下降，但是由于受到抽样点个数和位置的影响，描述子的辨别力差，匹配精度低。（2) FREAK算法在获取最优采样点对位置时，只用采样点对的均值与0. 5的距离表示采样点对 的辨别力，然后简单地去除相关性大于某个阈值的采样点对，忽略了相关性对辨别力的影 响，难以达到令人满意的匹配结果。
[0010] 综上所述，现有的工件识别方法存在如下技术问题：（1)针对某些特定工件进行 识别，普适性较差，应用领域受限；（2)借助多角度曝光摄像头等复杂设备实现工件识别， 致使成本较高，数据获取和处理过程复杂，计算量较大；（3)利用SIFT算法实现遮挡工件识 另IJ，计算量和存储空间大；(4) FREAK算法获得的描述子辨别力低，匹配效果不理想。
【发明内容】
[0011] 针对上述问题，本发明的目的是提供一种基于二进制特征匹配的遮挡工件识别方 法及装置。
[0012] 为实现上述目的，本发明采取以下技术方案：一种基于二进制特征匹配的遮挡工 件识别方法，它包括以下步骤：1)采用摄像头拍摄工件模板图像和待识别工件图像；2)将 工件模板图像进行预处理，并采用BRISK算法提取工件模板图像上的特征点，并将其转换 成二进制特征描述子；3)采用步骤2)相同的方法提取待识别工件图像上的特征点，并将其 转换成二进制特征描述子；4)采用近似最近邻方法寻找待识别工件图像与工件模板图像 相匹配的特征点，得到所有相匹配的初始匹配点集合；5)采用RANSAC算法剔除得到所有相 匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，进而完成工件识别。
[0013] 所述步骤2)中包括以下步骤：①将工件模板图像进行预处理，得到滤波后的平滑 图像；②采用BRISK算法提取滤波后的平滑工件模板图像上的特征点，其包括以下步骤： I、构建尺度空间金字塔；II、在尺度空间金字塔的每一层，采用FAST算法获取滤波后的平 滑图像的潜在特征点；III、对每一潜在特征点在尺度空间中进行非极大值抑制，并剔除一些 非极大值的特征点，得到初步的特征点；IV、对每个初步的特征点进行亚像素和尺度校正， 得到精确的特征点位置和尺度；③通过比较FREAK方法获取最优采样点对的灰度值大小来 构造描述子，将工件模板图像上的特征点转化为二进制特征描述子，其包括以下步骤：I、 采用FREAK方法获取最优采样点对的位置；II、利用灰度质心法确定每个特征点的主方向； III、将最优采样点对的位置和特征点的主方向构建二进制特征描述子。
[0014] 所述步骤4)中包括以下步骤：设工件模板图像为P= {Pl，p2，…，pm}，其特征描述 子集合为VP= {vppvp^u'vpj ;待识别工件图像中的特征点集合为Q= 特征描述子集合为VQ = {vqp vq2，…，vqn}，每个描述子用二进制特征向量表示，长度为512 个比特；搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特， 其中N彡128 ;如果匹配距离小于所设阈值，则进行后面特征的匹配，其具体步骤如下：①对 于工件模板图像中的特征描述子vPi，计算v Pi前N个比特和待识别工件图像中的特征描述 子Vqj前N个比特的汉明距离HD」
【权利要求】
1. 一种基于二进制特征匹配的遮挡工件识别方法，它包括以下步骤： 1) 采用摄像头拍摄工件模板图像和待识别工件图像； 2) 将工件模板图像进行预处理，并采用BRISK算法提取工件模板图像上的特征点，并 将其转换成二进制特征描述子； 3) 采用步骤2)相同的方法提取待识别工件图像上的特征点，并将其转换成二进制特 征描述子； 4) 采用近似最近邻方法寻找待识别工件图像与工件模板图像相匹配的特征点，得到所 有相匹配的初始匹配点集合； 5) 采用RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到 正确匹配点对，进而完成工件识别。
2. 如权利要求1所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于： 所述步骤2)中包括以下步骤： ① 将工件模板图像进行预处理，得到滤波后的平滑图像； ② 采用BRISK算法提取滤波后的平滑工件模板图像上的特征点，其包括以下步骤： I、 构建尺度空间金字塔； II、 在尺度空间金字塔的每一层，采用FAST算法获取滤波后的平滑图像的潜在特征 占. III、 对每一潜在特征点在尺度空间中进行非极大值抑制，并剔除一些非极大值的特征 点，得到初步的特征点； IV、 对每个初步的特征点进行亚像素和尺度校正，得到精确的特征点位置和尺度； ③ 通过比较FREAK方法获取最优采样点对的灰度值大小来构造描述子，将工件模板图 像上的特征点转化为二进制特征描述子，其包括以下步骤： I、 采用FREAK方法获取最优采样点对的位置； II、 利用灰度质心法确定每个特征点的主方向； III、 将最优采样点对的位置和特征点的主方向构建二进制特征描述子。
3. 如权利要求1所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于： 所述步骤4)中包括以下步骤： 设工件模板图像为P=(P1, P2,…，PnJ，其特征描述子集合为VP = Ivp1, VP2,…，VP1J ;待 识别工件图像中的特征点集合为Q=Iq1,q2,…，qn}，其特征描述子集合为VQ=Ivq1,vq2,… ，vqn}，每个描述子用二进制特征向量表示，长度为512个比特； 搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特，其中N彡128 ;如果匹配距离小于所设阈值，则进行后面特征的匹配，其具体步骤如下： ① 对于工件模板图像中的特征描述子vPi，计算VPi前N个比特和待识别工件图像中的 特征描述子Vqj前N个比特的汉明距离HDj :
其中，?表示异或操作； ② 如果HDj大于等于设定阈值T1，取30?50,则判定Vpi和Vqj为不匹配的特征向量； ③ 如果HDj小于设定阈值T1，则计算vPi剩余512-N个比特与Vqj剩余512-N个比特的 汉明距离，加上前N个比特的汉明距离，得到Vpi和Vqj整个512个比特的汉明距离HD'」； ④ 寻找最小汉明距离HD'min和次最小汉明距离HD' se。，当
时，则判定vpJP vqmin为匹配的特征向量，对应的特征点Pi和qmin为一对匹配的特征点； ⑤ 重复步骤①?④，遍历工件模板图像中的特征描述子集合VP中的所有元素，得到所 有相匹配的初始匹配点集合。
4. 如权利要求2所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于： 所述步骤4)中包括以下步骤： 设工件模板图像为P=(P1, P2,…，PnJ，其特征描述子集合为VP=Ivp1,VP2,…，VP1J;待 识别工件图像中的特征点集合为Q=Iq1,q2,…，qn}，其特征描述子集合为VQ=Ivq1,vq2,… ，vqn}，每个描述子用二进制特征向量表示，长度为512个比特； 搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特，其中N彡128 ;如果匹配距离小于所设阈值，则进行后面特征的匹配，其具体步骤如下： ① 对于工件模板图像中的特征描述子vPi，计算VPi前N个比特和待识别工件图像中的 特征描述子Vqj前N个比特的汉明距离HDj :
其中，?表示异或操作； ② 如果HDj大于等于设定阈值T1，取30?50,则判定Vpi和Vqj为不匹配的特征向量； ③ 如果HDj小于设定阈值T1，则计算Vpi剩余512-N个比特与Vqj剩余512-N个比特的 汉明距离，加上前N个比特的汉明距离，得到Vpi和Vqj整个512个比特的汉明距离HD'」； ④ 寻找最小汉明距离HD'min和次最小汉明距离HD'se。，当'
时，则判定VPi和 Vqmin为匹配的特征向量，对应的特征点Pi和qmin为一对匹配的特征点； ⑤ 重复步骤①?④，遍历工件模板图像中的特征描述子集合VP中的所有元素，得到所 有相匹配的初始匹配点集合。
5. 如权利要求1或2或3或4所述的一种基于二进制特征匹配的遮挡工件识别方法， 其特征在于：所述步骤5)中包括以下步骤： 设点集E为工件模板图像上得到的初始匹配点集合，F为待识别工件图像上得到 的初始匹配点集合，工件模板图像与待识别工件图像之间的变换关系用投影变换矩阵
来描述；对图像中的一点P(x，y)，该点通过投影变换矩阵H变换到点 (x/ ,y/ )：
其中，投影变换模型H可通过四对匹配点求出； RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对的具体步骤如 下： ① 在集合E和F中，随机选取4对匹配点对，计算这四对点对的投影变换矩阵； ② 在集合F余下特征点中，选取特征点（x2,y2)，用步骤①中计算得到的投影变换矩阵 H对其进行变换，得到变换后的坐标值（X' 2,y' 2)，若E中对应特征点的坐标值（Xl，yi)与 (x' 2,y' 2)满足.
，则认为匹配点对（Xl，Y1)和（x2,y2)符合模型H， 称为内点，其中e为内外点距离阈值，取3或4; ③ 重复步骤②，遍历集合F余下所有特征点，统计符合投影变换矩阵的匹配点对数，即 内点集的大小； ④ 重复步骤①?③，找到内点对数量最多的一次变换，将该次变换得到的内点对集合 作为新的点集E和F，进行新一轮的迭代； ⑤ 当迭代得到的内点对数目与此次迭代前点集E和F中的点对数目一致时，迭代终止， 最后这次迭代的E和F，就是剔除误匹配后的匹配点集合，得到正确匹配点对，进而完成工 件识别。
6. -种实现如权利要求1?5任一项所述的基于二进制特征匹配的遮挡工件识别方法 的装置，其特征在于：它包括图像采集单元、工件模板图像特征提取单元、待识别工件图像 特征提取单元、特征匹配单元和剔除误匹配单元； 其中，所述图像采集单元摄取工件模板图像和待识别工件图像，并对应传送给所述工 件模板图像特征提取单元和所述待识别工件图像特征提取单元；所述工件模板图像特征提 取单元提取工件模板图像上的特征点，并将其转换成二进制特征描述子，并传送给所述特 征匹配单元；所述待识别工件图像特征提取单元提取待识别工件图像上的特征点，将其转 化为二进制特征描述子进行表示，并将其传送给所述特征匹配单元；所述特征匹配单元采 用汉明距离作为匹配准则寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有 相匹配的初始匹配点，并将所有初始匹配点传送给所述剔除误匹配单元；所述剔除误匹配 单元剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，进而 完成工件识别。
7. 如权利要求6所述的一种基于二进制特征匹配的遮挡工件识别装置，其特征在于： 所述工件模板图像特征提取单元和所述待识别工件图像特征提取单元都包括图像预处理 模块、特征点检测模块和特征点描述模块；所述图像预处理模块将提取的图像进行灰度变 换和中值滤波处理后传送给所述特征点检测模块，所述特征点检测模块采用BRISK算法检 测图像中的特征点，并将图像上的特征点传送给所述特征点描述模块；所述特征点描述模 块将特征点转化为二进制特征描述子，并传送给所述特征匹配单元。
8. 如权利要求6或7所述的一种基于二进制特征匹配的遮挡工件识别装置，其特征在 于：所述图像采集单元采用单目摄像头。
【文档编号】G06K9/66GK104268602SQ201410543452
【公开日】2015年1月7日 申请日期:2014年10月14日 优先权日:2014年10月14日
【发明者】陈喆, 殷福亮, 李腾 申请人:大连理工大学