基于机器视觉的复杂环境中动态物料测距方法与流程

本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉的复杂环境中动态物料测距方法。

背景技术：

在工业生产物流环节中，需要根据待抓取物料与抓取装置之间的距离控制抓取装置运动。为提高装置抓取效率，采用机器视觉完成物料距离测量的趋势日益增加，然而，由于工厂环境中背景光照强弱变化、视场中其它物料以及人员走动等类似的干扰因素，导致机器视觉检测的背景复杂，影响物料动态距离测量的效率及准确性。

目前，对静态图像的测距研究已日趋成熟。而在动态物料测距过程中，目标图像被逐帧视作静态图像，利用静态图像测距算法完成距离测量，因此距离测量的准确性取决于实现测距的目标图像获取是否正确。王诗宇等利用改进后的canny算法结合模板匹配完成对目标图像的位置获取。胡明星等利用霍夫变换对图像的旋转进行矫正，得到的校正图像不带旋转角度，然后利用模板匹配实现目标图像的位置获取。上述两种方法在其设计背景下都可以较好的实现目标图像的获取。但将其运用到工业生产物流环节，由于复杂背景中存在干扰图像，其轮廓与目标图像相似。利用边缘检测和模板匹配得到的目标图像用于测距导致测距准确度不佳。

技术实现要素：

本发明的目的就在于为了解决上述问题而提供一种基于机器视觉的复杂环境中动态物料测距方法。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

s1：利用相机标定参数完成图像预处理，对图像进行校正；

s2：识别物料图像特征，通过对源图像特征和模板图像特征匹配得到目标图像，对目标图像测距得到物料距离；同时将目标图像作为模板图像用于后续源图像匹配，匹配过程中模板图像采用迭代策略；利用匹配得到的结果实现模板图像持续更新；

s3：后续源图像都将通过模板匹配得到目标图像，对其完成测距得到物料距离；

s4：采用solvepnp算法，通过与目标识别和目标跟踪相互配合，完成物料测距任务。

所述动态物料测距方法的算法包括目标识别与目标跟踪；

所述目标识别通过特征识别和特征匹配选择sift配合flann算法实现；使用四步措施对特征匹配算法进行优化：包括删除matcher匹配结果中欧氏距离较大值、删除匹配共用一点、删除匹配混乱；采用ransacstatus方法对匹配结果进行整体优化；

所述目标跟踪：利用流水线目标图像中第一张对比其模板图像存在缩放和旋转特点，后续目标运动过程中目标图像对比其模板图像只存在缩放特点的运动特性，通过模板匹配实现后续流水线上物料的识别。

所述删除matcher匹配结果中欧氏距离较大值：通过匹配器将两幅图像中的特征点进行匹配，比较得到最小的欧氏距离dmin，判断值dc＝min(2*dmin，0.5)；采用对每个欧氏距离d与判断值dc进行比较得到结果dd＝dc-di，如果dd>0，则对该匹配结果进行删除，提高识别的准确度；

所述删除匹配共用一点：通过对每一对匹配特征值逐个比较；如果发现两对匹配特征值中存在特征点相同的情况，则判定为共用一点的情况，进行删除，提高识别的准确度；

所述删除匹配混乱：采用相似三角形匹配：针对特征点匹配过程中出现的匹配结果错误，利用相似图像中对应特征点形成相似三角形的原理，通过选择欧氏距离最小的两对点进行比较，不符合相似三角形要求则将匹配结果进行删除；

所述ransacstatus方法删除误匹配点：ransacstatus方法首先利用迭代估计整个模型的参数，剔除不符合该模型的异常数据得到有效匹配结果；完成对图像匹配结果的优化。

本发明的有益效果在于：

本发明是一种基于机器视觉的复杂环境中动态物料测距方法，与现有技术相比，本发明对复杂背景下动态物料距离测量准确率欠佳的问题，提出一种特征优化匹配与迭代学习相结合的动态物料距离测量方法。通过特征识别、优化后的特征匹配和模板匹配得到目标图像，同时结合测距算法，完成对物料距离的测量，并通过实验验证该方法有效性及距离测量的准确度。

附图说明

图1是动态测距流程图；

图2是优化流程图；

图3是利用欧氏距离优化匹配结果流程图；

图4是特征匹配中的相似三角形模版图；

图5是图像旋转下的目标识别结果；

图6是物料测距实验结果；

图7是旋转90°物料测距实验结果。

具体实施方式

下面结合附图对本发明作进一步说明：

针对源图像畸变干扰特征，由于相机硬件造成的源图像畸变，导致拍摄得到的源图像与实际图像不符，直接影响目标图像的准确获取，最终降低测距精度，本发明通过相机标定得到相机的内部参数和畸变参数，利用该参数对源图像进行矫正，得到正确的源图像。

针对复杂背景干扰特征，由于相似图像的干扰影响目标图像的获取，进而影响物料测距结果的准确度。为解决上述问题，一方面，本发明基于sift(scale-invariantfeaturetransform)算法和flann(fastlibraryforapproximatenearestneighbors)匹配算法，通过对匹配结果的四步优化，实现基于特征的目标识别。由于复杂背景的影响导致特征识别抗干扰性需求高。相比于surf(speededuprobustfeatures)和orb(orientedbrief)等特征识别方法，sift算法对复杂背景的抗干扰性更高。同时采用flann方法解决图像畸变的情况下特征匹配问题，实现单适应性匹配。另一方面，本发明在目标识别的基础上，目标跟踪采用运算速度快的matchtemple算法实现后续源图像中目标图像的识别，保证识别结果正确的基础上提高目标跟踪速度。

本发明动态物料测距识别方案如图1所示。利用相机标定参数完成图像预处理，对图像进行校正。识别物料图像特征，通过对源图像特征和模板图像特征匹配得到目标图像，对目标图像测距得到物料距离。同时将目标图像作为模板图像用于后续源图像匹配，匹配过程中模板图像采用迭代策略，利用匹配得到的结果实现模板图像持续更新。后续源图像都将通过模板匹配得到目标图像，对其完成测距得到物料距离。方案中测距通过solvepnp算法实现，通过与目标识别和目标跟踪相互配合，完成物料测距任务。

在动态物料测距算法中，目标识别和目标跟踪实现预处理后图像中目标区域的确定，为动态物料距离的测量提供基础。同时，利用目标识别和目标跟踪降低复杂环境对动态物料测距的干扰，实现高精度距离测量。

目标识别：

目标识别通过特征识别和特征匹配选择sift配合flann算法实现。目标识别过程中，由于flann匹配算法根据特征量比较实现匹配，导致匹配结果会存在对应点匹配错误。为提高目标识别准确率，本发明使用了四步措施对特征匹配算法进行优化。针对特征点对应匹配错误，基于判断匹配度的欧氏距离参数和匹配结果分布特点，采用包括删除欧氏距离较大的一对匹配点、删除匹配共用一点、删除匹配混乱的情况和采用ransacstatus方法对匹配结果进行整体优化。具体流程如图2。

删除matcher匹配结果中欧氏距离较大值：如图3所示利用sift算法寻找到特征点以后通过flannbasedmatcher匹配器进行匹配，匹配结果中欧氏距离越大表示两特征点的匹配度低。通过匹配器将两幅图像中的特征点进行匹配，比较得到最小的欧氏距离dmin，判断值dc＝min(2*dmin，0.5)。本发明采用对每个欧氏距离d与判断值dc进行比较得到结果dd＝dc-di，如果dd>0，则对该匹配结果进行删除，提高识别的准确度。

删除共用一点的情况：针对特征点对应过程中出现一点对多点的情况，本发明通过对每一对匹配特征值逐个比较。如果发现两对匹配特征值中存在特征点相同的情况，则判定为共用一点的情况，进行删除，提高识别的准确度。

相似三角形匹配：针对特征点匹配过程中出现的匹配结果错误，如图4所示，利用相似图像中对应特征点形成相似三角形的原理，通过选择欧氏距离最小的两对点，模板图像中为m1和m2两点.被检测图像中为s1和s2两点。对剩余的每对点mi和si进行比较。

当上式1,式2和式3同时满足的时候，表示该点符合相似三角形要求,相反则将匹配结果进行删除。

ransacstatus方法删除误匹配点：ransacstatus方法首先利用迭代估计整个模型的参数，剔除不符合该模型的异常数据得到有效匹配结果。完成对图像匹配结果的优化。

复杂背景下，本发明目标识别算法完成源图像中具有旋转特点的目标图像提取。可以实现对0°到360°全角度的目标图像获取。为方便实验验证，本发明将目标图片分别旋转0°，90°，180°，270°后进行目标识别，其结果如图5所示，特征点对应正确。

通过实验验证，优化后的sift识别算法可以准确的识别图像的旋转，同时实现如图5所示绿线两端的特征点的准确匹配，所以该优化后的目标识别方法符合本发明要求。

目标跟踪

流水线目标图像中第一张对比其模板图像存在缩放和旋转特点，后续目标运动过程中目标图像对比其模板图像只存在缩放特点，利用此运动特性，通过模板匹配实现后续流水线上物料的识别。模板匹配采用cvmatchtemple算法实现，利用目标识别结果开始模板匹配，同时可以避免算法无法识别旋转的不足，提高算法运行速度。

采用目标跟踪算法，实现在源图像产生不同程度缩放的情况下，对目标图像的获取，可以满足不同缩放程度的识别。本发明目标跟踪部分模板图像缩放倍数的差值为0.1，由于实际应用过程中目标图像大小连续缩放，所以采用目标图像缩放倍数差值为0.01实现目标跟踪算法验证。目标跟踪使用像素值平方差方法进行图像匹配，最佳的匹配值在0处，值越大匹配结果越差。运行结果如表1所示。

实验结果表明，当目标连续运动时，设置差值为0.1的模板缩放倍数可以实现目标的识别和匹配，连续变化的目标图像通过目标跟踪实现最优模板匹配。符合目标跟踪的要求。

表1目标跟踪结果参数

实验结果及分析

为验证本发明对物料距离测量的准确度，搭建模拟场景，进行实验验证。实验器材包括电脑，500万像素、分辨率为1080×1920的工业相机和一张大小为80mm×80mm的黑白鸟形图像作为目标图片。通过在地面上铺设间隔为40mm的标定板对移动距离进行控制。实验环境中放置对被检测图像有干扰的杂物实现复杂背景要求。

如图6所示为无旋转目标图像运动过程中的物料测距结果，表2展示复杂背景下物料测距的平均误差。

表2目标识别和跟踪算法运行结果

将目标图像顺时针旋转90°重新进行物料测距，测距结果如图7所示，测距平均误差如表3所示。

表3旋转90°目标识别和跟踪算法运行结果

复杂背景下，目标图像无旋转测距和目标图像旋转90°测距误差分别为2.46mm和1.77mm。分析实验数据，本发明认为模板数量对测距精度产生重要影响。同时由于模板数量过多会导致检测速度降低，模板数量过少会导致检测精度降低，因此为兼顾检测速度和检测精度，需要根据实际应用情况选择合适的模板数量，以保证数据的准确性。

结论

本发明提出了一种复杂背景下动态物料距离检测方法，在源图像和模板图像特征匹配的基础上优化匹配结果，结合模板匹配在一系列源图像中得到目标图像，采用测距算法完成距离检测。基于此方法建立实验环境进行验证，结果表明：本发明所述方法满足实际工况的检测需求。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。