一种视觉机器人零件的识别与定位方法及装置与流程

本发明涉及目标检测，具体涉及一种视觉机器人零件的识别与定位方法及装置。

背景技术：

1、零件识别与定位的关键问题在于深度距离，基于双目视觉的深度距离采用立体匹配方法获得，立体匹配目前主要有5大立体匹配方法：1)局部匹配方法，局部匹配算法基于窗口进行计算，利用某种代价函数(或称做相似性度量)，通过比较左右视图中相同大小的图像块来确定视差，它的基本流程一般为代价计算、代价聚合、视差计算、视差细化；2)全局匹配方法，利用图像的全局约束信息，对局部图像的模糊不敏感，它的计算代价很高。全局匹配算法通过构建全局能量函数，然后通过优化方法最小化全局能量函数以求得致密视差图；3)半全局匹配方法(semi-global matching，sgm)，采用最小化能量函数的思想，但与全局匹配方法不同，sgm将二维图像的优化问题转化为多条路径的一维优化(即扫描线优化)问题，聚合来自多个方向的路径代价，并利用赢家通吃wta(winner-take-all)算法计算视差，在匹配精度和计算开销之间取得了较好的平衡；4)基于深度学习的非端到端匹配方法，通过卷积神经网络(convolutional neural network,cnn)学习传统立体匹配方法中的某个模块，达到比传统方法更加鲁棒的效果；5)基于深度学习的端到端匹配方法，首先对输入图像进行特征提取，使用卷积神经网络cnn提取图像的特征表示。然后，通过将图像的特征表示与数据库中的图像特征进行比较，确定图像的匹配情况。与传统的图像匹配方法相比，它可以自动学习图像间的特征表示，不需要人工设计特征提取算法。其次，它可以处理复杂的图像，包括不同光照、姿态等情况。

2、现有方案的技术缺点如下：

3、1、立体匹配目前常用的匹配技术存在图像遮挡，图像反光等问题。

4、2、sgbm(semi-global block matching，半全局块匹配算法)算法运行速度较慢

5、3、bm(block-matching，块匹配)算法容易受光线、弱纹理等因素干扰，出现误匹配的概率较大。

6、因此，需要提供一种检测精度、实时性、鲁棒性更高的视觉机器人零件的识别与定位方法及装置。

技术实现思路

1、有鉴于此，为了解决现有技术中的上述问题，本技术提出了一种视觉机器人零件的识别与定位方法及装置。

2、本技术通过以下技术手段解决上述问题：

3、本技术提出了一种视觉机器人零件的识别与定位方法，其特征在于，包括如下步骤：

4、步骤s100、建立双目相机的世界坐标系与像素平面坐标系之间的转换关系，对双目相机进行标定；

5、步骤s200、用双目相机采集零件的左右图像，并进行图像畸变的矫正，生成矫正左图像与矫正右图像；

6、步骤s300、用yolov4-tiny网络从所述矫正左图像中提取出零件所在的矩形感兴趣区域左图像，送入pspnet图像分割网络中进一步提取出感兴趣区域，将提取出的感兴趣区域和矫正右图像进行灰度化处理，得到矫正左图像的灰度感兴趣区域和矫正右图像的灰度图；

7、步骤s400、将矫正左图像的灰度感兴趣区域与矫正右图像的灰度图进行粗模板匹配，从所述矫正右图像的灰度图中截取与所述矫正左图像的灰度感兴趣区域对应的区域，送入pspnet图像分割网络中进一步提取感兴趣区域，得到矫正右图像的灰度感兴趣区域；对矫正左图像的灰度感兴趣区域、矫正右图像的灰度感兴趣区域进行二值化和与运算，得到新的感兴趣区域左图像、新的感兴趣区域右图像；

8、步骤s500、将新的感兴趣区域左图像和新的感兴趣区域右图像进行精模板匹配，并计算所述新的感兴趣区域左图像和所述新的感兴趣区域右图像之间的亚像素级视差，根据双目相机测距原理计算出物体深度信息；

9、步骤s600、在新的感兴趣区域左图像区域计算最大内接圆，圆心为零件的像素中心，再根据三角形相似原理计算出零件所在位置的空间坐标。

10、作为优选地，所述建立双目相机的世界坐标系与像素平面坐标系之间的转换关系，表达式为：

11、

12、式中：s为比例因子，(u，v)为p点在像素坐标系中的坐标，(xw，yw)为p点在图像坐标系中的坐标，dx和dy分别表示单个像素点在每行、每列的物理尺寸，(u0,v0)为相机感光板中心在像素坐标系中的坐标；f为相机焦距；r和0t分别为旋转矩阵和单位矩阵，形状是(3，3)；t为平移矩阵，形状为(3，1)；(xw，yw，zw)为目标物体的世界坐标；

13、上述式子简化为：

14、

15、式中：k为相机内参矩阵，其中旋转矩阵r、平移矩阵t通过相机标定获得。

16、作为优选地，所述对双目相机进行标定，包含以下步骤：

17、采用张定友棋盘格标定法对双目相机进行标定，拍摄15张5mm×5mm间距的棋盘格并导入matlab工具箱中，获取双目相机的畸变参数、旋转矩阵与平移矩阵，双目相机的畸变参数在考虑径向畸变和切向畸变的情况下可表示为：

18、

19、式中：(xd，yd)为畸变后的归一化图像点坐标，(x，y)为理想的无畸变的归一化的图像坐标，r为图像像素点到图像中心点的距离(r2＝x2+y2)，k1、k2、k3为径向畸变参数，p1、p2为切向畸变参数。

20、作为优选地，所述用yolov4-tiny网络从所述矫正左图像中提取出零件所在的矩形roi左图像，包含：

21、所述yolov4-tiny网络包含两个yolo head；

22、第一个yolo head将所述矫正左图像划分为26×26的网格，预先设定好的先验框为(23,27)，(37,58)，(50,50)；

23、第二个yolo head将所述矫正左图像划分为13×13的网格，预先设定的先验框为(50,50)，(81,82)，(135,169)。

24、作为优选地，所述将新的感兴趣区域左图像和新的感兴趣区域右图像进行精模板匹配，包含以下步骤：

25、根据相机标定后图像具有极线约束的特点，通过滑动左右两区域，完成新的感兴趣区域左图像和新的感兴趣区域右图像的立体匹配，并计算两个图像的亚像素级视差，匹配过程中使用sad函数进行相似度评估，sad函数表示如下：

26、csad(p，d)＝∑q∈np|il(p)-ir(p-d)|

27、式中：csad(p，d)为两图像的像素值的绝对差，np为匹配窗口；q为匹配窗口内某一待匹配像素；il(p)为左图像中的待匹配区域，ir(p-d)为右图像中视差为d的待匹配区域。

28、作为优选地，所述根据双目相机测距原理计算出物体深度信息，包含：

29、通过精模板匹配后得到视差与相似度的曲线，取出相似度最高的三个坐标点(x1，y1)，(x2，y2)，(x3，y3)，代入二次函数y＝ax2+bx+c得到拟合函数，对拟合函数进行最值求解，得到最高点坐标(xmax，ymax)，xmax即为最佳视差，ymax为最佳视差的相似度；

30、结合上述的亚像素视差值，根据双目视觉原理，物体的深度信息表达式为：

31、

32、式中：z为物体深度，f为相机焦距，b为基线；xl为左相机成像点到左成像面的距离，xr分别为右相机成像点到右成像面的距离。

33、作为优选地，所述在新的感兴趣区域左图像区域计算最大内接圆，圆心为目标物体的像素中心，再根据三角形相似原理计算出零件所在位置的空间坐标，包含：

34、对分割后的物体图像进行轮廓检测，得出轮廓矩阵；取出最大的轮廓qmax，将轮廓内的坐标点与轮廓上的坐标点进行两点距离计算，求出轮廓内最大内接圆圆心点，表达式如下：

35、

36、式中：r为内接圆半径，(xi，yi)为最大轮廓qmax上的像素点，(xj，yj)为轮廓内像素点；

37、根据表达式求得最大内接圆圆心点以及最佳抓取点(u，v)，并根据相似性原理代入计算出零件空间坐标(x,y,z)。

38、本技术第二方面提供一种视觉机器人零件的识别与定位装置，包含：

39、第一处理模块，建立双目相机的世界坐标系与像素平面坐标系之间的转换关系，对双目相机进行标定；

40、第二处理模块，用双目相机采集零件的左右图像，并进行图像畸变的矫正，生成矫正左图像与矫正右图像；

41、第一提取模块，用yolov4-tiny网络从所述矫正左图像中提取出零件所在的矩形感兴趣区域左图像，送入pspnet图像分割网络中进一步提取出感兴趣区域，将提取出的感兴趣区域和矫正右图像进行灰度化处理，得到矫正左图像的灰度感兴趣区域和矫正右图像的灰度图；

42、第一匹配模块，将矫正左图像的灰度感兴趣区域与矫正右图像的灰度图进行粗模板匹配，从所述矫正右图像的灰度图中截取与所述矫正左图像的灰度感兴趣区域对应的区域，送入pspnet图像分割网络中进一步提取感兴趣区域，得到矫正右图像的灰度感兴趣区域；对矫正左图像的灰度感兴趣区域、矫正右图像的灰度感兴趣区域进行二值化和与运算，得到新的感兴趣区域左图像、新的感兴趣区域右图像；

43、第二匹配模块，将新的感兴趣区域左图像和新的感兴趣区域右图像进行精模板匹配，并计算所述新的感兴趣区域左图像和所述新的感兴趣区域右图像之间的亚像素级视差，根据双目相机测距原理计算出物体深度信息；

44、计算模块，在新的感兴趣区域左图像区域计算最大内接圆，圆心为零件的像素中心，再根据三角形相似原理计算出零件所在位置的空间坐标。

45、本技术第三方面提供一种计算机设备，包括处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行本技术第一方面任一项所述的方法。

46、本技术第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如本技术第一方面任一项所述的方法。

47、与现有技术相比，本发明的有益效果至少包括：

48、1、通过相机校正添加极线约束条件来减少匹配搜索任务的范围和提升匹配精度；

49、2、采用了深度学习方式的目标检测算法yolo-tiny轻量级网络，通过先验框与训练自动调整最佳检测精度，可以提高检测实时性；

50、3、采用基于深度学习方式的图像分割算法pspnet加强对特征的提取，增强全局信息的捕获并精准地找出属于目标物体本身的像素，提高检测精度；

51、4、使用目标检测结果中的感兴趣区域来进行匹配以排除无关像素的影响，降低了误匹配的可能性；

52、5、结构简单且可靠，而且误差较低。