基于实例分割技术的单目视觉引导AGV避障测距方法和装置

本发明属于计算机视觉，具体涉及一种基于实例分割技术的单目视觉引导agv避障测距方法。

背景技术：

1、agv是数字化、智能化车间中十分常见的一种智能化装备，其主要的工作任务是实现厂区、车间内物料的无人运输，达到节省人力，提高物料运输效率的目的。在agv工作过程中，避障测距是agv正常行驶的前提条件，提高测距的精确性能够进一步保障agv行驶的安全性，也能为后续的定位导航、路径规划等工作提供更加精确的数据。相较于激光雷达、双目视觉引导的测距方法，采用单目视觉引导的agv避障测距方法计算量小、避障处理更及时、成本低，因此被研究人员广泛关注。

2、传统的单目视觉引导agv避障测距方法需要预先在障碍物实体对象上设定标记点然后进行障碍物对象像素尺寸信息的获取来完成测距。基于目标检测技术的测距方法则需要精确获取障碍物对象在图像中的最小外接矩形框底边像素信息来完成测距。基于语义分割技术的测距方法则需要精确获取障碍物对象在图像中的像素区域来完成测距。然而在agv实际行驶避障过程中，图像中标记点像素信息由于噪声干扰导致提取不准确以及不同障碍物对象像素区域重叠等问题使得上述方法测距精度降低、鲁棒性差。

3、在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

4、现有的单目视觉引导agv避障测距方法在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下存在测距精度降低、鲁棒性差的问题。

技术实现思路

1、本发明要克服现有技术存在的上述问题，提供一种基于实例分割技术的单目视觉引导agv避障测距方法和装置。本发明可在较短时间内求出障碍物对象与agv车体之间的距离以及障碍物对象相对于agv车体的方位信息，相较于现有技术，在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下具有测距精度高、鲁棒性好的优点。

2、根据本发明的第一方面，提供一种基于实例分割技术的单目视觉引导agv避障测距方法，包括：

3、步骤1：确定单目相机安装高度h和俯仰角度α：将单目相机安装固定在agv车体上，测量出单目相机光心离地高度以及光轴与水平面之间的夹角；

4、步骤2：构建测距模型：基于单目相机安装位姿，建立像素坐标系、图像坐标系和相机坐标系并得出像素坐标系与相机坐标系之间的转换关系；

5、步骤3：标定单目相机内参矩阵：制作标定板，使用单目相机拍摄标定板图像，进行内参矩阵标定计算，得到单目相机内参矩阵；

6、步骤4：确定测距参考点和障碍物对象触地点：过相机光心作垂线垂直于地面，取垂足为测距参考点p1，其相机坐标为(x1,y1,z1)；利用实例分割技术对单目相机采集到的图像进行处理，识别区分出图像中所有障碍物对象并获取每个障碍物对象的像素区域，通过分别对每个障碍物对象像素区域内所有像素点的像素坐标信息进行遍历，提取出每个障碍物对象区域内像素纵坐标值最大的像素点，将该点对应的空间坐标点定义为障碍物对象触地点p2，其像素坐标为(u2,v2)，相机坐标为(x2,y2,z2)；

7、步骤5：测算障碍物对象距离：在相机坐标系下对p1和p2两点之间的距离进行计算，得到障碍物对象距离测算值d；

8、步骤6：校正障碍物对象距离测算值并获得障碍物对象方位信息：建立测距校正模型对障碍物对象距离测算值d进行校正。

9、所述步骤2中，以单目相机成像平面的左上角顶点为像素坐标系的原点o，取成像平面左侧边朝下方向为v轴正方向，取成像平面上顶边朝右方向为u轴正方向，建立像素坐标系o-uv；以单目相机光心在成像平面的投影点为图像坐标系的原点o′，x、y轴分别与像素坐标系的u、v轴平行且同向，建立图像坐标系o′-xy；以单目相机光心为相机坐标系的原点o，取相机光轴为z轴，x、y轴分别与像素坐标系的u、v轴平行且同向，建立相机坐标系o-xyz；

10、在图像坐标系中，定义：x方向上每毫米存在1/dx个像素，y方向上每毫米存在1/dy个像素，图像坐标系的原点o′在像素坐标系中的坐标值为(u0,v0)，则可得出像素坐标系与图像坐标系之间的转换关系式：

11、

12、根据小孔成像原理可得出图像坐标系与相机坐标系之间的转换关系式：

13、

14、则像素坐标系与相机坐标系之间的转换关系式为：

15、

16、进一步地，像素坐标系与相机坐标系之间的转换关系式可写成：

17、

18、其中f/dx＝fx、f/dy＝fy分别为单目相机在x方向和y方向上的焦距，单位为pixel/mm；u、v分别为障碍物对象触地点在像素坐标系中的横坐标和纵坐标，单位为pixel；x、y、z分别为障碍物对象触地点在相机坐标系下的三维坐标值，单位为mm；

19、所述步骤3中，制作黑白棋盘格标定板，使用单目相机拍摄不少于20张标定板图像，采用张正友标定法进行内参矩阵标定计算，得到单目相机内参矩阵：

20、

21、所述步骤4中，根据三角形几何关系计算出p1点在相机坐标系下的坐标值(x1,y1,z1)：

22、x1＝0  (6)

23、y1＝h cosα  (7)

24、z1＝h sinα  (8)

25、实例分割技术对不同类别障碍物对象以及同一类别的不同障碍物对象进行识别区分，并赋予不同的语义颜色，以提高对每一个障碍物对象区域的识别提取精度，确保障碍物对象触地点提取的合理性和精确性；

26、将障碍物对象像素区域内所有像素点的像素坐标信息存于二维数组array[i][2]中，其中i表示第i+1个像素点，array[i][0]表示第i+1个像素点的像素横坐标，array[i][1]表示第i+1个像素点的像素纵坐标；

27、通过遍历array[i][2]数组中的所有像素点坐标，利用max(array[i][1])函数找到数组中像素纵坐标值最大的像素点，即可得到p2点在像素坐标系下的坐标(u2,v2)；

28、根据三角形几何关系以及像素坐标系与相机坐标系之间的转换关系可以计算出p2点在相机坐标系下的坐标：

29、

30、

31、

32、其中β是相机光心和p2点的连线与相机光轴之间的夹角，可根据相似三角形和反三角函数求得：

33、

34、所述步骤5中，根据空间中两点间距离公式计算得到障碍物对象距离测算值：

35、

36、所述步骤6中，设定测距校正模型曲线回归方程为：

37、dr＝c1+c2d+c3d2  (14)

38、其中dr表示障碍物对象距离真实值，c1、c2、c3为校正模型参数；

39、安装固定好单目相机，确定相机安装高度h和俯仰角度α后，给出n个不同的设定距离，在每个设定距离上对障碍物对象进行m次实例分割和距离测算，剔除掉k个异常数据，然后将每个设定距离上剩下的测算结果平均，得到在每个设定距离上的平均测算距离；

40、将每个设定距离上的测算平均值和设定值输入到polyfit函数中进行曲线拟合得到参数c1、c2、c3，从而得到最终的测距校正模型；

41、根据最终的测距校正模型计算得到障碍物对象距离校正值dr；

42、根据三角几何关系以及反三角函数计算出障碍物对象方位角γ；

43、

44、根据本发明的第二方面，提供一种基于实例分割技术的单目视觉引导agv避障测距装置，包括：

45、图像采集模块，用于采集标定板图像和障碍物对象图像；

46、相机标定模块，用于标定单目相机，获得其内参矩阵：

47、

48、实例分割处理模块，用于对单目相机采集到的图像进行实例分割处理，识别区分出图像中所有障碍物对象并获取每个障碍物对象的像素区域。将障碍物对象像素区域所有像素点的像素坐标信息存于二维数组array[i][2]中，其中i表示第i+1个像素点，array[i][0]表示第i+1个像素点的像素横坐标，array[i][1]表示第i+1个像素点的像素纵坐标；

49、障碍物对象触地点提取模块，用于遍历array[i][2]数组中的所有像素点坐标，利用max(array[i][1])函数找到数组中像素纵坐标值最大的像素点，即可得到障碍物对象触地点在像素坐标系下的坐标(u2,v2)；

50、测距计算模块，用于计算障碍物对象距离测算值d、障碍物对象距离校正值dr和障碍物对象方位角γ。

51、根据本发明的第三方面，提供一种电子设备，包括：

52、一个或多个处理器；

53、存储器，用于存储一个或多个程序；

54、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

55、根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

56、本发明提供的技术方案可以包括以下有益效果：

57、本发明针对现有技术在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下存在测距精度降低、鲁棒性差的问题，提出了一种基于实例分割技术的单目视觉引导agv避障测距方法，解决了在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下对障碍物对象像素区域提取不准确的问题，增强了障碍物对象触地点提取的合理性和精准性，提高了测距精度和鲁棒性。

58、本发明的优点是：在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下具有测距精度高、鲁棒性好的优点。