一种适用于割草机器人的双目相机视差校正方法与流程

本技术涉及图像处理，更具体地说，尤其涉及一种适用于割草机器人的双目相机视差校正方法。

背景技术：

1、随着智能割草机器人市场智能化升级需求，智能割草机器人正在向无边界自主导航的方向发展。

2、由于现有的室内3dtof、3d结构光等传感器无法适用于光照复杂的室外场景，故无边界智能割草机器人需要通过纯视觉传感器实现定位和3d环境感知。而双目相机因为其输出的高精度深度图像和彩色图像能够用于检测、感知周围环境目标信息，所以在割草机器人上安装双目相机可以很好地满足智能化割草机方案需求。

3、但双目相机在使用过程中会受振动、冲击、温度变化等因素影响，长期以往可能会导致双目相机的视差精度产生退化。因此，当双目相机视差精度产生退化时，需要及时对其进行视差校正，以满足环境感知与目标检测的精度误差要求。

4、现有的双目相机视差校正方法通常是针对已封装但未安装的双目相机，且在校正过程中需要精密的标靶(如棋盘格)和相应的环境、设备，标定过程比较复杂，通常仅有专业的双目相机厂商才具备这些设备、环境和标定能力。因此，现有的双目相机视差校正方法无法满足出厂后双目相机的视差校正需求，也无法进行实时校正。

5、所以，出厂后双目相机的视差校正工作需将双目相机拆卸后返厂或者由经专业培训后的技术人员到现场进行视差校正，这种双目相机视差校正方法无疑增加了售后成本，降低了品牌价值。

6、现有技术中也有不少专利提出了双目相机的自校正或自标定方法，如专利cn111862235a就提供了一种双目相机自标定方法及系统，包括：1)获取左右原始图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵坐标偏差的平均值，若大于对应阈值则修正估计第一参数组，反复迭代修正，直至小于对应阈值；5)找到静态物体及车道线；6)处于移动状态时，追踪静态物体的视差及车轮运动信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差及车道线的宽度偏差，若大于对应阈值则修正估计第二参数组，反复迭代校正，直至小于对应阈值，完成自标定。该专利能够利用实时图像追踪、车体运动信息及车道宽度信息，对内外参进行优化标定，完成图像校正工作，为车体提供准确的三维识别数据。但该专利所提出的双目相机自标定方法及系统适用于镜头焦距未知的定焦双目相机及变焦双目相机，具有一定的局限性，且其自标定方法也是较为复杂的。

7、因此，有必要对双目相机视差校正方法进行进一步深入的研究，且如何提出一种无需返厂即可实现双目相机实时在线自动视差校正是具有重要意义的。

技术实现思路

1、本技术所要解决的技术问题是：在无需返厂或拆卸双目相机的情况下，如何对割草机器人上安装的双目相机进行实时在线视差校正。

2、为了解决上述技术问题，本技术提供如下技术方案：

3、一种适用于割草机器人的双目相机视差校正方法，包括以下步骤：步骤1、获取双目相机采集到的采样图像；步骤2、检测采样图像中包含的预设目标，并计算任两个预设目标之间的当前目标距离，其中，采样图像中包括割草机充电桩，预设目标为割草机充电桩中的刚性特征；步骤3、判断当前目标距离与初始目标距离的相对差值是否大于或等于校正阈值n3，若是，根据当前目标距离、初始目标距离以及对应的视差值，计算双目相机的视差补偿值，若否，重新执行步骤1。

4、在一些实施例中，步骤2中，包括：步骤2.1.1、对采样图像进行目标检测，确定预设目标对应的roi区域；步骤2.1.2、判断任一个roi区域的尺寸是否大于或等于对应的尺寸阈值r1；若是，计算当前目标距离并保存记录；若否，剔除该帧采样图像，重新执行步骤1。

5、在一些实施例中，步骤2中，还包括：步骤2.1.3、统计保存记录的当前目标距离对应的采样图像帧数n1；步骤2.1.4、基于割草机器人的运行速度、设定距离范围和双目相机的预设帧率，计算数量阈值n2；步骤2.1.5、判断当前目标距离的数量n1是否大于或等于数量阈值n2，若是，执行步骤3，若否，重新执行步骤1。

6、在一些实施例中，步骤2中，包括：步骤2.2.1、对采样图像进行目标检测，确定各个预设目标的最小外接矩形框的位置坐标和各个预设目标的中心位置图像的像素坐标(u，v)；步骤2.2.2、将各个预设目标的最小外接矩形框的位置坐标映射到采样图像对应的视差图像，确定视差范围坐标；步骤2.2.3、提取视差范围坐标内的视差数据并进行滤波处理，对处理后的视差数据进行均值计算，将均值计算结果记作预设目标的均值视差值disp；步骤2.2.4、根据均值视差值disp以及坐标变换公式，将预设目标的中心位置图像的像素坐标(u，v)转换为世界坐标系下的空间坐标(xw，yw，zw)；步骤2.2.5、基于预设目标的中心位置图像在世界坐标系下的空间坐标，计算任两个预设目标之间的当前目标距离。

7、在一些实施例中，步骤2.2.3中，对视差数据进行滤波处理的过程，包括：

8、步骤2.2.3.1、按照视差值的取值大小，对视差图像中预设目标对应的视差范围坐标内的视差数据进行排序；步骤2.2.3.2、分别剔除掉排序后的视差数据中占比为p0的大端值视差数据和小端值视差数据。

9、在一些实施例中，步骤2.2.4中，坐标变换公式为：

10、

11、式中，b为双目相机的基线距离，f为双目相机的焦距，disp为均值视差值，(u0,v0)为双目相机的光心坐标。

12、在一些实施例中，步骤2.2.5中，当前目标距离的计算方法为：

13、根据第i个预设目标与第i+1个预设目标中心位置图像在世界坐标系下的空间坐标，计算相邻两个预设目标之间的当前目标距离，对应的计算公式为：

14、

15、式中，(xw_i，yw_i，zw_i)为第i个预设目标中心位置图像在世界坐标系下的空间坐标，(xw_i+1，yw_i+1，zw_i+1)为第i+1个预设目标中心位置图像在世界坐标系下的空间坐标，δli+1,i为第i个预设目标与第i+1个预设目标之间的当前目标距离，i＝1,2,…,n，n为设定的预设目标的数量。

16、在一些实施例中，步骤3中，还包括：步骤3.1、当判定相对差值大于或等于校正阈值n3时，将不达标距离帧数的计数加1；步骤3.2、统计并计算多帧采样图像中的不达标距离帧数的占比，当不达标距离帧数的占比大于或等于预设占比p1时，根据当前目标距离、初始目标距离以及对应的视差值，计算双目相机的视差补偿值；否则，重新执行步骤1。

17、在一些实施例中，步骤3.2中，根据当前目标距离、初始目标距离以及对应的视差值，计算双目相机的视差补偿值，还包括：获取多帧采样图像中的样本帧图像，其中，样本帧图像为多帧采样图像中相对差值大于或等于校正阈值n3的采样图像；在样本帧图像中等间隔抽取n4帧抽样图像，并根据n4帧抽样图像中的当前目标距离的平均值、初始目标距离以及对应的视差值，计算双目相机的视差补偿值。

18、在一些实施例中，步骤3中，双目相机的视差补偿值为相对差值平方的累加和值取值最小情况下的视差补偿值，对应计算公式为：

19、

20、

21、

22、式中，δli+1,i(δdj)为视差补偿后第i个预设目标与第i+1个预设目标之间的当前目标距离，为第i个预设目标与第i+1个预设目标之间的初始目标距离，i＝1,2,…,n，n为设定的预设目标的数量，n＝n4，δdj为第j个预设视差取值范围[δd1,δd2,…,δdm]中第j个视差补偿值，(xw_i,yw_i,zw_i)为第i个预设目标中心位置图像在世界坐标系下的空间坐标，(ui,vi)为第i个预设目标中心位置图像的像素坐标，b为双目相机的基线距离，f为双目相机的焦距，(u0,v0)为双目相机的光心坐标，dispi为第i个预设目标对应的视差值。

23、与现有技术相比，本技术具有以下有益效果：

24、本技术所提供的一种适用于割草机器人的双目相机视差校正方法，能有效利用割草机器人充电桩本身固有的刚性特征(不会发生形状尺寸变化)作为视差校正的媒介。通过设定双目相机首次安装时满足机器人出厂精度误差，并将此时双目相机所获取的采样图像中的充电桩刚性特征间宽度/长度/间距尺寸作为初始值保存记录；在割草机器人每次返回或靠近充电桩时，自动开启视差校正功能，利用此过程中连续获取的多帧采样图像中的充电桩刚性特征间宽度/长度/间距尺寸分别与初始值进行判定，以实现双目相机的实时在线视差精度校正。

25、本技术所设计的一种适用于割草机器人的双目相机视差校正方法无需将退化的双目相机返厂标定、无需利用特定靶标标定、更无需专业人员参与，即可实现其实时在线高精度的自动化校正，从而有效地减少了售后成本，在提高产品使用价值的同时提升了客户体验。

26、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

27、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。