割草机地面感知方法、装置、设备及存储介质与流程

本发明涉及智能割草机，尤其涉及一种割草机地面感知方法、装置、设备及存储介质。

背景技术：

1、随着科学技术的发展，割草机器人能够在无人员参与的情况下按照规划的路径自主的进行割草工作，被广泛应用于家庭庭院草坪的维护、大型草地的修剪等场景，给人们的生产生活提供了极大的便利。而割草机器人在户外作业时，感知环境的方式与人类感知环境的方式存在很大的差异。人类通过各种感官来感知周围的环境，包括视觉、听觉、嗅觉、味觉和触觉等。而割草机器人通过不同的传感器来感知环境，割草机器人的眼睛则是图像传感器，尤其tof、结构光等能感知物理深度的rgbd传感设备被大量应用于机器人产品。割草机器人可通过rgbd传感器获取周围环境的图像信息，然后通过图像处理技术识别和理解图像中的内容，如地面、障碍物、植物等，最后完成物体识别、障碍度判断、路径规划等一系列功能。

2、但是现有的rgbd传感器，在室外区域普遍受到光照影响，尤其是逆光及高强光条件下这些rgbd传感器会难以感知草地地面信息导致难以正常输出有效的深度信息，从而影响割草机器人避障与导航性能。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种割草机地面感知方法、装置、设备及存储介质，旨在解决现有的rgbd传感器，由于受到强光照影响难以感知草地地面的有效深度信息，从而影响割草机器人避障与导航性能的技术问题。

2、为实现上述目的，本发明提供了一种割草机地面感知方法，所述方法包括以下步骤：

3、基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；

4、通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；

5、对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；

6、将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。

7、可选地，所述基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像，包括：

8、通过割草机的相机获取割草机所在草地的草地地面图像；

9、基于多视几何对所述草地地面图像进行图像处理，获得所述草地地面图像对应的基本成像模型；

10、通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像。

11、可选地，所述通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面深度图像，包括：

12、通过三角形相似原理对所述基本成像模型进行视差处理，获得所述草地地面图像对应的地面视差数据；

13、获取所述相机的相机参数，所述相机参数包括基线参数和焦距参数；

14、按预设深度公式对所述地面视差数据、所述基线参数和所述焦距参数进行深度估计，获得所述草地地面图像对应的地面深度图像。

15、可选地，所述通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度，包括：

16、获取所述割草机的惯性传感设备的惯性传感数据，所述惯性传感数据包括陀螺仪数据；

17、提取所述草地地面图像对应的相机传感数据；

18、对所述陀螺仪数据和所述相机传感数据进行时频域同步，获得同步参数；

19、根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度。

20、可选地，所述同步参数包括同步时间参数和同步角速度参数，所述对所述陀螺仪数据和所述相机传感数据进行时频域同步，获得同步参数，包括：

21、提取所述陀螺仪数据的陀螺仪时间和陀螺仪读角速度，并提取所述相机传感数据的相机视觉角速度时间和相机视觉角速度；

22、对所述陀螺仪时间和所述相机视觉角速度时间进行时域同步，获得同步时间参数；

23、对所述陀螺仪读角速度和所述相机视觉角速度进行频域同步，获得同步角速度参数。

24、可选地，所述根据所述同步参数对所述相机进行尺度估计，获得所述相机的相机尺度，包括：

25、通过傅里叶变换，根据所述同步时间参数将时域中的所述陀螺仪读角速度和所述相机视觉角速度变换到频域中；

26、最小化变换到频域中的陀螺仪读角速度和相机视觉角速度的幅值，获得最小化幅值；

27、根据所述最小化幅值对所述同步角速度参数进行尺度估计，获得所述相机的相机尺度。

28、可选地，所述对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息，包括：

29、对所述地面深度图像进行点云处理，获得所述地面深度图像对应的三维空间体素；

30、根据所述相机尺度对所述三维空间体素进行坐标转换，获得图像坐标值；

31、通过截断有符号距离场对所述图像坐标值进行截断，获得每个三维空间体素对应的距离值；

32、根据所述距离值确定所述草地地面图像对应的地面深度信息。

33、此外，为实现上述目的，本发明还提出一种割草机地面感知装置，所述装置包括：

34、深度估计模块，用于基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；

35、时频域处理模块，用于通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；

36、深度修正模块，用于对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；

37、三维曲线模块，用于将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。

38、此外，为实现上述目的，本发明还提出一种割草机地面感知设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的割草机地面感知程序，所述割草机地面感知程序配置为实现如上文所述的割草机地面感知方法的步骤。

39、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有割草机地面感知程序，所述割草机地面感知程序被处理器执行时实现如上文所述的割草机地面感知方法的步骤。

40、本发明首先基于多视几何对割草机所在草地的草地地面图像进行深度估计，获得所述草地地面图像对应的地面深度图像；然后通过所述草地地面图像对所述割草机的惯性传感数据进行时频域处理，获得所述割草机的相机的相机尺度；接着对所述地面深度图像和所述相机尺度进行点云估计，获得所述草地地面图像对应的地面深度信息；最后将所述地面深度信息与所述草地对应的环境地图进行融合，获得所述草地的平面度三维感知曲线。由于本发明首先基于草地地面图像对草地进行深度估计获得地面深度图像，然后再根据相机尺度对地面深度图像进行修正，以构建草地的平面度三维感知曲线，避免了传统的rgbd传感器逆光及高强光条件下深度失效影响到的导航与避障问题，从而可基于平面度三维感知曲线，极大提升割草机草地作业地面感知精度。