一种足式机器人地面探测方法及装置与流程

本发明涉及足式机器人环境感知领域，尤其涉及一种足式机器人地面探测方法及装置。

背景技术：

1、足式机器人运动控制中由于地面属性表现出来的物理特性如刚度特性、摩擦特性的不同，需要进行不同的调整。若在足式机器人运动控制缺乏地面物理特性信息，会导致足式机器人打滑、陷困、倾覆、足地接触冲击力/噪声过大等问题。

2、在现有技术中，足式机器人获取地面物理特性信息的方案主要有接触式地面属性检测方法和非接触式地面属性检测方法。

3、其中，现有技术中的非接触式地面属性检测方案一般基于视觉感知，视觉检测可以通过感知前方地面的纹理及颜色等信息来判断地面属性，使得运动控制具备预测的能力。但目前的视觉检测无法获得地面微观三维几何信息，且容易受到光线、阴影等影响，导致系统不稳定，无法准确识别地面属性和材质，从而影响了足式机器人的路径规划及运动控制。

技术实现思路

1、本发明提供了一种足式机器人地面探测方法及装置，以解决目前非接触式地面属性检测时由于无法获得地面微观三维几何信息而无法准确识别地面属性和材质的问题。

2、第一方面，本技术提供了一种足式机器人地面探测方法，包括：

3、获取足式机器人下方前端地面的摄像头地面图像和激光点云图像，将激光点云图像中的每个点云坐标投影到足式机器人下方地面获得地面网格图像；

4、将地面网格图像以摄像头地面图像的像素大小进行稠密化，并将稠密化后的地面网格图像和摄像头地面图像进行叠加融合，获得融合地面图像；

5、通过预设的感知数据集对所述融合地面图像进行识别，获得对应的地面类别。

6、这样通过将激光点云图像中的每个点云坐标投影到足式机器人下方地面，可以获得地面网格图像。可以向足式机器人提供对地面的高度进行表示，并将地面的高度用于地面的建模和分析。且融合地面图像将结合了激光点云数据和摄像头图像的信息，可以提供更全面、准确的地面信息。提高足式机器人对地面环境的认知能力。通过预设的感知数据集对融合地面图像进行识别，可以获得对应的地面类别。这将帮助足式机器人识别不同类型的地面，如草地、水泥地、沙地等，从而适应不同地面的行走特性和环境要求。地面类别识别可以提供给导航系统、决策系统等模块使用，以优化足式机器人的行为策略和路径规划。

7、进一步的，所述将激光点云图像中的每个点云坐标投影到足式机器人下方地面获得地面网格图像，具体为：

8、根据足式机器人的质心高度和俯仰角度，获得激光点云图像中的每个点云坐标到地面的投影高度值和位置坐标值；

9、根据预设的网格单元，将每个点云坐标到地面的投影高度值和位置坐标值，输入空白网格图像，获取地面网格图像。

10、这样可以根据足式机器人的型号不同得到相应的地面高度图像、地面位置图像和地面网格图像，从而提供准确的地面几何信息和空间信息。这样可以提高足式机器人对复杂地面环境的感知能力，使得足式机器人可以做出准确的导航和决策，并提高足式机器人运动和操作的效果和安全性。

11、进一步的，在所述通过预设的感知数据集对所述融合地面图像进行识别，获得对应的地面类别，之后还包括：

12、将地面类别和融合地面图像，输入到预设的语义分割网络模型中，获得语义分割图像；

13、根据语义分割图像和稠密化后的地面网格图像，调整足式机器人的运行路径和运行步态。

14、这样通过将地面类别和融合地面图像输入到预设的语义分割网络模型中获得语义分割图像，可以标识出地面上不同区域的语义信息，使得足式机器人可以根据不同区域的语义信息做出相应的决策和规划。根据语义分割图像和稠密化后的地面网格图像调整机器人的路径和步态，可以提高足式机器人在不同地面环境下的运动性能和适应性。

15、进一步的，所述根据预设的网格单元，将每个点云坐标到地面的投影高度值和位置坐标值，输入空白网格图像，获取地面网格图像，具体为：

16、根据地面精度要求和激光雷达的分辨率，确定网格单元的维度大小；

17、根据网格单元的维度大小和足式机器人地面的探测面积，设置空白网格图像的维度；

18、将每个点云坐标到地面的投影高度值和位置坐标值，填充至空白网格图像中，获得地面网格图像。

19、这样根据地面精度要求和激光雷达的分辨率来设定合适的网格单元大小，可以确保地面网格图像能够准确地表示地面的特征和细节。为足式机器人提供地面的高度和位置信息从而提高足式机器人探测、规划和运动的动作精度。

20、进一步的，所述预设的感知数据集，具体为：

21、将足式机器人分别放置于若干不同类别的地面上，并在每个类别的地面上设置若干种光照的强度和方向，采集每个类别地面上不同光照中足式机器人中的摄像头数据和激光点云数据；

22、根据每个摄像头数据和激光点云数据对应的地面类别和光照强度，设置感知数据集。

23、进一步的，所述获取足式机器人下方前端地面的摄像头地面图像和激光点云图像，具体为：

24、将摄像头和激光雷达设置于足式机器人的机身底，并确定摄像头和激光雷达的视场不发生干涉时的距离为摄像头和激光雷达的距离；

25、其中，摄像头和激光雷达的视场中心线与地面形成45度至90度之间的夹角；

26、将摄像头和激光雷达的视场投影至地面形成交集区域，根据所述交集区域确定用于地面探测的地面关注窗口。

27、这样通过确定摄像头和激光雷达的距离，以及摄像头和激光雷达的视场中心线与地面的夹角，可以确定摄像头和激光雷达的视场之间不会发生干涉。这样可以避免因视场重叠或相互遮挡而导致的数据冲突或不准确性。同时通过将摄像头和激光雷达的视场投影到地面上，并确定它们的交集区域，可以获得用于地面探测的地面关注窗口。根据地面关注窗口可以确定足式机器人在地面上感知的有效区域，减少不必要的数据处理和计算量。

28、进一步的，根据所述交集区域和足式机器人的装置信息确定用于地面探测的地面关注窗口，具体为：

29、根据足式机器人的运动方向和足式机器人的最高移动速度，确定地面关注窗口的长度，并根据足式机器人的机身宽度，确定地面关注窗口的宽度。

30、这样通过确定地面关注窗口的长度和宽度，可以有效关注前方地面区域，减少计算量，精确控制机器人的运动范围，并优化路径规划和避障策略，提高足式机器人的感知和运动性能。

31、第二方面，本技术提供了一种足式机器人地面探测装置，包括：地面图像模块、融合图像模块和类别识别模块；

32、所述地面图像模块用于获取足式机器人下方前端地面的摄像头地面图像和激光点云图像，将激光点云图像中的每个点云坐标投影到足式机器人下方地面获得地面网格图像；

33、所述融合图像模块用于将地面网格图像以摄像头地面图像的像素大小进行稠密化，并将稠密化后的地面网格图像和摄像头地面图像进行叠加融合，获得融合地面图像；

34、所述类别识别模块用于通过预设的感知数据集对所述融合地面图像进行识别，获得对应的地面类别。

35、进一步的，所述地面图像模块包括：投影单元和地面网格图像获取单元；

36、所述投影单元用于根据足式机器人的质心高度和俯仰角度，获得激光点云图像中的每个点云坐标到地面的投影高度值和位置坐标值；

37、所述地面网格图像获取单元用于根据预设的网格单元，将每个点云坐标到地面的投影高度值和位置坐标值，输入空白网格图像，获取地面网格图像。

38、进一步的，在所述类别识别模块，之后还包括：语义分割模块和运动调整模块；

39、所述语义分割模块用于将地面类别和融合地面图像，输入到预设的语义分割网络模型中，获得语义分割图像；

40、所述运动调整模块用于根据语义分割图像和稠密化后的地面网格图像，调整足式机器人的运行路径和运行步态。

41、进一步的，所述地面网格图像获取单元包括：网格设置单元、维度确定单元和坐标填充单元；

42、所述网格设置单元用于根据地面精度要求和激光雷达的分辨率，确定网格单元的维度大小；

43、所述维度确定单元用于根据网格单元的维度大小和足式机器人地面的探测面积，设置空白网格图像的维度；

44、所述坐标填充单元用于将每个点云坐标到地面的投影高度值和位置坐标值，填充至空白网格图像中，获得地面网格图像。

45、进一步的，所述类别识别模块包括：采集单元和感知数据设置单元；

46、所述采集单元用于将足式机器人分别放置于若干不同类别的地面上，并在每个类别的地面上设置若干种光照的强度和方向，采集每个类别地面上不同光照中足式机器人中的摄像头数据和激光点云数据；

47、所述感知数据设置单元用于根据每个摄像头数据和激光点云数据对应的地面类别和光照强度，设置感知数据集。

48、进一步的，所述地面图像模块包括：采集安装单元和地面关注单元；

49、所述采集安装单元用于将摄像头和激光雷达设置于足式机器人的机身底，并确定摄像头和激光雷达的视场不发生干涉时的距离为摄像头和激光雷达的距离；

50、其中，摄像头和激光雷达的视场中心线与地面形成45度至90度之间的夹角；

51、所述地面关注单元用于将摄像头和激光雷达的视场投影至地面形成交集区域，根据所述交集区域确定用于地面探测的地面关注窗口。

52、进一步的，所述地面关注单元包括：尺寸确定单元；

53、所述尺寸确定单元用于根据足式机器人的运动方向和足式机器人的最高移动速度，确定地面关注窗口的长度，并根据足式机器人的机身宽度，确定地面关注窗口的宽度。

54、这样通过将激光点云图像中的每个点云坐标投影到足式机器人下方地面，可以获得地面网格图像。可以向足式机器人提供对地面的高度进行表示，并将地面的高度用于地面的建模和分析。且融合地面图像将结合了激光点云数据和摄像头图像的信息，可以提供更全面、准确的地面信息。提高足式机器人对地面环境的认知能力。通过预设的感知数据集对融合地面图像进行识别，可以获得对应的地面类别。这将帮助足式机器人识别不同类型的地面，如草地、水泥地、沙地等，从而适应不同地面的行走特性和环境要求。地面类别识别可以提供给导航系统、决策系统等模块使用，以优化足式机器人的行为策略和路径规划。