无人清扫车针对路面水管低矮物体的避让方法与流程

本发明涉及无人车领域，具体是一种无人清扫车针对路面水管低矮物体的避让方法。

背景技术：

1、随着人工智能算法和传感器技术发展，无人驾驶技术水平得到很大提高，同时推动了低速无人清扫车在大型园区、公园等场景快速广泛落地，节约了大量的人力成本。无人清扫车在清扫作业时清扫设备和路面紧密接触，搭载部署的各种传感器和算法实时监测路面状态，随时避让各种不可清扫物体和障碍物，然而针对路面有维护养护的水管、电线、绳子等低矮细长物体，常用的传感器如激光雷达、深度相机等无法很好感知到，如图1无人清扫车遇到浇灌水管场景。无人清扫车作业中，遇到浇灌水管等低矮细长物体如果不能很好识别避让，可能会导致水管等细长物体缠绕到高速运转的清扫设备上，造成清扫车故障甚至损坏，且会对所缠绕之物造成破坏。

2、针对该场景问题，最常用解决方法有工作人员对整个园区先进行巡逻清理，或调配维护养护工作在某个时间段避开无人清扫车作业时段，或用更精密昂贵的传感器感知地面。然而增人员方法人机协助增加人力成本，且不利于人员和机器统一管理和调度；用昂贵的传感器方法无疑是增加无人清扫车成本，且增大后期维护更新费用。

3、随着基于深度学习的目标检测和图像分割技术在图像中的广泛应用，使用卷积神经网络可以对图像中水管等低矮细长目标进行精准感知识别，且卷积神经网络在边缘设备芯片上部署技术成熟。针对水管、电线、绳子等细长物体仅使用矩形检测框的目标检测方法，无法准确感知到水管的具体位置，且经常会出现水管目标框占据整个的图像情况，进而在目标检测的同时得到目标轮廓掩码，可以更加精确感知目标所在的位置为机器避绕障提供准确信息。

技术实现思路

1、本发明为了解决现有技术的问题，提供了一种无人清扫车针对路面水管低矮物体的避让方法，实现无人清扫车对水管、电线、绳子等低矮物体的感知和避障，本方法准确率高、通用性强、成本低廉。

2、本发明包括以下步骤：

3、1)基于深度学习的目标检测和语义分割技术，采集场景样本由人工用标注工具对图像中的易缠绕的物体目标进行检测框和分割掩码标注；

4、3)上一步对模型进行工程部署改进，针对分割后处理使用唤醒方式，即当目标用检测框的形式稳定识别到，且满足设定距离约束和自车行驶区域内约束时再进行分割解码；其中，距离约束基于单目测距，对检测到的目标进行粗略距离估计；自车行驶区域基于相机标定参数计算，单目测距公式如下：

5、

6、其中，d为测量距离，f为焦距，h为相机高度，y为目标检测框底边，θ为相机俯仰角；

7、4)得到分割结果后，结合标定参数将点云转换到图像坐标系下，选取出目标所对应的点云，图像和点云对齐公式为：

8、w＝t×p

9、其中，w为点云转换到图像对应的值；t为激光到图像之前的转换矩阵，通过标定获取；p为原始点云；

10、5)将点云转换映射到语义地图上，规划清扫车行驶路线时对识别到的目标障碍物进行避让。

11、进一步改进，步骤1)所述采集样本过程，通过安装在无人清扫车上的摄像头或手持摄像头，采集路面低矮细长物体场景的图片样本，包括水管、电线、绳子。

12、进一步改进，步骤2)使用的目标检和语义分割模型为yolov8。

13、进一步改进，所述yolov8模型进行工程优化调整，权衡检测识别性能和运行资源消耗，模型的输入分辨率设置为640x480，同时把dfl损失函数替换成普通的fl函数，再通过使用近似得分计算、先卡阈值再解码检测框和分割掩码的方式使模型以最小的开销运行。

14、进一步改进，步骤5)所述对识别到的目标障碍物进行避让过程，具体为：如果水管等低矮细长障碍物横穿整个路面或占据严重，无法通过，则规划出掉头行驶的路径，机器执行掉头动作；若目标靠边或剩余空间足够清扫车通行，则进行绕行通过。

15、本发明有益效果在于：

16、1、可识别路面水管、电线、绳子等低矮细长物体，为清扫车行驶路径规划提供避障语义信息，让清洁车更加智能灵活避绕。

17、2、本方案降低了清扫车对场景的要求和人工的参与程度，以及减小了清扫车被低矮细长物体缠绕损坏的风险；且成本低廉、识别精度高、通用性强。

技术特征：

1.一种无人清扫车针对路面水管低矮物体的避让方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的无人清扫车针对路面水管低矮物体的避让方法，其特征在于：步骤1)所述采集样本过程，通过安装在无人清扫车上的摄像头或手持摄像头，采集路面低矮细长物体场景的图片样本，包括水管、电线、绳子。

3.根据权利要求1所述的无人清扫车针对路面水管低矮物体的避让方法，其特征在于：步骤2)使用的目标检和语义分割模型为yolov8。

4.根据权利要求3所述的无人清扫车针对路面水管低矮物体的避让方法，其特征在于：所述yolov8模型进行工程优化调整，权衡检测识别性能和运行资源消耗，模型的输入分辨率设置为640x480，同时把dfl损失函数替换成普通的fl函数，再通过使用近似得分计算、先卡阈值再解码检测框和分割掩码的方式使模型以最小的开销运行。

5.根据权利要求1所述的无人清扫车针对路面水管低矮物体的避让方法，其特征在于：步骤5)所述对识别到的目标障碍物进行避让过程，具体为：如果水管等低矮细长障碍物横穿整个路面或占据严重，无法通过，则规划出掉头行驶的路径，机器执行掉头动作；若目标靠边或剩余空间足够清扫车通行，则进行绕行通过。

技术总结
本发明提出一种无人清扫车针对路面水管低矮物体的避让方法，基于深度学习的目标检测和语义分割技术，采集图像并对图像中的易缠绕的物体目标进行检测框和分割掩码标注，并结合标定参数将点云转换到图像坐标系下，最后将点云转换映射到语义地图上，规划清扫车行驶路线时对识别到的目标障碍物进行避让。本发明在有限计算资源约束下，基于图像使用深度学习目标检测和语义分割技术，识别路面水管、电线、绳子等低矮细长物体，为清扫车行驶路径规划提供避障语义信息，让清洁车更加智能灵活避绕。本方案降低了清扫车对场景的要求和人工的参与程度，以及减小了清扫车被低矮细长物体缠绕损坏的风险；且成本低廉、识别精度高、通用性强。

技术研发人员：张潜,游亚东,刘文博,舒恒
受保护的技术使用者：深圳亿嘉和科技研发有限公司
技术研发日：
技术公布日：2024/3/24