一种用于扫路机半自动化扫路方法及装置与流程

本发明涉及扫路机技术领域，具体涉及一种用于扫路机半自动化扫路方法及装置。

背景技术：

电动扫路机目前尚处于起步阶段，由于电动扫路车受电池续航能力的限制，一直未能有大的发展，在自动驾驶技术蓬勃发展的环境下，家对扫路车自动化作业的要求日益提高，目前的自动化清扫方案大多需要较高的硬件成本，因此需要寻找一种成本合适，算法稳定性好的方法提高扫路机的自动化程度，降低能耗。

中国专利文献号cn106845408a公开了一种基于dcnn的复杂环境下的街道垃圾识别方法，该方法需要首先获取没有垃圾的街道图片作为先验知识，通过进行对比获取去除背景的垃圾的图像，然后训练和使用dcnn模型对垃圾进行分类。这种方法需要先验知识，适合固定场景中使用，扫路机工作场景不固定，对硬件成本和算法实时性要求较高，因此需要找到一种对场景变化适应性好的轻量化模型。

现有扫路机自动巡边方法，例如中国专利文献号cn110597250a公开了一种扫路机的自动巡边系统，利用摄像头辅助红外传感器和超声波传感器检测道路边界，该方法使用多种传感器，硬件成本高，且摄像头对环境光比较敏感，难以适应多种天气情况下室外作业的要求。

技术实现要素：

本发明的目的在于提供一种用于扫路机半自动化扫路方法及装置，根据路面状况调节扫盘转速和风机吸力，识别扫路机前方障碍物并预警和刹车，检测道路边界并指导扫路机自动巡边作业的自动化扫路方法。

为达到上述目的，本发明是采用下述技术方案实现的：

一种用于扫路机的半自动化扫路方法，包括：

获取当前路面图像；其中，所述路面图像包括彩色图像和深度图像；

将获取的所述路面彩色图像送至预训练的卷积神经网络模型中，获取当前路面清洁度向量，并根据所述清洁度向量控制扫路机扫盘的转速和扫路机风机的吸力；

将获取的所述路面深度图像进行地面分割，获取地面点；

根据所述地面点进行障碍物检测，并根据障碍物检测结果指导扫路机预警和刹车；

根据所述地面点进行道路边界检测，并根据道路边界检测结果指导扫路机自动巡边作业。

进一步地，所述卷积神经网络模型训练包括如下步骤：

获取各种路况环境下的图片，对获取的图片分类打标，并将分类打标后的图片制作成数据集；所述路况环境包括路面上垃圾的多少、路面上垃圾的种类和路面的易清扫程度；

将所述数据集输入至深度学习框架中搭建并训练卷积神经网络模型。

进一步地，所述获取地面点包括如下步骤：

获取相机坐标系的点云p1；

将所述点云p1转换成车辆坐标系的点云pc；

设置第一高度阈值和第二高度阈值，将大于所述第一高度阈值的点和小于所述第二高度阈值的点过滤掉，获取地面候选集p2；

对所述地面候选集进行地面分割，获取地面点pg。

进一步地，所述障碍物检测包括如下步骤：

根据所述车辆坐标系的点云pc和地面点pg获取车辆坐标系下的点云p3

根据所述点云p3筛选出障碍物候选点po，根据所述障碍物候选点获取障碍物的点集并计算障碍物的距离坐标。

进一步地，所述道路边界检测包括：

将获取的深度图像按水平方向划分为若干条栅格；

将所述地面点投影到所述栅格中，获取地面边界点候选集；

对所述边界点候选集进行类聚，筛除部分离群点获取道路边界点，并根据所述边界点计算出道路边界坐标。

本发明还公开了一种用于扫路机半自动化扫路装置，包括

双目摄像机，用于获取当前路面图像；其中，所述路面图像包括彩色图像和深度图像；

控制处理装置，用于将获取的所述路面彩色图像送至预训练的卷积神经网络模型中，获取当前路面清洁度向量，并根据所述清洁度向量控制扫路机扫盘的转速和扫路机风机的吸力；以及

用于将获取的所述路面深度图像进行地面分割，获取地面点；以及

用于根据所述地面点进行障碍物检测，并根据障碍物检测结果指导扫路机预警和刹车；以及

用于根据所述地面点进行道路边界检测，并根据道路边界检测结果指导扫路机自动巡边作业。

进一步地，所述双目摄像机安装在扫路机的前部，所述双目摄像机距离地面80-100cm。

进一步地，所述双目摄像机内连接有温控模块，所述温控模块用于控制所述双目摄像机工作，所述温控模块的工作范围为-30-60度。

进一步地，所述控制处理装置包括工控机和控制器，所述工控机和所述控制器通过转换模块信号连接，所述工控机和所述双目摄像机信号连接，所述控制器用于控制扫路机工作。

进一步地，所述控制处理装置上还连接有显示器。

根据上述技术方案，本发明的实施例至少具有以下效果：

本发明从扫盘的速度控制上进行节电，通过增加视觉识别技术，识别需要清扫的垃圾量，进而实时控制扫盘的转速，从而达到节电的功能，检测扫路机前方障碍物并进行预警或者主动刹车；检测道路边界指导扫路机自动巡边作业，并为后续自动驾驶扫路机奠定基础。

附图说明

图1为本发明具体实施方式自动扫路方法的流程框图；

图2为本发明具体实施方式自动扫路装置的结构框图。

1、本发明能够在扫路机行驶作业过程中自动根据路面的清洁程度调节扫路机扫盘转速和吸盘吸力；检测扫路机前方障碍物并进行预警或者主动刹车；检测道路边界指导扫路机自动巡边作业；大大降低扫路机能耗，提高扫路机自动化程度，辅助驾驶员进行道路清扫作业。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明为了能增加电动扫路机的工作时间并提高扫路机的自动化程度，从扫盘的速度控制上进行节电，通过增加视觉识别技术，识别需要清扫的垃圾量，进而实时控制扫盘的转速，从而达到节电的功能，检测扫路机前方障碍物并进行预警或者主动刹车；检测道路边界指导扫路机自动巡边作业，并为后续自动驾驶扫路机奠定基础。

本发明公开了一种用于扫路机的半自动化扫路方法，包括：步骤10、获取当前路面图像；其中，所述路面图像包括彩色图像和深度图像。

步骤20、获取各种路况环境下的图片，对获取的图片分类打标，并将分类打标后的图片制作成数据集；所述路况环境包括路面上垃圾的多少、路面上垃圾的种类和路面的易清扫程度。

步骤30、将所述数据集输入至深度学习框架中搭建并训练卷积神经网络模型。

步骤40、将获取的所述路面彩色图像送至预训练的卷积神经网络模型中，获取当前路面清洁度向量，并根据所述清洁度向量控制扫路机扫盘的转速和扫路机风机的吸力。

本发明公开了一种用于扫路机的半自动化扫路方法，还包括：步骤10、获取当前路面图像；其中，所述路面图像包括彩色图像和深度图像。

步骤20、获取相机坐标系的点云p1；

步骤30、将相机坐标系的点云p1转换成车辆坐标系的点云pc；

步骤40、设置第一高度阈值和第二高度阈值，将大于所述第一高度阈值的点和小于所述第二高度阈值的点过滤掉，获取地面候选集p2；

步骤50、对所述地面候选集进行地面分割，获取地面点pg。

步骤60、根据所述车辆坐标系的点云pc和地面点pg获取车辆坐标系的点云p3

步骤70、根据所述点云p3筛选出障碍物候选点po，根据所述障碍物候选点获取障碍物的点集并计算障碍物的距离坐标。

步骤80、根据障碍物距离坐标指导扫路机预警和刹车。

本发明公开了一种用于扫路机的半自动化扫路方法，还包括：步骤10、获取当前路面图像；其中，所述路面图像包括彩色图像和深度图像。

步骤20、获取相机坐标系的点云p1；

步骤30、将相机坐标系的点云p1转换成车辆坐标系的点云pc；

步骤40、设置第一高度阈值和第二高度阈值，将大于所述第一高度阈值的点和小于所述第二高度阈值的点过滤掉，获取地面候选集p2；

步骤50、对所述地面候选集进行地面分割，获取地面点pg。

步骤60、将获取的深度图像按水平方向划分为若干条栅格；

步骤70、将所述地面点投影到所述栅格中，获取地面边界点候选集；

步骤80、对所述边界点候选集进行类聚，筛除部分离群点获取道路边界点，并根据所述边界点计算出道路边界坐标。

步骤90、根据道路边界坐标指导扫路机自动巡边作业。

本发明基于上述方法还提供了一种半自动化扫路装置，该扫路装置包括双目摄像机、控制处理装置和显示器，双目摄像机用于获取当前路面图像；其中，所述路面图像包括彩色图像和深度图像。

控制处理装置，用于将获取的所述路面彩色图像送至预训练的卷积神经网络模型中，获取当前路面清洁度向量，并根据所述清洁度向量控制扫路机扫盘的转速和扫路机风机的吸力。

以及用于将获取的所述路面深度图像进行地面分割，获取地面点。

以及用于根据所述地面点进行障碍物检测，并根据障碍物检测结果指导扫路机预警和刹车；

以及用于根据所述地面点进行道路边界检测，并根据道路边界检测结果指导扫路机自动巡边作业。

下面对扫路方法和装置进行具体说明：

(1)双目摄像机

双目摄像机安装在扫路机前部距离地面80～100cm左右的位置，可以发射红外光，形成光斑，可以采集彩色图像和深度图像，摄像头内部安装温控模块，该方案可以在-30～60度的环境下工作，可以在环境光较弱的情况下工作。

(2)训练卷积神经网络模型

获取各种路况下的图片，根据路面上垃圾多少、易清扫程度的指标对拍摄的图像进行人工分类，打上相应的标签，制作成用于训练卷积神经网络的数据集。其中，垃圾的种类包括碎纸屑、各种树叶、塑料瓶、碎石块、塑料袋等常见的道路垃圾，图片拍摄于一天的不同时段，拍摄天气包括晴天、阴天、雨天、雪天。并将制作的数据集分成训练集和测试集，其中训练集占总数据量的70％，测试集占总数据量的30％。

本发明使用的卷积神经网络模型的特征如下：模型总共有46层，由11个inception模块组成，模型如表所示，输出为linear后跟softmax操作，输出数目与路况分类对应，在深度学习框架tensorflow中搭建并训练模型。

(3)部署到扫路机上

将训练好的模型打包部署到车载工控机上，扫路机启动后自动打开双目摄像机，采集前方路面图像，送入训练好的卷积神经网络中计算，输出路面清洁程度的向量，然后根据清洁度向量，判断路面清洁程度并转换对应的扫盘转速和风机吸力的控制信号，工控机将控制信号通过转换模块传给控制器，控制扫盘和风机做相应的反应。

(4)地面分割

双目相机安装好之后需要进行标定，使用标定工具获取相机的位姿，包括相机的安装高度，和姿态的欧拉角，转换成旋转矩阵r和平移矩阵t保存到本地，用于将相机获取的相机坐标系下的三维点坐标转换为车辆坐标系下的点坐标。本方案可以实现实时地面分割功能，方法如下，根据双目相机获取相机坐标系下的点云p1，并经过公式转换为到车辆坐标系下的点云pc；设置高度阈值，过滤掉高度太高或者过低的点，获得地面候选点集p2；对候选点集进行分割，得到地面点pg。

pc＝rp1+t

(5)检测高于地面一定高度的障碍物

点云pc去掉地面点pg后得到点云p3：

p3＝pc-pg

根据点的高度坐标、宽度坐标和距离坐标，筛选出障碍物候选点po，候选点为车前方指定空间内的点，然后根据这些点之间的距离做聚类，将属于同一物体的点分为一类，得到相应物体点的集合，根据点的多少过滤掉噪声点集和小障碍物点集，得到障碍物的点集并计算障碍物的距离坐标；将检测到的障碍物信息通过转换模块传给控制器，做出相应预警和刹车工作。

(6)指导扫路机自动巡边作业

地面分割得到了地面点，将图像按水平方向划分为若干个条形栅格，将地面点投影到栅格中，在栅格中筛选靠近边界的地面点得到地面边界点候选点集，对点集进行聚类，筛除部分离群点，得到道路边界点，通过计算可以得到道路边界坐标，继续判断边界的宽度是否在正常作业允许的范围内，指导扫路机进行巡边作业。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。