一种垃圾清扫方法、装置及设备与流程

1.本发明涉及清洁机器人技术领域，特别是涉及一种垃圾清扫方法、装置及设备。


背景技术：

2.公共区域的环卫清扫任务是一项繁琐、劳累的任务。随着智能化与信息化水平的提升，智能清扫机器人逐渐分担环卫清扫工作。虽然清扫机器人可以依靠全局清扫功能来实现垃圾的清扫任务，但是由于公共区域内的垃圾分布不均衡，使用全局清扫会增加机器的无效工作时间，耗时又耗能。此外，类似条形状的垃圾与部分体积较大的垃圾，会损坏机器人清扫结构，带来机器维修上的损耗。
3.申请号为202011546774.6的中国专利公开了一种识别城市暴露垃圾的目标检测方法，但该方法只能感知垃圾的位置和类别，没有全局的垃圾分布信息，无法实现省时省力的清扫目的。


技术实现要素：

4.本发明实施例旨在提供一种垃圾清扫方法、装置及设备，以解决现有技术中没有全局的垃圾分布信息，无法实现省时省力的清扫目的的问题。
5.为解决上述技术问题，本发明实施例提供以下技术方案：
6.根据本发明的一方面，提供一种垃圾清扫方法，所述方法包括：
7.获取基于垃圾热点图生成的清扫策略，所述清扫策略包括清扫规划路径；
8.根据所述清扫规划路径行驶到各待清扫区域，获取所述各待清扫区域的彩色图和深度图；
9.将所述彩色图输入到ai垃圾识别模型中，识别出所述彩色图中垃圾的位置信息、尺寸信息和类别信息；
10.根据所述垃圾的位置信息、尺寸信息、所述彩色图和所述深度图计算出所述垃圾相对于清洁机器人相机的三维空间信息；
11.基于所述三维空间信息和所述垃圾的类别信息对所述垃圾进行清扫。
12.可选地，所述方法还包括：
13.将所述各待清扫区域中的垃圾相对于清洁机器人相机的三维空间信息转化成全局地图下的三维空间信息；
14.基于所述各待清扫区域中垃圾在全局地图下的三维空间信息和所述垃圾的类别信息生成本次垃圾热点图。
15.可选地，所述垃圾热点图包括垃圾类别图层和垃圾分布图层，所述垃圾类别图层中标注有垃圾的类别信息，所述垃圾分布图层中，各点像素值用第一颜色值标识无垃圾，用第二颜色值标识有垃圾。
16.可选地，所述方法还包括：
17.采集垃圾的彩色图，使用数据标签工具对彩色图中的垃圾进行目标框的标注，获
得带标注信息的垃圾数据集，所述标注信息包括所述目标框的中心位置坐标、所述目标框的长宽值和垃圾的类别信息；
18.将所述带标注信息的垃圾数据集输入到待训练的ai垃圾识别模型进行训练，得到训练好的ai垃圾识别模型。
19.可选地，所述获取基于垃圾热点图生成的清扫策略之前还包括：
20.基于最近n次的垃圾热点图进行叠加预测，得到第一预测垃圾热点图；
21.对所述第一预测垃圾热点图进行图像变换，得到第二预测垃圾热点图，所述图像变换包括多边形拟合、小区域过滤、膨胀和收缩中任意一种或多种的组合；
22.根据所述第二预测垃圾热点图生成相应的清扫策略。
23.可选地，所述基于最近n次的垃圾热点图进行叠加预测，得到第一预测垃圾热点图包括：
24.采用如下预测公式计算出第一预测垃圾热点图的垃圾分布图层中各点像素值：
[0025][0026]
其中，i是垃圾分布图层中的每个像素的数值，w是预设的权重系数，t是已生成的垃圾热点图次数；
[0027]
当i
t+1
小于阈值θ时，则将该点像素值设为第一颜色值；当i
t+1
大于或等于预设阈值θ时，则将该点像素值设为第二颜色值；
[0028]
针对所述第一预测垃圾热点图的垃圾分布图层中像素值为第二颜色值的各像素点，根据其在最近n次垃圾热点图中的类别信息进行预测，得到第一预测垃圾热点图的垃圾类别图层。
[0029]
可选地，所述清扫策略还包括与所述清扫规划路径上各待清扫区域对应的清扫工作参数。
[0030]
根据本发明的另一方面，提供一种垃圾清扫装置，包括：
[0031]
策略获取模块，用于获取基于垃圾热点图生成的清扫策略，所述清扫策略包括清扫规划路径；
[0032]
图像采集模块，用于根据所述清扫规划路径行驶到各待清扫区域，获取所述各待清扫区域的彩色图和深度图；
[0033]
垃圾识别模块，用于将所述彩色图输入到ai垃圾识别模型中，识别出所述彩色图中垃圾的位置信息、尺寸信息和类别信息；
[0034]
位置计算模块，用于根据所述垃圾的位置信息、尺寸信息、所述彩色图和所述深度图计算出所述垃圾相对于清洁机器人相机的三维空间信息；
[0035]
清扫控制模块，用于基于所述三维空间信息和所述垃圾的类别信息对所述垃圾进行清扫。
[0036]
根据本发明的再一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的垃圾清扫方法的步骤。
[0037]
根据本发明的再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行上述任一项所
述的垃圾清扫方法的步骤。
[0038]
本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例中，在执行清扫任务时，先获取基于垃圾热点图生成的清扫策略，再根据清扫策略中的清扫规划路径行驶到各待清扫区域，并获取各待清扫区域的彩色图和深度图；通过ai垃圾识别模型识别出各待清扫区域中垃圾的位置、大小和类别，再通过上述识别出的垃圾的位置、大小、彩色图和深度图得到各待清扫区域中垃圾的三维空间信息，最后根据垃圾的三维空间信息和垃圾的类别信息对垃圾进行清扫。本发明中，垃圾热点图中标识了整个清扫任务所涉区域中垃圾的分布情况和类别信息，根据该垃圾热点图生成的清扫规划路径可使得清洁机器人对有垃圾区域进行重点清扫，对无垃圾区域进行巡检处理，从而省时、省力、低成本地完成清洁任务。
附图说明
[0039]
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0040]
图1是本发明实施例一提供的一种可选的垃圾清扫方法流程图；
[0041]
图2是本发明实施例一提供的一种可选的垃圾热点图生成方法流程图；
[0042]
图3是本发明实施例一提供的一种可选的清扫策略生成方法流程图；
[0043]
图4是本发明实施例二提供的一种可选的垃圾清扫装置的结构示意图；
[0044]
图5为本发明是实施例三提供的一种可选的电子设备的结构示意图。
具体实施方式
[0045]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0047]
实施例一
[0048]
根据本发明实施例，提供一种垃圾清扫方法，该垃圾清扫方法是基于深度学习的垃圾清扫方法，可解决现有技术中没有全局的垃圾分布信息，无法实现省时省力的清扫目的的问题。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0049]
请参阅图1，图1所示是本发明实施例一提供的一种可选的垃圾清扫方法流程图，所述方法可应用于清洁机器人。所述方法包括：
[0050]
步骤s101，获取基于垃圾热点图生成的清扫策略，所述清扫策略包括清扫规划路径。
[0051]
在本发明的一个实施例中，垃圾热点图为基于区域环境地图生成的包含有垃圾分
布信息和垃圾类别信息的地图，该区域环境地图为清洁机器人执行清洁任务所涉区域的环境地图。由于垃圾热点图中标识了整个清扫任务所涉区域中各垃圾的分布情况和类别信息，因此，根据垃圾热点图生成的清扫规划路径可使得清洁机器人对有垃圾区域进行重点清扫，对无垃圾区域进行巡检处理，从而省时、省力、低成本地完成清洁任务。
[0052]
垃圾热点图的生成方法有多种，可以由用户根据经验在区域环境地图中人工标识垃圾分布信息和类别信息后生成，也可以是用户对清洁任务所处区域的各个角落拍照后，由系统对照片中垃圾进行识别后生成。
[0053]
在本发明的一个实施例中，垃圾热点图为清洁机器人在清洁作业时使用相机拍摄垃圾区域的照片输入到ai垃圾识别模型中，获得垃圾的分布和分类后，再基于区域环境地图来形成。这种方式下，清洁机器人在执行首次清洁任务时，垃圾热点图尚未生成，初始垃圾热点图为根据区域环境地图生成的无任何垃圾标识的空图，或者是根据用户在区域环境地图中人工标识垃圾分布信息和类别信息后生成。当初始垃圾热点图为空图时，根据初始垃圾热点图生成的清扫规划路径可与根据区域环境地图生成的全局规划路径相同。
[0054]
在本发明的一个实施例中，清扫策略还包括清扫规划路径上各待清扫区域对应的清扫工作参数，所述清扫工作参数为控制清洁机器人进行垃圾清扫时需设置的工作参数，包括清扫力度、吸附力度、垃圾收纳时的开口大小等。该清扫工作参数由待清扫区域中垃圾的类别和覆盖范围来确定。
[0055]
步骤s102，根据所述清扫规划路径行驶到各待清扫区域，获取所述各待清扫区域的彩色图和深度图。
[0056]
一般情况下，清洁机器人实行区域作业，一次清洁任务的行程对应为清洁机器人按照预设的清扫规划路径从起始位置行驶到目标位置。在该行程中，可包含若干个待清扫区域。实际作业中，清洁机器人按照清扫规划路径行驶到各待清扫区域后，边拍照边清扫。拍照使用的相机为rgbd相机，可获取待清扫区域的彩色图和深度图。
[0057]
步骤s103，将彩色图输入到ai垃圾识别模型中，识别出彩色图中垃圾的位置信息、尺寸信息和类别信息。
[0058]
在本发明的一个实施例中，预先对ai垃圾识别模型进行模拟训练，训练步骤如下：
[0059]
第一步，采集各种垃圾的彩色图，使用labelimg数据标签工具对彩色图中的垃圾进行标注(即在彩色图中使用目标框款选垃圾区域，并添加垃圾类别信息)，形成带标注信息的垃圾数据集，所属标注信息包括目标框的位置信息和垃圾的类别信息，所述目标框的位置信息具体包括目标框的中心位置和目标框的长宽值。
[0060]
第二步，将带标注信息的垃圾数据集输入到待训练的ai垃圾识别模型进行训练，得到训练好的ai垃圾识别模型。
[0061]
在本发明的一个实施例中，ai垃圾识别模型使用yolov7目标检测模型，并把模型中的池化层由的尺度由5改成3，9改成5，再输入第一步中带标注信息的垃圾数据集，进行ai模型的训练。模型训练使用gpu的显存，具体的训练参数是batch_size设置为16，learning rate学习率一般设置为step步进函数或余弦函数cos(wx+b)来控制学习率，初始学习率一般为0.001。然后运行模型文件开始训练，直至损失函数不再降低，完成训练。将训练好的ai垃圾识别模型转换成可以在清洁机器人端推理的部署模型，并将该部署模型部署到清洁机器人端。可以理解的是，该ai垃圾识别模型也可以布局在云端，清洁机器人在执行清扫任务
时通过与云端服务进行通讯来识别待清扫区域中的垃圾信息。
[0062]
清洁机器人将彩色图输入到ai垃圾识别模型中，识别出彩色图中垃圾的位置信息、尺寸信息和类别信息，所述位置信息具体为彩色图中垃圾的中心坐标信息，尺寸信息具体为垃圾覆盖范围所对应的外接矩形框的长宽值。
[0063]
步骤s104，根据所述垃圾的位置信息、尺寸信息、所述彩色图和所述深度图计算出所述垃圾相对于清洁机器人相机的三维空间信息。
[0064]
具体的，对齐彩色图和深度图，根据彩色图中垃圾的位置信息和尺寸信息从深度图中提取相应的距离信息，从而得到垃圾相对于清洁机器人相机的三维空间信息。该三维空间信息包括垃圾的三维中心坐标和垃圾的三维尺寸信息。
[0065]
步骤s105，基于所述三维空间信息和所述垃圾的类别信息对所述垃圾进行清扫。
[0066]
在一个实施例中，清扫策略中还携带有各待清扫区域的清扫工作参数，清洁机器人可根据该清扫工作参数进行预设置，进一步地，根据步骤s104识别出的垃圾类别信息对预设置的清扫工作参数进行核验，若预设置的清扫工作参数与识别出的垃圾类别信息相符，则采用预设值的清扫工作参数对垃圾进行清扫，若不相符，则采用与识别出的垃圾类别信息相符的清扫工作参数进行清扫。
[0067]
在一个实施例中，清洁机器人在每执行完一次清洁任务后生成一张对应的垃圾热点图。如图2所示，为本发明实施例一提供的一种可选的垃圾热点图生成方法流程图，具体步骤如下：
[0068]
步骤s201，将各待清扫区域中的垃圾相对于清洁机器人相机的三维空间信息转化成全局地图下的三维空间信息。
[0069]
步骤s202，基于各待清扫区域中垃圾在全局地图下的三维空间信息和所述垃圾的类别信息生成本次垃圾热点图。
[0070]
具体的，垃圾热点图在基于slam(simultaneous localization and mapping，即时定位与地图构建)技术建立的静态地图上，包含了垃圾类别图层和垃圾分布图层，其中，垃圾类别图层中标注有垃圾的类别信息，比如，不可清扫的垃圾设置为255，可清扫垃圾的取值范围为100-200，不同类别具体取值不同，地面设为0。垃圾分布图层中，各点像素值用第一颜色值标识无垃圾，用第二颜色值标识有垃圾。比如，用0标识无垃圾，用255标识有垃圾。
[0071]
从积累的大量垃圾热点图中可以发现垃圾的分布规律，比如，餐饮店旁的食品垃圾区域、垃圾桶旁的区域、季节性落叶区域、人流往来密集区域等垃圾热点区域，因此清扫任务可重点关注此类区域，其他区域可用巡检的方式来替代。为了进一步提高机器人的清洁效率，还用于根据历史的垃圾热点图来生成清扫策略。如图3所示，为本发明实施例一提供的一种可选的清扫策略生成方法流程图，具体步骤如下：
[0072]
步骤s301，基于最近n次的垃圾热点图进行叠加预测，得到第一预测垃圾热点图。
[0073]
具体的，采用如下预测公式计算出第一预测垃圾热点图下垃圾分布图层中各点像素值：
[0074][0075]
其中，i是垃圾分布图层中的每个像素的数值，w是预设的权重系数，t是已生成的
垃圾热点图次数；
[0076]
当i
t+1
小于阈值θ时，则将该点像素值设为第一颜色值；当i
t+1
大于或等于预设阈值θ时，则将该点像素值设为第二颜色值。
[0077]
进一步地，针对上述计算出的第一预测垃圾热点图的垃圾分布图层中像素值为第二颜色值的各像素点，根据其在最近n次垃圾热点图中的类别信息进行预测，得到第一预测垃圾热点图的垃圾类别图层。
[0078]
具体的，第一预测垃圾热点图的垃圾分布图层中像素值为第二颜色值的各像素点，即为存在垃圾的像素点，针对这些像素点，其类别信息取最近n次垃圾类别图层中权重最大的类别信息。第一预测垃圾热点图的垃圾分布图层中像素值为第一颜色值的各像素点，即为无垃圾的像素点，其类别信息为0。根据以上方法可得到第一预测垃圾热点图的垃圾类别图层。比如，n为5时，最近5次垃圾热点图中，某一像素点对应的垃圾类别分别为0、c1、c2、c1和c3，则第一预测垃圾热点图中该像素点的垃圾类别为c1。
[0079]
步骤s302，对所述第一预测垃圾热点图进行图像变换得到第二预测垃圾热点图。
[0080]
其中，图像变换包括多边形拟合、小区域过滤、膨胀和收缩中任意一种或多种的组合。具体的，对第一预测垃圾热点图的垃圾分布图层，进行最小拟合多边形，形成连通区域，然后再对上面连通区域进行后处理，过滤较小区域，获得潜在垃圾区域a
pred
。进一步，为减少遗漏，再对垃圾分布图层进行一个膨胀或收缩操作，膨胀/收缩系数为β。根据下面公式，获得最终的潜在垃圾区域a
fixed
。
[0081]afixed
＝β*a
pred
[0082]
步骤s303，根据所述第二预测垃圾热点图生成相应的清扫策略。
[0083]
如前所述，清扫策略除包括清扫规划路径外，还可包括与所述清扫规划路径上各待清扫区域对应的清扫工作参数。
[0084]
在本发明的一种实施例中，在进行实地的垃圾清扫后，还对步骤s302中的膨胀/收缩系数β进行更新。假设最新的垃圾分布图为a
new
，具体更新如下公式：
[0085][0086]
本发明实施例提供的垃圾清扫方法，在执行清扫任务时，先获取基于垃圾热点图生成的清扫策略，再根据清扫策略中的清扫规划路径行驶到各待清扫区域，并获取各待清扫区域的彩色图和深度图；通过ai垃圾识别模型识别出彩色图中垃圾的位置、大小和类别，再通过上述识别出的垃圾的位置、大小、彩色图和深度图得到垃圾的三维空间信息，最后根据垃圾的三维空间信息和垃圾的类别信息对垃圾进行清扫。本发明中，垃圾热点图中标识了整个清扫任务所涉区域中垃圾的分布情况和类别信息，根据该垃圾热点图生成的清扫规划路径可使得清洁机器人对有垃圾区域进行重点清扫，对无垃圾区域进行巡检处理，从而省时、省力、低成本地完成清洁任务。
[0087]
实施例二
[0088]
根据本发明实施例，提供一种垃圾清扫装置，如图4所示，为本发明实施例二提供的一种可选的垃圾清扫装置的结构示意图，所述垃圾清扫装置400包括策略获取模块402、图像采集模块404、垃圾识别模块406、位置计算模块408、和清扫控制模块410，其中，
[0089]
策略获取模块402，用于获取基于垃圾热点图生成的清扫策略，所述清扫策略包括
清扫规划路径；
[0090]
图像采集模块404，用于根据所述清扫规划路径行驶到各待清扫区域，获取所述各待清扫区域的彩色图和深度图；
[0091]
垃圾识别模块406，用于将所述彩色图输入到ai垃圾识别模型中，识别出所述彩色图中垃圾的位置信息、尺寸信息和类别信息；
[0092]
位置计算模块408，用于根据所述垃圾的位置信息、尺寸信息、所述彩色图和所述深度图计算出所述垃圾相对于清洁机器人相机的三维空间信息；
[0093]
清扫控制模块410，用于基于所述三维空间信息和所述垃圾的类别信息对所述垃圾进行清扫。
[0094]
上述装置可执行实施例一中图1至图3任一所述的垃圾清扫方法，具备方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本发明实施例一中图1至图3提供的垃圾清扫方法。
[0095]
实施例三
[0096]
根据本发明实施例，提供一种电子设备，如图5所示，为本发明实施例三提供的一种可选的电子设备的结构示意图，该电子设备可以包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行垃圾清扫方法，该方法包括：获取基于垃圾热点图生成的清扫策略，所述清扫策略包括清扫规划路径；根据所述清扫规划路径行驶到各待清扫区域，获取所述各待清扫区域的彩色图和深度图；将所述彩色图输入到ai垃圾识别模型中，识别出所述彩色图中垃圾的位置信息、尺寸信息和类别信息；根据所述垃圾的位置信息、尺寸信息、所述彩色图和所述深度图计算出所述垃圾相对于清洁机器人相机的三维空间信息；基于所述三维空间信息和所述垃圾的类别信息对所述垃圾进行清扫。
[0097]
此外，上述存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在几个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，计算机软件产品存储于一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例一中图1至图3所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0098]
上述产品可执行实施例一中图1至图3任一所述的垃圾清扫方法，具备方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本发明实施例一中图1至图3提供的垃圾清扫方法。在实际应用中，该电子设备可为清洁机器人、或者内置或外置于清洁机器人的装置或设备。
[0099]
实施例四
[0100]
根据本发明实施例，提供一种计算机可读存储介质，其类型如实施例三中所述，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行实施例一中所述的垃圾清扫方法的步骤。
[0101]
上述产品可执行实施例一中任一所述的垃圾清扫方法，具备方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本发明实施例一中提供的垃圾清扫方法。
[0102]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用直至得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0103]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。