机器人的巡检清洁方法、装置、机器人和存储介质与流程

机器人的巡检清洁方法、装置、机器人和存储介质
1.本技术为分案申请，其母案信息为：申请号：2020111861758，申请名称：机器人的巡检清洁方法、装置、机器人和存储介质，申请号：2020-10-29
技术领域
2.本技术涉及机器人技术领域，特别是涉及一种机器人的巡检清洁方法、装置、机器人和存储介质。


背景技术：

3.随着自动化技术和人工智能的迅速发展，机器人被广泛应用在各种场景。以清洁场景为例，清洁机器人可以通过无人驾驶技术完成简单重复的清洁任务，大大降低人力成本，实现清洁工作的自动化。
4.传统的机器人在进行巡检清洁时，一般按照预先规划的导航地图进行行驶，并在行驶过程中对地面进行全覆盖清洁。但是，传统的巡检清洁方式导致机器人的清洁效率较低。


技术实现要素：

5.基于此，有必要针对传统的巡检清洁方式导致机器人的清洁效率较低的技术问题，提供一种机器人的巡检清洁方法、装置、机器人和存储介质。
6.第一方面，本技术实施例提供一种机器人的巡检清洁方法，包括：
7.采集机器人视野范围内的视觉数据；
8.通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
9.对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
10.控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
11.在其中一个实施例中，可选的，所述脏污检测网络包括下采样层和反卷积层；
12.通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，包括：
13.通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；
14.通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
15.在其中一个实施例中，可选的，所述脏污检测网络的获取过程，包括：
16.通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；
17.将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
18.在其中一个实施例中，可选的，所述采集机器人视野范围内的视觉数据，包括：
19.控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
20.在其中一个实施例中，可选的，所述控制机器人进行旋转，包括：基于至少一个传感器的视野范围，控制机器人旋转。
21.在其中一个实施例中，可选的，所述采集机器人视野范围内的视觉数据，包括：
22.控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。
23.在本实施例中，通过控制机器人进行旋转，并在旋转过程中采集机器人视野范围内的视觉数据，或者通过控制机器人的第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据。通过该技术方案，极大地扩大了机器人的数据采集范围，使得机器人能够主动识别更大范围内的视觉数据，并对识别到的目标脏污进行统筹清洁，从而进一步提高了机器人的清洁效率。
24.在其中一个实施例中，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在对所述至少一个目标脏污位置进行最短路径规划之前，所述方法还包括：
25.获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
26.根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
27.第二方面，本技术实施例提供一种机器人的巡检清洁装置，包括：
28.采集模块，用于采集机器人视野范围内的视觉数据；
29.检测模块，用于通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
30.路径规划模块，用于对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
31.控制模块，用于控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
32.在其中一个实施例中，可选的，所述脏污检测网络包括下采样层和反卷积层；
33.检测模块，具体用于通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层
级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
34.在其中一个实施例中，可选的，该装置还包括：网络训练模块；
35.网络训练模块，用于通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
36.在其中一个实施例中，可选的，采集模块，具体用于控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
37.在其中一个实施例中，可选的，采集模块具体用于基于至少一个传感器的视野范围，控制机器人旋转。
38.在其中一个实施例中，可选的，采集模块，具体用于控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。在其中一个实施例中，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，该装置还包括：获取模块和转换模块；
39.获取模块，用于在路径规划模块对所述至少一个目标脏污位置进行最短路径规划之前，获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
40.转换模块，用于根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
41.第三方面，本技术实施例提供一种机器人，所述机器人包括：一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行本技术实施例第一方面提供的机器人的巡检清洁方法的指令。
42.第四方面，本技术实施例提供一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本技术实施例第一方面提供的机器人的巡检清洁方法。
43.本技术实施例提供的机器人的巡检清洁方法、装置、机器人和存储介质，采集机器人视野范围内的视觉数据，通过预设的脏污检测网络对采集的视觉数据进行检测，得到至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型，对至少一个目标脏污位置进行最短路径规划，得到目标清洁路径，并控制机器人按照目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过已训练好的脏污检测网络主动识别视野范围内存在的目标脏污，使得机器人仅需要聚焦工作空间内的目标脏污，并基于目标脏污的具体位置和具体类型有针对性地执行巡检清洁任务，无需对整个工作空间进行全路径清洁，提高了机器人的清洁效率。同时，在检测到至少一个目标脏污位置时，机器人还可以对至少一个目标脏污位置进行最短路径规划，使得机
器人能够以最短路径导航至各个目标脏污位置，进一步提高了机器人的清洁效率。
附图说明
44.图1为本技术实施例提供的一种机器人的结构示意图；
45.图2为本技术实施例提供的机器人的巡检清洁方法的一种流程示意图；
46.图3为本技术实施例提供的一种脏污检测网络的结构示意图；
47.图4为本技术实施例提供的脏污检测网络的训练方法的一种流程示意图；
48.图5为本技术实施例提供的机器人的巡检清洁装置的一种结构示意图；
49.图6为本技术实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
50.本技术实施例提供的机器人的巡检清洁方法，可以适用于如图1所示的机器人。如图1所示，该机器人可以包括：传感器10、控制器11和执行组件12。其中，传感器10包括安装在机器人机身上的感知传感器和定位传感器，传感器10用于采集视野范围内的视觉数据，其可以是不同类型的摄像头、激光雷达、红外测距、超声波imu(inertial measurement unit，惯性测量单元)、里程计等单个或多个传感器。控制器11可以包括芯片和控制电路，主要通过接收传感器10采集到的视觉数据，主动识别机器人视野范围内存在的目标脏污，并基于目标脏污的具体位置和具体类型来执行巡检清洁任务。执行组件12包括行走组件和清洁组件，用于接收控制器11的控制指令，按照所规划的行驶路径导航到目标脏污所在的位置，并实施清洁操作。
51.为了使本技术的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本技术实施例中的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
52.需要说明的是，下述方法实施例的执行主体可以是机器人的巡检清洁装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述机器人的部分或者全部。下述方法实施例以执行主体是机器人为例进行说明。
53.图2为本技术实施例提供的机器人的巡检清洁方法的一种流程示意图。本实施例涉及的是机器人如何对工作空间进行巡检清洁的具体过程。如图2所示，该方法可以包括：
54.s201、采集机器人视野范围内的视觉数据。
55.具体的，为了实现清洁工作的自动化，可以通过机器人对待清洁区域进行巡检清洁。其中，待清洁区域是指需要机器人巡检清洁的区域，其可以与机器人所处的环境相对应。机器人可以通过自身的视野范围和待清洁区域的电子地图，生成用于对待清洁区域进行视野覆盖的视野路径。其中，电子地图包括但不限于栅格地图、拓扑地图和矢量地图。机器人按照该视野路径进行行驶，并在行驶过程中主动采集视野范围内的视觉数据，以及主动识别并清理视觉数据中存在的目标脏污，从而实现对待清洁区域的主动巡检。
56.机器人上设置有视觉传感器，使得机器人可以通过该视觉传感器对其视野范围内的区域进行数据采集，从而得到视觉传感器的视野范围内的视觉数据。当用于采集视觉数据的视觉传感器对应的传感器类型不同时，通过视觉传感器所采集的视觉数据的类型也是不相同的。其中，上述视觉数据可以为图像数据，也可以为视频数据，还可以是点云数据。举
例说明，上述视觉传感器可以为摄像头。机器人可以通过摄像头连续对其视野范围内的区域进行拍摄，得到监控视频，将该监控视频作为待识别的视觉数据。机器人也可以通过摄像头直接对视野范围内的区域进行拍摄，得到拍摄图像，将该拍摄图像作为待识别的视觉数据。
57.s202、通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
58.其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据。
59.具体的，上述脏污检测网络为深度学习模型，其可以是预先建立并且经过视觉语义分割数据集和脏污数据集进行训练后配置在机器人中，以便检测视觉数据中存在的目标脏污。其中，上述视觉语义分割数据集可以为cityscapes数据集；上述样本标注数据是指已标注样本脏污位置和样本脏污类型的原始样本数据。上述脏污检测网络可以是基于fchardnet、u-net、v-net以及pspnet等网络建立的。
60.在得到视野范围内的视觉数据之后，机器人将视觉数据输入至已训练好的脏污检测网络中，通过脏污检测网络检测视觉数据中存在的目标脏污，并输出目标脏污位置和目标脏污类型。其中，目标脏污类型可以包括液体脏污和固体脏污。可选的，机器人可以通过脏污检测网络提取该视觉数据中的脏污特征，根据脏污特征，确定目标脏污类型。其中，脏污特征可以包括脏污颗粒大小以及脏污透明度(脏污透明度是指脏污的透光性能)。当脏污特征满足预设条件时，确定目标脏污类型为液体脏污；反之，确定目标脏污类型为固体脏污。上述预设条件包括：脏污颗粒大于预设颗粒大小，以及脏污透明度大于预设透明度。
61.可选的，上述脏污检测网络可以包括下采样层和反卷积层。针对此情况，在上述实施例的基础上，可选的，上述s202可以包括：通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型。
62.其中，上述脏污检测网络的网络结构可以如图3所示，从图3中可以看出，脏污检测网络包括n个下采样层和n个上采样层。图3中的输入层用于输入视觉数据，输出层用于输出视觉数据中的目标脏污位置和目标脏污类型。首先，机器人将采集到的视野范围内的视觉数据输入至输入层中，通过n个下采样层对视觉数据进行层级化的下采样操作，以提取视觉数据中的脏污特征，得到不同分辨率的特征图。接着，通过n个反卷积层对不同分辨率的特征图进行层级化的反卷积操作，直至最后一个反卷积层处理完毕为止，得到视觉数据中的目标脏污位置和目标脏污类型。
63.在实际应用中，为了更好地将脏污检测网络的注意力集中到脏污区域。可选的，该脏污检测网络还可以包括注意力门限块。上述通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作的过程可以为：通过注意力门限块对多分辨率的中间特征图逐层进行增强和抑制，并且进行反卷积操作。
64.需要说明的是，图3仅以脏污检测网络中包括的下采样层和反卷积层的个数n为4为例示出，本实施例并未具体限定脏污检测网络中包括的下采样层和反卷积层的具体个数，可以根据实际应用需求，对脏污检测网络中包括的下采样层和反卷积层的个数n进行相
应设置。
65.通过反卷积层来实现对多分辨率的中间特征图的上采样操作，仅需要将中间特征图与反卷积层中的卷积核进行反卷积操作即可，相比使用双线性插值的上采样层来说，大大缩短了脏污检测的时间，提高了脏污检测的效率。
66.s203、对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径。
67.具体的，目标清洁路径是指机器人到达各个目标脏污位置的所有清洁路径中距离最短的清洁路径。在检测到至少一个目标脏污位置时，机器人可以根据至少一个目标脏污位置、待清洁区域的历史障碍物地图以及待清洁区域的当前障碍物地图，通过最短路径规划算法，生成到达各个目标脏污位置的目标清洁路径。其中，最短路径规划算法可以为dijkstra算法、floyd算法以及蚁群算法等。
68.s204、控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。
69.具体的，在目标清洁路径规划完毕之后，机器人便可以按照目标清洁路径依次导航至对应的目标脏污位置，并基于与目标脏污位置对应的目标脏污类型有针对性地对目标脏污位置进行清洁。
70.可选的，上述s204的过程可以为：根据所述目标脏污类型，生成目标清洁策略；控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及采用所述目标清洁策略对所述目标脏污位置进行清洁。
71.其中，机器人可以根据得到的目标脏污类型，生成清洁时所采用的目标清洁策略。当目标脏污类型为液体脏污时，由于是液体，因此可以先将液体吸干，再用干拖进行擦拭，据此，机器人生成的目标清洁策略可以为先使用吸水组件对液体进行吸干，再使用干拖组件对地面进行擦拭。当目标脏污类型为固体脏污时，由于是固体，因此可以将固体清扫，再用湿拖进行擦拭，据此，机器人生成的目标清洁策略可以为先使用吸尘组件对固体进行清扫，再使用湿拖组件对地面进行擦拭，进而使用烘干组件对地面进行烘干。当然，在生成目标清洁策略的过程中，还可以结合地面的材质。例如，当地面的材质为地板及地板砖时，可以使用吸尘组件进行吸尘，吸尘结束后再使用拖地组件进行擦地；当地面的材质为地毯上时，可以使用吸尘组件仅进行吸尘。
72.在得到目标清洁策略之后，机器人按照目标清洁路径依次导航至目标脏污位置，并采用生成的目标清洁策略对各个目标脏污位置进行清洁。在对最后一个目标脏污位置清洁完毕之后，机器人可以控制自身进行旋转，并在旋转过程中采集视觉范围内的视觉数据，以进一步识别下一步需要清洁的目标脏污，即反复执行上述s201-s204的过程，从而完成对整个工作空间的巡检清洁。
73.本技术实施例提供的机器人的巡检清洁方法，采集机器人视野范围内的视觉数据，通过预设的脏污检测网络对采集的视觉数据进行检测，得到至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型，对至少一个目标脏污位置进行最短路径规划，得到目标清洁路径，并控制机器人按照目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过已训练好的脏污检测网络主动识别视野范围内存在的目标脏污，使得机器人仅需要聚焦工作空间内的目标脏污，
并基于目标脏污的具体位置和具体类型有针对性地执行巡检清洁任务，无需对整个工作空间进行全路径清洁，提高了机器人的清洁效率。同时，在检测到至少一个目标脏污位置时，机器人还可以对至少一个目标脏污位置进行最短路径规划，使得机器人能够以最短路径导航至各个目标脏污位置，进一步提高了机器人的清洁效率。
74.在一个实施例中，还提供了一种脏污检测网络的获取过程，即如何训练脏污检测网络。在上述实施例的基础上，可选的，如图4所示，该脏污检测网络的训练过程可以包括：
75.s401、通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络。
76.其中，虽然脏污识别平行数据(即脏污数据集)能够提高脏污检测网络的检测性能，但是，由于现阶段脏污识别平行数据较为匮乏，导致脏污检测网络的训练非常耗时耗力，且检测性能仍达不到期望要求。然而，视觉语义分割数据集较多，因此，可以通过样本数量较多的视觉语义分割数据集对脏污检测网络进行预训练，得到在样本数量较多的视觉语义分割数据集上训练的初始脏污检测网络。可选的，视觉语义分割数据集可以为cityscapes数据集。通过这种预训练方式，可以避免网络训练早期的长时间缓慢学习阶段，从而极大地削减了网络训练时间。同时，也可以避免大量繁琐的超参数调优。
77.s402、将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
78.其中，在采用视觉语义分割数据集对脏污检测网络进行预训练，得到初始脏污检测网络之后，便可以继续使用收集的脏污数据集对初始脏污检测网络进行微调训练。即将脏污数据集中的原始样本数据作为初始脏污检测网络的输入，将脏污数据集中的样本标注数据作为初始脏污检测网络的期望输出，采用预设的损失函数对初始脏污检测网络的参数进行训练调整，直至达到损失函数的收敛条件，从而得到训练好的脏污检测网络。可选的，该损失函数可以为自举交叉熵损失函数。
79.为了使网络训练过程中采用的脏污数据集中的数据更多，计算机设备需要对脏污数据集进行数据扩充。为此，在上述实施例的基础上，可选的，在采用自举交叉熵损失函数继续对初始脏污检测网络进行训练之前，该方法还包括：对脏污数据集进行数据增强处理。其中，对脏污数据集进行数据增强处理的方式包括以下至少之一：随机裁剪、水平翻转以及颜色抖动。
80.其中，可以采用水平翻转镜像对脏污数据集进行数据扩充；也可以对脏污数据集进行裁剪，以实现对图像分割数据集的数据扩充，即随机选择一个位置作为裁剪中心对每个脏污数据进行裁剪；还可以对每个脏污数据进行颜色抖动，以实现脏污数据集的数据扩充。
81.在本实施例中，在对脏污检测网络进行训练的过程中，可以采用样本数量较多的视觉语义分割数据集对脏污检测网络进行预训练，再通过脏污数据集对预训练后得到的初始脏污检测网络进行微调训练。通过这种预训练方式，可以避免网络训练早期的长时间缓慢学习阶段，从而极大地削减了网络训练时间。同时，也可以避免大量繁琐的超参数调优。也就是说，本技术实施例所采用技术方案，缩短了脏污检测网络的训练时间，并提高了脏污检测网络的精度。
82.在实际应用中，为了扩大机器人的数据采集范围，以提高机器人主动巡检的效率，在上述实施例的基础上，可选的，上述s201的过程可以为：控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。可选的，控制机器人进行旋转的方式可以为：基于至少一个传感器的视野范围，控制机器人旋转。
83.其中，在基于机器人的视野范围和待清洁区域的电子地图，生成用于对待清洁区域进行视野覆盖的视野路径之后，机器人按照所规划的视野路径对待清洁区域进行巡检清洁。为了扩大机器人的数据采集范围，在机器人开始行进之前，可以基于至少一个传感器的视野范围控制机器人进行原地旋转，并在旋转过程中采集机器人视野范围内的视觉数据，这样，随着机器人的旋转，机器人的视野方向不断调整，使得机器人在当前位置便能够采集到更大范围内的视觉数据。当然，也可以在机器人行进过程中基于至少一个传感器的视野范围控制机器人进行旋转，并在旋转过程中不断采集机器人视野范围内的视觉数据。实际使用时，可以对机器人的旋转时机进行设置，本实施例对此不做限定。
84.为了进一步扩大机器人的数据采集范围，可选的，上述控制机器人进行旋转的过程可以为：控制机器人旋转一周。即在机器人开始行进之前，控制机器人原地旋转一周，或者在机器人行进过程中控制机器人旋转一周，并在旋转过程中采集机器人视野范围内的视觉数据，使得机器人能够对自身360度范围内的视觉数据进行采集，极大地扩大了机器人的数据采集范围，使得机器人能够主动识别更大范围内的视觉数据，并对识别到的目标脏污进行统筹清洁，从而进一步提高了机器人的清洁效率。
85.在实际应用中，可以通过视觉传感器来采集机器人工作空间内的视觉数据。可选的，机器人上安装有第一视觉传感器和第二视觉传感器。其中，第一视觉传感器为机器人的前视传感器，且视野角度的中轴线与水平线平行；所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。针对此情况，在上述实施例的基础上，可选的，上述s201的过程可以为：控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据。
86.其中，由于第一视觉传感器的视线是平视的，因此，其可以获得比较大的感知范围，用于感知待清洁区域内较远处的环境信息。由于第二视觉传感器的视线是下视的，能够直接对准地面，因此，第二视觉传感器能够更加清晰地感知近处地面的环境信息，可以有效弥补第一视觉传感器的视野盲区。针对此情况，在机器人进行巡检清洁过程中，可以控制第一视觉传感器和第二视觉传感器采集各自视野范围内的视觉数据，使得机器人不仅可以采集较远视野范围内的数据，也可以通过第二视觉传感器采集第一视觉传感器视野盲区内的数据，极大地扩大了机器人的数据采集范围。
87.进一步的，还可以控制第一视觉传感器和第二传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据，这样，随着第一视觉传感器和第二视觉传感器的旋转，机器人的视野方向不断调整，使得机器人能够采集更大范围内的视觉数据，进一步扩大了机器人的数据采集范围。在实际应用中，可以根据实际需求，控制第一视觉传感器和第二视觉传感器的旋转角度。可选的，该旋转角度可以为360度。
88.在本实施例中，通过控制机器人进行旋转，并在旋转过程中采集机器人视野范围内的视觉数据，或者通过控制机器人的第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据。通过该技术方案，极大地扩大了机器人的数
据采集范围，使得机器人能够主动识别更大范围内的视觉数据，并对识别到的目标脏污进行统筹清洁，从而进一步提高了机器人的清洁效率。
89.在实际应用中，通常机器人通过摄像机来采集视野范围内的视觉数据。此时，机器人通过训练好的脏污检测网络检测出的目标脏污位置是以图像坐标系计算得到的。针对此情况，即在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在上述实施例的基础上，可选的，在上述s203之前，该方法还可以包括：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
90.具体的，在获取到机器人的图像坐标系和雷达坐标系之间的第一对应关系以及雷达坐标系与世界坐标系之间的第二对应关系之后，机器人根据第一对应关系对目标脏污位置进行投影变换，再基于第二对应关系对投影变换后的脏污位置进行转换，从而得到目标脏污在世界坐标系下的实际位置。可选的，上述获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系可以包括：分别获取所述机器人在图像坐标系和雷达坐标系下针对同一待采集对象采集的第一数据和第二数据；将所述第一数据和所述第二数据进行匹配，得到多组匹配的特征点；根据所述多组匹配的特征点，确定所述机器人的图像坐标系和雷达坐标系之间的第一对应关系。
91.其中，可以预先将待采集对象设置在一墙角上。机器人上设置有摄像机和激光雷达，机器人分别控制摄像机和激光雷达从不同角度对设置在墙角上的待采集对象进行数据采集，从而得到第一数据和第二数据。接着，分别检测第一数据和第二数据中的特征点，并将第一数据和第二数据中的特征点进行匹配，得到多组匹配的特征点。通常，需要确定出四组匹配的特征点甚至更多。再接着，通过多组匹配的特定点，建立相应的方程组，通过求解方程组即可得到机器人的图像坐标系和雷达坐标系之间的对应关系。
92.在本实施例中，机器人通过机器人的图像坐标系和雷达坐标系之间的第一对应关系以及雷达坐标系和世界坐标系之间的第二对应关系对目标脏污位置进行转换，使得最终得到的目标脏污的实际位置更准确，进而基于准确的脏污位置控制机器人执行巡检清洁任务，进一步提高了机器人的清洁精度和清洁效率。
93.图5为本技术实施例提供的机器人的巡检清洁装置的一种结构示意图。如图5所示，该装置可以包括：采集模块50、检测模块51、路径规划模块52和控制模块53。
94.具体的，采集模块50用于采集机器人视野范围内的视觉数据；
95.检测模块51用于通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
96.路径规划模块52用于对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
97.控制模块53用于控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
98.本技术实施例提供的机器人的巡检清洁装置，采集机器人视野范围内的视觉数据，通过预设的脏污检测网络对采集的视觉数据进行检测，得到至少一个目标脏污位置和
至少一个目标脏污位置对应的目标脏污类型，对至少一个目标脏污位置进行最短路径规划，得到目标清洁路径，并控制机器人按照目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过已训练好的脏污检测网络主动识别视野范围内存在的目标脏污，使得机器人仅需要聚焦工作空间内的目标脏污，并基于目标脏污的具体位置和具体类型有针对性地执行巡检清洁任务，无需对整个工作空间进行全路径清洁，大大提高了机器人的清洁效率。同时，在检测到至少一个目标脏污位置时，机器人还可以对至少一个目标脏污位置进行最短路径规划，使得机器人能够以最短路径导航至各个目标脏污位置，进一步提高了机器人的清洁效率。
99.在上述实施例的基础上，可选的，所述脏污检测网络包括下采样层和反卷积层；
100.具体的，检测模块51具体用于通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
101.在上述实施例的基础上，可选的，该装置还包括：网络训练模块54；
102.具体的，网络训练模块54用于通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
103.在上述实施例的基础上，可选的，采集模块50具体用于控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
104.在上述实施例的基础上，可选的，采集模块50具体用于基于至少一个传感器的视野范围，控制机器人旋转。
105.在上述实施例的基础上，可选的，采集模块50具体用于控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。
106.在上述实施例的基础上，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，该装置还包括：获取模块55和转换模块56；
107.具体的，获取模块55用于在路径规划模块52对至少一个目标脏污位置进行最短路径规划之前，获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
108.转换模块56，用于根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
109.在一个实施例中，提供了一种机器人，其结构示意图可以如图1所示。该机器人可以包括：一个或多个处理器、存储器；和一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行上述任意实施例所述的机器人的巡检清洁方法的指令。
110.具体的，上述一个或多个处理器执行所述程序时实现以下步骤：
111.采集机器人视野范围内的视觉数据；
112.通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
113.对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
114.控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
115.在一个实施例中，所述脏污检测网络包括下采样层和反卷积层；上述一个或多个处理器执行所述程序时还实现以下步骤：通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
116.在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
117.在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
118.在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：基于至少一个传感器的视野范围，控制机器人旋转。
119.在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。在一个实施例中，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，上述一个或多个处理器执行所述程序时还实现以下步骤：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
120.在一个实施例中，如图6所示，提供了一种包含计算机可执行指令601的非易失性计算机可读存储介质60，当所述计算机可执行指令被一个或多个处理器61执行时，使得所述处理器61执行以下步骤：
121.采集机器人视野范围内的视觉数据；
122.通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
123.对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
124.控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
125.在一个实施例中，所述脏污检测网络包括下采样层和反卷积层；计算机可执行指令被处理器执行时还实现以下步骤：通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
126.在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
127.在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
128.在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：基于至少一个传感器的视野范围，控制机器人旋转。
129.在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。在一个实施例中，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，计算机可执行指令被处理器执行时还实现以下步骤：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
130.上述实施例中提供的机器人的巡检清洁装置、机器人和存储介质可执行本技术任意实施例所提供的机器人的巡检清洁方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的机器人的巡检清洁方法。
131.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
132.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
133.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。