一种扫地机器人及扫地机器人的避障方法与流程

1.本技术属于智能家居设备技术领域，尤其涉及一种扫地机器人及扫地机器人的避障方法。


背景技术：

2.随着人们对智能化家居生活需求的不断提升，扫地机器人的功能也在不断地更新迭代，以提升产品的竞争力。
3.家居环境是复杂多样化的，扫地机器人按照既定的工作模式进行清扫的过程中，容易被环境中各种各样的障碍物困住，导致作业中断，无法自动完成全屋清洁，严重影响了产品的用户体验。
4.针对上述问题，目前业界暂时并未提供较佳的解决方案。


技术实现要素：

5.本技术实施例提供一种扫地机器人及扫地机器人的避障方法，用于至少解决现有技术中扫地机器人容易被作业环境中的障碍物困住而无法自动完成全屋清洁的问题。
6.第一方面，本技术实施例提供一种扫地机器人的避障方法，包括：检测扫地机器人是处于正常运行状态还是处于障碍受困状态；当所述扫地机器人处于障碍受困状态时，调用位于扫地机器人两端的第一深度相机和第二深度相机分别采集相应的第一深度图像和第二深度图像；所述第一深度相机与所述第二深度相机之间具有交叉且不重合的视场角区间；提取所述第一深度图像和所述第二深度图像所分别对应的第一点云和第二点云；基于所述第一点云与所述第二点云中的重叠点云区域，重建障碍物外表；根据所重建的障碍物外表确定规划路径，以使得扫地机器人能够通过所述规划路径而绕开障碍物。
7.第二方面，本技术实施例提供一种扫地机器人，包括：第一深度相机；第二深度相机；其中，所述第一深度相机与所述第二深度相机分别位于扫地机器人的两端，且具有交叉但不重合的视场角区间；避障装置，被配置为：检测扫地机器人是处于正常运行状态还是处于障碍受困状态；当所述扫地机器人处于障碍受困状态时，调用所述第一深度相机和所述第二深度相机分别采集相应的第一深度图像和第二深度图像；提取所述第一深度图像和所述第二深度图像所分别对应的第一点云和第二点云；基于所述第一点云与所述第二点云中的重叠点云区域，重建障碍物外表；根据所重建的障碍物外表确定规划路径，以使得扫地机器人能够通过所述规划路径而绕开障碍物。
8.第三方面，本技术实施例提供一种机器可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
9.本技术实施例的有益效果在于：
10.在本技术实施例中，在扫地机器人处于障碍受困状态时，扫地机器人可以调用位于两端的第一深度相机和第二深度相机，并利用相应的深度图像来重建障碍物外表信息，进而根据障碍物外表来确定规划路径。由此，融合第一点云和第二点云的重叠点云进行点
云配准，能有效提高所重建的障碍物外表的精确度，使得扫地机器人能快速脱离障碍物受困状态，即使在复杂的作业环境下也依然能实现高效的清洁效率。
附图说明
11.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1示出了根据本技术实施例的扫地机器人的一示例的结构示意图；
13.图2示出了根据本技术实施例的扫地机器人的避障方法的一示例的流程图；
14.图3示出了根据图1中的步骤240的实施方式的一示例的流程图；
15.图4示出了根据本技术实施例的扫地机器人的避障方法的一示例的流程。
具体实施方式
16.为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书实施的范围。
17.如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
18.本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
19.最后，还需要说明的是，在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
20.图1示出了根据本技术实施例的扫地机器人的一示例的结构示意图。
21.如图1所示，扫地机器人包括机器人本体110、第一深度相机121、第二深度相机123和按键区域130。具体地，第一深度相机121和第二深度相机123分别被相对设置在机器人的两端(例如，左端和右端)，并且第一深度相机121和第二深度相机123的拍摄方向可以是朝向相同或近似位置的，例如具有交叉且不重合的视场角区间，使得第一深度相机和第二深度相机能同时获得针对相同物体(例如，障碍物)的深度图像信息。按键区域130可以设置各
种供用户交互的诸如按键或触摸屏之类的部件，以启用相应的预设功能，例如启动/暂停清洁功能或警报功能，等等。
22.需说明的是，由于扫地机器人在作业环境中进行清洁时容易积灰，容易阻挡相机的镜头视角，需要经常进行清洁，然而深度相机的镜头需要专业清洁液清洗，而无法使用扫地机器人的清洁剂。
23.在一些优选实施方式中，第一深度相机121和第二深度相机123通过第一连接件(未示出)和第二连接件(未示出)分别与扫地机器人可拆卸连接。这里，可以采用各种连接方式的连接件，在此应不加限制。
24.在一些具体情况下，第一连接件和第二连接件为卡扣连接件，能更便于用户对深度相机进行频繁的拆卸操作。
25.通过本技术实施例，在用户需要对扫地机器人进行清洁时，可以从扫地机器人主体上取下深度相机，便于用户对扫地机器人的机身和相机分别进行专业的清洗操作，保障了相机的拍照效果和使用寿命。
26.图2示出了根据本技术实施例的扫地机器人的避障方法的一示例的流程图。
27.如图2所示，在步骤210中，检测扫地机器人是处于正常运行状态还是处于障碍受困状态。这里，可以采用各种机器人受困状态检测方式来检测机器人是否处于障碍受困状态，在此应不加限制。
28.在本技术实施例的一些示例中，可以获取扫地机器人在预设的检测时间窗口(例如，1分钟或2分钟等)的移动距离，并根据移动距离来确定扫地机器人是处于正常运行状态还是障碍受困状态。具体地，如果移动距离大于或等于预设的距离阈值，确定扫地机器人处于正常运行状态。如果移动距离小于距离阈值，确定扫地机器人处于障碍受困状态。示例性地，可以统计扫地机器人在移动窗口内在特定的一个或多个方向(例如，横向或纵向)上的移动距离绝对值，并在这些移动距离绝对值均较小时，可以确定扫地机器人处于障碍受困状态。
29.在步骤220中，当扫地机器人处于障碍受困状态时，调用位于扫地机器人两端的第一深度相机和第二深度相机分别采集相应的第一深度图像和第二深度图像。这里，第一深度相机与第二深度相机之间具有交叉且不重合的视场角区间，使得第一深度相机和第二深度相机能采集到同时对障碍物的表面深度信息进行采集。
30.在步骤230中，提取第一深度图像和第二深度图像所分别对应的第一点云和第二点云。示例性地，可以对深度图像进行图像预处理，并根据相机标定参数将预处理后的深度图像相应的目标点云。
31.在步骤240中，基于第一点云与第二点云中的重叠点云区域，重建障碍物外表。
32.具体地，利用第一点云和第二点云中的重叠点云区域进行点云配准，能有效对点云中的偏差信息进行校准，得到平滑的障碍物外表信息。
33.需说明的是，在目前的点云配准过程中，一般是利用标准物体模型进行配准，然而这样的配准结果在个性化的业务场景中是存在各种偏差的。在本技术申请实施例中，利用不同相机针对物体表面的同一个区域的点云信息，使得配准精度得到保障。
34.在步骤250中，根据所重建的障碍物外表确定规划路径，以使得扫地机器人能够通过规划路径而绕开障碍物。
35.在本技术实施例的一些示例中，可以基于预设的障碍物识别模型，确定所重建的障碍物外表所对应的目标障碍物类型，并根据预设的障碍物类型模式表，确定与目标障碍物类型相应的目标工作模式。这里，障碍物类型模式表包括多个障碍物类型和相应的工作模式，例如旋转行进模式或s线行进模式等。继而，控制扫地机器人按照目标工作模式和规划路径进行作业，以绕开障碍物。示例性地，当障碍物是线缆时，可以采用s线行进模式，以快速脱离线缆而进入正常作业状态。
36.通过本技术实施例，利用点云技术来配准并构建障碍物外表，并根据配准后的外表来制定扫地机器人的脱困路径，使得扫地机器人能够有效、快速地绕开障碍物。
37.图3示出了根据图1中的步骤240的实施方式的一示例的流程图。
38.如图3所示，在步骤310中，将第一点云中在第二深度相机的视场角范围之外的第一遮挡点信息进行滤除，以得到相应的第一共同视场点云。
39.在步骤320中，将第二点云中在第一深度相机的视场角范围之外的第二遮挡点信息进行滤除，以得到相应的第二共同视场点云。
40.在步骤330中，基于第一共同视场点云和第二共同视场点云，重建障碍物外表。
41.通过上述步骤310和步骤320，能有效将原始点云中在另一相机的视场角范围之外的点云信息进行滤除，更新了原始点云，使得在步骤330中点云融合时是针对同一物体的表面区域的共同视场的点云数据的融合，互相补偿点云信息，以得到较佳的障碍物外表。
42.在一些更具体的实施方式中，在扫地机器人的处理系统中还可以预存储第一深度相机和第二深度相机的相机坐标系与世界坐标系之间的坐标转换关系。进而，利用此坐标转换关系，能有效实现上述图3中的遮挡点信息滤除操作和基于共同视场点云的融合补偿操作。
43.图4示出了根据本技术实施例的扫地机器人的避障方法的一示例的流程图。
44.如图4所示，在步骤410中，根据所重建的障碍物外表确定规划路径，以使得扫地机器人能够通过规划路径而绕开障碍物。
45.关于步骤410的操作，可以参考上文中参照步骤250的相关描述，在此便不赘述。
46.在步骤420中，控制扫地机器人按照规划路径运行。例如，扫地机器人可以走s线的规划路径。
47.在步骤430中，检测在扫地机器人在运行了所述规划路径之后是否仍然处于障碍受困状态。
48.在步骤440中，当扫地机器人仍处于障碍受困状态时，执行受困告警操作。在一些实施方式中，扫地机器人可以执行语音播报警告消息，例如语音播报“当前扫地机器人遭遇受困故障，请协助处理”。在另一些实施方式中，扫地机器人可以向绑定的客户端推送警报通知。
49.通过本技术实施例，在扫地机器人使用既定运行模式而仍然无法脱困时，扫地机器人可以通过警报动作而提醒用户及时对受困中的扫地机器人进行协助，避免扫地机器人持续受困而无法完成清洁作业。
50.本技术实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
51.另一方面，本技术实施例提供一种机器可读存储介质，其上存储有计算机程序，该
程序被处理器执行如上的扫地机器人的避障方法的步骤。
52.上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
53.本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
54.本说明书实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
55.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
56.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
57.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
58.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
59.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
60.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
61.本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
62.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
63.以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。