清洁机器人及其执行任务的方法与流程

本公开涉及清洁机器人和清洁机器人执行任务的方法。更具体地，本公开涉及一种能够通过使用关于清洁机器人附近的对象(例如，障碍物)的信息来提供合适任务的清洁机器人和控制清洁机器人的方法。

背景技术：

随着机器人技术的发展，机器人的供应变得越来越普遍，不仅在需要大量劳动力的专业学术领域或工业领域，而且在一般家庭中也是如此。为用户提供家政服务的服务机器人、清洁机器人、宠物机器人等正在被广泛供应。

更具体地，在清洁机器人的情况下，具体地确定与对象(诸如清洁机器人附近的异物、结构、障碍物等)相关的信息，并执行适合于每个对象的任务是非常重要的。由于有限的传感器组合，一般的清洁机器人在获得对象的特定信息方面有局限性。换句话说，一般的清洁机器人仅执行仅依赖于传感器的感测能力而没有关于对象的信息的相同模式(pattern)的避让驱动。

在这方面，需要基于清洁机器人附近的对象来确定清洁机器人的最优任务，此外，还需要区分驱动和避让方法。

以上信息作为背景信息呈现仅为了帮助理解本公开。关于上述任何一项是否可以作为关于本公开的现有技术来应用，没有做出确定，也没有做出断言。

技术实现要素：

【技术问题】

本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一个方面是提供一种用于清洁机器人基于清洁机器人附近的对象来执行最优任务的装置和方法。更具体地，提供了一种清洁机器人及其执行任务的方法，该清洁机器人识别清洁机器人附近的对象并基于所识别的对象的属性来执行最优任务。

【问题的解决方案】

附加的方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来了解。

根据本公开的一个方面，提供了一种由清洁机器人执行的执行任务的方法。该方法包括：捕获清洁机器人附近的对象的图像；通过将所捕获的图像应用于经训练的至少一个人工智能(artificialintelligence，ai)模型，来确定要由清洁机器人执行的任务；根据所确定的任务，控制防护部分(guardportion)从清洁机器人的开口部分(openedportion)的前面降下到地板表面；以及朝向对象驱动，使得对象被降下的防护部分移动。

根据本公开的另一方面，提供了一种清洁机器人。该清洁机器人包括相机、驱动器、设置在清洁机器人的开口部分的前面的防护部分、和至少一个处理器。该至少一个处理器可以被配置为：控制相机捕获清洁机器人附近的对象的图像；通过将所捕获的图像应用于经训练的至少一个人工智能(ai)模型，来确定要由清洁机器人执行的任务；根据所确定的任务，控制防护部分从开口部分的前面降下到地板表面；以及控制驱动器朝向对象驱动清洁机器人，以通过使用降下的防护部分来移动对象。

从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员来说将变得显而易见。

【发明的有益效果】

根据上述公开的实施例，清洁机器人可以识别通过捕获对象而获得的图像，并执行最优任务，诸如避让或移动对象。

根据本公开的实施例，因为清洁机器人能够通过使用防护部分来移动对象，所以可以在清洁的同时整理对象，并减少清洁机器人被对象卡住的情况。

根据本公开的实施例，可以清洁对象在被移动之前所在的地板表面，因此可以清洁房屋内尽可能多的区域。

根据本公开的实施例，可以通过使用所捕获的图像和用户选择的用户任务作为训练数据来增大清洁机器人提供考虑到对象的最优任务的可能性。

根据本公开的实施例，清洁机器人的高效驱动是可能的，因为清洁机器人的局部驱动规划在对象被移动之后被更新。

附图说明

从以下结合附图的描述中，本公开的特定实施例的上述和其他方面、特征和优点将变得更加显而易见，在附图中：

图1a是根据本公开的实施例当防护部分升起时清洁机器人的透视图；

图1b是根据本公开的实施例当防护部分降下时清洁机器人的透视图；

图2是根据本公开的实施例的清洁机器人的内部配置的一部分的透视图；

图3a是根据本公开的实施例当防护部分升起时清洁机器人的侧视图；

图3b是根据本公开的实施例当防护部分降下时清洁机器人的侧视图；

图4a是根据本公开的实施例当防护部分升起时清洁机器人的内部侧视图；

图4b是根据本公开的实施例当防护部分降下时清洁机器人的内部侧视图；

图5是示出根据本公开的实施例的清洁机器人通过识别对象来确定任务的过程的图；

图6a示出了根据本公开的实施例的清洁机器人执行任务的过程；

图6b示出了根据本公开的实施例的清洁机器人执行任务的过程；

图6c示出了根据本公开的实施例的清洁机器人执行任务的过程；

图6d示出了根据本公开的实施例的清洁机器人执行任务的过程；

图7a示出了根据本公开的实施例的清洁机器人执行任务的过程；

图7b示出了根据本公开的实施例的清洁机器人执行任务的过程；

图7c示出了根据本公开的实施例的清洁机器人执行任务的过程；

图8a示出了根据本公开的实施例的清洁机器人执行任务的过程；

图8b示出了根据本公开的实施例的清洁机器人执行任务的过程；

图8c示出了根据本公开的实施例的清洁机器人执行任务的过程；

图8d示出了根据本公开的实施例的清洁机器人执行任务的过程；

图9示出了根据本公开的实施例的清洁机器人执行任务的过程；

图10是示出根据本公开的实施例确定对象将被移动到的指定区域的过程的图；

图11是示出根据本公开的实施例确定对象将被移动到的指定区域的过程的图；

图12a是示出根据本公开的实施例的更新清洁机器人的驱动规划的过程的图；

图12b是示出根据本公开的实施例的更新清洁机器人的驱动规划的过程的图；

图12c是示出根据本公开的实施例的更新清洁机器人的驱动规划的过程的图；

图13a是根据本公开的实施例的清洁机器人的配置的简单框图；

图13b是根据本公开的实施例的清洁机器人的配置的简单框图；

图14是根据本公开的实施例的清洁机器人的配置的框图；

图15a是根据本公开的实施例的训练器的框图；

图15b是根据本公开的实施例的确定器的框图；和

图16是根据本公开的实施例的清洁机器人执行任务的方法的流程图。

在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。

具体实施方式

参考附图的以下描述被提供来帮助全面理解由权利要求及其等同物所限定的本公开的各种实施例。它包括有助于理解的各种具体细节，但是这些仅仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于书目含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对本领域技术人员来说显而易见的是，对本公开的各种实施例的以下描述仅仅是为了说明的目的而提供的，而不是为了如由所附权利要求及其等同物所限定的那样限制本公开。

应当理解，单数形式的“一”、“一个”和“该”包括复数指代物，除非上下文另有明确规定。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。

此外，说明书中使用的诸如“第一”、“第二”等表述可以修饰各种组件，而不管顺序和/或重要性如何，并且可以将一个组件与另一组件区分开来，而不限制这些组件。例如，第一用户设备和第二用户设备可以指示不同的用户设备，而不管顺序或重要性如何。例如，在不脱离说明书中描述的权利范围的情况下，第一组件可以被称为第二组件，并且类似地，第二组件可以被称为第一组件。

当一个组件(诸如第一组件)被称为与另一组件(诸如第二组件)“(可操作地或可通信地)耦接”，或“(可操作地或可通信地)耦接到”或“连接到”另一组件时，应当理解，该一个组件直接耦接到该另一组件或通过另一组件(诸如第三组件)耦接。另一方面，当组件(诸如第一组件)被称为“直接耦接到”或“直接连接到”另一组件(诸如第二组件)时，可以理解在该一个组件和该另一组件之间没有组件(诸如第三组件)。

在整个公开中，表述“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部，或它们的变型。

本文使用的术语可以仅用于描述本公开的特定实施例，并且不旨在限制本公开的其他实施例的范围。单数表达可包括复数表达，除非上下文另有明确指示。本文使用的术语，包括技术或科学术语，可以具有本领域普通技术人员通常理解的相同含义。在本文使用的术语当中，在通用词典中定义的术语可以被解释为具有与相关技术的上下文中的含义相同或相似的含义，并且不应当被解释为具有理想的或过于正式的含义，除非本文明确定义。在一些情况下，即使在说明书中定义了术语，术语也不应被解释为排除本公开的实施例。

在下文中，将参考附图描述本公开的各种实施例。

图1a至图4b是示出根据本公开的各种实施例的清洁机器人10的结构的图。

图1a是根据本公开的各种实施例当防护部分升起时清洁机器人的透视图，并且图1b是根据本公开的各种实施例当防护部分降下时清洁机器人的透视图。

参考图1a和图1b，清洁机器人10是用于在自行移动的同时向用户提供清洁服务的装置，并且可以包括家庭清洁机器人、大型建筑清洁机器人或机场清洁机器人。此外，根据目的，清洁机器人10可以具有各种形状，诸如圆柱形、长方体形等。根据本公开的实施例，清洁机器人10不仅可以执行简单地从地板移除异物(foreignbody)的任务，还可以执行移动对象的任务。

清洁机器人10可以包括主体11-1和耦接到主体11-1的聚尘器11-2。聚尘器11-2可以与主体11-1分离。

清洁机器人10可以被设置成在沿地板表面移动的同时，与空气一起吸入地板表面上的灰尘。清洁机器人10可以分离并储存吸入的空气中的灰尘，并排出移除灰尘后的空气。聚尘器11-2可以被设置成分离和储存灰尘。聚尘器11-2可以分离地耦接到主体11-1，使得用户可以移除聚尘器11-2内部的灰尘。

清洁机器人10可以包括防护部分12(或推进部分(pressingportion))。基于z轴，防护部分可以朝向地板表面降下或者沿地板表面的相反方向升起。防护部分12可以推进待推动的对象。例如，当清洁机器人10检测到对象阻碍清洁机器人10的移动时，清洁机器人10可以朝向地板表面降低防护部分12，并且朝向对象驱动，使得对象被防护部分12推动。

图2是根据本公开的实施例的清洁机器人的内部配置的一部分的透视图。

参考图2，清洁机器人10可以通过控制要传递到驱动马达13的动力来升高或降低防护部分12。

在这方面，清洁机器人10可以包括将小齿轮15连接到驱动马达13的旋转轴14。此外，清洁机器人10的防护部分12可以包括引导部分16和齿条17，引导部分16沿小齿轮15的旋转引导防护部分12的移动路径，齿条17能够将通过旋转轴14传递的旋转运动改变为线性运动。

当动力被传递到驱动马达13时，旋转轴14可以顺时针或逆时针旋转，并且小齿轮15可以根据旋转力旋转。当小齿轮15与齿条17啮合旋转时，引导部分16可以引导防护部分12的移动路径升起或降下。

根据本公开的实施例，可以在驱动马达13和小齿轮15之间设置一个或多个传递动力的动力传递齿轮，并且可以根据动力传递齿轮的数量或动力传递齿轮的齿数来控制小齿轮15的转数、旋转方向、旋转速度等。根据本公开的实施例，可以使用一个或多个风扇皮带来代替旋转轴14或动力传递齿轮。

图3a是根据本公开的各种实施例当防护部分升起时清洁机器人的侧视图，并且图3b是根据本公开的各种实施例当防护部分降下时清洁机器人的侧视图。

参考图3a和图3b，防护部分12可以沿z轴升起或降下。例如，当小齿轮15顺时针旋转时，防护部分12可以根据引导部分16和与小齿轮15啮合的齿条17的线性运动而升起，如图3a所示。另一方面，当小齿轮15逆时针旋转时，防护部分12可以根据引导部分16和与小齿轮15啮合的齿条17的线性运动而降下，如图3b所示。

图4a是当防护部分升起时清洁机器人的内部侧视图，并且图4b是当防护部分降下时清洁机器人的内部侧视图。

参考图4a和图4b，防护部分12可以位于开口部分的前面。开口部分可以包括抽吸孔18或位于抽吸孔18前面的锯齿状部分19。

在图4a和图4b中，防护部分12可以通过位于锯齿状部分19的前面而沿z轴方向移动。在正常情况下，清洁机器人10可以在防护部分12升起的同时移动并吸入地板表面的灰尘，如图4a所示。当清洁机器人10需要在移动的同时推动对象时，清洁机器人10可以如图4b所示降低防护部分12，并朝向对象驱动。这里，清洁机器人10也可以执行吸入地板表面上的灰尘的操作。

在图4a和图4b中，防护部分12位于锯齿状部分19的前面，但是根据本公开的实施例，防护部分12可以位于抽吸孔18的前面。在这种情况下，当对象具有低于对应于抽吸高度的特定高度(例如，大约1cm)的尺寸或者具有低于或等于该特定高度的点处的重心时，清洁机器人10可以执行推动对象的操作。

下面将描述清洁机器人10根据周围对象通过升高或降低防护部分12来执行任务的过程。

图5是示出根据本公开的实施例的清洁机器人通过识别对象来确定任务的过程的图。

参考图5，清洁机器人10可以识别附近的对象51。例如，清洁机器人10可以通过相机在特定距离d1或更大(例如，15cm或更大)处捕获至少一个对象51的图像。清洁机器人10可以在驱动开始之前捕获对象51的图像，或者每隔特定周期(例如，0.1秒或3cm移动)捕获对象51的图像。清洁机器人10可以基于所捕获的图像来确定要由清洁机器人10执行的任务。

根据本公开的实施例，清洁机器人10可以通过将所捕获的图像应用于至少一个经训练的人工智能(ai)模型来确定要由清洁机器人10执行的任务。这里，清洁机器人10可以确定关于对象51的边界框501，并选择边界框501中的图像作为所捕获的图像。然后，清洁机器人10可以通过将边界框501中的图像应用于至少一个经训练的ai模型来确定要由清洁机器人10执行的任务。

至少一个经训练的ai模型是被配置为确定要由清洁机器人10执行的任务的ai模型，并且可以是通过使用{包括对象的图像、要由清洁机器人执行的任务}作为训练数据集来训练的模型。

根据本公开的实施例，清洁机器人10可以通过将对象51的图像应用于第一ai模型来获得对象51的识别信息。第一ai模型是被配置为识别对象的ai模型，并且可以是通过使用{包括对象的图像、对象的识别信息}作为训练数据集来训练的模型。对象的识别信息可以包括例如对象的类型、对象的尺寸(例如，对象的高度、宽度、深度等)或对象的特征(例如，对象的颜色、材料等)中的至少一个，但不限于此。在获得对象51的识别信息时，清洁机器人10可以通过将所获得的识别信息应用于第二ai模型来确定要由清洁机器人10执行的任务。第二ai模型是被配置为确定要由清洁机器人10执行的任务的ai模型，并且可以是通过使用{对象的识别信息、要由清洁机器人执行的任务}作为训练数据集来训练的模型。

根据本公开的实施例，清洁机器人10可以通过将对象51的图像应用于第一ai模型来获得对象51的识别信息。第一ai模型是被配置为识别对象的ai模型，并且可以是通过使用{包括对象的图像、对象的识别信息}作为训练数据集来训练的模型。在接收到对象51的识别信息时，清洁机器人10可以通过将对象51的识别信息应用于基于规则的模型(或数学模型)来确定要由清洁机器人10执行的任务。例如，清洁机器人10可以存储匹配表，在该匹配表中，要由清洁机器人10执行的任务与每种类型的对象相匹配。在这种情况下，清洁机器人10可以通过使用匹配表来确定与对象51的识别信息相对应的要由清洁机器人10执行的任务。

在本公开的上述实施例中，被配置为通过使用所捕获的图像来确定要由清洁机器人10执行的任务的ai模型、被配置为获得对象51的识别信息的第一ai模型、以及被配置为通过使用识别信息来确定要由清洁机器人10执行的任务的第二ai模型可以被包括在清洁机器人10中或者被包括在外部服务器(未示出)中。这些ai模型可以根据例如基于ai算法的有监督学习方法或者无监督学习方法来训练。作为ai模型的示例，神经网络模型可以被配置为包括具有权重的多个网络节点，并且多个网络节点可以根据卷积连接关系交换数据，同时位于不同深度(或不同层)。例如，深度神经网络(deepneuralnetwork，dnn)、递归神经网络(recurrentneuralnetwork，rnn)或双向递归深度神经网络(bidirectionalrecurrentdeepneuralnetwork，brdnn)可以用作神经网络模型，但不限于此。

根据图5，基于对象51的所捕获的图像确定的要由清洁机器人10执行的任务的类型包括第一任务511至第六任务516，但是根据本公开的各种实施例，清洁机器人10的任务可以从比仅包括第一任务511至第六任务516更多的任务或进一步细分的任务中确定，或者仅从第一任务511至第六任务516中的一些中确定。

第一任务511可以是清洁机器人10在紧密(closely)避让对象51的同时执行清洁的任务。

紧密避让(closeavoidance)驱动可以指示清洁机器人10与对象51紧密接触地、或者在与对象51保持紧密距离(或者小于阈值，例如小于1cm)的同时移动。

在这种情况下，对象51可能被固定在一个区域，或者可能难以移动。这种对象51的示例包括墙壁、沙发、桌子或床。

图6a示出了根据本公开的实施例的清洁机器人执行紧密避让对象的任务的过程。

参考图6a，清洁机器人10可以与对象52紧密接触地移动，同时避让对象52。例如，清洁机器人10可以基于导航地图中包括的二维(2d)线与对象52紧密接触地移动。可选地，清洁机器人10可以与对象52紧密接触地移动，同时通过使用激光成像探测和测距(laserimagingdetectionandranging，lidar)传感器、超声波传感器或位置敏感器件(positionsensitivedevice，psd)传感器实时测量到对象52的距离信息。

第二任务512可以是清洁机器人10在完全避让对象51的同时执行清洁的任务。

完全避让驱动可以指示清洁机器人10在以特定距离(例如，在1cm和15cm之间)避让对象51的同时移动。

在这种情况下，对象51可能容易破裂。例如，对象51可以是玻璃杯、碗或花瓶。可选地，对象51可能是贵重的。例如，对象51可以是移动电话、珠宝、手表或眼镜。可选地，对象51可能污染清洁机器人10。例如，对象51可以是宠物的粪便或食物。

图6b示出了根据本公开的实施例的清洁机器人执行完全避让对象的任务的过程。

参考图6b，清洁机器人10可以在以特定距离d2(例如，在1cm至15cm之间)避让对象53的同时移动。此时，清洁机器人10可以在对象53附近减速，并且在避让对象53的同时移动。清洁机器人10可以通过使用距离传感器(例如，深度传感器、lidar传感器、超声波传感器或红外线(infraredray，ir)立体传感器)来获得到对象53和对象53所在空间的距离信息。清洁机器人10可以以特定距离d2移动远离对象53，同时实时测量到对象53和对象53所在空间的距离信息。作为另一示例，清洁机器人10可以以特定距离在对象53周围设置虚拟墙。然后，清洁机器人10可以以紧密避让驱动方式与虚拟墙紧密接触地移动。

第三任务513可以是清洁机器人10在交互之后在避让对象51的同时执行清洁的任务。

在这种情况下，对象51可以对交互做出反应。例如，参考图6c，对象54可以是人的身体、人的身体部分、动物或传感设备。

图6c示出了根据本公开的实施例的清洁机器人在交互之后执行避让对象的任务的过程。

参考图6c，清洁机器人10可以朝对象54执行交互。例如，清洁机器人10可以输出“请移动”的声音。当对象54响应于清洁机器人10的交互而移动时，清洁机器人10可以通过使用距离传感器(例如，深度传感器、lidar传感器、超声波传感器或ir立体传感器)来获得到对象54和移动后的对象54所在空间的距离信息。基于到对象54和移动后的对象54所在空间的距离信息，清洁机器人10可以在以特定距离d3避让对象54的同时移动。

第四任务514可以是清洁机器人10在推动对象51的同时执行清洁的任务。

在这种情况下，对象51可能需要被推动而不被清洁机器人10吸入。例如，对象51可以具有高于对应于抽吸高度的特定高度(例如，大约1cm)的尺寸，或者具有等于或大于该特定高度的点处的重心。对象51的示例包括盒子、玩偶或垫子。

图6d示出了根据本公开的实施例的清洁机器人在推动(或推进)对象的同时执行清洁任务的过程。

参考图6d，清洁机器人10可以识别对象55并在驱动方向上移动对象55。清洁机器人10可以清洁对象55所在的区域。换句话说，清洁机器人10可以在移动对象55的同时通过抽吸孔吸入地板表面上的灰尘。可选地，清洁机器人10可以在移动对象55之后清洁对象55所在的地板表面。同时，在清洁地板表面之后，清洁机器人10可以将对象55移动回其原始位置。在这种情况下，清洁机器人10可以再次识别对象55，并在与对象55先前被推动的方向相反的方向上推动对象55，以将对象55移动回其原始位置。

第五任务515可以是清洁机器人10在推动对象51之后执行清洁的任务。

在这种情况下，对象51可能在清洁机器人10正在移动时卡住。例如，对象51可以是线、袜子或毛巾。可选地，对象51可能需要被推动而不被清洁机器人10吸入。例如，对象51可以是玩具乐高、便条纸或药丸。此时，对象51可以具有低于对应于抽吸高度的特定高度(例如，大约1cm)的尺寸，或者具有低于或等于该特定高度的点处的重心。

图7a至图7c示出了根据本公开的各种实施例的清洁机器人在推动对象之后执行清洁任务的过程。

参考图7a，清洁机器人10可以识别对象56并控制设置在清洁机器人10中的防护部分12降下。例如，清洁机器人10可以控制防护部分12降下到地板表面，如图1b、图3b和图4b所示。

参考图7b，清洁机器人10可以朝向对象56移动，使得对象56被防护部分12移动(或推动)。当存在对象56将被移动到的指定区域时，清洁机器人10可以将对象56移动到指定区域。指定区域可以是例如由用户预先指定的区域、与对象56间隔特定距离的区域、或者靠近对象56的墙面或大型结构，清洁机器人10确定指定区域的示例将在下面参考图10和图11进行描述。

参考图7c，在对象56被移动之后，清洁机器人10可以控制防护部分12再次升起。然后，清洁机器人10可以在防护部分12升起时清洁对象56所在的地板表面。例如，在旋转到与对象56被推进的方向相反的方向之后，清洁机器人10可以在朝向对象56所在的区域移动的同时清洁地板表面。

同时，在清洁地板表面之后，清洁机器人10可以将对象56移动回其原始位置。在这种情况下，清洁机器人10可以控制防护部分12再次降下，并且通过在与对象56被推动的方向相反的方向上推动对象56来将对象56移动回其原始位置。

图8a示出了根据本公开的实施例的清洁机器人执行任务的过程。

参考图8a，清洁机器人10可以识别对象57并控制设置在清洁机器人10中的防护部分12降下。接下来，清洁机器人10可以确定沿其移动对象57的路径。首先，清洁机器人10可以确定推动驱动的开始位置。例如，清洁机器人10可以通过使用通过用相机捕获对象57的图像而获得的图像或者通过使用距离传感器(例如，深度传感器、lidar传感器、超声波传感器或ir立体传感器)来将对象57的端部(例如，线的端部或对象的侧表面)的紧接着的前面作为开始位置。

图8b示出了根据本公开的实施例的清洁机器人执行任务的过程。

参考图8b，当开始位置被确定时，清洁机器人10可以移动到开始位置。然后，清洁机器人10可以确定移动对象57的方向。例如，清洁机器人10可以确定用于在不干扰清洁的方向(或用于确保清洁区域的方向)上移动对象57的路径。例如，清洁机器人10可以确定移动对象57的方向，使得对象57的尺寸被最小化，对象57的宽度被最小化，或者对象57尽可能地与墙壁紧密接触。

图8c示出了根据本公开的实施例的清洁机器人执行任务的过程。

参考图8c，当确定了用于沿其移动对象57的路径时，清洁机器人10可以沿所确定的路径朝向对象57移动。

图8d示出了根据本公开的实施例的清洁机器人执行任务的过程。

参考图8d，当对象57与墙壁紧密接触时，清洁机器人10可以再次升高防护部分12，并且在防护部分12升起时清洁对象57所在的地板表面，如图8d所示。例如，在旋转到与对象57沿其被推动的路径相反的路径之后，清洁机器人10可以升高防护部分12并在朝向对象57先前所在的区域移动的同时清洁地板表面。

第六任务516可以是清洁机器人10请求用户确认的任务。

这里，清洁机器人10可以与用户的图9的用户终端设备30通信，以接收来自用户的确认。彼此通信的清洁机器人10和用户终端设备30可以表示经由短程通信技术的直接连接或者经由第三中继器的通信连接。第三中继器的示例可以包括基站、集线器、接入点、网关、交换机或中继服务器。

图9示出了根据本公开的实施例的清洁机器人执行任务的过程。

参考图9，清洁机器人10可以捕获对象58的图像，并将所捕获的图像应用于至少一个经训练的ai模型。在这种情况下，可能无法确定要由清洁机器人10执行的任务，可能确定清洁机器人10要执行多个任务，或者要由清洁机器人10执行的任务的置信度值(或概率值)可能低于或等于特定值。此时，在操作601，清洁机器人10可以向用户终端设备30发送请求要由清洁机器人10执行的任务的任务请求消息。任务请求消息可以包括关于所捕获的图像的信息。

在接收到任务请求消息时，用户终端设备30可以显示用于从用户接收对任务的确认的屏幕。该屏幕可以包括包含由清洁机器人10捕获的对象58的图像611和可由清洁机器人10执行的任务的列表612。列表612可以包括可由清洁机器人10执行的所有任务或者具有特定或更高置信度值的多个任务。

当用户从列表612中选择一个用户任务时，在操作602，用户终端设备30可以向清洁机器人10发送关于所选择的用户任务的信息。清洁机器人10可以将接收到的信息中包括的用户任务确定为要由清洁机器人10执行的任务。清洁机器人10可以根据所确定的任务来执行清洁。

在操作603，在接收到关于用户任务的信息时，清洁机器人10可以通过使用所捕获的图像和所接收的用户任务作为训练数据集来更新被配置为确定要由清洁机器人10执行的任务的至少一个ai模型。可选地，当被配置为确定要由清洁机器人10执行的任务的至少一个ai模型位于服务器(未示出)中时，清洁机器人10可以将所捕获的图像和用户任务发送到服务器。服务器可以通过使用接收到的所捕获的图像和用户任务作为训练数据集来更新被配置为确定要由清洁机器人10执行的任务的至少一个ai模型。

此后，清洁机器人10可以将所捕获的图像应用于更新后的至少一个ai模型，以确定要由清洁机器人10执行的任务。例如，当与图9的对象58具有相同或相似形状的对象被识别时，清洁机器人10可以基于用户为对象58确定的任务来执行清洁。

根据本公开的实施例，即使当与通过捕获对象的图像而获得的图像相对应的清洁机器人10的任务被预先确定时，清洁机器人10也可以将所捕获的图像发送到用户终端设备30以通知用户。例如，当对象被确定为当被持续忽略时会引起危险、破裂或成为污染物时，清洁机器人10可以向用户终端设备30提供所捕获的图像。用户可以基于所捕获的图像亲自处理对象或者通过用户终端设备30向清洁机器人10提供命令以避让对象或者移动对象。

根据本公开的实施例，清洁机器人10不仅可以通过使用关于捕获对象的信息，还可以通过使用由至少一个传感器(例如，lidar传感器、超声波传感器、ir立体传感器或psd传感器)检测的感测信息来确定要由清洁机器人10执行的任务。例如，清洁机器人10可以通过将关于捕获对象的信息和感测信息应用于至少一个ai模型来确定要由清洁机器人10执行的任务。可选地，清洁机器人10可以通过使用关于捕获对象的信息、关于捕获对象的周围环境的信息、关于检测对象的信息或关于检测对象的周围环境的信息中的至少一个来确定开始对对象的推动驱动的位置、用于沿其移动对象的路径以及结束推动驱动的位置。

图10和图11是示出根据本公开的各种实施例确定对象将被移动到的指定区域的过程的图。

参考图10，清洁机器人10可以捕获对象59的图像，并根据所捕获的图像确定要由清洁机器人10执行的任务。当要由清洁机器人10执行的任务包括像图5的第四任务514或第五任务515那样移动对象59的操作时，清洁机器人10可以指定对象59将被移动到的区域。

例如，清洁机器人10可以通过使用相机或距离传感器(例如，深度传感器、lidar传感器、超声波传感器或ir立体传感器)来识别对象59的周围环境。通过识别对象59的周围环境，清洁机器人10可以获得从对象59到每个结构(例如，大型结构，诸如墙面、门或沙发)的距离信息。可选地，清洁机器人10可以通过使用存储在清洁机器人10中的导航地图来识别对象59附近的结构，并且获得从对象59到每个结构的距离信息。

例如，清洁机器人10可以获得从对象59到位于上、下、左、右方向的结构的最短距离信息。更具体地，清洁机器人10可以获得从对象59到位于上方向的沙发701的距离信息m1、从对象59到位于左方向的墙面702的距离信息m2、从对象59到位于右方向的门703的距离信息m3以及从对象59到位于下方向的墙面704的距离信息m4。

清洁机器人10可以基于获得的距离信息来确定最靠近对象59的结构。在图10中，清洁机器人10可以选择沙发701作为最靠近对象59的结构。当最靠近的结构被确定时，清洁机器人10可以将对象59移动到沙发701的前面。

参考图11，用户可以直接指示对象60将被移动到的指定区域。

在图11中，在操作705，清洁机器人10可以向用户终端设备30发送请求用户指定对象60将被移动到的区域的区域指定请求消息。区域指定请求消息可以包括关于通过捕获对象60而获得的图像的信息和关于地图的信息。关于地图的信息可以包括例如关于存储在清洁机器人10中的导航地图的信息或者关于语义地图的信息。

在接收到区域指定请求消息时，用户终端设备30可以显示用于从用户接收区域指定的屏幕。屏幕可以显示由清洁机器人10捕获的包括对象60的图像711、示出包括对象60所在区域的房屋内部的至少一部分的地图712、以及对象60在地图712上的位置713。

这里，当接收到在地图712上指定一个区域714的用户输入时，在操作706，用户终端设备30可以向清洁机器人10发送关于指定区域714的信息。在操作707，清洁机器人10可以基于从用户终端设备30接收的关于指定区域714的信息，将对象60移动到用户指定的区域714。

图12a至图12c是示出根据本公开的各种实施例更新清洁机器人的驱动规划的过程的图。

参考图12a，清洁机器人10可以设置全局驱动规划，用于规划用于针对房屋内部执行任务的驱动路径。

参照图12b和图12c，清洁机器人10可以设置局部驱动规划，用于规划用于针对房屋内部的每个区域执行任务的驱动路径。

全局驱动规划或局部驱动规划可以被规划为使得例如清洁机器人10的旋转(或转弯)次数或移动距离最小化。例如，清洁机器人10可以比较驱动方向的水平长度和垂直长度，并且设置驱动规划以首先在更长的方向上移动。

根据本公开的实施例，如图12b所示，在存在对象61的情况下，清洁机器人10可以为房屋内部的一个区域设置和存储局部驱动规划。

在这种情况下，清洁机器人10可以执行移动对象61的任务。例如，可以执行像如上所述的图5的第四任务514或第五任务515那样的移动对象的任务。

当对象61的位置随着对象61被推动而改变时，清洁机器人10可以更新局部驱动规划。例如，清洁机器人10可以比较当首先驱动垂直长度和首先驱动水平长度时清洁机器人10的旋转次数或移动距离，并且更新局部驱动规划，使得清洁机器人10的旋转次数或移动距离最小化。

例如，清洁机器人10可以在对象61的位置改变之前设置局部驱动规划以首先移动垂直长度，但是在对象61的位置改变之后，清洁机器人10可以设置局部驱动规划以首先移动水平长度，如图12c所示。

图13a和13b是根据本公开的实施例的清洁机器人的配置的框图。

图13a是根据本公开的实施例的清洁机器人的配置的框图。

图13b是根据本公开的实施例的清洁机器人的配置的框图

参考图13a和图13b，清洁机器人10可以包括防护部分12、相机1020、存储器1030、处理器1040和驱动器1070。

因为防护部分12的配置和操作已经参考图1a至图4b进行了描述，所以不再提供冗余描述。

相机1020可以在各个方向上捕获相机1020的周围图像。更具体地，相机1020可以通过rgb相机捕获清洁机器人10的前面图像或者捕获不同于驱动方向的方向上的图像。相机1020可以独立于清洁机器人10设置，或者可以被包括在对象识别传感器中作为对象识别传感器的一部分。

相机1020可以包括多个相机。更具体地，相机1020可以设置在清洁机器人10的顶部和前面两者处，或者可以仅设置在顶部和前面中的至少一个处。

存储器1030可以存储由相机1020捕获的图像以及拍摄时清洁机器人10的移动状态信息和拍摄方向信息。此外，存储器1030可以存储关于清洁机器人10执行任务的地点的地图的信息。关于地图的信息可以包括例如关于导航地图或语义地图的信息。

例如，清洁机器人10可以通过使用ir立体传感器、超声波传感器、lidar传感器、psd传感器或图像传感器中的至少一种来检测任务区域。清洁机器人10可以通过使用检测任务区域的结果来生成用于驱动的导航地图。例如，清洁机器人10可以通过使用lidar传感器生成2d导航地图。导航地图可以包括例如由一条或多条2d线定义的房屋内部的区域。

作为另一示例，清洁机器人10可以通过使用捕获对象的图像或检测对象的结果来获得对象的识别信息。清洁机器人10可以获得对象的名称、对象的类型或对象的属性作为对象的识别信息。清洁机器人10可以通过映射对象的识别信息和导航地图中包括的对象的区域来生成指示清洁机器人10执行任务的任务区域的环境的语义地图。对象的识别信息可以以文本(例如，对象的名称)或图标的形式显示在对象所在的语义地图的区域。可选地，对象的识别信息可以以引用(reference)形式显示在对象所在的语义地图的区域。更具体地，可以相对于指示对象所在区域的指示线来显示对象的识别信息，或者可以在用颜色区分对象的区域之后，相对于区分的颜色来显示对象的识别信息。在语义地图中，对象的识别信息可以例如以在其上反映任务区域的结构的3d地图或导航地图(例如，lidar地图)中的至少一个作为背景来显示。

作为另一示例，清洁机器人10可以通过使用检测任务区域的结果来获得任务区域的每个地点的识别信息。清洁机器人10可以获得该地点的名称作为该地点的识别信息。例如，清洁机器人10可以将具有最多门和最宽面积的区域识别为客厅，并且将具有次宽面积的区域识别为卧室。清洁机器人10可以通过使用位于任务区域的每个地点处的对象的识别信息来获得任务区域的每个地点的识别信息。例如，清洁机器人10可以将识别到餐桌的区域确定为厨房、将识别到床的区域确定为卧室、以及将识别到电视机(tv)或沙发的区域确定为客厅。一旦获得每个地点的识别信息，清洁机器人10可以通过使用导航地图和获得的每个地点的识别信息来生成指示任务区域的环境的语义地图。

存储器1030可以存储由清洁机器人10驱动的多个应用程序(或多个应用)，以及用于操作清洁机器人10的数据和指令。应用程序中的至少一些可以经由无线通信从外部服务器下载。此外，应用程序中的至少一些可以在发布时存在于清洁机器人10中，以用于清洁机器人10的基本功能。应用程序可以存储在存储器中，并由处理器1040驱动以执行清洁机器人10的操作(或功能)。

存储器1030可以被实施为非易失性存储器、易失性存储器、闪存、硬盘驱动器(hdd)或固态驱动器(ssd)。处理器1040访问存储器1030，并且处理器1040可以读取/写入/修改/删除/精化数据。在本公开中，术语“存储器”可以包括存储器1030、处理器1040中的只读存储器(rom)(未示出)或随机存取存储器(ram)(未示出)，或者设置在清洁机器人10中的存储卡(未示出)(例如，微安全数字(sd)卡或记忆棒)。

根据本公开的实施例，存储器1030可以存储至少一个指令集，使得处理器1040控制清洁机器人10以捕获清洁机器人10附近的对象的图像，通过将所捕获的图像应用于至少一个经训练的ai模型来确定要由清洁机器人10执行的任务，根据所确定的任务控制防护部分12从清洁机器人10的开口部分的前面降下到地板表面，以及朝向对象驱动，使得对象被降下的防护部分12移动。

处理器1040可以控制清洁机器人10的整体操作。例如，处理器1040可以控制相机1020来捕获清洁机器人10附近的图像。此外，处理器1040可以包括中央处理单元(cpu)、ram、rom和系统总线。rom存储用于系统启动的指令集，并且cpu可以根据存储在rom中的指令将存储在清洁机器人10的存储器1030中的操作系统(os)复制到ram，并且通过执行os来启动系统。当启动完成时，cpu可以将存储在存储器1030中的各种应用复制到ram，并执行各种应用来执行各种操作。

根据本公开的实施例，如图13b所示，处理器1040可以包括多个子处理器。多个子处理器可以包括cpu1041和神经处理单元(npu)1042。npu1042可以是专用处理器，其被优化以通过使用经训练的ai模型来识别对象。此外，处理器1040可以包括处理数字信号的数字信号处理器(dsp)、微处理器、时序控制器(tcon)、微控制器单元(mcu)、微处理单元(mpu)、应用处理器(ap)、通信处理器(cp)或高级精简指令集计算机(risc)机器(arm)处理器中的至少一个，并且可以由所使用的相应术语来定义。处理器1040可以被实施为其中嵌入了处理算法的片上系统(soc)、大规模集成电路(lsi)或现场可编程门阵列(fpga)。

根据本公开的实施例，处理器1040可以控制相机1020捕获清洁机器人10附近的对象的图像。处理器1040可以通过将所捕获的图像应用于至少一个经训练的ai模型来确定要由清洁机器人10执行的任务。处理器1040可以根据所确定的任务，控制驱动器1070将防护部分12从开口部分的前面降低到地板表面。当防护部分12降下时，处理器1040可以控制驱动器1070朝向对象驱动，使得对象被降下的防护部分12移动。

根据本公开的实施例，处理器1040可以确定用于沿其移动对象的路径，并控制驱动器1070，使得清洁机器人10沿所确定的路径朝向对象移动。

根据本公开的实施例，处理器1040可以控制防护部分12在对象被移动之后升起。然后，处理器1040可以控制驱动器1070在对象被移动之前所在的地板表面上驱动。

根据本公开的实施例，处理器1040可以控制图14的通信器1050来向用户终端设备30发送关于所捕获的图像的信息。处理器1040可以在从用户终端设备30接收到关于用户选择的用户任务的信息时，将用户任务确定为要由清洁机器人10执行的任务。在这种情况下，处理器1040可以将所捕获的图像和从用户终端设备30接收的用户任务作为训练数据集应用于至少一个ai模型。

根据本公开的实施例，处理器1040可以控制驱动器1070，使得对象移动到指定区域。例如，处理器1040可以从对象附近的多个结构当中确定最靠近对象的结构，并且控制驱动器1070，使得对象被移动到所确定的结构的前面。可选地，处理器1040可以控制通信器1050向用户终端设备30发送关于所捕获的图像的信息和关于地图的信息。在从用户终端设备30接收到关于指定区域的信息时，处理器1040可以控制驱动器1070，使得对象被移动到指定区域。

图14是根据本公开的实施例的清洁机器人的配置的框图。

参考图14，清洁机器人10可以包括防护部分12、传感器1010、相机1020、存储器1030、通信器1050、集尘器1060、驱动器1070、电力供应器1080和通过与其电连接来控制以上组件的处理器1040。

因为防护部分12、相机1020、存储器1030、处理器1040和驱动器1070已经参考图13a和图13b进行了描述，所以不再提供其冗余细节。

传感器1010可以包括各种类型的传感器。更具体地，传感器1010可以包括ir立体传感器、lidar传感器和超声波传感器。ir立体传感器、lidar传感器和超声波传感器可以被实施为一个传感器或分离的传感器。

ir立体传感器可以检测对象的3d形状和距离信息。更具体地，ir立体传感器可以获得对象的3d深度信息。然而，ir立体传感器无法检测黑色、透明颜色或金属。

清洁机器人10可以通过使用lidar传感器获得对象的2d线形和距离信息。相应地，可以获得相对于该对象的周围对象的空间和距离信息。然而，lidar传感器很难检测到黑色、透明颜色或金属。

超声波传感器可以获得关于障碍物的距离信息。超声波传感器的传感范围相对有限，但能够检测黑色、透明颜色和金属。

此外，传感器1010可以包括用于检测周围环境的传感器，例如灰尘传感器、气味传感器、激光传感器、uwb传感器、图像传感器或障碍物传感器，以及用于检测移动状态的传感器，诸如陀螺仪传感器或全球定位系统(gps)传感器。这里，用于检测周围环境的传感器和用于检测清洁机器人10的移动状态的传感器可以被配置为不同的配置或者可以被配置为一种配置。此外，传感器1010的每个传感器可以被配置为分离的配置。基于要由清洁机器人10执行的任务，传感器1010还可以包括其他各种类型的传感器，并且可以不包括上述传感器中的一些。

通信器1050可以向或从外部设备发送或接收数据、控制命令等。例如，通信器1050可以从外部设备接收关于地图的信息，该关于地图的信息包括关于清洁机器人10要操作的空间的位置信息。此外，通信器1050可以向外部设备发送用于更新关于地图的信息的信息。作为另一示例，通信器1050可以接收从用户通过使用远程控制设备发送的用于控制清洁机器人10的信号。这里，远程控制设备可以以各种形状中的任何一种来实施，诸如遥控器、用户终端设备等。

此外，通信器1050可以向外部服务器(未示出)发送数据或从外部服务器接收数据。例如，当ai模型存储在外部服务器中时，通信器1050可以将由相机1020捕获的图像发送到外部服务器，并且从外部服务器接收通过使用ai模型识别的、所捕获的图像中包括的对象的识别信息。然而，这仅仅是一个示例，并且通信器1050可以从外部服务器接收关于相对于清洁机器人10要执行任务的空间的可移动区域的信息。

同时，通信器1050可以经由短程通信网络(诸如蓝牙、wi-fi直接或红外数据协会(irda))或经由电信网络(诸如蜂窝网络、互联网或计算机网络(例如局域网(lan)或无线局域网(wlan))与外部电子设备通信。

集尘器1060是用于收集灰尘的构型。更具体地，集尘器1060可以吸入空气并收集吸入的空气中的灰尘。例如，集尘器1060可以包括用于使空气通过从抽吸孔延伸到排出孔的导管的马达、用于过滤吸入的空气中的灰尘的过滤器以及用于灰尘的聚尘器。

驱动器1070可以驱动清洁机器人10。例如，根据处理器1040的控制，驱动器1070可以将清洁机器人10移动到要执行任务的位置。在这种情况下，驱动器1070可以包括接触地板表面的至少一个轮、向轮提供动力的马达以及用于控制马达的驱动器。作为另一示例，驱动器1070可以实现用于执行任务的操作。例如，驱动器1070可以包括马达和用于传递动力的旋转轴，使得防护部分12升起或降下。例如，驱动器1070可以通过根据处理器1040的控制命令控制马达来使防护部分12升起或降下。例如，控制命令可以包括关于马达的旋转方向、旋转速度、施加的电力的信息。

电力供应器1080提供驱动清洁机器人10所需的电力。例如，电力供应器1080可以被实施为能够充电和放电的电池。当清洁机器人10的剩余电力低于预设水平或者当任务完成时，处理器1040可以控制驱动器1070移动到充电站。电力供应器1080的充电方法可以包括接触式和非接触式充电方法两者。

图15a和图15b是根据本公开的实施例的训练器和确定器的框图。

参考图15a，处理器1100可以包括训练器1110或确定器1120中的至少一个。图15a的处理器1100可以对应于图13a、图13b和图14的清洁机器人10的处理器1040，或者可以对应于可与清洁机器人10通信的外部服务器(未示出)的处理器。

训练器1110可以生成或训练具有用于确定特定情况的准则的ai模型。训练器1110可以通过使用收集的训练数据来生成具有该准则的ai模型。例如，训练器1110可以通过使用包括对象的图像作为训练数据来生成、训练或精化具有用于确定图像中包括的对象的准则的ai模型。作为另一示例，训练器1110可以通过使用包括在包括对象的图像中的周围环境信息作为训练数据来生成、训练或精化具有用于确定图像中包括的对象周围的各种类型的附加信息的准则的ai模型。作为另一示例，训练器1110可以通过使用由相机捕获的图像作为训练数据来生成、训练或精化具有用于确定图像中包括的对象的准则的ai模型。作为另一示例，训练器1110可以通过使用{包括对象的图像、对象的识别信息}作为训练数据集来生成、训练或精化被配置为识别对象的ai模型。作为另一示例，训练器1110可以通过使用{对象的识别信息，要由清洁机器人执行的任务}作为训练数据集来生成、训练或精化被配置为确定要由清洁机器人10执行的任务的ai模型。作为另一示例，训练器1110可以通过使用{包括对象的图像、要由清洁机器人执行的任务}作为训练数据集来生成、训练或精化被配置为确定要由清洁机器人10执行的任务的ai模型。

确定器1120可以通过使用特定数据作为经训练的ai模型的输入数据来估计特定数据中包括的识别目标。

例如，确定器1120可以通过使用包括对象的图像作为经训练的ai模型的输入数据来获得(或估计或推断)关于图像中包括的对象的对象识别信息。作为另一示例，确定器1120可以通过将通过捕获对象而获得的图像应用于至少一个经训练的ai模型来确定要由清洁机器人10执行的任务。作为另一示例，确定器1120可以通过将对象的识别信息应用于至少一个ai模型来确定要由清洁机器人10执行的任务。

训练器1110的至少一部分和确定器1120的至少一部分可以被实施为软件模块，或者可以以至少一个硬件芯片的形式制造并安装在电子设备上。例如，训练器1110或确定器1120中的至少一个可以以用于ai的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，cpu或ap)或仅图形处理器(例如，gpu)的一部分制造并安装在上述清洁机器人10上。这里，用于ai的专用硬件芯片是专用于概率计算的专用处理器，并且由于与现有通用处理器相比的高并行处理性能，可以快速处理ai领域(诸如机器学习)中的算术运算。当训练器1110和确定器1120被实施为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读记录介质中。在这种情况下，软件模块可以由os提供，或者由特定应用提供。可选地，软件模块的一部分可以由os提供，并且其余部分可以由特定应用提供。

在这种情况下，训练器1110和确定器1120可以安装在一个电子设备上，或者可以安装在分离的电子设备上。例如，训练器1110和确定器1120中的一个可以包括在清洁机器人10中，而另一可以包括在外部服务器中。此外，训练器1110和确定器1120可以经由线缆连接或无线地连接，使得由训练器1110构建的模型信息可以被提供给确定器1120，并且输入到确定器1120的数据可以作为附加训练数据被提供给训练器1110。

图15b是根据本公开的实施例的训练器和确定器的框图。

参考图15b，根据本公开的一些实施例的训练器1110可以包括训练数据获得器1110-1和模型训练器1110-4。此外，训练器1110还可以选择性地包括训练数据预处理器1110-2、训练数据选择器1110-3或模型评估器1110-5中的至少一个。

训练数据获得器1110-1可以获得ai模型推断识别目标所需的训练数据。根据本公开的实施例，训练数据获得器1110-1可以获得包括对象和对应于与对象相对应的区域的图像的整个图像作为训练数据。训练数据可以是由训练器1110或训练器1110的制造商收集或测试的数据。

模型训练器1110-4可以通过使用训练数据来训练ai模型以具有关于如何确定特定识别目标的准则。例如，模型训练器1110-4可以使用训练数据中的至少一些作为准则，通过有监督学习来训练ai模型。可选地，模型训练器1110-4可以通过例如在没有单独监督的情况下使用训练数据进行自训练来发现用于确定情况的准则，通过无监督学习来训练ai模型。此外，模型训练器1110-4可以通过例如使用关于根据学习确定情况的结果是否正确的反馈的强化学习来训练ai模型。此外，模型训练器1110-4可以通过使用包括例如误差反向传播或梯度下降的学习算法来训练ai模型。

此外，模型训练器1110-4可以通过使用输入数据来学习关于哪个或哪些训练数据将被用于估计识别目标的选择准则。

当存在多个预构建的ai模型时，模型训练器1110-4可以确定在输入训练数据和基本训练数据之间具有高相关性的ai模型作为待训练的ai模型。在这种情况下，可以根据数据的类型对基本训练数据进行预分类，并且可以针对每种类型的数据预构建ai模型。例如，可以基于各种标准(诸如生成训练数据的区域、生成训练数据的时间、训练数据的大小、训练数据的种类、训练数据的生成器以及训练数据中的对象的类型)对基本训练数据进行预分类。

当ai模型被训练时，模型训练器1110-4可以存储经训练的ai模型。在这种情况下，模型训练器1110-4可以将经训练的ai模型存储在清洁机器人10的存储器1030中。可选地，模型训练器1110-4可以将经训练的ai模型存储在经由有线或无线网络连接到清洁机器人10的服务器的存储器中。

训练器1110还可以包括训练数据预处理器1110-2和训练数据选择器1110-3，以改善ai模型的分析结果或减少生成ai模型所需的资源或时间。

训练数据预处理器1110-2可以预处理获得的数据，使得获得的数据用于确定情况的训练。训练数据预处理器1110-2可以将获得的数据处理成预设格式，使得模型训练器1110-4能够在用于确定情况的训练中使用获得的数据。

训练数据选择器1110-3可以从由训练数据获得器1110-1获得的数据或由训练数据预处理器1110-2预处理的数据当中选择训练所需的数据。所选择的训练数据可以被提供给模型训练器1110-4。训练数据选择器1110-3可以根据预设的选择准则从获得的或经预处理的数据当中选择训练所需的训练数据。此外，训练数据选择器1110-3可以依据根据模型训练器1110-4进行的训练预设的选择标准来选择训练数据。

训练器1110还可以包括模型评估器1110-5，以改善ai模型的分析结果。

模型评估器1110-5可以向ai模型输入评估数据，并且当从评估数据输出的分析结果不满足特定标准时，重新训练模型训练器1110-4。在这种情况下，评估数据可以是用于评估ai模型的预定义数据。

例如，模型评估器1110-5可以在经训练的ai模型相对于评估数据的分析结果中分析结果不准确的多条评估数据的数量或比率超过预设阈值时评估不满足特定标准。

同时，当存在多个经训练的ai模型时，模型评估器1110-5可以评估每个经训练的ai模型是否满足特定标准，并且将满足特定标准的ai模型确定为最终ai模型。此时，当存在满足特定标准的多个ai模型时，模型评估器1110-5可以按照从高评估得分开始的顺序，将预设的一个或特定数量的ai模型确定为最终ai模型。

参考图15b，根据本公开的一些实施例的确定器1120可以包括确定数据获得器1120-1和确定结果提供器1120-4。

此外，确定器1120还可以选择性地包括确定数据预处理器1120-2、确定数据选择器1120-3或模型精化器1120-5中的至少一个。

确定数据获得器1120-1可以获得确定情况所需的数据。确定结果提供器1120-4可以通过将由确定数据获得器1120-1获得的数据应用于经训练的ai模型作为输入值来确定情况。确定结果提供器1120-4可以根据数据的分析目的来提供分析结果。确定结果提供器1120-4可以通过将由稍后描述的确定数据预处理器1120-2或确定数据选择器1120-3选择的数据应用于ai模型作为输入值来获得分析结果。分析结果可以由ai模型来确定。

例如，确定结果提供器1120-4可以通过将通过捕获对象而获得的图像应用于至少一个经训练的ai模型来获得(或估计)对象的识别信息，其中该图像是由确定数据获得器1120-1获得的。作为另一示例，确定结果提供器1120-4可以通过将通过捕获对象而获得的图像应用于至少一个经训练的ai模型来确定要由清洁机器人10执行的任务，其中该图像是由确定数据获得器1120-1获得的。作为另一示例，确定结果提供器1120-4可以通过将由确定数据获得器1120-1获得的对象的识别信息应用于至少一个ai模型来确定要由清洁机器人10执行的任务。

确定器1120还可以包括确定数据预处理器1120-2和确定数据选择器1120-3，以改善ai模型的分析结果或者减少用于提供分析结果的资源或时间。

确定数据预处理器1120-2可以预处理获得的数据，使得获得的数据用于确定情况。确定数据预处理器1120-2可以以预定义的格式提供获得的数据，使得确定结果提供器1120-4使用获得的数据来确定情况。

确定数据选择器1120-3可以从由确定数据获得器1120-1获得的数据或由确定数据预处理器1120-2预处理的数据当中选择确定情况所需的数据。所选择的数据可以被提供给确定结果提供器1120-4。确定数据选择器1120-3可以根据用于确定情况的预设选择准则来选择获得的或经预处理的数据中的一些或所有。此外，确定数据选择器1120-3可以依据根据模型训练器1110-4进行的训练而预设的选择准则来选择数据。

模型精化器1120-5可以基于关于由确定结果提供器1120-4提供的分析结果的评估来控制待精化的ai模型。例如，模型精化器1120-5可以通过向模型训练器1110-4提供由确定结果提供器1120-4提供的分析结果来请求模型训练器1110-4额外训练或精化ai模型。

根据本公开的实施例，确定器1120可以位于服务器(未示出)中，并且确定器1120可以位于清洁机器人10中。在这种情况下，清洁机器人10和服务器可以彼此相互协作来学习和确定数据。

例如，服务器可以学习用于确定情况的准则，并且清洁机器人10可以基于服务器的学习结果来确定情况。在这种情况下，服务器的模型训练器1110-4可以学习关于使用对象的哪个图像来确定特定情况以及关于如何通过使用数据来确定情况的准则。

此外，清洁机器人10的确定结果提供器1120-4可以通过将由确定数据选择器1120-3选择的数据应用于由服务器生成的ai模型来确定对象的识别信息或要由清洁机器人10执行的任务。可选地，清洁机器人10的确定结果提供器1120-4可以从服务器接收由服务器生成的ai模型，并通过使用接收到的ai模型来确定情况。在这种情况下，清洁机器人10的确定结果提供器1120-4可以通过将由确定数据选择器1120-3选择的对象的图像应用于从服务器接收的ai模型来确定对象的识别信息或要由清洁机器人10执行的任务。

图16是根据本公开的实施例的由清洁机器人执行的执行任务的方法的流程图。

参考图16，首先，在操作1301，清洁机器人10可以捕获清洁机器人10附近的对象的图像。

在操作1303，清洁机器人10可以通过将所捕获的图像应用于至少一个经训练的ai模型来确定要由清洁机器人10执行的任务。例如，清洁机器人10可以通过将所捕获的图像应用于第一ai模型来获得对象的识别信息。清洁机器人10可以通过将获得的对象的识别信息应用于第二ai模型来确定要由清洁机器人10执行的任务。

当任务被确定时，在操作1305，清洁机器人10可以根据所确定的任务来控制防护部分12从清洁机器人10的开口部分降下到地板表面。

当防护部分12降下时，在操作1307，清洁机器人10可以朝向对象移动，使得对象被降下的防护部分12移动。

根据本公开的实施例，清洁机器人10可以确定用于沿其移动对象的路径。清洁机器人10可以沿所确定的路径朝向对象移动。

根据本公开的实施例，清洁机器人10可以控制防护部分12在对象被移动之后升起。然后，清洁机器人10可以在对象被移动之前所在的地板表面上驱动。

根据本公开的实施例，清洁机器人10可以向用户终端设备30发送关于所捕获的图像的信息。在从用户终端设备30接收到关于用户选择的用户任务的信息时，清洁机器人10可以将用户任务确定为要由清洁机器人10执行的任务。在这种情况下，清洁机器人10可以将所捕获的图像和从用户终端设备30接收的用户任务应用于至少一个ai模型，作为训练数据集。

根据本公开的实施例，清洁机器人10可以将对象移动到指定区域。例如，清洁机器人10可以从对象附近的多个结构当中确定最靠近对象的结构。清洁机器人10可以将对象移动到所确定的结构的前面。作为另一示例，清洁机器人10可以向用户终端设备30发送关于所捕获的图像的信息和关于地图的信息。在这方面，清洁机器人10可以从用户终端设备30接收关于指定区域的信息。在接收到关于指定区域的信息之后，清洁机器人10可以将对象移动到指定区域。

根据本公开的实施例，清洁机器人10可以存储清洁机器人10相对于对象所在区域的局部驱动规划。在对象被移动之后，清洁机器人10可以更新局部驱动规划。

本公开的各种实施例可以在移动设备中实施。移动设备的示例包括各种类型，诸如用于公共场所的服务机器人、生产现场的运输机器人、操作员辅助机器人、家务机器人、安全机器人和自动车辆。

本公开中使用的术语“模块”可以包括以硬件、软件或固件实施的单元，并且可以与诸如逻辑、逻辑块、组件或电路的术语互换使用。模块可以是执行一个或多个功能的整体组件或组件的最小单元或部分。例如，根据本公开的一个实施例，模块可以以专用集成电路(asic)的形式实施。

本公开的各种实施例可以被实施为软件(例如，程序)，包括存储在机器(例如，清洁机器人10或可与清洁机器人10通信的服务器)可读的存储介质(例如，存储器1030或服务器(未示出)的存储器(未示出))中的一个或多个指令。例如，机器的处理器(例如，处理器1040或服务器的处理器(未示出))可以从存储介质调用所存储的一个或多个指令当中的至少一个指令，并执行该至少一个指令。这使得机器能够根据所调用的至少一个指令来操作以执行至少一个功能。一个或多个指令可以包括由编译器生成的代码或可由解释器执行的代码。机器可读的存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性”仅意味着存储介质不是有形的，并且不包括信号(例如，电磁波)，并且该术语不区分数据半永久存储在存储介质中的情况和数据临时存储在存储介质中的情况。

根据本公开的实施例，根据本公开的各种实施例的方法可以通过被包括在计算机程序产品中来提供。计算机程序产品可以作为产品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(cd-rom))的形式分发，或者通过应用商店(例如，playstore^tm)在线分发(例如，下载或上传)，或者直接在两个用户设备(例如，智能电话)之间分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少暂时存储或暂时生成在机器可读存储介质上，诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。

虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。