移动装置、清洁机器人及其控制方法与流程

本公开涉及移动装置、清洁机器人以及使用增强现实控制清洁机器人的方法。

背景技术：

清洁机器人是自动清洁待清洁的区域(下文称为清洁区域)的设备，它在没有用户干预的情况下自主围绕清洁区域移动，同时吸入杂质，诸如地板上的灰尘。

通过操纵产品中包括的以红外线或短程通信方案操作的常规遥控器，传统清洁机器人被控制直行、后退、左转或右转等，或者借助于遥控器中的惯性传感器被控制倾斜或接收用户撞击。

存在主动和被动方式以供用户检查清洁机器人的状态。在被动方式中，当清洁机器人发生故障时，它向用户提供警告指示或警告声音。

然而，在传统控制方法中，清洁机器人无法轻易快速地移动到用户需要的位置，以及如果清洁机器人的传感器发生故障，则用户需要费心去查阅手册以便亲自理解清洁机器人的状态。

技术实现要素：

技术问题

本公开提供清洁机器人及其控制方法，其中清洁机器人的移动路径由移动装置控制。

本公开也提供清洁机器人及其控制方法，其中清洁机器人的当前状态可与移动装置共享，从而快速找出问题。

本公开还提供清洁机器人及其控制方法，其中清洁机器人的清洁状态可与移动装置共享。

技术方案

根据本公开的一方面，提供了移动装置。移动装置包括：拍摄单元；显示器，显示器用于显示从拍摄单元获取的清洁机器人的图像以及接收触摸；以及控制器，控制器用于控制清洁机器人移动到与输入的触摸对应的位置。

控制器可控制清洁机器人采用最短路径到达与输入触摸对应的位置。

控制器可控制清洁机器人采用直线路径或弯曲路径到达与输入触摸对应的位置。

显示器可接收连续触摸或间断触摸，或者接收单个触摸或多个触摸。

控制器可确定清洁机器人的移动距离和方位角。

控制器可使用单应矩阵变换确定清洁机器人的移动距离和方位角。

如果确定清洁机器人偏离基于触摸建立的路径，则控制器可重新确定清洁机器人的移动距离和方位角。

如果确定移动装置移动，则控制器可通过反映移动装置的移动程度在从清洁机器人接收的地图上确定触摸点。

控制器可通过将地图信息输出到清洁机器人来控制清洁机器人到达与触摸对应的位置。

控制器可通过地图来确定清洁机器人的移动距离和方位角，以及输出与清洁机器人的移动距离和方位角有关的数据信号。

控制器可使用在地图上确定的清洁机器人的当前位置和触摸点来确定清洁机器人的移动距离和方位角。

清洁机器人可包括标识，以及如果通过处理从拍摄单元获取的图像而识别出标识，则控制器可确定识别出清洁机器人。

控制器可将从拍摄单元获取的标识的图像信息数字化，以及通过检测来自图像信息的标识的候选区域来识别标识。

显示器可显示清洁机器人的预定检测标识，预定检测标识表明已识别出清洁机器人。

移动装置还可包括通信单元，以用于与包括清洁机器人的外部装置通信。

显示器可显示清洁机器人的移动路径。

显示器可显示清洁机器人的清洁区域或者需要清洁的区域。

在本公开的另一方面，提供了移动装置。移动装置包括拍摄单元和显示器，显示器用于显示从拍摄单元获取的清洁机器人图像和清洁机器人的状态信息。

状态信息可包括从下列选择的至少一个：与清洁机器人的电池充电状态有关的信息、与是否存在灰尘或污物有关的信息、与清洁机器人的垃圾箱有关的信息、与脚轮有关的信息、与跌落传感器有关的信息，以及与侧刷有关的信息。

显示器可在显示器上所显示的清洁机器人图像周围或在显示器的预定点上显示清洁机器人的状态信息。

移动装置还可包括声音输出单元，以用于输出清洁机器人的状态信息。

显示器可接收请求清洁机器人的状态信息的用户触摸。

移动装置还可包括通信单元，以用于与包括清洁机器人的外部装置通信。

移动装置还可包括存储设备，以用于存储清洁机器人的状态信息的数据。

存储在存储设备中的状态信息的数据包括从服务中心获取的内容。

根据本公开的另一方面，提供清洁机器人。清洁机器人包括主单元；以及布置在主单元中的标识，其中标识显示在移动装置的显示器上，以及当触摸输入到显示器时，清洁机器人移动到触摸点。

清洁机器人还可包括控制器，以用于当标识显示在显示器上并且触摸输入到显示器时，控制清洁机器人移动到触摸点。

标识可布置在主单元的顶部上。

清洁机器人还可包括通信单元，以用于与包括移动装置的外部装置通信。

根据本公开的另一方面，提供用于控制清洁机器人的方法。方法包括在移动装置的显示器上显示清洁机器人的图像；通过显示器接收触摸；以及将清洁机器人移动到与触摸的点对应的位置。

将清洁机器人移动到与触摸的点对应的位置可包括通过最短路径将清洁机器人移动到与触摸的点对应的位置。

将清洁机器人移动到与触摸的点对应的位置可包括通过直线路径或弯曲路径将清洁机器人移动到与触摸的点对应的位置。

通过显示器接收触摸可包括接收连续触摸或间断触摸，或者接收单个触摸或多个触摸。

所述方法还可确定清洁机器人的移动距离和方位角。

所述方法还可包括确定清洁机器人的移动距离和方位角。

确定清洁机器人的移动距离和方位角可包括确定到与触摸的点对应的位置的移动距离和方位角。

确定清洁机器人的移动距离和方位角可包括使用清洁机器人的现实世界坐标和与触摸点对应的位置的坐标来确定清洁机器人的移动距离和方位角。

所述方法还可包括如果确定清洁机器人偏离根据触摸建立的路径，则校正清洁机器人的偏离。

校正清洁机器人的偏离可包括重新确定清洁机器人的移动距离和方位角。

通过显示器接收触摸可包括在移动装置移动之后通过显示器接收触摸。

所述方法还可包括通过反映移动装置的移动来确定清洁机器人的移动距离和方位角。

通过反映移动装置的移动来确定清洁机器人的移动距离和方位角可包括：从清洁机器人接收地图；计算移动装置的移动程度；以及通过考虑移动装置的移动程度来确定地图上的触摸点。

通过反映移动装置的移动来确定清洁机器人的移动距离和方位角可包括：通过分析地图来确定清洁机器人的移动距离和方位角；以及将有关清洁机器人的移动距离和方位角的信息传输到清洁机器人。

通过反映移动装置的移动来确定清洁机器人的移动距离和方位角可包括：将地图传输到清洁机器人；以及通过分析地图来确定清洁机器人的移动距离和方位角。

所述方法还可包括输出表明已经识别出清洁机器人的检测标记。

输出表明已经识别出清洁机器人的检测标记可包括将检测标记输出到显示器上。

所述方法还可包括在显示器上显示清洁机器人的状态信息。

状态信息可包括从下列选择的至少一个：与清洁机器人的电池充电状态有关的信息、与是否存在灰尘或污物有关的信息、与清洁机器人的垃圾箱有关的信息、与脚轮有关的信息、与跌落传感器有关的信息，以及与侧刷有关的信息。。

所述方法还可包括在显示器上显示清洁机器人的清洁状态。

在显示器上显示清洁机器人的清洁状态可包括显示清洁机器人的移动路径、清洁区域或者需要清洁的区域。

有益效果

如上文所述，根据移动装置、清洁机器人和用于控制清洁机器人的实施方式，可预期以下有益效果。

首先，通过使用增强现实在移动装置的显示器上显示清洁机器人的图像，可实时检查清洁机器人的移动路径。

通过移动装置上的图像输出，使得反馈控制能够校正在清洁机器人移动时产生的错误，因而确保清洁机器人的正确移动。

另外，通过借助于移动装置自由建立清洁机器人的移动路径，可简单地执行各种手动操纵。

此外，清洁机器人的状态或清洁状态可使用增强现实显示在移动装置的显示单元上。

附图说明

结合附图，根据以下对实施方式的描述，将更显而易见地了解本公开的这些和/或其它方面，在附图中：

图1是根据本公开的实施方式的清洁系统的布置；

图2是图1的示例性清洁机器人的平面图；

图3是根据本公开的实施方式的清洁机器人的仰视图；

图4示出用于清楚识别清洁机器人的向前和向后方向的示例性标识；

图5是根据本公开的实施方式的清洁机器人的控制框图；

图6是图1的移动装置的平面图；

图7A和图7B是根据本公开的实施方式的移动装置的控制框图；

图8是根据本公开的实施方式的清洁系统的控制框图；

图9和图10是示出根据本公开的实施方式的借助于增强现实指定清洁机器人的移动位置并将清洁机器人移动到移动位置的过程的流程图；

图11A到图11D示出根据本公开的实施方式的指定清洁机器人的移动位置并将清洁机器人移动到移动位置的示例；

图12A和图12B示出根据本公开的实施方式的通过多个触摸来指定清洁机器人的移动位置并将清洁机器人移动到移动位置的示例；

图13A和图13B示出根据本公开的实施方式的通过触摸和拖动来指定清洁机器人的移动位置并将清洁机器人移动到移动位置的示例；

图14是示出根据本公开的实施方式的指定清洁机器人的移动位置并将清洁机器人移动到指定移动位置的过程的流程图，其包括校正清洁机器人的移动路径的错误的过程；

图15A到图15C示出指定清洁机器人的移动位置并将清洁机器人移动到指定移动位置的示例，其包括校正清洁机器人的移动路径的错误的过程；

图16和图17是示出根据本公开的实施方式的指定清洁机器人的移动位置并将清洁机器人移动到移动位置的过程的流程图，其包括移动装置的移动；

图18A到图18D示出指定清洁机器人的移动位置并将清洁机器人移动到移动位置的示例，其包括移动装置的移动；

图19是示出根据本公开的实施方式的使用增强现实来共享状态信息并提供清洁机器人的自检验手册的过程的流程图；

图20和图21示出通过移动装置的显示单元与移动装置共享清洁机器人的状态的情况；

图22A到图22C示出通过移动装置的显示单元提供清洁机器人的自检验手册的情况；

图23是示出根据本公开的实施方式的使用增强现实提供并检查清洁机器人的清洁状态的过程的流程图；以及

图24示出根据本公开的实施方式的提供并检查清洁状态的示例。

具体实施方式

本公开中描述并示出的实施方式和特征只是优选示例，以及它们的各种更改也可落入本公开的范围内。

现在将参考附图描述本公开的实施方式。

图1示出清洁系统的布置，清洁系统包括清洁机器人100、与清洁机器人100对接以将电力供应到清洁机器人100的充电座200，以及用于执行与清洁机器人100的通信的移动装置300。

当接收到来自用户的清洁指令时或者在预约时间时，清洁机器人100可进入清洁模式。清洁机器人100可通过借助移动装置300接收用户的移动指令而移动，以及在清洁机器人100的移动路径上吸入灰尘和污物的同时执行清洁。

当触摸输入到移动装置300时，清洁机器人100可移动到对应于输入触摸的位置。移动到对应于输入触摸的位置可包括采用最短路径到达该位置。它可也包括采用直线路径或弯曲路径到达该位置。

如果通过移动装置300输入用户针对单个位置的触摸，则清洁机器人100可移动到对应于单个触摸的位置，而如果输入针对多个位置的触摸，则清洁机器人100可途经对应于触摸的多个位置。如果输入触摸和拖动，则清洁机器人100可沿着对应于触摸和拖动的路径移动。

充电座200是清洁机器人100停靠并被供应电力的地点。当接收到来自用户的停止清洁指令或确定清洁完成时，或者当电池电量下降到低于阈值时，清洁机器人100可与充电座200对接并且当对接完成时，通过接收来自充电座200的电力而开始充电。

充电座200可包括连接到外部商用交流(AC)电源以用于接收和变换外部商用AC电力的变压器、用于对变压的电力进行半波整流或全波整流的整流器、用于使整流的电力平滑的平滑器，以及用于将平滑的电力调节成具有恒定电压的直流(DC)电力的稳压器，以及通过电源端子将从稳压器输出的DC电力供应到清洁机器人100。

充电座200还可包括通信单元，以用于将与清洁机器人100对接的对接信号传输到清洁机器人和/或接收来自清洁机器人100的对接信号。

可由用户携带并且能够进行通信和图像拍摄的移动装置300可与清洁机器人100通信。移动装置300可包括智能电话、数字个人助理(PDA)、膝上型计算机、平板电脑等。

用于清洁机器人100移动的位置可通过移动装置300进行指定，以及有关清洁机器人100的状态或清洁状态的信息可通过移动装置300输出。

移动装置300可接收来自用户的连续触摸或间断触摸，或者单个触摸或多个触摸。

现在将更详细地描述清洁机器人100和移动装置300。

首先，将参考图2到图5描述清洁机器人100，以及随后将参考图6、图7A和图7B描述移动装置300。

图2是根据本公开的实施方式的图1的清洁机器人100的平面图，图3是根据本公开的实施方式的清洁机器人100的仰视图，图4示出清楚识别清洁机器人100的向前和向后方向的示例性标识105，以及图5是根据本公开的实施方式的清洁机器人100的控制框图。

参考图2到图5，根据实施方式的清洁机器人100可包括：形成外观的主单元110；安装在主单元110的顶部上的显示器120以用于接收移动信息和预约信息并且显示移动信息；安装在主单元110的顶部上的成像单元130，用于收集清洁区域内的主单元110的环境的图像；安装在主单元110的正面、左侧和右侧的障碍物传感器140，用于检测前方、左方或右方的障碍物；通信单元150，用于与外部装置通信，诸如，充电座200和移动装置300；安装在主单元110的底部上的移动组件160，用于移动清洁机器人100的主体；安装在主单元110的底部上的清洁工具组件170、174，用于扫除或分散地板上的灰尘或者吸入扫除或分散的灰尘；以及驱动模块190。驱动模块190可包括驱动器193、194、存储设备192，以及控制器195。为了与之后将描述的移动装置300的部件区别开，显示器120、成像单元130、通信单元150、驱动器193、194、存储设备192以及控制器195在下文中将分别表示为第一显示器120、第一成像单元130、第一通信单元151和第二通信单元152、第一驱动器193和第二驱动器194、第一存储设备192以及第二控制器195。

减震器可安装在主单元110的前部或后部上，以用于吸收与障碍物碰撞的冲击，以及标识115可在主单元110的顶部上形成，以用于允许移动装置300识别清洁机器人100。

标识115是用于允许识别清洁机器人100是否出现以及清洁机器人100前往哪个方向的装置，以及可具有能够清楚识别清洁机器人100的向前和向后方向的任何形式。

例如，在图2的情况下，可相对于标识105的区域a的长轴来确定清洁机器人100的向前和向后方向。朝向标识105的区域a的短轴指向的区域b的方向可被确定为清洁机器人100的向后方向，而朝向标识105的区域a的短轴指向的区域b的相反方向可被确定为清洁机器人100的向前方向。

参考图4，在情况(a)中，单个圆指向的方向可被确定为清洁机器人100的向前方向，以及两个圆指向的方向可被确定为清洁机器人100的向后方向。在图4的情况(b)中，等腰三角形的顶点指向的方向可被确定为清洁机器人100的向前方向，以及等腰三角形的底边指向的方向可被确定为清洁机器人100的向后方向。在图4的情况(c)中，最薄的矩形指向的方向可被确定为清洁机器人100的向前方向，以及最厚的矩形指向的方向可被确定为清洁机器人100的向后方向。在图4的情况(d)中，等腰三角形的顶点指向的方向可被确定为清洁机器人100的向前方向，而等腰三角形下方的圆指向的方向可被确定为清洁机器人100的向后方向。

这些只是标识105的示例，以及可能进行各种更改。标识105可用清洁机器人100的形状或设计、信号源系统、特定颜色的LED等替换，从而提高清洁机器人100的识别率。

第一显示器120可接收来自用户的指令，以及显示清洁机器人100的操作状态。具体而言，第一显示器120可包括用于接收清洁预约信息、清洁开始或停止指令、操作模式、移动图案等的输入单元121，以及用于显示清洁预约信息、充电状态、灰尘收集水平、移动图案、操作模式等的指示单元122。操作模式可包括清洁模式、待机模式、对接模式、预约模式等。为了与之后将描述的移动装置300的部件区分开，输入单元121和指示单元122分别表示为第一输入单元121和第一指示单元122。

第一成像单元130可收集主单元110的环境的图像。在实施方式中，第一成像单元130可指向上方，与底部相对，以用于图像拍摄。

第一成像单元130可收集主单元110的环境的图像，以在地图制作模式下制作住宅的内部的地图，或者在清洁模式下检测主单元110的位置和障碍物。

第一成像单元130可包括第一拍摄单元131和第二拍摄单元132。第一拍摄单元131和第二拍摄单元132可相对于移动方向前后放置或左右放置。

第一拍摄单元131和第二拍摄单元132可各自包括二维(2D)彩色相机以用于收集2D彩色图像。由第一拍摄单元131和第二拍摄单元132收集的两个2D图像可用来获取3D图像。

此外，如果需要，第一拍摄单元131和第二拍摄单元132可各自包括红外收发器。或者，第一拍摄单元131可包括2D彩色相机，而第二拍摄单元132可包括深度相机，所述深度相机是一种3D相机。

第一成像单元130可在地图制作模式下启动第一拍摄单元131和第二拍摄单元132，而在清洁模式下只启动第一拍摄单元131。

障碍物传感器140可包括用于检测到障碍物的距离的测距传感器和用于检测与障碍物的碰撞的碰撞传感器中的至少一个。

在第一控制器195的控制下，通信单元150可将清洁机器人100连接到外部装置。通信单元150可包括用于在对接模式下与充电座200通信的第一通信单元151和用于与移动装置300通信的第二通信单元152。

第一通信单元151可使用RF、红外和超声通信方案中的至少一个来执行用于对接的通信，而第二通信单元152可使用无线局域网(WLAN)和短程通信方案中的至少一个与移动装置300通信。

通过WLAN通信方案，在第一控制器195的控制下，第二通信单元152可在安装有接入点(AP)的区域中无线连接到AP。

短程通信方案可包括蓝牙、蓝牙低功耗、红外数据协议(IrDA)、Wi-Fi、超宽带(UWB)、近场通信(NFC)等。

移动组件160可包括：安装在中心单元110的中心区域的左侧和右侧的一对轮子161、162；用于将移动力施加到轮子161、162的轮电机163、164；安装在主体110的底部前方并且基于上方移动有清洁机器人100的地板的条件旋转不同角度的脚轮165。

一对轮子161、162可在主单元110中对称布置。

脚轮165可支撑清洁机器人100以将清洁机器人100稳定放置并且防止它跌落。脚轮165可具有滚轮或脚轮的形状。

清洁工具组件170、174可包括安装在主单元110的底部上的主刷组件，用于扫除或分散灰尘并且吸入扫除或分散的灰尘，以及安装在主单元110的底部上以能够向外伸出的侧刷组件174，侧刷组件174用于朝向主刷组件170扫除与主刷组件170清洁的区域不同的其它区域中的灰尘。

主刷组件170可布置在位于主单元110的下部部分的入口中。主刷组件170可包括用于扫除或分散主刷110下方的地板上的灰尘的主刷172，以及用于旋转主刷172的刷电机173。主刷172可包括机械连接到刷电机173的辊，以及安装在辊的外周边上的刷构件。具体而言，刷电机173可驱动主刷172的辊旋转，继而使安装在辊上的刷构件旋转。此时，主刷172的刷构件可将地板上的灰尘扫向入口171。

侧刷组件174可在主单元110的向前和侧向方向上将地板上的灰尘和主刷172没有达到的灰尘扫向入口171，从而提高清洁效率。侧刷组件174可包括位于主体110的底部前方的左侧上的第一侧刷组件174a和位于主体110的底部前方的右侧上的第二侧刷组件174b。

另外，第一侧刷组件174a和第二侧刷组件174b可各自包括以可拆卸方式安装到主单元110上的主体、能够从主单元110向外伸出的侧臂，以及以可旋转方式安装在侧臂上的刷。或者，第一侧刷组件174a和第二侧刷组件174b可只包括以可旋转方式安装在主单元110的左侧和右侧上的相应侧刷。

电源单元180可包括电连接到主单元110的各种部件以用于将电力供应到这些部件的电池。电池可包括电连接到充电座200以使用充电座200的电力进行充电的可充电电池。

驱动模块190可驱动第一显示器120的第一指示单元122，以及基于通过第一显示器120的第一输入单元121输入的信息、由障碍物传感器140检测到的障碍物信息和/或从移动装置300发送的图像信息来驱动移动组件160、清洁工具组件170、174和通信单元150。

第一存储设备192可存储各种数据、程序或应用，以用于驱动和控制清洁机器人100。

第一存储设备192可存储输入和输出信号或者用于驱动通信单元150、第一显示器120和电源单元180的数据。

第一存储设备192可存储用以控制清洁机器人100和第一控制器195的控制程序、最初由制造商供应的专用应用或从外部下载的通用应用、用户信息、文档、数据库，或者相关数据。

第一存储设备192可存储与清洁机器人100的移动路径有关的信息。

第一存储设备192可将与清洁机器人100的状态有关的信息存储在数据库中。与清洁机器人100的状态有关的数据库可包括有关垃圾箱的信息、有关轮子的信息、有关主刷172的信息、有关障碍物传感器140的信息、有关脚轮的信息、有关跌落传感器的信息、有关侧刷的信息等。另外，第一存储设备192可存储在与服务中心通信的过程中接收的、与清洁机器人100的状态有关的信息。

第一驱动器193可驱动移动组件160的轮电机163、164。改变左轮电机163和右轮电机164的旋转速度可实现主单元110的旋转。

第二驱动器194可驱动清洁工具组件170、174的刷电机173。

第一控制器195可控制清洁机器人100的一般操作和清洁机器人100的内部部件之间的信号流，以及处理数据。如果接收到用户指令或者满足预定和预先存储的条件，则第一控制器195可运行存储在第一存储设备192中的程序或应用。

第一控制器195可控制第一显示器120的第一指示单元122以输出通过第一显示器120的第一输入单元121接收的清洁预约信息、清洁开始/停止的内容等。

第一控制器195可根据通过第一成像单元130的第一拍摄单元131和第二拍摄单元132收集的图像来制作清洁区域的地图，以及控制将地图存储在第一存储设备192中。另外，第一控制器195可从第一成像单元130收集的图像中找出清洁机器人100所在的位置。找出清洁机器人100的位置可包括在地图上确定清洁机器人100的位置。

第一控制器195可接收从障碍物传感器140输出的障碍物检测信息，以及控制第一驱动器193驱动轮电机163、164，以使清洁机器人100在移动的同时避开障碍物。

第一控制器195可通过第二通信单元152接收来自移动装置300的用于清洁机器人100的控制信息。具体而言，第一控制器195可将通过第二通信单元152接收的控制信号输出到第一驱动器193以控制轮电机163、164的驱动，以及将控制信号输出到第二驱动器194以控制刷电机173的驱动。就这点而言，清洁机器人100可移动到与输入到移动装置300的触摸点对应的位置。

在清洁机器人100向与输入到移动装置300的触摸点对应的位置移动时，可能会发生移动错误。在这种情况下，第一控制器195可通过可连接到移动装置300的第二通信单元152接收与清洁机器人300的移动错误被校正的新路径有关的控制信息，以及控制清洁机器人100沿着新路径移动。

第一控制器195可控制第二通信单元152将与清洁机器人100的状态有关的信息或与清洁机器人100的清洁状态有关的信息输出到包括移动装置300的外部装置。

图6示出图1的移动装置300，以及图7A和图7B是根据本公开的实施方式的移动装置300的控制框图。

参考图6、图7A和图7B，根据实施方式的移动装置300可包括：形成外观的主单元310；显示器320，用于接收来自用户的操作指令并显示操作信息；放置在主单元310的正面或背面上的成像单元330，用于收集主单元310的环境的图像；存储设备340，用于存储操作和控制移动装置300的各种数据、程序或应用；通信单元350，用于与包括清洁机器人100的外部装置通信；以及控制器360，用于控制移动装置300的一般操作。移动装置300还可包括声音输出单元370，以用于输出清洁机器人100的状态信息。

为了与清洁机器人100的部件区分开，对应的部件在本文中将表示为第二显示器320、第二成像单元330、第二存储设备340、第三通信单元350，以及第二控制器360。

第二显示器320可接收用户指令并显示操作信息，以及包括用于接收针对图像拍摄、图像选择、图像传输和任务的指令的第二输入单元321，以及用于显示拍摄的图像、传输向导、传输结果、任务项等的第二指示单元322。

第二显示器320可用触摸屏实施，在这种情况下，第二输入单元321可接收来自用户的触摸输入。第二输入单元321可使用包括语音识别、手势识别和点击命令的各种输入方案。

第二显示器320可显示清洁机器人100的检测标记，所述检测标记被预先确定来表明识别出清洁机器人100。用于表明识别出清洁机器人100的方法不限于通过第二显示器320输出检测标记，而是可包括本领域普通技术人员可易于使用的、移动装置300的任何事物，诸如声音、振动等。

第二显示器320可显示清洁机器人100的状态信息、清洁机器人100的移动路径、清洁区域，或者需要清洁的区域。显示清洁机器人100的状态信息可包括在清洁机器人100的周围或在第二显示器320的预定特定点处显示状态信息。

第二成像单元330是用于获取清洁机器人100的图像的装置，以及包括安装在移动装置300的正面或背面上的拍摄单元331。拍摄单元331可安装在移动装置300的正面和背面中的一个上，或者安装在正面和背面两面上。在后一种情况下，图像拍摄方向可由用户的选择而确定。为了与清洁机器人100的对应部件区分开，拍摄单元331在下文中可表示为第三拍摄单元331。

第二存储设备340可存储用以控制移动装置300和第二控制器360的控制程序、最初由制造商供应的专用应用、从外部下载的通用应用、用户信息、文档、数据库和/或相关数据。

第二存储设备340可存储由第二成像单元330拍摄的图像，所述图像可用于识别清洁机器人100。

第二存储设备340可存储通过移动装置300的第一显示器120输入的触摸信息。具体而言，第二存储设备340可存储通过第一显示器120输入的连续触摸或间断触摸、单个触摸或多个触摸。

第二存储设备340可将与清洁机器人100的状态有关的信息存储在数据库中。如上文所述，与清洁机器人100的状态有关的信息可包括有关电池充电状态的信息、有关是否存在灰尘或污物的信息、有关垃圾箱的信息、有关轮子的信息、有关主刷172的信息、有关障碍物传感器140的信息、有关脚轮的信息、有关跌落传感器的信息、有关侧刷的信息等。另外，第二存储设备340可存储在与服务中心通信的过程中接收的、与清洁机器人100的状态有关的信息。这些信息片段可用于确定和验证清洁机器人100的状态的过程。

第二存储设备340可存储与清洁机器人100的移动路径有关的信息，以及清洁区域的地图。清洁机器人100的移动路径和清洁区域的地图可用于确定清洁机器人100的清洁状态。

第三通信单元350可与清洁机器人100的第二通信单元152通信。移动装置300可通过第三通信单元350将控制信号传输到清洁机器人100并且接收与清洁机器人100的状态或清洁机器人100的清洁状态(或移动路径)有关的信息。

第二控制器360可控制移动装置300的一般操作和移动装置300的内部部件之间的信号流，以及处理数据。如果接收到用户指令或者满足预定和预先存储的条件，则第二控制器360可运行存储在第二存储设备340中的程序或应用。

第二控制器360可包括清洁机器人识别器和用户运动检测器。

清洁机器人识别器可包括用于识别清洁机器人100的图像拍摄单元、用于检测清洁机器人100的标识105的标识检测器、用于计算与第二显示器320上的触摸点对应的位置的坐标的用户指定识别器，以及基于第二显示单元320上的触摸点和清洁机器人100来检测2D空间范围的移动方向与距离计算器。

清洁机器人识别器可具体地使用单应矩阵变换来确定清洁机器人100的移动距离和方位角。

如果确定清洁机器人100偏离基于触摸建立的路径，则清洁机器人识别器可重新确定清洁机器人100的移动距离和方位角。

用户运动检测器用于在用户与移动装置300一起移动的情况下计算用户已经从识别的清洁机器人100移动多远，以及可包括图像特征提取器、用于以提取的特征来跟踪移动路径的SLAM算法单元，以及用于计算移动装置将移动到的位置的移动位置计算器。

如果移动装置300移动，则用户运动检测器可在从清洁机器人100接收到的地图上确定反映移动装置300的移动程度的触摸点。一旦确定地图上的触摸点，移动装置100可输出地图以便清洁机器人100移动到对应于触摸点的位置，或者基于地图确定清洁角度100的移动距离和方位角并且控制清洁机器人100以该方位角移动该移动距离。使用地图确定清洁机器人100的移动距离和方位角可包括使用清洁机器人100的当前位置和与在地图上确定的触摸点对应的位置确定清洁机器人100的移动距离和方位角。

图8是包括配置成如上文所述的清洁机器人100的清洁系统。

参考图8，在通过第三通信单元350与清洁机器人100通信的同时，移动装置300可自由指定清洁机器人100的移动位置。清洁机器人100可与移动装置300共享与清洁机器人100的状态有关的信息，从而通过移动装置300来为用户提供自检验手册。清洁机器人100可与移动装置300共享与清洁机器人100的清洁状态有关的信息，从而通过移动装置300来为用户提供清洁机器人100的清洁过程。

现在将描述控制清洁机器人100的过程。

首先，将描述通过移动装置300来指定清洁机器人100的移动位置的技术。在实施方式中，用于控制清洁机器人100的方法可包括在移动装置300的第二显示器320上显示清洁机器人100的图像、接收第二显示器320上的触摸，以及将清洁机器人100移动到对应于触摸点的位置。

接收第二显示器320上的触摸可包括接收连续触摸或间断触摸，或者单个触摸或多个触摸。

将清洁机器人100移动到对应于触摸点的位置可包括通过最短路径、直线路径或弯曲路径将清洁机器人100移动到对应于触摸的位置。

现在将参考附图描述用于指定清洁机器人100的移动位置的技术。图9和图10是示出根据本公开的实施方式的借助于增强现实来指定清洁机器人100的移动位置并将清洁机器人100移动到移动位置的过程的流程图，图11A到图11D示出根据本公开的实施方式的指定清洁机器人100的移动位置并将清洁机器人100移动到移动位置的示例，图12A和图12B示出根据本公开的实施方式的通过多个触摸来指定清洁机器人100的移动位置并将清洁机器人100移动到移动位置的示例，以及图13A和图13B示出根据本公开的实施方式的通过触摸和拖动来指定清洁机器人100的移动位置并将清洁机器人100移动到移动位置的示例。

参考图9，为了通过移动装置300来指定清洁机器人100的移动位置，在操作400中，移动装置300和清洁机器人100可彼此连接。它们可通过无线LAN方案或短程通信方案连接，以及移动装置300和清洁机器人100的连接状态可显示在第二显示器320上。本文中将省略关于移动装置300与清洁机器人100之间的通信的重复描述。

一旦移动装置300连接到清洁机器人100，则移动装置300便可通过第三拍摄单元331来收集图像。

通过第三拍摄单元331收集的图像可显示在移动装置300的第二显示器320上。这个过程是为了通过收集与清洁机器人100有关的图像来识别清洁机器人100，以及清洁机器人100的图像可调整以适配到移动装置300的第二显示器320中。

换言之，如图11A所示，清洁机器人100的图像可调整成使得它可显示在移动装置300的第二显示器320上。

一旦第三拍摄单元331收集到图像，则在操作410中，执行用于识别清洁机器人100的图像处理过程。图10示出根据本公开的实施方式的各阶段的图像处理过程。图像处理过程可包括如图10所示的所有操作，或者根据设计方法，可省略图10的一些操作。

参考图10，一旦第三拍摄单元331收集到图像，则在操作411中，可设置数字化阈值。数字化阈值可预先存储在第二存储设备340中或者由用户手动设置，或者根据预先存储的程序基于实时环境进行校准和设置。

一旦设置了数字化阈值，则在操作412、413中，由第三拍摄单元实时收集的图像被拍摄并成像，以及使用在操作411中设置的数字化阈值将得到的信息数字化。

接着，通过数字化图像信息，在操作414、415中，检测在清洁机器人100的顶部上形成的标识105的候选区域和特征。

在操作416中，可通过在消除图像噪声之后检测到的特征来识别清洁机器人100是否出现、清洁机器人100的位置和方向。

在图像处理过程之后，在操作420中，确定是否识别到清洁机器人100。

如果确定没有识别到清洁机器人100，则可重复执行操作405和410。

否则，如果确定识别到清洁机器人100，则检测标记可输出到第二显示器320上。在操作425中，用户随后可从检测标记中知道识别出了清洁机器人100。

如图11B所示，检测标记可显示成与清洁机器人100的图像重叠。或者，检测标记可显示为第二显示器320上的特定点，或者用户可通过声音输出单元370知道识别出了清洁机器人100。

一旦清洁机器人100的检测标记输出，则在操作430中，确定是否接收到指定清洁机器人100的位置的指令。

指定清洁机器人100的位置的指令可包括确定在第二显示器320上是否有触摸输入。用户的触摸可具有如图11C所示的单个触摸的形式、如图12A所示的多个触摸的形式，以及如图13A所示的触摸和拖动的形式。例如，现在将描述指定清洁机器人100的位置的指令具有单个触摸的形式的情况。

如果用户没有输入指定清洁机器人100的位置的指令，则可重复执行操作405到425。

否则，如果用户输入指定清洁机器人100的位置的指令，则在操作435中，可执行确定清洁机器人100的移动距离和方位角的过程。

确定清洁机器人100的移动距离和方位角的过程可包括确定清洁机器人100到与触摸点对应的位置的移动距离和方位角。

确定清洁机器人100的移动距离和方位角可包括使用单应矩阵变换来确定清洁机器人100的移动距离和方位角。然而，确定清洁机器人100的移动距离和方位角的过程不限于单应矩阵变换。为便于说明，现在将通过以单应矩阵变换为示例来描述确定清洁机器人的移动距离和方位角的过程。

单应性是用于将3D空间中的2D平面变换成另一2D平面的投影变换，这可由下列等式1表示。

等式1中表示的矩阵被称为单应性，以及单应矩阵表示两个投影平面之间的关系。例如，现实世界坐标X、Y可通过投影坐标u、v获取。

通过将这应用于确定移动距离和方位角的过程，“清洁机器人100的现实世界坐标”和“与触摸点对应的位置的坐标”可分别通过“投影到第二显示器320上的清洁机器人100的坐标”和“输入到第二显示器320的触摸点的坐标”获取，以及可使用“清洁机器人100的现实世界坐标”和“与触摸点对应的位置的坐标”确定清洁机器人100的移动距离和方位角。

一旦确定了清洁机器人100的移动距离和方位角，则在操作440中，移动装置300将信息发送到清洁机器人100，以及在操作445中清洁机器人100随后以所述方位角移动所述移动距离，如图11D所示。

在输入多个触摸的情况下，如图12A和图12B所示，可根据与图11A到图11D中相同的原理针对触摸来确定清洁机器人100的移动距离和方位角，以及清洁机器人100可按照确定的角度移动确定的移动距离。

在输入触摸和拖动的情况下，如图13A和图13B所示，可根据与图11A到图11D中相同的原理针对触摸和拖动来确定清洁机器人100的移动距离和方位角，以及清洁机器人100可按照确定的角度移动确定的移动距离。

如果在清洁机器人100移动的同时输入新触摸，则可根据与图11A到图11D中相同的原理针对新触摸来新确定清洁机器人100的移动距离和方位角，以及清洁机器人100可按照确定的角度移动新确定的移动距离。

图14是示出指定清洁机器人100的位置的过程的流程图，其包括清洁机器人100的移动路径的错误校正过程，以及图15A到图15C示出清洁机器人100的移动路径的错误校正过程的示例。

参考图14，操作400到445基本上与图9和图10中描述的相同，因此本文中将省略重复的描述。

至于清洁机器人100的移动过程，由于用户高度、手的角度、第二显示器320的像素等的影响，可能会发生错误。如果确定在清洁机器人100移动的同时发生错误，则重复执行操作435到445，以及可重新建立清洁角度100的移动距离和方位角。

例如，错误校正过程可包括：如果确定预先输入的清洁机器人100的移动路径(下文称为第一路径)与清洁机器人100的实际移动路径(称为第二路径)不同，则通过重复执行操作435到445来重新确定清洁机器人100的移动距离和方位角。第一移动路径和第二移动路径可显示在第二显示器320上。

参考图15A，第一路径L1可由用户的触摸输入指定。参考图15B，清洁机器人100可偏离第一路径L1，以及随后沿着第二路径L2移动。如果第二路径L2与第二显示器320上的第一路径L1偏离预定角度，则可重新建立清洁机器人100的移动距离和方位角。

之后，清洁机器人100可经由第三路径L3回到第一路径L1，如图15C所示。

图16和图17是示出在移动装置300移动的同时用户需要指定清洁机器人100的位置的情况下指定清洁机器人100的位置的过程，以及图18A到图18D示出通过移动移动装置300来指定清洁机器人100的位置的过程的示例。

参考图16，操作400到445基本上与图9和图10中描述的相同，因此本文中将省略重复的描述。

一旦输入指定清洁机器人100的位置的指令，则在操作455中确定移动装置300是否移动。指定清洁机器人100的位置的指令可包括用户的触摸输入。例如，现在将描述通过触摸来实施指定清洁机器人100的位置的指令的情况。

如果确定移动装置300已移动，则在操作460中，移动装置300可接收来自清洁机器人100的地图。地图可包括通过SLAM算法而构成的地图。接收地图可在清洁机器人100和移动装置300经由通信网络连接的操作400中执行，或可在通过第三拍摄单元331收集图像的操作405中执行。此外，可在本领域普通技术人员想到的任何时间接收地图。

一旦地图被接收，则操作465中可计算移动装置300的移动程度。移动装置300的移动程度可使用移动装置300中包括的陀螺仪传感器计算，或者通过将与输出到移动装置300的第二显示器320上的图像有关的信息应用到图像处理过程来计算。

计算移动装置300的移动程度也可在本领域普通技术人员容易想到的范围内的任何时间点执行，包括在接收地图之后或在接收地图之前。

一旦计算了移动装置300的移动程度，则在操作470中，可在从清洁机器人100接收的地图上确定用户输入指定位置的指令的点。

考虑到在操作460中从清洁机器人100接收的地图和在操作465中计算的移动装置300的移动程度，移动装置300可确定在地图上输入触摸的点。

一旦确定了在地图上输入触摸的点，则在操作475中将地图信息发送到清洁机器人100。在接收到地图之后，在操作480、445中，清洁机器人100可分析地图、确定清洁机器人100的移动距离和方位角，以及以所述方位角移动所述移动距离。

参考图17，操作400到470与图16的那些相同，因此本文中将省略描述。

一旦确定了在地图上输入触摸的点，则在操作485中，移动装置300可分析地图以确定清洁机器人100的移动距离和方位角。

在操作490中，移动装置300可将所确定的清洁机器人100的移动距离和方位角发送到清洁机器人100。在操作445中，清洁机器人100随后可按照所述方位角移动所述移动距离。

为便于说明，现在将描述指定清洁机器人100的位置的过程的示例，包括移动移动装置300的过程。

首先，参考图18A和图18B，移动装置300的位置可调整成使得清洁机器人100的图像出现在移动装置300的第二显示器320上，以及清洁机器人100的预定检测标记可输出在第二显示器320上以通知已经识别出清洁机器人100。

一旦识别出清洁机器人，则如图18C所示，可移动移动装置300，以及可在第二显示器320上输入触摸。如上文所述，第二显示器320可接收连续触摸或间断触摸，或者单个触摸或多个触摸。在以下描述中，将输入单个触摸的情况作为示例。

一旦输入触摸，清洁机器人100便可移动到对应于触摸的位置，如图18D所示。清洁机器人100可采用最短路径、直线路径或弯曲路径到达对应于触摸的位置。

到目前为止，已经描述了通过移动装置300来指定清洁机器人100的移动位置的技术。指定清洁机器人100的移动位置的过程不限于上文所述，而是可包括校正清洁机器人100的移动路径错误的过程和通过移动移动装置300来指定清洁机器人100的移动位置的过程。本领域普通技术人员也可进行各种其它更改。

现在将描述用于在移动装置300与清洁机器人100之间共享状态信息的技术和用户的自检验技术。

在实施方式中，清洁机器人100可与移动装置300共享清洁机器人100的状态信息，以及被移动装置300共享的状态信息可显示在第二显示器320上。为了在清洁机器人100上实现用户的自检验，可通过移动装置300提供用户的自检验手册。

图19是示出根据本公开的实施方式的使用增强现实来共享清洁机器人100的状态信息并提供自检验手册的过程的流程图；图20和图21示出通过第二显示器320与移动装置100共享清洁机器人100的状态的情况，以及图22A到图22C示出通过移动装置300的显示器320来提供清洁机器人100的自检验手册的过程的示例。

参考图19，可首先执行连接移动装置300和清洁机器人100的过程。在操作500中，可通过WLAN或短程通信方案将移动装置300和清洁机器人100连接。本文中省略与上述内容重复的描述。

一旦连接了移动装置300和清洁机器人100，则在操作505中，移动装置300可通过第三拍摄单元331来收集环境图像，以及从清洁机器人100接收清洁机器人100的状态信息。

由第三拍摄单元331收集的环境图像可用于图像处理过程，从而识别清洁机器人100。识别清洁机器人100的过程可在分析清洁机器人100的状态信息的过程之前执行。然而，在其它实施方式中，识别清洁机器人100的过程可在分析清洁机器人100的状态信息的过程之后或期间执行，或者在本领域普通技术人员可选择的任何时间执行。

在接收到清洁机器人100的状态信息之后，在操作515中，确定用户是否输入检查与特定状态有关的信息的指令。

如果已输入指令，则可分析与清洁机器人100的状态有关的信息。本文中将省略与上文关于清洁机器人100的状态信息描述的内容重复的描述。

如果尚未输入指令，则在操作525中分析与从清洁机器人100接收的清洁机器人100的整体状态有关的信息。

可使用预先存储的或通过与服务中心通信而接收的状态信息分析数据来分析清洁机器人100的状态信息。

在分析清洁机器人100的状态信息之后，在操作530中，输出分析的结果。

分析结果可输出到第二显示器320上，具体而言，分析结果可输出到第二显示器320上的清洁机器人100周围的某处。除了将分析结果输出到第二显示器320上的方式之外，分析结果可通过多种方式输出，诸如，通过配备在移动装置300中的声音输出单元370输出。

如果从分析清洁机器人100的状态信息的结果中确定清洁机器人100没有问题，则可输出表明没有问题的分析结果的消息。

此外，如果从分析清洁机器人100的状态信息的结果中确定清洁机器人100有问题，则在操作535中，确定是否输入提供自检验手册的指令。

如果没有输入提供自检验手册的指令，则不执行提供自检验手册的过程并且可终止整个过程。

如果输入提供自检验手册的指令，则在操作540中，可提供自检验手册。自检验手册可输出到第二显示器320上或以多种各种方式输出，诸如，通过配备在移动装置300中的声音输出单元370输出。

如果从分析清洁机器人100的状态信息的结果中确定清洁机器人100的电池将耗尽，则可输出表明电池不足的警告消息，如图20所示。如果从分析清洁机器人100的状态信息的结果中确定清洁机器人100的轮子被线或某物缠住，则可输出表明线缠住轮子的警告消息，如图21所示。

如果输入用于提供自检验手册的指令以处理轮子被线缠绕的问题，则可执行提供自检验手册的过程，如图22A到图22C所示。

参考图22A到图22C，自检验手册可包括输出如图22A所示的类似“有东西卡在轮子中，请拆开轮子”的消息，如图22B所示的类似“请按顺序松开螺钉”的消息，或者如图22C所示的类似“请移除卡住的带”的消息。

到目前为止，已经描述了借助于增强现实来共享清洁机器人100的状态信息并提供自检验手册的过程。该过程不限于此，而是本领域普通技术人员可对该过程进行各种更改。

现在将描述提供并检查清洁机器人100的清洁状态的过程。

在实施方式中，提供并检查清洁机器人100的清洁状态的过程可包括在清洁机器人100与移动装置300之间共享清洁机器人100的清洁状态，以及通过移动装置100来输出清洁机器人100的清洁状态。输出清洁状态可包括在移动装置100的第二显示器320上显示清洁状态，在这种情况下，第二显示器320可显示清洁机器人100的移动路径、清洁区域或需要清洁的区域。

图23是示出根据本公开的实施方式的使用增强现实提供并检查清洁机器人100的清洁状态的过程的流程图，以及图24示出根据本公开的实施方式的提供并检查清洁状态的示例。

参考图23，在操作600中，可首先执行连接移动装置300和清洁机器人100的过程，以及本文中将省略与上文所述内容重复的描述。

一旦连接了移动装置300和清洁机器人100，则在操作610中，移动装置300可通过第三拍摄单元331来收集环境图像，以及同时接收有关清洁机器人100的清洁状态的数据。与清洁机器人100的清洁状态有关的数据可从与清洁机器人100的移动路径有关的数据中获取。

在移动装置300通过第三拍摄单元331收集图像并接收清洁状态信息的过程之后，在操作620中，可执行识别清洁机器人100并分析清洁状态的过程。

通过将收集的图像应用于识别清洁机器人100的过程，可识别清洁机器人100。识别清洁机器人100和分析清洁状态可同时执行，或者前一过程可在后一过程之前或之后执行。过程的时间可由本领域普通技术人员自由选择。与清洁机器人100的识别相关的细节基本上与图9和图10中描述的相同，因此本文中将省略重复的描述。

分析清洁状态的过程可包括分析清洁机器人100的移动路径。移动装置300可将清洁机器人100的移动路径确定为清洁区域。

在识别清洁机器人100并分析清洁状态的过程之后，可输出分析清洁状态的结果。输出分析清洁状态的结果可包括在第二显示器320上显示清洁状态。清洁机器人100的移动路径、清洁区域或需要清洁的区域可显示在第二显示器320上。

参考图24，可通过调整清洁机器人100的图像以出现在移动装置300的第二显示器320上来识别清洁机器人100。一旦识别出清洁机器人100，清洁机器人100的检测标记便可输出到第二显示器320上。

当在第二显示器320上输入触摸时，清洁机器人100可移动到对应于触摸点的位置，以及在清洁机器人100移动的同时，清洁机器人100的移动路径可显示在移动装置300的第二显示器320上。从第二显示器320上显示的清洁机器人100的移动路径中，可检查清洁机器人100的清洁状态。也就是说，清洁机器人100经过的路径可被确定为清洁机器人100的清洁区域。

因此，目前已经描述了清洁机器人100、移动装置300、用于借助于移动装置300来指定清洁机器人100的移动位置的技术、用于与移动装置300共享清洁机器人100的状态信息的技术、自检验技术以及用于在清洁机器人100与移动装置300之间共享并检查清洁状态的技术。已描述了诸多实施方式，但本领域普通技术人员将理解并明白，在不脱离本公开的范围的情况下，可进行各种更改。因此，本领域普通技术人员将了解，技术保护的真实范围仅由所附权利要求来限定。