一种扫地机器人控制方法和装置与流程

1.本发明涉及扫地机器人控制技术领域，具体涉及一种扫地机器人控制方法和装置。


背景技术：

2.近年来，随着自动语音识别技术的发展，扫地机器人已经可以基本实现无障碍、高效地打扫用户的房子，成为目前全球出货量最高的智能硬件之一。
3.现有技术中，需要用户在手机端客户端上设置重点打扫区域，以使扫地机器人重点对这些区域进行打扫。但是，这种扫地机器人的操作方式较为复杂，容易出错导致打扫错误。
4.因此，如何使扫地机器人能够简单高效的对指定区域进行打扫，是目前亟待解决的问题。


技术实现要素：

5.本发明的目的是提供一种扫地机器人控制方法和装置，以使扫地机器人能够简单高效的对指定区域进行打扫。
6.本发明实施例提供了以下方案：
7.第一方面，本发明实施例提供一种扫地机器人控制方法，包括：
8.在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动；
9.在检测到所述打扫指令的发出者有手部指向动作后，确定所述手部指向动作所指向的目标区域；
10.根据所述打扫指令，更新预存室内地图中所述目标区域的工作内容；
11.根据所述预存室内地图中所有区域的工作内容，规划行进路线；
12.根据所述行进路线，进行室内打扫工作。
13.在一种可能的实施例中，所述确定所述手部指向动作所指向的目标区域，包括：
14.保持所述圆周运动，并以持续朝所述打扫指令的发出者方向拍摄视频数据；
15.从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域；
16.确定出所述手臂区域最大的帧图像；
17.确定出所述手臂区域最大的帧图像中所述躯体区域与所述手臂区域连接点距离地面的第一高度以及所述躯体区域与所述手臂区域之间的第一夹角，并返回所述手臂区域最大的帧图像的拍摄位置；
18.根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域。
19.在一种可能的实施例中，所述根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域，包括：
20.计算所述手部指向动作在地面上的指向位置；
21.将所述指向位置为中心的设定大小区域作为所述目标区域。
22.在一种可能的实施例中，所述计算所述手部指向动作在地面上的指向位置，包括：
23.以所述扫地机器人的中心为极心，以所述扫地机器人的中心与所述发出者站立位置的连线方向为极轴，建立极坐标系；
24.计算所述指向位置在所述极坐标系下的极坐标(ρ,θ)，计算公式为：
[0025][0026]
其中，h为所述第一高度，θ0为所述第一角度，r为所述第一设定距离。
[0027]
在一种可能的实施例中，所述确定所述手部指向动作所指向的目标区域之后，所述方法还包括：
[0028]
以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动。
[0029]
在一种可能的实施例中，以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动之后，所述方法还包括：
[0030]
在检测到修改所述地面位置点的指令后，根据所述修改所述地面位置点的指令，获得修改地面位置点；
[0031]
以所述修改地面位置点为中心且以第二设定距离为半径做圆周运动；
[0032]
在检测到结束修改所述地面位置点的指令后，将以所述修改地面位置点为中心的设定大小区域作为所述目标区域。
[0033]
在一种可能的实施例中，所述在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动之前，所述方法还包括：
[0034]
判断麦克风阵列采集的音频信号中是否有唤醒指令；其中，所述麦克风阵列设置在所述扫地机器人上，用以采集所述扫地机器人周围的音频信号；
[0035]
在检测到所述唤醒指令后，对麦克风阵列采集的音频信号进行信号处理，确定所述唤醒指令的发出者的方向；
[0036]
根据所述唤醒指令的发出者的方向，对所述麦克风阵列中各个麦克风采集的音频信号进行信号处理，形成空间指向性；
[0037]
确定到所述唤醒指令的发出者的距离；
[0038]
移动到距离所述唤醒指令的发出者第三设定距离处。
[0039]
第二方面，本发明实施例提供一种扫地机器人控制装置，包括：
[0040]
行动控制模块，用以在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动；还用于在检测到所述打扫指令的发出者有手部指向动作后，确定所述手部指向动作所指向的目标区域；还用于根据行进路线，进行室内打扫工作；
[0041]
工作内容更新模块，用于根据所述打扫指令，更新预存室内地图中所述目标区域的工作内容；
[0042]
行进路线规划模块，用于根据所述预存室内地图中所有区域的工作内容，规划所
述行进路线。
[0043]
在一种可能的实施例中，所述装置还包括：
[0044]
行动控制模块，还用于保持所述圆周运动，并以持续朝所述打扫指令的发出者方向拍摄视频数据。
[0045]
躯体区域和手臂区域确定模块，用于从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域。
[0046]
手臂区域最大的帧图像确定模块，用于确定出所述手臂区域最大的帧图像。
[0047]
第一高度和第一夹角确定模块，用于确定出所述手臂区域最大的帧图像中所述躯体区域与所述手臂区域连接点距离地面的第一高度以及所述躯体区域与所述手臂区域之间的第一夹角，并返回所述手臂区域最大的帧图像的拍摄位置。
[0048]
目标区域确定模块，用于根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域。
[0049]
在一种可能的实施例中，所述装置还包括：
[0050]
指向位置计算模块，用于计算所述手部指向动作在地面上的指向位置。
[0051]
目标区域设定模块，用于将所述指向位置为中心的设定大小区域作为所述目标区域。
[0052]
在一种可能的实施例中，还包括：
[0053]
极坐标系建立模块，用于以所述扫地机器人的中心为极心，以所述扫地机器人的中心与所述发出者站立位置的连线方向为极轴，建立极坐标系。
[0054]
极坐标计算模块，用于计算所述指向位置在所述极坐标系下的极坐标(ρ,θ)，计算公式为：
[0055][0056]
其中，h为所述第一高度，θ0为所述第一角度，r为所述第一设定距离。
[0057]
在一种可能的实施例中，还包括：
[0058]
行动控制模块，还用于以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动。
[0059]
在一种可能的实施例中，所述装置还包括：
[0060]
修改地面位置点获得模块，用于在检测到修改所述地面位置点的指令后，根据所述修改所述地面位置点的指令，获得修改地面位置点。
[0061]
行动控制模块，还用于以所述修改地面位置点为中心且以第二设定距离为半径做圆周运动。
[0062]
目标区域设定模块，还用于在检测到结束修改所述地面位置点的指令后，将以所述修改地面位置点为中心的设定大小区域作为所述目标区域。
[0063]
在一种可能的实施例中，所述装置还包括：
[0064]
第一判断模块，用于判断麦克风阵列采集的音频信号中是否有唤醒指令。其中，所述麦克风阵列设置在所述扫地机器人上，用以采集所述扫地机器人周围的音频信号。
[0065]
唤醒指令的发出者的方向确定模块，用于在检测到所述唤醒指令后，对麦克风阵列采集的音频信号进行信号处理，确定所述唤醒指令的发出者的方向。
[0066]
空间指向性形成模块，用于根据所述唤醒指令的发出者的方向，对所述麦克风阵列中各个麦克风采集的音频信号进行信号处理，形成空间指向性。
[0067]
距离确定模块，用于确定到所述唤醒指令的发出者的距离。
[0068]
行动控制模块，还用于移动到距离所述唤醒指令的发出者第三设定距离处。
[0069]
第三方面，本发明实施例提供一种电子设备，包括：
[0070]
存储器，用于存储计算机程序；
[0071]
处理器，用于执行该计算机程序以实现如上述第一方面任意一项所述的扫地机器人控制方法的步骤。
[0072]
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现如上述第一方面任意一项所述的扫地机器人控制方法的步骤。
[0073]
本发明与现有技术相比，具有如下的优点和有益效果：
[0074]
本发明在检测到用户发出的打扫指令后，会控制扫地机器人围绕着用户转圈，以告知用户其接收到用户发出的指令，然后根据用户的手部指向动作，确定出用户期望的目标区域，根据打扫指令更新目标区域的打扫任务并进行线路规划执行打扫工作即可，整个过程简单易操作，极大的简化了扫地机器人的控制流程，使扫地机器人能够简单高效的对指定区域进行打扫。
[0075]
进一步的，本发明在围绕着用户转动等待其指向指令时，会控制扫地机器人上的摄像头以用户为中心一直拍摄包含有用户的视频影像，当在视频影像中检测到用户手臂有伸出指向地面的动作，就寻找视频影像中用户手臂区域最大的拍摄位置，然后根据相关几何关系，能够高效、准确地计算出用户指向的目标区域相对于扫地机器人的位置。
[0076]
进一步的，本发明在确定出手部指向动作所指向的目标区域之后，就控制扫地机器人围着手部指向动作所指向的地面位置点转动，以告知用户，扫地机器人识别出的目标区域所在位置，方便用户直观地控制扫地机器人对指定区域的打扫工作。
[0077]
进一步的，本发明中，当检测到用户发出的修改所述地面位置点的指令时，会根据该指令获得修改地面位置点，然后再控制扫地机器人围着该位置点进行转动，以告知用户，扫地机器人识别出的目标区域所在位置，方便用户直观地控制扫地机器人对指定区域的打扫工作。
附图说明
[0078]
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0079]
图1是本发明实施例提供的一种可能的扫地机器人控制方法实施例的流程图；
[0080]
图2是本发明实施例提供的一种确定手部指向动作所指向的目标区域的方法实施例的流程图；
[0081]
图3是本发明实施例提供的一种所述手部指向动作在地面上的指向位置计算方案的示意图；
[0082]
图4是本发明实施例提供的一种可能的扫地机器人控制装置实施例的结构示意图。
具体实施方式
[0083]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明实施例保护的范围。
[0084]
请参阅图1，图1为本发明实施例提供的一种扫地机器人控制方法的流程图，包括以下步骤：
[0085]
步骤101，在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动。
[0086]
具体来说，打扫指令可以为“打扫这里”等希望扫地机器人对目标区域进行打扫操作的指令，还可以为“不打扫这里”等希望扫地机器人对目标区域不进行打扫操作的指令。
[0087]
具体来说，打扫指令通过语义检测算法来进行检测。具体的语义检测算法可以使用高斯混合模型-隐马尔科夫模型来实现，该模型是语音识别技术中使用的非常广泛的基于概率统计的模型，经常被用来表示傅里叶频谱语音特征的分布，该模型基于贝叶斯判决理论，将中文语音识别中音素状态的分类问题看成是对数据分布的估计问题，从而将语音训练和匹配的问题转换成了模型的选择与参数的训练、概率计算等更小的问题。本发明实施例将一些常用的打扫指令作为训练集，用其中的关键词的音素特征来训练高斯混合模型-隐马尔科夫模型，然后使用训练好的高斯混合模型-隐马尔科夫模型来匹配输入进来的音频数据，从而完成音频数据中的语义分析，检测出其中的打扫指令。
[0088]
步骤102，在检测到所述打扫指令的发出者有手部指向动作后，确定所述手部指向动作所指向的目标区域。
[0089]
具体的，可以使用kinect体感技术，对用户进行人体检测，获得人体骨架数据，然后对人体骨架数据进行特征提取，即可检测出人体的手部指向动作；还可以使用景深摄像头对人体手部进行图像采集，根据图像中人体手部的景深信息，获取人体手部的空间信息，再通过对人体手部的三维重建，最终获得人体的手部指向动作。
[0090]
具体的，为确定所述手部指向动作所指向的目标区域，可以使用景深摄像头对人体进行图像采集，根据图像中人体的景深信息，获取用户人体各部位的空间信息，再通过对用户人体进行三维重建，获取用户的双眼之间中心的空间位置以及用户手部指尖的空间位置，然后根据简单的直线关系，便可获得所述手部指向动作所指向的地面位置，以此确定目标区域。
[0091]
步骤103，根据所述打扫指令，更新预存室内地图中所述目标区域的工作内容。
[0092]
具体的，所述预存室内地图是用户家庭的实际户型图，由扫地机器人自行预先测绘，当然还可以人为绘制并传输给扫地机器人。预存室内地图中存在一设定的地图坐标系，在地图坐标系下，用户家庭的各个位置点都有其对应的坐标值。而目标区域就是多个位置
点的坐标值集合。
[0093]
具体的，扫地机器人可以根据打扫指令，为目标区域设定“重点打扫”、“不要打扫”等工作内容。
[0094]
步骤104，根据所述预存室内地图中所有区域的工作内容，规划行进路线。
[0095]
具体的，预存室内地图中的所有区域可以预先为不打扫状态，然后用户的指令，更改目标区域的工作内容，进而设定了全屋的打扫内容，扫地机器人就可以根据屋内所有区域的工作内容，规划行进路线，确保整个打扫过程中，能够到达每一处工作内容为“打扫”的区域。
[0096]
步骤105，根据所述行进路线，进行室内打扫工作。
[0097]
具体的，扫地机器人就沿着行进路线，一路打扫，从而完成室内的打扫工作。
[0098]
本发明实施例在检测到用户发出的打扫指令后，会控制扫地机器人围绕着用户转圈，以告知用户其接收到用户发出的指令，然后根据用户的手部指向动作，确定出用户期望的目标区域，根据打扫指令更新目标区域的打扫任务，整个过程用户只需要发出指令，然后伸手指向目标区域，就能控制扫地机器人对目标区域进行相关打扫工作，流程简单，学习成本低，从而实现了直观、高效地控制扫地机器人对指定区域的打扫工作。
[0099]
在一种可能的实施例中，请参阅图2，图2所示为本发明实施例提供的一种确定手部指向动作所指向的目标区域的方法实施例的流程图，具体包括：
[0100]
步骤1.1，保持所述圆周运动，并以持续朝所述打扫指令的发出者方向拍摄视频数据。
[0101]
具体的，此过程中，扫地机器人围绕着用户进行公转，同时自身围绕着其中心进行自转，使摄像头持续朝着发出者的方向。
[0102]
步骤1.2，从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域。
[0103]
具体来说，由于发出者的躯体区域和手臂区域都有特定的比例大小，因此可以预先通过对大量帧图像中的躯体区域和手臂区域进行标注以构成训练集，然后使用该训练集对深度学习模型进行训练，使训练后的深度学习模块能够识别并区分出帧图像中的躯体区域和手臂区域，最后在使用该训练好的深度学习算法从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域。
[0104]
步骤1.3，确定出所述手臂区域最大的帧图像。
[0105]
具体来说，当摄像头正对着用户手臂时，帧图像中的手臂区域最大，通过统计帧图像群集中手臂区域的像素大小，即可确定出所述手臂区域最大的帧图像。
[0106]
步骤1.4，确定出所述手臂区域最大的帧图像中所述躯体区域与所述手臂区域连接点距离地面的第一高度以及所述躯体区域与所述手臂区域之间的第一夹角，并返回所述手臂区域最大的帧图像的拍摄位置。
[0107]
具体来说，当确定出所述发出者的躯体区域和手臂区域后，通过对躯体区域和手臂区域进行边缘提取，以及骨骼支架的搭建，就能够很容易获得第一高度和第一夹角了。
[0108]
步骤1.5，根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域。
[0109]
具体来说，根根据据所述第一高度、所述第一夹角和所述第一设定距离，结合三维
重建中的空间信息，就可以计算所述手部指向动作在地面上的指向位置。
[0110]
在一种可能的实施例中，所述根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域，包括：
[0111]
步骤2.1，计算所述手部指向动作在地面上的指向位置。
[0112]
具体来说，根根据据所述第一高度、所述第一夹角和所述第一设定距离，结合三维重建中的空间信息，就可以计算所述手部指向动作在地面上的指向位置。
[0113]
步骤2.2，将所述指向位置为中心的设定大小区域作为所述目标区域。
[0114]
具体的，设定大小区域可以是设定面积大小的圆形区域、矩形区域等。
[0115]
本发明在扫地机器人围绕着用户转动等待其指向指令时，扫地机器人上的摄像头以用户为中心一直拍摄包含有用户的视频影像，一旦在视频影像中检测到用户手臂有伸出指向地面的动作，就寻找视频影像中用户手臂区域最大的拍摄位置，然后根据相关几何关系，能够高效、准确地计算出用户指向的目标区域相对于扫地机器人的位置。
[0116]
在一种可能的实施例中，为了快速、高效地计算出手部指向动作在地面上的指向位置，本发明实施例还创新性地提供了一种新的计算方案。
[0117]
所述计算所述手部指向动作在地面上的指向位置，包括：
[0118]
步骤3.1，以所述扫地机器人的中心为极心，以所述扫地机器人的中心与所述发出者站立位置的连线方向为极轴，建立极坐标系。
[0119]
步骤3.2，计算所述指向位置在所述极坐标系下的极坐标(ρ,θ)，计算公式为：
[0120][0121]
其中，h为所述第一高度，θ0为所述第一角度，r为所述第一设定距离。
[0122]
具体来说，请参阅图3，图3为本发明实施例提供的一种所述手部指向动作在地面上的指向位置计算方案的示意图，其中，h＝ab，r＝oa，ρ＝oc，θ0＝∠abc，θ＝∠aoc的外角。
[0123]
在一种可能的实施例中，为了让用户更直观、快速获知扫地机器人确定出的目标区域位置，本发明实施例还做了如下设置。
[0124]
所述确定所述手部指向动作所指向的目标区域之后，所述方法还包括：
[0125]
步骤4.1，以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动。
[0126]
具体的，第二设定距离可以为20cm，通过扫地机器人围绕手部指向动作所指向的地面位置点的圆周运动，即可清楚直观地使用户知道当前确定出的目标区域位置。
[0127]
在一种可能的实施例中，限于计算精度有限，有时扫地机器人确定出的目标区域与用户期望的目标区域之间存在偏差，本发明实施例还提供了一种通过指令修正扫地机器人确定出的目标区域，以使扫地机器人将用户期望的目标区域作为最终的目标区域。
[0128]
以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动之后，所述方法还包括：
[0129]
步骤5.1，在检测到修改所述地面位置点的指令后，根据所述修改所述地面位置点的指令，获得修改地面位置点。
[0130]
具体的，修改所述地面位置点的指令的检测，具体可以为“向左”、“向右”、“向前”和“向后”作为关键词来对音频数据进行语义分析来完成。
[0131]
步骤5.2，以所述修改地面位置点为中心且以第二设定距离为半径做圆周运动。
[0132]
具体的，当修改地面位置点依旧不满足用户的需求时，用户依然可以继续通过修改所述地面位置点的指令来修正所述修改地面位置点。
[0133]
步骤5.3，在检测到结束修改所述地面位置点的指令后，将以所述修改地面位置点为中心的设定大小区域作为所述目标区域。
[0134]
具体的，设定大小区域可以是设定面积大小的圆形区域、矩形区域等。
[0135]
本发明实施例中，当用户发现扫地机器人识别出的目标区域所在位置和其期望的目标区域所在位置存在偏差时，还可以发出修改所述地面位置点的指令，扫地机器人在获得修改地面位置点后，再次围着该位置点进行转动，以告知用户，扫地机器人识别出的目标区域所在位置，方便用户直观地控制扫地机器人对指定区域的打扫工作。
[0136]
在一种可能的实施例中，所述在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动之前，所述方法还包括：
[0137]
步骤6.1，判断麦克风阵列采集的音频信号中是否有唤醒指令。其中，所述麦克风阵列设置在所述扫地机器人上，用以采集所述扫地机器人周围的音频信号。
[0138]
具体的，唤醒指令可以是唤醒词，例如“小爱同学”、“嗨siri”等，还可以设定一些类似“干净”、“打扫”、“脏”等词语作为免唤醒启动的指令。
[0139]
具体的，唤醒指令检测算法可以使用高斯混合模型-隐马尔科夫模型来实现，该模型是语音识别技术中使用的非常广泛的基于概率统计的模型，经常被用来表示傅里叶频谱语音特征的分布，该模型基于贝叶斯判决理论，将中文语音识别中音素状态的分类问题看成是对数据分布的估计问题，从而将语音训练和匹配的问题转换成了模型的选择与参数的训练、概率计算等更小的问题。本发明实施例将唤醒指令作为训练集，用唤醒指令的音素特征来训练高斯混合模型-隐马尔科夫模型，然后使用训练好的高斯混合模型-隐马尔科夫模型来匹配输入进来的音频数据，挑选出包含有唤醒指令的音频数据。
[0140]
步骤6.2，在检测到所述唤醒指令后，对麦克风阵列采集的音频信号进行信号处理，确定所述唤醒指令的发出者的方向。
[0141]
具体的，麦克风阵列由于在扫地机器人上分布设置，使得其能够获得来自同一声源的音频信号的空间信息，然后通过分析出接收到音频信号的方向以及其变化，由极坐标图以波束形式来显示音频信号的强度与角度，进而获得唤醒指令的发出者的方向。
[0142]
步骤6.3，根据所述唤醒指令的发出者的方向，对所述麦克风阵列中各个麦克风采集的音频信号进行信号处理，形成空间指向性。
[0143]
具体的，通过对麦克风阵列中各个麦克风采集的音频信号进行信号处理，从而形成空间指向性。这种方法会抑制目标声音以外的声音干扰，不仅抑制噪声也包括其他方向的人声。
[0144]
步骤6.4，确定到所述唤醒指令的发出者的距离。
[0145]
具体的，可以通过激光测距仪来检测出扫地机器人到唤醒指令的发出者的距离。
[0146]
步骤6.5，移动到距离所述唤醒指令的发出者第三设定距离处。
[0147]
具体的，所述第三设定距离处可以为50cm，以靠近用户清楚接收其指令。
[0148]
基于与方法同样的发明构思，本发明实施例还提供了一种扫地机器人控制装置，请参阅图4，图4所示为本发明实施例的结构示意图，具体包括：
[0149]
行动控制模块21，用以在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动；还用于在检测到所述打扫指令的发出者有手部指向动作后，确定所述手部指向动作所指向的目标区域；还用于根据行进路线，进行室内打扫工作。
[0150]
工作内容更新模块22，用于根据所述打扫指令，更新预存室内地图中所述目标区域的工作内容。
[0151]
行进路线规划模块23，用于根据所述预存室内地图中所有区域的工作内容，规划所述行进路线。
[0152]
在一种可能的实施例中，包括：
[0153]
行动控制模块21，还用于保持所述圆周运动，并以持续朝所述打扫指令的发出者方向拍摄视频数据。
[0154]
躯体区域和手臂区域确定模块，用于从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域。
[0155]
手臂区域最大的帧图像确定模块，用于确定出所述手臂区域最大的帧图像。
[0156]
第一高度和第一夹角确定模块，用于确定出所述手臂区域最大的帧图像中所述躯体区域与所述手臂区域连接点距离地面的第一高度以及所述躯体区域与所述手臂区域之间的第一夹角，并返回所述手臂区域最大的帧图像的拍摄位置。
[0157]
目标区域确定模块，用于根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域。
[0158]
在一种可能的实施例中，还包括：
[0159]
指向位置计算模块，用于计算所述手部指向动作在地面上的指向位置。
[0160]
目标区域设定模块，用于将所述指向位置为中心的设定大小区域作为所述目标区域。
[0161]
在一种可能的实施例中，还包括：
[0162]
极坐标系建立模块，用于以所述扫地机器人的中心为极心，以所述扫地机器人的中心与所述发出者站立位置的连线方向为极轴，建立极坐标系。
[0163]
极坐标计算模块，用于计算所述指向位置在所述极坐标系下的极坐标(ρ,θ)，计算公式为：
[0164][0165]
其中，h为所述第一高度，θ0为所述第一角度，r为所述第一设定距离。
[0166]
在一种可能的实施例中，还包括：
[0167]
行动控制模块21，还用于以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动。
[0168]
在一种可能的实施例中，还包括：
[0169]
修改地面位置点获得模块，用于在检测到修改所述地面位置点的指令后，根据所述修改所述地面位置点的指令，获得修改地面位置点。
[0170]
行动控制模块21，还用于以所述修改地面位置点为中心且以第二设定距离为半径做圆周运动。
[0171]
目标区域设定模块，还用于在检测到结束修改所述地面位置点的指令后，将以所述修改地面位置点为中心的设定大小区域作为所述目标区域。
[0172]
在一种可能的实施例中，还包括：
[0173]
第一判断模块，用于判断麦克风阵列采集的音频信号中是否有唤醒指令。其中，所述麦克风阵列设置在所述扫地机器人上，用以采集所述扫地机器人周围的音频信号。
[0174]
唤醒指令的发出者的方向确定模块，用于在检测到所述唤醒指令后，对麦克风阵列采集的音频信号进行信号处理，确定所述唤醒指令的发出者的方向。
[0175]
空间指向性形成模块，用于根据所述唤醒指令的发出者的方向，对所述麦克风阵列中各个麦克风采集的音频信号进行信号处理，形成空间指向性。
[0176]
距离确定模块，用于确定到所述唤醒指令的发出者的距离。
[0177]
行动控制模块21，还用于移动到距离所述唤醒指令的发出者第三设定距离处。
[0178]
基于与前述实施例中同样的发明构思，本发明实施例还提供一种扫地机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文任一所述方法的步骤。
[0179]
基于与前述实施例中同样的发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。
[0180]
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
[0181]
本发明实施例在检测到用户发出的打扫指令后，会控制扫地机器人围绕着用户转圈，以告知用户其接收到用户发出的指令，然后根据用户的手部指向动作，确定出用户期望的目标区域，根据打扫指令更新目标区域的打扫任务并进行线路规划执行打扫工作即可，整个过程简单易操作，极大的简化了扫地机器人的控制流程，使扫地机器人能够简单高效的对指定区域进行打扫。
[0182]
进一步的，本发明实施例在围绕着用户转动等待其指向指令时，会控制扫地机器人上的摄像头以用户为中心一直拍摄包含有用户的视频影像，当在视频影像中检测到用户手臂有伸出指向地面的动作，就寻找视频影像中用户手臂区域最大的拍摄位置，然后根据相关几何关系，能够高效、准确地计算出用户指向的目标区域相对于扫地机器人的位置。
[0183]
进一步的，本发明实施例在确定出手部指向动作所指向的目标区域之后，就控制扫地机器人围着手部指向动作所指向的地面位置点转动，以告知用户，扫地机器人识别出的目标区域所在位置，方便用户直观地控制扫地机器人对指定区域的打扫工作。
[0184]
进一步的，本发明实施例中，当检测到用户发出的修改所述地面位置点的指令时，会根据该指令获得修改地面位置点，然后再控制扫地机器人围着该位置点进行转动，以告知用户，扫地机器人识别出的目标区域所在位置，方便用户直观地控制扫地机器人对指定区域的打扫工作。
[0185]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0186]
本发明是参照根据本发明实施例的方法、装置(模块、系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0187]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0188]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0189]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0190]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
[0191]
本发明公开了，a1、一种扫地机器人控制方法，其特征在于，包括：
[0192]
在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动；
[0193]
在检测到所述打扫指令的发出者有手部指向动作后，确定所述手部指向动作所指向的目标区域；
[0194]
根据所述打扫指令，更新预存室内地图中所述目标区域的工作内容；
[0195]
根据所述预存室内地图中所有区域的工作内容，规划行进路线；
[0196]
根据所述行进路线，进行室内打扫工作。
[0197]
a2、根据a1所述的扫地机器人控制方法，其特征在于，所述确定所述手部指向动作所指向的目标区域，包括：
[0198]
保持所述圆周运动，并以持续朝所述打扫指令的发出者方向拍摄视频数据；
[0199]
从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域；
[0200]
确定出所述手臂区域最大的帧图像；
[0201]
确定出所述手臂区域最大的帧图像中所述躯体区域与所述手臂区域连接点距离
地面的第一高度以及所述躯体区域与所述手臂区域之间的第一夹角，并返回所述手臂区域最大的帧图像的拍摄位置；
[0202]
根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域。
[0203]
a3、根据a2所述的扫地机器人控制方法，其特征在于，所述根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域，包括：
[0204]
计算所述手部指向动作在地面上的指向位置；
[0205]
将所述指向位置为中心的设定大小区域作为所述目标区域。
[0206]
a4、根据a3所述的扫地机器人控制方法，其特征在于，所述计算所述手部指向动作在地面上的指向位置，包括：
[0207]
以所述扫地机器人的中心为极心，以所述扫地机器人的中心与所述发出者站立位置的连线方向为极轴，建立极坐标系；
[0208]
计算所述指向位置在所述极坐标系下的极坐标(ρ,θ)，计算公式为：
[0209][0210]
其中，h为所述第一高度，θ0为所述第一角度，r为所述第一设定距离。
[0211]
a5、根据a1所述的扫地机器人控制方法，其特征在于，所述确定所述手部指向动作所指向的目标区域之后，所述方法还包括：
[0212]
以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动。
[0213]
a6、根据a5所述的扫地机器人控制方法，其特征在于，以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动之后，所述方法还包括：
[0214]
在检测到修改所述地面位置点的指令后，根据所述修改所述地面位置点的指令，获得修改地面位置点；
[0215]
以所述修改地面位置点为中心且以第二设定距离为半径做圆周运动；
[0216]
在检测到结束修改所述地面位置点的指令后，将以所述修改地面位置点为中心的设定大小区域作为所述目标区域。
[0217]
a7、根据a1所述的扫地机器人控制方法，其特征在于，所述在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动之前，所述方法还包括：
[0218]
判断麦克风阵列采集的音频信号中是否有唤醒指令；其中，所述麦克风阵列设置在所述扫地机器人上，用以采集所述扫地机器人周围的音频信号；
[0219]
在检测到所述唤醒指令后，对麦克风阵列采集的音频信号进行信号处理，确定所述唤醒指令的发出者的方向；
[0220]
根据所述唤醒指令的发出者的方向，对所述麦克风阵列中各个麦克风采集的音频信号进行信号处理，形成空间指向性；
[0221]
确定到所述唤醒指令的发出者的距离；
[0222]
移动到距离所述唤醒指令的发出者第三设定距离处。
[0223]
b8、一种扫地机器人控制装置，其特征在于，包括：
[0224]
行动控制模块，用以在检测到打扫指令后，以所述打扫指令的发出者为中心且以第一设定距离为半径做圆周运动；还用于在检测到所述打扫指令的发出者有手部指向动作后，确定所述手部指向动作所指向的目标区域；还用于根据行进路线，进行室内打扫工作；
[0225]
工作内容更新模块，用于根据所述打扫指令，更新预存室内地图中所述目标区域的工作内容；
[0226]
行进路线规划模块，用于根据所述预存室内地图中所有区域的工作内容，规划所述行进路线。
[0227]
b9、根据b8所述的扫地机器人控制装置，其特征在于，所述装置还包括：
[0228]
行动控制模块，还用于保持所述圆周运动，并以持续朝所述打扫指令的发出者方向拍摄视频数据。
[0229]
躯体区域和手臂区域确定模块，用于从所述视频数据的帧图像集群中，确定所述打扫指令的发出者的躯体区域和手臂区域。
[0230]
手臂区域最大的帧图像确定模块，用于确定出所述手臂区域最大的帧图像。
[0231]
第一高度和第一夹角确定模块，用于确定出所述手臂区域最大的帧图像中所述躯体区域与所述手臂区域连接点距离地面的第一高度以及所述躯体区域与所述手臂区域之间的第一夹角，并返回所述手臂区域最大的帧图像的拍摄位置。
[0232]
目标区域确定模块，用于根据所述第一高度、所述第一夹角和所述第一设定距离，确定所述目标区域。
[0233]
b10、根据b9所述的扫地机器人控制装置，其特征在于，所述装置还包括：
[0234]
指向位置计算模块，用于计算所述手部指向动作在地面上的指向位置。
[0235]
目标区域设定模块，用于将所述指向位置为中心的设定大小区域作为所述目标区域。
[0236]
b11、根据b10所述的扫地机器人控制装置，其特征在于，还包括：
[0237]
极坐标系建立模块，用于以所述扫地机器人的中心为极心，以所述扫地机器人的中心与所述发出者站立位置的连线方向为极轴，建立极坐标系。
[0238]
极坐标计算模块，用于计算所述指向位置在所述极坐标系下的极坐标(ρ,θ)，计算公式为：
[0239][0240]
其中，h为所述第一高度，θ0为所述第一角度，r为所述第一设定距离。
[0241]
b12、根据b8所述的扫地机器人控制装置，其特征在于，所述装置还包括：
[0242]
行动控制模块，还用于以所述手部指向动作所指向的地面位置点为中心且以第二设定距离为半径做圆周运动。
[0243]
b13、根据b12所述的扫地机器人控制装置，其特征在于，所述装置还包括：
[0244]
修改地面位置点获得模块，用于在检测到修改所述地面位置点的指令后，根据所述修改所述地面位置点的指令，获得修改地面位置点。
[0245]
行动控制模块，还用于以所述修改地面位置点为中心且以第二设定距离为半径做圆周运动。
[0246]
目标区域设定模块，还用于在检测到结束修改所述地面位置点的指令后，将以所述修改地面位置点为中心的设定大小区域作为所述目标区域。
[0247]
b14、根据b8所述的扫地机器人控制装置，其特征在于，所述装置还包括：
[0248]
第一判断模块，用于判断麦克风阵列采集的音频信号中是否有唤醒指令。其中，所述麦克风阵列设置在所述扫地机器人上，用以采集所述扫地机器人周围的音频信号。
[0249]
唤醒指令的发出者的方向确定模块，用于在检测到所述唤醒指令后，对麦克风阵列采集的音频信号进行信号处理，确定所述唤醒指令的发出者的方向。
[0250]
空间指向性形成模块，用于根据所述唤醒指令的发出者的方向，对所述麦克风阵列中各个麦克风采集的音频信号进行信号处理，形成空间指向性。
[0251]
距离确定模块，用于确定到所述唤醒指令的发出者的距离。
[0252]
行动控制模块，还用于移动到距离所述唤醒指令的发出者第三设定距离处。
[0253]
c15、一种扫地机器人，其特征在于，包括：
[0254]
存储器，用于存储计算机程序；
[0255]
处理器，用于执行所述计算机程序以实现a1至a7任一所述的方法的步骤。
[0256]
d16、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时以实现a1至a7任一所述的方法的步骤。