清洁机器人及其控制方法、装置与流程

本技术涉及智能控制，更具体的说，是涉及一种清洁机器人及其控制方法、装置。

背景技术：

1、更自然便捷地交互和控制，是家庭服务机器人必然的发展趋势。现有的家庭服务机器人，尤其是清洁机器人，配有图像传感器和麦克风阵列，通过麦克风阵列声源定位方法估计用户位置后转向用户位置，通过图像识别用户动作来进一步确定用户所指示的地面区域。

2、现有清洁机器人在识别用户指示的工作区域时，一般是要求用户通过肢体如手臂稳定的指向地面一个点，图像传感器拍摄图像，基于图像识别用户所指示的地面点，进一步将以该地面点为中心的固定范围区域作为用户指示的地面区域，如图1所示，其中用户指示的地面点为p，以p为中心，将固定尺寸的矩形区域作为指示的地面区域。这种通过单一指向点来指示地面区域的方式，由于单个指向点缺乏大小属性，现有技术采用固定范围时，若预设的固定范围较小可能无法覆盖用户需要清洁的区域，而若预设的固定范围较大则可能超出用户所需清洁的区域，导致控制精度不够。

3、另一种解决方案中，用户可以在远程设备上调用地图，并在地图上二次设置清洁范围，这种方案增加了交互流程，使用不方便。

技术实现思路

1、鉴于上述问题，提出了本技术以便提供一种清洁机器人及其控制方法、装置，以解决现有方案用户无法直接指示地面区域的大小，或通过终端划定区域范围的方式交互流程繁琐、使用不便的问题。具体方案如下：

2、第一方面，提供了一种清洁机器人控制方法，包括：

3、接收用户的第一语音指令，识别指令意图，并获取在用户下达所述第一语音指令阶段对所述用户拍摄的视频片段；

4、解析所述视频片段，根据解析结果确定视频片段中用户连贯的动作所指示的地面区域；

5、按照所述指令意图和所述地面区域，执行或调整任务。

6、优选地，在接收用户的第一语音指令之前，还包括：

7、接收用户下发的用于召唤机器人的第二语音指令，控制机器人行驶至用户附近的目标位姿，在到达所述目标位姿后执行接收用户的第一语音指令的步骤。

8、优选地，获取在用户下达所述第一语音指令阶段对所述用户拍摄的视频片段的过程，包括：

9、确定视频片段的起始和结束端点；

10、获取摄像头拍摄的从所述起始端点至所述目标端点之间的视频片段，作为与用户下达所述第一语音指令阶段对应的视频片段。

11、优选地，确定视频片段的起始端点的过程，包括：

12、将机器人到达所述目标位姿后，进入语音监听状态的时刻作为所述视频片段的起始端点；

13、或，

14、将机器人到达所述目标位姿的时刻作为所述视频片段的起始端点；

15、或，

16、将所述第一语音指令对应的语音段的起始接收端点，或起始接收端点之前第一设定时长的时刻作为所述视频片段的起始端点；

17、或，

18、对摄像头持续获取的视频画面帧进行解析，根据解析结果确定用户执行目标类型动作的起始时刻，作为所述视频片段的起始端点。

19、优选地，确定视频片段的结束端点的过程，包括：

20、将所述第一语音指令对应的语音段的结束端点，或结束端点之后第二设定时长的时刻作为所述视频片段的结束端点；

21、或，

22、对摄像头持续获取的视频画面帧进行解析，根据解析结果确定用户用于指示地面区域的肢体处于稳定状态的时刻作为所述视频片段的结束端点；

23、或，

24、对摄像头持续获取的视频画面帧进行解析，根据解析结果确定用户手臂在地面上的连续指示点，并将所述连续指示点形成封闭区域的时刻作为所述视频片段的结束端点。

25、优选地，获取在用户下达所述第一语音指令阶段对所述用户拍摄的视频片段的过程，包括：

26、确定视频片段的起始和结束端点；

27、获取摄像头拍摄的从所述起始端点至所述目标端点之间的视频片段，作为与用户下达所述第一语音指令阶段对应的视频片段。

28、优选地，确定视频片段的起始端点的过程，包括：

29、将所述第一语音指令对应的语音段的起始接收端点，或起始接收端点之前第一设定时长的时刻作为所述视频片段的起始端点；

30、或，

31、对摄像头持续获取的视频画面帧进行解析，根据解析结果确定用户执行目标类型动作的起始时刻，作为所述视频片段的起始端点。

32、优选地，确定视频片段的结束端点的过程，包括：

33、将所述第一语音指令对应的语音段的结束端点，或结束端点之后第二设定时长的时刻作为所述视频片段的结束端点；

34、或，

35、对摄像头持续获取的视频画面帧进行解析，根据解析结果确定用户用于指示地面区域的手臂处于稳定状态的时刻作为所述视频片段的结束端点；

36、或，

37、对摄像头持续获取的视频画面帧进行解析，根据解析结果确定用户手臂在地面平面上的连续指示点，并将所述连续指示点形成封闭区域的时刻作为所述视频片段的结束端点。

38、优选地，解析所述视频片段，根据解析结果确定视频片段中用户连贯的动作所指示的地面区域的过程，包括：

39、对所述视频片段中每一帧视频画面进行解析，得到每一帧视频画面中用户动作在地面上的指示点，由各帧视频画面所确定的各指示点依序组成指示点序列；

40、基于所述指示点序列形成封闭区域，并基于所述封闭区域确定所述视频片段中用户连贯的动作所指示的地面区域。

41、优选地，基于所述指示点序列形成封闭区域的过程，包括：

42、将所述指示点序列中相邻两个指示点连接，形成封闭区域；

43、或，

44、清除所述指示点序列中的异常离群点，以及对缺失指示点进行补齐，得到处理后的指示点序列，将所述处理后的指示点序列中相邻两个指示点连接，形成封闭区域。

45、优选地，基于所述封闭区域确定所述视频片段中用户连贯的动作所指示的地面区域的过程，包括：

46、将所述封闭区域作为所述视频片段中用户连贯的动作所指示的地面区域；

47、或，

48、取所述封闭区域的最小外接矩形框或最大内接矩形框，且矩形框的长或宽与机器人当前所在地图的主方向保持一致，将所述最小外接矩形框或最大内接矩形框作为所述视频片段中用户连贯的动作所指示的地面区域；

49、或，

50、结合机器人当前所在地图的房间分区信息，将所述封闭区域与机器人当前所在房间区域的重叠区域，作为所述视频片段中用户连贯的动作所指示的地面区域；

51、或，

52、结合机器人当前所在地图的语义信息，确定所述封闭区域与机器人当前所在房间分区内每一物体摆放区域的重叠区域；

53、针对每一物体摆放区域，计算所述重叠区域与所述物体摆放区域的面积比值，若所述比值超过第一设定阈值，则将所述物体摆放区域扩充至所述封闭区域内；若所述比值低于第二设定阈值，则将所述物体摆放区域从所述封闭区域中去除，得到编辑后的封闭区域，将所述编辑后的封闭区域作为所述视频片段中用户连贯的动作所指示的地面区域，其中所述第一设定阈值大于所述第二设定阈值。

54、优选地，控制机器人行驶至用户附近的目标位姿的过程，包括：

55、根据所述第二语音指令对应的语音段进行声源定位，得到声源定位结果；

56、根据所述声源定位结果控制机器人行驶至用户特定距离范围内且面向用户的目标位姿；

57、或，

58、根据所述声源定位结果在机器人向用户行驶过程通过摄像头拍摄的视频识别用户，确定用户与机器人的相对位置，控制机器人行驶至用户特定距离范围内且面向用户的目标位姿。

59、优选地，按照所述指令意图和所述地面区域，执行或调整任务的过程，包括：

60、按照所述指令意图，将所述地面区域划定为清洁区域或设置为禁区，进而执行或调整任务。

61、第二方面，提供了一种清洁机器人控制装置，包括：

62、第一指令接收及处理单元，用于接收用户的第一语音指令，识别指令意图，并获取在用户下达所述第一语音指令阶段对所述用户拍摄的视频片段；

63、指示区域确定单元，用于解析所述视频片段，根据解析结果确定视频片段中用户连贯的动作所指示的地面区域；

64、任务处理单元，用于按照所述指令意图和所述地面区域，执行或调整任务。

65、第三方面，提供了一种清洁机器人，包括：

66、设备本体；

67、设置在所述设备本体上的麦克风及摄像头，所述麦克风用于接收用户下发的语音指令，所述摄像头用于拍摄环境视频；

68、与所述麦克风及摄像头连接的处理器，用于实现前述的清洁机器人控制方法的各个步骤。

69、借由上述技术方案，本技术支持用户通过连贯的动作来指示地面区域，示例如用户可以通过手臂的连贯的移动以指示地面区域的边界。同时，用户还可以下达第一语音指令，以指示对指定地面区域所要执行的任务意图。在此基础上，本技术可以识别第一语音指令的指令意图，并获取用户下达第一语音指令阶段对用户拍摄的视频片段，通过解析视频片段，根据解析结果确定用户连贯的动作所指示的地面区域，进而按照指令意图和指示的地面区域，执行或调整任务。采用本技术方案用户可以通过肢体动作直接指示地面区域范围，本案通过视频解析可以得到用户连贯动作所指示的地面区域，更加匹配用户的实际需求，且不需要用户在终端设备二次指示区域范围，操作流程更加简单、方便易用。

70、进一步，考虑用户动作难免不够规范，比如手臂的微小弯曲，用户指向较远位置时微小的角度偏差可能导致地面指向点产生较大偏差。因此现有技术仅采用一个指向动作，计算一个指向点，决定一个固定大小的地面区域的方式，比较难精准地匹配用户实际意图的地面区域。而采用本技术方案，用户通过连贯的动作可以在地面上形成多个指示点，多个指示点形成所指示的地面区域，通过多个指示点可以平衡个别指示点的误差，从而提升了方案精度。