移动机器人的控制方法、控制装置及移动机器人与流程

1.本技术涉及机器人技术领域，尤其涉及移动机器人的控制方法、控制装置及移动机器人。


背景技术：

2.相关技术中，移动机器人和目标用户的交互中，移动机器人能够根据目标用户的指令做出相应反馈，丰富了人们生活。
3.随着科技进步，移动机器人逐渐用于多种场景中。其中，在相关场景下，机器人无法精准识别目标用户和目标用户发出的指令，导致误触现象发生，造成使用不便，用户的体验较差。


技术实现要素：

4.本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种移动机器人的控制方法，有效避免移动机器人的误触发现象。
5.本技术还提出一种移动机器人的控制装置。
6.本技术还提出一种移动机器人。
7.本技术还提出一种电子设备。
8.本技术还提出一种非暂态计算机可读存储介质。
9.本技术还提出一种计算机程序产品。
10.根据本技术第一方面实施例的移动机器人的控制方法，包括：
11.获取包括目标对象的待处理图像集；
12.对所述待处理图像集中的至少一帧第一图像进行关键点检测，得到所述第一图像中多个目标关键点在同一帧内的相对位置关系；
13.基于所述相对位置关系，从所述第一图像中确定所述目标对象处于抬手状态所对应的第一目标图像；
14.对所述待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；
15.在所述至少一帧第二图像与所述第一目标图像满足目标条件的情况下，基于所述第一目标图像所对应的手势识别结果，控制所述移动机器人。
16.根据本技术实施例的移动机器人的控制方法，可以在各种场景中精准地识别目标用户的抬手状态和目标用户的目标手势，有效避免移动机器人的误触发现象，提高用户使用体验。
17.根据本技术的一个实施例，在所述控制所述移动机器人之前，所述方法还包括：
18.通过所述待处理图像集中的至少一帧第三图像对所述目标对象进行身份识别，确定所述目标对象为有效对象。
19.根据本技术实施例的移动机器人的控制方法，可以在各种场景中精准地识别目标用户，进一步避免移动机器人的误触发现象，提高用户使用体验。
20.根据本技术的一个实施例，所述对所述待处理图像集中的至少一帧第一图像进行关键点检测，得到所述第一图像中多个目标关键点在同一帧内的相对位置关系，包括：
21.对所述至少一帧第一图像进行关键点检测，得到所述第一图像中多个目标关键点在同一帧内的位置；
22.基于身份识别的结果，确定用于判别所述相对位置关系的目标阈值；
23.基于所述目标阈值和所述多个目标关键点的位置，确定所述多个目标关键点的相对位置关系。
24.根据本技术实施例的移动机器人的控制方法，可以在根据不同目标用户匹配不同设置方式，增强灵活性，提高用户使用体验。
25.根据本技术的一个实施例，所述对所述待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果，包括：
26.基于所述身份识别的结果，确定手势与控制指令的对应关系；
27.识别所述至少一帧第二图像中的目标手势；
28.基于所述手势与控制指令的对应关系以及所述目标手势，得到所述手势识别结果。根据本技术的一个实施例，所述通过所述待处理图像集中的至少一帧第三图像对所述目标对象进行身份识别，确定所述目标对象为有效对象，在所述基于所述相对位置关系，从所述第一图像中确定所述目标对象处于抬手状态所对应的第一目标图像之前；
29.所述基于所述相对位置关系，从所述第一图像中确定所述目标对象处于抬手状态所对应的第一目标图像，在所述对所述待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果之前；
30.所述至少一帧第二图像中的第一帧为所述至少一帧第一图像中的最后一帧。
31.根据本技术实施例的移动机器人的控制方法，可以优选身份识别、抬手状态识别以及手势识别的处理顺序，简化处理流程，节约资源，提高用户使用体验。
32.根据本技术的一个实施例，所述通过所述待处理图像集中的至少一帧第三图像对所述目标对象进行身份识别，包括：
33.对所述至少一帧第三图像进行人脸识别；或者，对所述至少一帧第三图像进行reid识别。
34.根据本技术的一个实施例，所述至少一帧第二图像与所述第一目标图像满足目标条件，包括：所述至少一帧第二图像包括所述第一目标图像；或者，所述至少一帧第二图像为所述第一目标图像的后续帧。
35.根据本技术的一个实施例，在执行所述基于所述相对位置关系，从所述第一图像中确定所述目标对象处于抬手状态所对应的第一目标图像时，执行所述对所述待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；
36.所述至少一帧第二图像包括连续n帧图像，所述至少一帧第一图像的第一帧为第m帧所述第二图像；
37.其中且n和m为正整数。
38.根据本技术实施例的移动机器人的控制方法，可以通过对抬手状态识别和手势识别的并行处理，缩短处理时间，提高用户使用体验。
39.根据本技术的一个实施例，所述对所述待处理图像集中的至少一帧第一图像进行关键点检测，得到所述第一图像中多个目标关键点在同一帧内的相对位置关系，包括：对所述至少一帧第一图像进行关键点检测，得到手腕关键点、手肘关键点、肩关键点和腰部关键点的位置；基于所述第一图像中所述手腕关键点、手肘关键点、肩关键点和腰部关键点的位置，确定在同一帧内所述手腕关键点、手肘关键点、肩关键点和腰部关键点的相对位置关系；
40.所述基于所述相对位置关系，从所述第一图像中确定所述目标对象处于抬手状态所对应的第一目标图像，包括：确定所述手腕关键点高于所述手肘关键点，所述手腕关键点位于所述肩关键点和所述腰部关键点之间，且所述手肘关键点位于所述肩关键点和所述腰部关键点之间的第一图像为所述第一目标图像。
41.根据本技术实施例的移动机器人的控制方法，可以从多个人体关键点中选择目标关键点，仅对目标关键点的相对位置关系进行处理，缩短处理时间，节约处理步骤，精准识别目标对象的抬手动作，提高用户使用体验。
42.根据本技术第二方面实施例的移动机器人的控制装置，包括：
43.获取模块，用于获取包括目标对象的待处理图像集；
44.第一处理模块，用于对所述待处理图像集中的至少一帧第一图像进行关键点检测，得到所述第一图像中多个目标关键点在同一帧内的相对位置关系；
45.第二处理模块，用于基于所述相对位置关系，从所述第一图像中确定所述目标对象处于抬手状态所对应的第一目标图像；
46.第三处理模块，用于对所述待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；
47.第四处理模块，用于在所述至少一帧第二图像与所述第一目标图像满足目标条件的情况下，基于所述第一目标图像所对应的手势识别结果，控制所述移动机器人。
48.根据本技术实施例的移动机器人的控制装置，可以在各种场景中精准地识别目标用户的抬手状态和目标用户的目标手势，有效避免移动机器人的误触发现象，提高用户使用体验。
49.根据本技术第三方面实施例的电子设备，包括储存器和处理器，所述电子设备实现如上述任一种所述移动机器人的控制方法的步骤。
50.根据本技术第四方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述移动机器人的控制方法的步骤。
51.根据本技术第五方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述移动机器人的控制方法的步骤。
52.本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
53.进一步的，通过多种判断条件的组合得到手势识别结果，可以在各种场景中精准地识别目标用户和目标用户的目标手势，极大地避免了移动机器人的误触发现象，提高用户使用体验。
54.更进一步的，通过对判断条件的顺序进行组合，可以极大简化处理步骤和时间，节约资源，提高用户使用体验。
55.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
56.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1是本技术实施例提供的移动机器人的控制方法的流程示意图之一；
58.图2是本技术实施例提供的移动机器人的控制方法的人体关键点检测示意图；
59.图3是本技术实施例提供的移动机器人的控制方法的有效抬手状态示意图之一；
60.图4是本技术实施例提供的移动机器人的控制方法的有效抬手状态示意图之二；
61.图5是本技术实施例提供的移动机器人的控制方法的无效抬手状态示意图；
62.图6是本技术实施例提供的移动机器人的控制方法的具体流程示意图；
63.图7是本技术实施例提供的移动机器人的控制装置的结构示意图；
64.图8是本技术实施例提供的电子设备的结构示意图。
具体实施方式
65.下面结合附图和实施例对本技术的实施方式作进一步详细描述。以下实施例用于说明本技术，但不能用来限制本技术的范围。
66.在本技术实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
67.在本技术实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术实施例中的具体含义。
68.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
69.下面结合图1-图8对本技术实施例的移动机器人的控制方法、控制装置、移动机器人和可读储存介质进行详细说明。
70.其中，启动移动机器人的控制方法可应用于终端，具体可由，终端中的硬件或软件执行。该移动机器人的控制方法的执行主体可以为终端，或者终端的控制装置等。
71.该终端包括的移动服务机器人或情感机器人等其它智能机器人。
72.本技术实施例提供的移动机器人的控制方法，执行主体可以为智能设备或者智能设备中能够实现该移动机器人的控制方法的功能模块或功能实体，本技术实施例提及的智能设备包括但不限于移动服务机器人和情感机器人等，下面以智能设备作为执行主体为例对本技术实施例提供的移动机器人的控制方法进行说明。
73.本技术实施例的移动机器人的控制方法可以应用于多种场景下，例如多目标的开放环境中或者目标单一的封闭环境中。在不同的场景中，该移动机器人的控制方法用于在多目标人群和目标人群中的各种动作中精准识别用户的手势动作，实现移动机器人的智能控制。
74.如图1所示，该移动机器人的控制方法包括：步骤110、步骤120、步骤130、步骤140以及步骤150。
75.本实施例中移动机器人的控制方法可以智能辨别目标对象以及目标对象的有效手势，可以根据有效手势实现不同的工作状态。
76.步骤110、获取包括目标对象的待处理图像集。
77.在该实施例中，移动机器人可以通过摄像头获取包括目标对象的待处理图像集。
78.其中，目标对象可以为该移动机器人采集的图像中包含的人体对象。
79.其中，待处理图像集可以为包括目标对象的多帧图片集合。
80.待处理图像集可以包含的目标对象的身体的多部分，例如可以为目标对象的全身图片或上半身图片。
81.待处理图像集可以为多帧图像，多帧图像为连续的多张图像。
82.待处理图像集中连续帧数的图像形成连续的动作，因此每一帧图像中目标对象的动作可以相同或不同或部分相同。
83.步骤120、对待处理图像集中的至少一帧第一图像进行关键点检测，得到第一图像中多个目标关键点在同一帧内的相对位置关系。
84.在该实施方式中，移动机器人可以对至少一帧第一图像中的目标对象进行人体关键点检测，获取目标对象人体的目标关键点之间的相对位置关系。
85.其中，至少一帧第一图像为待处理图像集中的至少一帧图像。
86.第一图像用于通过对目标对象进行关键点检测得到目标关键点的相对位置关系。
87.第一图像至少为一帧。
88.第一图像可以为多帧图像，多帧图像为连续的多张图像。
89.例如，设定时间为1s，设定帧数为30帧，第一图像在1s内包括连续30帧图像。
90.第一图像中连续帧数的图像形成连续的动作，多帧图像中所包含的目标对象的动作可以相同或部分相同。
91.其中，关键点检测的对象可以为目标对象的人体骨骼点，关键点的检测方式有多种，可以为全身骨骼点检测或局部骨骼点检测。
92.例如，如图2所示，目标对象的人体关键点可以为全身骨骼点检测，包括躯干3个关键点以及四肢8个关键点。
93.例如，目标对象的人体关键点可以为局部骨骼点检测，局部骨骼点可以包括目标对象的躯干关键点、四肢关键点或局部组合关键点。
94.如图3所示，目标对象上半身关键点，可以包括躯干3个关键点和手臂4个关键点。
95.其中，目标关键点为检测目标对象做出特定动作的情况下，人体关键点中人体做出该特定动作中涉及的多个特定的关键点。
96.在一些实施例中，目标对象可以设定控制该移动机器人进行相应工作模式的动作，系统可以根据该动作确定所需检测的目标关键点，简化算法步骤。
97.其中，多个目标关键点的相对位置关系可以为对某一帧第一图像中进行关键点检测后，该帧第一图像中多个特定的关键点之间的相对位置。
98.在一些实施例中，检测手臂动作时可以设定手臂关键点为目标关键点，手臂关键点包括手腕关键点和手肘关键点，对至少一帧第一图像中的目标对象进行关键点检测后可以得到手腕关键点和手肘关键点的位置信息，基于该帧第一图像中手腕关键点和手肘关键点的位置信息可以得到手腕关键点和手肘关键点之间的相对位置关系。
99.需要说明的是，多个目标关键点位于同一帧第一图像才可存在相互位置关系，多个目标关键点的相对位置关系是通过该帧第一图像中多个特定关键点的位置信息得到的。
100.也就是说，多个目标关键点的相对位置关系中所需的多个特定关键点的位置信息位于同一帧第一图像。
101.例如，手腕关键点和手肘关键点之间的相对位置可以为手腕关键点高于手肘关键点、手腕关键点低于手肘关键点或手肘关键点与手肘关键点同高。
102.在该实施例中，可以在检测到的人体关键点中选择所需的目标关键点，可以使用相对较少的目标关键点的相对位置关系中确定目标对象的动作，可以简化判断步骤的同时不影响动作的判断。
103.在一些实施例中，步骤120还包括：对至少一帧第一图像进行关键点检测，得到手腕关键点、手肘关键点、肩关键点和腰部关键点的位置。
104.在该步骤中，如图3所示，移动机器人可以对至少一帧第一图像中目标对象的人体的上半身进行人体关键点检测，检测得到手腕关键点、手肘关键点、肩关键点和腰部关键点的位置。
105.基于第一图像中手腕关键点、手肘关键点、肩关键点和腰部关键点的位置，可以确定在同一帧内手腕关键点、手肘关键点、肩关键点和腰部关键点的相对位置关系。
106.通过目标对象所做动作，可以在多个人体关键点中确定目标关键点。
107.例如，目标对象做出抬手动作时，可以确定与抬手动作相关联的目标关键点包括手腕关键点、手肘关键点、肩关键点和腰部关键点。
108.确定多个目标关键点后获取多个目标关键点的位置信息。
109.基于确定的目标关键点的位置信息可以得到多个目标关键点之间的相对位置关系。
110.例如，可以通过目标关键点包括手腕关键点、手肘关键点、肩关键点和腰部关键点的位置信息可以得到这4个目标关键点的相对位置信息。
111.在该实施例中，通过在多个关键点中选取目标关键点，进而得到目标关键点的相对位置，根据相对位置判断所需动作，可以避免判断全身关键点的位置关系，简化算法步
骤。
112.步骤130、基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像。
113.在该步骤中，移动机器人根据多个目标关键点的相对位置关系，确定第一图像中的目标对象动作，判断目标对象是否处于抬手状态。
114.其中，第一目标图像为多帧第一图像中处于目标对象处于抬手状态时所对应的至少一帧图像。
115.其中，抬手状态可以表示为手臂关键点相对与躯干关键点的位置关系。
116.相关技术中，通常采用关键点相对于地面的高度检测目标人体的动作，这种检测方法受限于不同人体条件，例如身高或人体比例，导致动作检测结果不准确。
117.本技术通过采用关键点的相对位置关系检测目标人体的动作，由于相对位置关系较为客观，不受人体条件的影响，可以避免由于不同人体条件导致的检测结果不准确的问题，提高检测人体动作的准确性。
118.在一些实施例中，抬手状态的目标关键点可以包括手腕关键点、手肘关键点、肩关键点和腰部关键点，抬手状态可以为手腕关键点高于手肘关键点。
119.目标对象在抬手状态下的目标关键点的相对位置关系根据动作幅度的不同，至少可以包括以下三种状态：
120.其一、手腕关键点和手肘关键点高于肩关键点；
121.其二、手腕关键点和手肘关键点位于肩关键点和腰关键点之间；
122.其三、手腕关键点高于肩关键点，手肘关键点位于肩关键点和腰关键点之间。
123.在一些实施例中，步骤130还可以包括：确定手腕关键点高于手肘关键点、手腕关键点位于肩关键点和腰部关键点之间且手肘关键点位于肩关键点和腰部关键点之间的第一图像为第一目标图像。
124.在该实施例中，确定目标对象的抬手状态的标准可以为手腕关键点高于手肘关键点且手腕关键点和手肘关键点位于肩关键点和腰关键点之间。
125.当第一图像中的目标对象满足上述抬手状态的标准时，此时的目标对象对应的第一图像为第一目标图像。
126.在该实施例中，将目标对象的抬手标准以一个定量的标准衡量，可以更加精准的判断目标对象是否处于规定的抬手状态，进一步防止移动机器人的误触发现象。
127.手腕关键点高于手肘关键点，且手腕关键点和手肘关键点位于肩关键点和腰关键点之间，至少可以包括以下两种形式：
128.其一、单手满足条件。
129.如图3所示，目标对象检测的目标关键点的相互位置关系中，目标对象的单手满足抬手状态的标准和抬手幅度，可以确定目标对象的抬手状态为有效抬手。
130.其二、双手满足条件。
131.如图4所示，目标对象检测的目标关键点的相互位置关系中，目标对象的双手都满足抬手状态的标准和抬手幅度，可以确定目标对象的抬手状态为有效抬手。
132.通过抬手状态的不同判断条件，可以灵活的判断目标对象的抬手状态，可以使判断更加灵敏，提高用户使用体验感。
133.在不满足上述任一抬手状态的检测的条件下，该抬手状态无效。
134.例如，在该实施例中，如图5所示，在目标对象左手的手腕关键点虽然高于手肘关键点，但抬手的手腕关键点和手肘关键点未处于肩关键点和腰关键点之间，目标对象的抬手状态无效。
135.在该实施例提供的目标对象抬手状态检测，可以通过限定目标对象的抬手标准和抬手幅度，可以更加精准判断目标对象的抬手状态。
136.步骤140、对待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果。
137.在该步骤中，移动机器人对包括目标对象手势的至少一帧第二图像进行手势识别，获取对应的手势识别结果。
138.其中，第二图像包括目标对象做出特定手势的图像。
139.第二图像为待处理图像集中的至少为一帧图像。
140.第二图像可以为多帧图像，多帧图像为连续的多张图像。
141.例如，设定时间为1s，设定帧数为30帧，第二图像在1s内包括连续30帧图像。
142.第二图像中连续帧数的图像形成连续的手势动作，多帧图像中所包含的目标对象的手势可以为滑动手势或静止手势，因此每一帧图像中的手势可以相同或部分相同。
143.第二图像可以用于找到目标对象的手势。
144.其中，手势识别结果为对目标对象的特定手势进行手势识别后得到的对应手势语义信息。
145.步骤150、在至少一帧第二图像与第一目标图像满足目标条件的情况下，基于第一目标图像所对应的手势识别结果，控制移动机器人。
146.在该步骤中，基于对目标对象处于抬手状态的第一目标图像进行手势识别得到的手势识别结果，控制移动机器人。
147.手势识别结果可以用于控制移动机器人。
148.其中，手势识别结果需要满足目标条件的情况下，该手势为有效手势。
149.目标条件为至少一帧第二图像与第一目标图像的相互关系，在至少一帧第二图像与第一目标图像满足设定条件的情况下，可以基于第一目标图像所对应的手势识别结果，控制移动机器人做出对应的工作状态。
150.在一些实施例中，目标条件至少包括需要满足以下两种情况：
151.其一、至少一帧第二图像可以包括第一目标图像。
152.在该实施例中，根据至少一帧第一图像判断出目标对象处于抬手状态，且至少一帧第二图像中包含的第一目标图像中目标对象做出手势为正确的手势时，该手势为有效手势，可以根据该有效手势对应的手势识别结果控制移动机器人。
153.在该情况下，通过目标对象在抬手状态中所做的有效手势控制移动机器人，可以避免移动机器人的误触发现象，
154.其二、至少一帧第二图像可以为第一目标图像的后续帧。
155.在该实施例中，在根据第一目标图像判断出目标对象处于抬手状态，且第二图像是第一目标图像的后续帧的情况下，即使第二图像中的目标对象未处于抬手状态，也可以对第二图像中目标对象的手势进行手势识别。
156.其中，第一图像的后续帧是第一目标图像中目标对象结束抬手状态之后的n个图像帧，该n帧图像帧紧邻第一目标图像的最后一帧图像，但该n帧图像帧不属于第一图像。
157.n帧图像可以为紧邻第一目标图像的最后一帧图像的第1至5帧图像。例如，第二图像为紧邻第一目标图像的最后一帧图像的第2帧图像或第3帧图像。
158.第二图像中的目标对象未处于抬手状态，但由于第二图像是目标对象结束抬手状态之后的第一个图像帧，也可以判定目标对象做出过抬手状态，因此该第二图像是符合要求的图像帧，可以用于进行手势识别。
159.在判断目标对象做出过抬手动作，且后续帧的第二图像中的手势识别结果为有效手势的情况下，可以基于该手势识别结果控制移动机器人。
160.在该情况下，通过目标对象在抬手状态的后续帧中所做的有效手势控制移动机器人，可以减少目标对象的抬手时间，增加该控制方法的灵敏性，在避免移动机器人的误触发的情况下提高用户的使用体验。
161.本实施例中通过至少两个有效条件的判断得出手势识别结果控制移动机器人，有效避免移动机器人的误触发现象，提高用户使用体验。
162.手势识别结果需要至少满足的两个有效条件的判断顺序至少可以包括：先抬手状态检测后手势识别、先手势识别后抬手状态检测或者抬手状态检测和手势识别同时进行。
163.以上判断顺序的具体实现方法，将在下面的实施例中具体介绍。
164.两个有效条件的不同的判断顺序可以产生不同的效果。
165.例如，在两个有效条件顺序依次执行的情况下，若在先条件不满足则停止后续条件判断，可以简化判断条件，节约资源。
166.例如，在两个有效条件并行处理的情况下，可以缩短判断时间，提高移动机器人的灵敏度，提高用户体验。
167.需要说明的是，本实施例对手势有效条件判断顺序不作限定，用户可根据具体情况进行判断顺序的设置。
168.本技术提供的移动机器人的控制方法，可以在各种场景中精准地识别目标用户的抬手状态和目标用户的目标手势，有效避免移动机器人的误触发现象，提高用户使用体验。
169.在一些实施例中，在控制移动机器人之前，移动机器人的控制方法还可以包括：通过待处理图像集中的至少一帧第三图像对目标对象进行身份识别，确定目标对象为有效对象。
170.在该实施例中，移动机器人可以通过对待处理图像集中的至少一帧第三图像中的目标对象进行身份识别，确定目标对象是否符合预设的能够控制移动机器人身份条件。
171.其中，第三图像可以为待处理图像集中的至少一帧。
172.第三图像可以用于对目标对象进行身份识别。
173.其中，第三图像为至少一帧。
174.第三图像可以为多帧图像，多帧图像为连续的多张图像。
175.在目标对象符合预设的身份条件为有效对象的情况下，同时目标对象也满足其他判断有效条件，可以确定目标对象做出的手势有效，目标对象的手势可以对移动机器人达到预期的控制效果。
176.在目标对象为无效对象的情况下，目标对象无法对移动机器人进行控制。
177.控制移动机器人的有效手势需要至少满足多个条件：至少包括目标对象为有效对象、目标对象处于抬手状态以及手势为正确手势。
178.在一些实施例中，通过待处理图像集中的至少一帧第三图像对目标对象进行身份识别，可以采用多种识别方式，例如人脸识别或reid识别或两种识别方式组合。
179.对目标对象进行身份识别至少包括以下三种方式：
180.其一、人脸识别。
181.在该实施例中，在控制移动机器人之前，可以对至少一帧第三图像进行人脸识别，提取目标用户的脸部特征信息，核对目标对象是否为有效对象，可以防止错误对象对移动机器人的误触操作。
182.其二、reid识别。
183.在该实施例中，在控制移动机器人之前，可以对至少一帧第三图像进行reid识别，提取目标用户的人体特征信息，核对目标对象是否为有效对象，可以进一步防止错误对象对移动机器人的误触操作。
184.其中，reid技术提取目标用户的人体特征信息，通过与已存的人体特征信息作比较，已存的人体特征信息可以为移动机器人开机时提取到的，也可以是预存在移动机器人中的。
185.其三、人脸识别和reid识别。
186.在该实施例中，在控制移动机器人之前，可以对目标对象进行人脸识别，在无法采集目标对象的人脸信息时切换reid识别方式，可以在目标对象的不同动作下核对目标对象是否为有效对象，大大防止错误对象对移动机器人的误触操作。
187.在该实施例中，无法采集目标对象的人脸信息的情况可以包括，人脸被遮挡或者目标对象背对着移动机器人。
188.人脸被遮挡可以为被口罩、墨镜等遮挡物遮挡，人脸识别无法采集目标对象的人脸信息。
189.在一些实施例中，步骤120还可以包括以下步骤：
190.对至少一帧第一图像进行关键点检测，可以得到第一图像中多个目标关键点在同一帧内的位置。
191.在该步骤中，移动机器人可以对至少一帧第一图像中的目标对象进行人体关键点检测，根据预设的动作得到同一帧第一图像中目标对象的多个目标关键点的位置信息。
192.其中，人体关键点可以为人体关节点，可以包括全身骨骼点检测或局部骨骼点检测。
193.其中，位置信息可以为目标关键点所在位置的距离地面的高度或相对于人体其他关键点的距离等。
194.需要说明的是，由于人体条件不同，不同人体的关键点的位置信息不同，人体条件可以包括人体比例或动作习惯等。
195.基于身份识别的结果，确定用于判别相对位置关系的目标阈值。
196.在该步骤中，移动机器人可以根据目标对象的身份识别结果，调出预设的与目标对象对应的人体条件，移动机器人可以根据人体条件调出与目标对象关键点对应的关键点位置信息的目标阈值。
197.其中，目标阈值可以是目标对象做出特定动作时，目标对象的特定关键点位置能达到的最高值与最低值范围的临界点，或，目标对象的特定关键点位置所在的概率最高的位置范围临界点。
198.目标阈值可以为预设在移动机器人中的阈值，或启动该移动机器人时获取的阈值。移动机器人可以根据目标对象的身份识别结果，调出与该身份识别结果对应的目标阈值。
199.需要说明的是，由于人体条件的不同，不同人体的目标阈值不同。
200.例如，在目标对象身高较高的情况下，目标对象的人体关键点之间的距离较远，目标对象对应的目标阈值较大。
201.例如，在目标对象习惯性的做出特定动作的情况下，目标对象在做出特定动作时，目标对象的人体关键点位置出现在特定位置的概率较大，目标对象对应的目标阈值与特定位置对应。
202.在该步骤中，通过身份识别结果可以选择目标对象对应的关键点的目标阈值，可以更加精准的判断是否为有效对象做出的有效动作，可以有效避免移动机器人在相关环境中被误触发。
203.基于目标阈值和多个目标关键点的位置，确定多个目标关键点的相对位置关系。
204.在该步骤中，移动机器人可以通过目标对象对应的目标阈值和目标对象的目标关键点的位置，确定目标对象做出特定动作时，该动作对应的目标关键点的相对位置。
205.目标阈值可以用于判断做出动作的是否为目标对象
206.多个目标关键点的相对位置关系可以判断目标对象做出的动作状态。
207.在该实施例中，通过身份识别结果判断目标对象做出特定动作时对应的目标关键点的相对位置关系，可以更加精准的判断是否为有效对象做出的有效动作，进一步避免移动机器人在相关场景下被错误对象或无意义的动作误触发。
208.在一些实施例中，步骤140还可以包括以下步骤：
209.基于身份识别的结果，确定手势与控制指令对应的关系。
210.在该步骤中，移动机器人可以通过身份识别结果，调出与该身份对应的设置，包括手势与控制指令对应的关系。
211.其中，控制指令可以用于控制移动机器人。
212.手势与控制指令对应的关系可以为对手势对应的控制移动机器人的指令内容。
213.控制指令可以包括多种指令，例如停止移动指令、开启移动指令、开机指令或关机指令。
214.需要说明的是，本实施例中的移动机器人可以设置多套控制指令，不同对象可以设置属于自己的控制指令，移动机器人可以根据身份识别结果调用与之对应的控制指令，使设置更加人性化，提高移动机器人的使用体验。
215.移动机器人可以识别至少一帧第二图像中的目标对象的目标手势。
216.在该步骤中，移动机器人可以基于至少一帧第二图像识别目标对象所做的目标手势。
217.其中，目标手势可以控制移动机器人做出特定工作状态的特定手势。
218.目标手势可以为目标对象设置或移动机器人默认的任一手势。
219.其中，至少一帧第二图像可以包括目标对象做出的手势。
220.第二图像可以为待处理图像集中的至少一帧图像。
221.第二图像可以用于识别目标对象的手势。
222.第二图像至少为一帧，可以包括多帧。多帧第二图像可以为连续多张图像。
223.基于手势与控制指令的对应关系以及目标手势，得到手势识别结果。
224.在该步骤中，移动机器人可以基于目标手势的手势识别结果和手势在控制指令列表中对应的指令内容，确定目标对象的手势识别结果。
225.在该步骤中，移动机器人可以判断目标对象的手势与控制指令的对应关系，确定该手势的指令内容。
226.其中，控制指令可以为目标对象预设在移动机器人中的各项手势指令。
227.手势与控制指令的对应关系可以有多套，不同目标对象对应不同的手势与控制指令的对应关系。
228.在一些实施例中，移动机器人可以对目标对象进行身份识别后，根据身份识别结果调出对应的手势与控制指令的对应关系。
229.在该实施例中，移动机器人可以根据身份识别结果调用对应的控制指令，得到目标手势在控制指令列表中对应的指令内容，进而确定目标对象的手势识别结果，可以提高移动机器人的使用体验，进一步避免移动机器人在相关场景下被错误对象误触发。
230.在一些实施例中，步骤130还可以包括采用多帧融合技术，对目标对象的抬手状态进行动作保持检测。
231.在该实施例中，可以对以抬手状态为起帧的连续多帧第四图像进行抬手动作保持检测处理，在所检测到的抬手动作在连续多帧第四图像中保持不变的情况下，确定抬手状态有效；在检测到抬手动作在连续多帧第四图像中变化，确定抬手状态无效。
232.其中，第四图像可以为待处理图像集中的连续多帧图像。
233.多帧第四图像可以用于确定抬手状态是否保持。
234.在该实施例中，通过多帧融合技术对抬手状态进行动作保持检测，可以避免由于目标对象的不经意间的抬手动作导致的移动机器人的误触发现象，进一步提高移动机器人误触发能力，提高用户使用体验感。
235.下面结合图6对移动机器人的控制方法的整体流程进行具体说明。
236.手势识别结果至少需要满足包括目标对象为有效对象、目标手势正确以及目标对象处于抬手状态的条件，可以确定为有效的手势，手势识别结果可以对移动机器人达到预期的控制效果。
237.确定手势有效的条件的处理顺序对应关系包括多种，例如可以是各个判断条件依次处理，也可以是多个条件并列处理，以下将具体说明。
238.其一、各个判断条件依次处理。
239.需要说明的是，手势识别结果的判断顺序可以为判断条件的排列组合，例如手势有效的判断顺序至少包括以下三种情况：
240.一、有效对象判断、抬手状态判断以及目标手势判断；
241.二、抬手状态判断、目标手势判断以及有效对象判断；
242.三、目标手势判断、有效对象判断以及抬手状态判断。
243.需要说明的是，本技术提供的移动机器人的控制方法对判断条件的处理顺序不作限定，用户可以根据不同情况对判断条件的处理顺序进行设置。
244.在本实施例提供的移动机器人的控制方法中，判断条件可以按照一定的顺序依次进行判断，若不满足在先条件则停止误触处理的后续操作，可以大大提升处理效率，简化操作步骤。
245.下面就第一种情况进行详细说明。
246.在一些实施例中，对目标对象进行身份识别，确定目标对象为有效对象可以在步骤130之前，步骤130可以在步骤140之前。
247.换言之，移动机器人得到手势识别结果的判断顺序可以为有效对象判断、抬手状态判断以及目标手势判断。
248.移动机器人对目标对象进行身份识别；
249.在身份识别判断目标对象为无效对象的情况下，移动机器人状态不改变；
250.在身份识别判断目标对象为有效对象的情况下，基于多个目标关键点的相对位置关系判断目标对象处于抬手状态；
251.在判断目标对象未处于抬手状态的情况下，移动机器人状态不改变；
252.在判断目标对象处于抬手状态的情况下，对目标对象的手势进行识别得到手势识别结果；
253.在手势识别结果的手势不正确的情况下，移动机器人状态不改变；
254.在手势内容为目标手势，手势正确的情况下，基于手势识别结果控制移动机器人。
255.在该实施例中，先进行身份识别，然后是抬手检测，最后判断是否为有效手势，可以大大提高误触发处理的处理效率，简化判断步骤，减少资源消耗。
256.在一些实施例中，至少一帧第二图像中的第一帧可以为至少一帧第一图像中的最后一帧。
257.在该实施例中，对目标对象的手势识别的第二图像的第一帧可以为判断目标处理抬手状态的第一图像的最后一帧。
258.在该实施例中，移动机器人的控制方法可以顺序进行，抬手状态检测后，可以将抬手状态检测的多帧图像中的最后一帧作为手势识别的第一帧，避免手势识别需要对抬手状态检测的所有图像进行处理，可以减少算法步骤，减少资源消耗，同时加快识别速度，提高用户体验感。
259.其二、多个判断条件并列处理。
260.在一些实施例中，可以在执行步骤130时执行步骤140。
261.例如，移动机器人得到手势识别结果的判断顺序可以为先进行有效对象判断、然后执行抬手状态判断时执行目标手势识别。
262.例如，移动机器人得到手势识别结果的判断顺序可以为执行抬手状态判断时执行目标手势识别，然后进行有效对象判断。
263.在该实施例中，抬手状态判断以及目标手势判断并行处理，在判断抬手状态的同时进行手势识别，可以减少处理时间，提高用户体验感。
264.在一些实施例中，至少一帧第二图像可以包括连续n帧图像，至少一帧第一图像的第一帧为第m帧第二图像；
265.其中且n和m为正整数。
266.其中，m和n可以表示帧数。
267.在该实施例中，进行手势识别的第二图像可以包括连续n帧，由于连续多帧的第二图像中目标对象的手势可能是滑动手势，选用连续多帧第二图像中靠近中间帧的图像作为进行抬手识别的第一图像的第一帧。
268.在本实施例中，可以对靠近中间帧的图像限定一个帧数范围，该帧数范围为
269.例如，目标对象的手势可以为滑动手势，滑动手势在每一帧第二图像的动作不同，可以包括抬起和放下的连续动作，选取第二图像的靠近中间帧的作为第一图像的第一帧，可以尽可能的选择包含目标动作做出手势的图像，避免无效判断。
270.在该实施例中，移动机器人的控制方法可以是抬手状态和手势识别并列处理，选用第二图像的靠近中间帧的图像作为进行抬手识别的第一图像的第一帧，可以避免抬手识别的第一图像为无效图像，减少算法步骤，提高识别效率，进一步提高用户体验感。
271.相关技术中，在相关场景下，移动机器人无法在多目标或多动作中精准辨别有效目标用户发出的有效指令，导致误触现象发生。
272.本技术提供的移动机器人的控制方法，可以通过多种判断条件的组合得到、手势识别结果，可以在各种场景中精准地识别目标用户和目标用户的目标手势，极大地避免了移动机器人的误触发现象，提高用户使用体验。
273.下面对本技术实施例提供的移动机器人的控制装置进行描述，下文描述的移动机器人的控制装置与上文描述的移动机器人的控制方法可相互对应参照。
274.如图7所示，该移动机器人的控制装置包括获取模块710、第一处理模块720、第二处理模块730、第三处理模块740以及第四处理模块750。
275.获取模块710，用于获取包括目标对象的待处理图像集；
276.第一处理模块720，用于对待处理图像集中的至少一帧第一图像进行关键点检测，得到第一图像中多个目标关键点在同一帧内的相对位置关系；
277.第二处理模块730，用于基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像；
278.第三处理模块740，用于对待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；
279.第四处理模块750，用于在至少一帧第二图像与第一目标图像满足目标条件的情况下，基于第一目标图像所对应的手势识别结果，控制移动机器人。
280.在一些实施例中，在控制移动机器人之前，移动机器人的控制装置可以还包括通过待处理图像集中的至少一帧第三图像对目标对象进行身份识别，确定目标对象为有效对象。
281.在一些实施例中，第一处理模块720，还可以用于对至少一帧第一图像进行关键点检测，得到第一图像中多个目标关键点在同一帧内的位置；
282.基于身份识别的结果，确定用于判别相对位置关系的目标阈值；
283.基于目标阈值和多个目标关键点的位置，确定多个目标关键点的相对位置关系。
284.在一些实施例中，第三处理模块740，还可以用于基于身份识别的结果，确定手势与控制指令的对应关系；
285.识别至少一帧第二图像中的目标手势；
286.基于手势与控制指令的对应关系以及目标手势，得到手势识别结果。
287.在一些实施例中，移动机器人的控制装置还可以包括：通过待处理图像集中的至少一帧第三图像对目标对象进行身份识别，确定目标对象为有效对象，在基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像之前；
288.基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像，在对待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果之前；
289.至少一帧第二图像中的第一帧为至少一帧第一图像中的最后一帧。
290.在一些实施例中，移动机器人的控制装置还可以包括：通过待处理图像集中的至少一帧第三图像对目标对象进行身份识别，包括：
291.对至少一帧第三图像进行人脸识别；或者，
292.对至少一帧第三图像进行reid识别。
293.在一些实施例中，可以在执行第二处理模块730时执行第三处理模块740；至少一帧第二图像包括连续n帧图像，至少一帧第一图像的第一帧为第m帧第二图像；
294.其中且n和m为正整数。
295.在一些实施例中，第一处理模块720，还可以用于对至少一帧第一图像进行关键点检测，得到手腕关键点、手肘关键点、肩关键点和腰部关键点的位置；基于第一图像中手腕关键点、手肘关键点、肩关键点和腰部关键点的位置，确定在同一帧内手腕关键点、手肘关键点、肩关键点和腰部关键点的相对位置关系；
296.第二处理模块730，还可以用于确定手腕关键点高于手肘关键点，手腕关键点位于肩关键点和腰部关键点之间，且手肘关键点位于肩关键点和腰部关键点之间的第一图像为第一目标图像。
297.本技术实施例提供的移动机器人的控制装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。
298.本技术实施例提供的移动机器人的控制装置，可以通过多种判断条件的组合得到手势识别结果，可以在各种场景中精准地识别目标用户和目标用户的目标手势，极大地避免了移动机器人的误触发现象，提高用户使用体验。
299.本技术实施例还提供一种移动机器人，包括：摄像头和控制器。
300.摄像头用于采集图像。
301.其中，摄像头采集的图像可以用于控制器进行各种识别处理。
302.控制器用于控制移动机器人实现上述移动机器人的控制方法。
303.本技术实施例提供的移动机器人，可以通过多种判断条件的组合得到手势识别结果，可以在各种场景中精准地识别目标用户和目标用户的目标手势，极大地避免了移动机器人的误触发现象，提高用户使用体验。
304.图8示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)810和存储器(memory)820，其中，处理器810和存储器830相连。处理器810可以
调用存储器820中的逻辑指令，以执行移动机器人的控制方法，该方法包括：获取包括目标对象的待处理图像集；对待处理图像集中的至少一帧第一图像进行关键点检测，得到第一图像中多个目标关键点在同一帧内的相对位置关系；基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像；对待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；在至少一帧第二图像与第一目标图像满足目标条件的情况下，基于第一目标图像所对应的手势识别结果，控制移动机器人。
305.此外，上述的存储器820中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
306.进一步地，本技术还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的移动机器人的控制方法，该方法包括：获取包括目标对象的待处理图像集；对待处理图像集中的至少一帧第一图像进行关键点检测，得到第一图像中多个目标关键点在同一帧内的相对位置关系；基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像；对待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；在所述至少一帧第二图像与所述第一目标图像满足目标条件的情况下，基于第一目标图像所对应的手势识别结果，控制移动机器人。
307.另一方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的移动机器人的控制方法，该方法包括：获取包括目标对象的待处理图像集；对待处理图像集中的至少一帧第一图像进行关键点检测，得到第一图像中多个目标关键点在同一帧内的相对位置关系；基于相对位置关系，从第一图像中确定目标对象处于抬手状态所对应的第一目标图像；对待处理图像集中的至少一帧第二图像进行手势识别，得到手势识别结果；在所述至少一帧第二图像与所述第一目标图像满足目标条件的情况下，基于第一目标图像所对应的手势识别结果，控制移动机器人。
308.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
309.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
310.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。
311.以上实施方式仅用于说明本技术，而非对本技术的限制。尽管参照实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，对本技术的技术方案进行各种组合、修改或者等同替换，都不脱离本技术技术方案的精神和范围，均应涵盖在本技术的权利要求范围中。