一种地面遥控机器人的控制方法和装置与流程

本发明涉及机器人控制技术领域，尤其涉及地面遥控机器人的控制方法和装置。

背景技术：

目前，用户可以通过控制终端对地面遥控机器人进行控制。然而，这种控制方式不够人性化。例如，用户希望地面遥控机器人对自己进行拍照时，用户必须通过控制终端启动地面遥控机器人的拍照功能，然后，手持控制终端会导致用户不能摆出理想的拍照姿势。

技术实现要素：

本发明实施例提供一种地面遥控机器人的控制方法和装置，以提高地面遥控机器人控制的灵活性和便利性。

本发明实施例的第一方面，提供了一种地面遥控机器人的控制方法，包括：

获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；

根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；

当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；

根据肢体动作控制所述地面移动机器人。

本发明实施例的第二方面，提供一种地面遥控机器人的控制装置，包括：

存储器和处理器；

所述存储器用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；

根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；

当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；

根据肢体动作控制所述地面移动机器人。

本发明实施例提供的地面遥控机器人的控制方法和装置，通过对用户进行身份识别，并根据授权用户不同的肢体动作直接控制地面遥控机器人执行相应的动作，实现了不借助控制终端就可以控制地面遥控机器人执行期望的动作，提高地面遥控机器人控制的灵活性和便利性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种地面遥控机器人的控制方法的示意性流程图；

图2是本发明实施例提供的地面遥控机器人的控制的场景图；

图3是本发明实施例提供的从第一图像中确定边界框的示意图；

图4是本发明另一实施例提供的地面遥控机器人的控制的场景图；

图5是本发明实施例提供的一种地面遥控机器人的控制装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

参见图1，图1示出了根据本发明实施例的一种地面遥控机器人的控制方法的示意性流程图。如图1所示，本发明实施例提供一种地面遥控机器人的控制方法，所述方法100包括:

在步骤s110，获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；

具体地，参见图2，地面遥控机器人可以包括地面遥控机器人的控制装210和拍摄装置220，其中，所述方法的执行主体为所述控制装置210。所述拍摄装置220可以对地面遥控器周围的环境进行拍摄以输出图像，进一步地，所述拍摄装置220可以对位于地面遥控机器人周围的用户230进行拍摄以输出第一图像，第一图像中包括用户的图像。其中，可以理解的是，所述第一图像可以为一帧图像，也可以为多帧图像，在此不做具体的限定。

在步骤s120，根据所述第一图像判断所述用户是否为所述地面遥控机器人的授权用户；

具体地，所述控制装置在获取到所述第一图像之后，所述控制装置可以根据第一图像来判断用户是否为所述地面遥控机器人的授权用户，其中，所述授权用户可以为有权限控制地面遥控机器人的用户。

在步骤s130，当确认所述用户为所述地面遥控机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；

具体地，当确认所述用户为所述地面遥控机器人的授权用户时，所述控制装置可以进一步地获取所述拍摄装置对用户进行拍摄时输出的第二图像。所述控制装置可以根据所述第二图像来识别用户的肢体动作，其中，所述肢体动作可以包括用户的挥手、跳跃、双臂展开等等。

可以理解的是，第二图像可以包括一帧图像，也可以包括多帧图像，在此不做具体的限定。

在某些实施例中，当确认所述用户不是所述地面遥控机器人的授权用户时，控制显示装置显示提示信息(例如第一提示信息)，其中，所述提示信息用于指示所述用户被识别为授权用户。进一步地，所述地面遥控机器人包括显示装置，例如，所述显示装置为指示灯装置，当确认所述用户识别为地面遥控机器人的授权用户时，所述控制装置控制指示灯装置按照预设的模式(例如第一预设的模式)来运行以显示所述提示信息。

在某些实施例中，当确认所述用户不是所述地面遥控机器人的授权用户时，控制显示装置显示提示信息(例如第二提示信息)，其中，所述提示信息用于指示所述用户不是所述地面遥控机器人的授权用户。进一步地，所述地面遥控机器人包括显示装置，例如，所述显示装置为指示灯装置，当确认所述用户不是地面遥控机器人的授权用户时，所述控制装置控制指示灯装置按照预设的模式(例如第二预设的模式)来运行以显示所述提示信息。

在步骤s140，根据肢体动作控制所述地面遥控机器人。

其中，在识别到所述用户的肢体动作之后，所述控制装置可以根据所述肢体动作对地面遥控机器人进行控制，进一步地，所述控制装置可以确定与所述肢体动作对应的控制指令，根据所述控制指令对地面遥控机器人进行控制。

本发明实施例提供的控制方法，通过获取用户的第一图像，根据第一图像对用户进行身份识别，如果用户为授权用户，则认为用户可以控制所述地面遥控机器人，如果用户为非授权用户则不能控制所述地面遥控机器，可以实现地面遥控机器人只对特定的用户例如机主响应，保证后期获取正确用户的动作指令，提升的控制的安全性和准确性。在此基础上，根据授权用户的图像识别授权用户的肢体动作，地面遥控机器人进而根据不同的肢体动作来执行不同的任务，从而实现了用户与地面遥控机器人之间的直接交互，不需要借助控制终端，这样可以解放用户的双手，可以在用户不方便用户用手操作控制终端时，同样实现对地面遥控机器人的控制。

在某些实施例中，所述地面遥控机器人包括存储授权用户的参考图像的存储装置，所述根据所述第一图像确定所述用户是否为所述地面遥控机器人的授权用户，包括：从所述第一图像中确定用户的图像；将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面遥控机器人的授权用户。

具体地，地面遥控器机器人中包括存储装置，所述存储装置中存储有一个或者多个授权用户的参考图像。其中，所述授权用户的参考图像可以是地面遥控机器人的拍摄装置对授权用户拍摄获取的，在某些实施例中，所述授权用户的参考图像可以是控制终端或者其他终端设备向所述地面遥控机器人上传的。如前所述，所述第一图像中包括用户的图像，为了准确定地确定用户是否为授权用户，所述控制装置从第一图像中确定用户的图像，即从第一图像中从找出用户的图像。进一步地，所述控制装置将用户的图像与所述参考图像进行匹配，当匹配成功时，确定所述用户为地面遥控机器人的授权用户，当匹配失败时，确定所述用户不是地面遥控机器人的授权用户。

可选地，从所述第一图像中确定用户的图像，包括：根据对象识别算法确定用户在所述第一图像中的边界框；根据所述边界框确定用户的图像。

具体地，参见图3，所述对象识别算法可以识别第一图像310中人体的目标部位，例如整个人体、人脸、头肩部等等，控制装置运行对象识别算法确定用户在第一图像中的边界框320。可选地，所述用户在第一图像中的边界框320可以包括用户的目标部位在第一图像中的边界框320，其中，所述边界框320为用户的目标部位的图像在所述第一图像中所占的区域，所述用户的图像可以包括用户的目标部位的图像。在某些实施例中，控制装置可以将所述第一图像输入到已经训练好的神经网络模型中，所述控制装置可以获取所述神经网络模型输出的边界框320，控制装置可以根据边界框确定用户的图像，例如将所述第一图像中边界框内的图像确定为用户的图像。

可选地，所述将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面机器人的授权用户，包括：将用户的图像与所述参考图像进行匹配以确定所述用户的图像与所述参考图像之间的匹配系数；当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户。

具体地，所述控制装置可以将用户的图像与所述参考图像进行匹配，通过所述匹配可以确定匹配系数，其中，所述匹配系数可以是表征用户的图像与参考图像之间的相似程度的参数。当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户，当所述匹配系数不满足预设条件时，确定所述用户不是地面遥控机器人的授权用户。

可选地，所述匹配系数包括用户的图像和参考图像之间的欧氏距离。其中，所述欧氏距离越小则表明所述用户的图像与参考图像中的人的相似程度越高，当小于某一阈值时则表示用户的图像与参考图像是同一个人的图像。当用户的图像和参考图像之间的欧氏距离大于或等于预设的欧式几何距离阈值，确定所述用户是所述地面遥控机器人的授权用户，当用户的图像和参考图像之间的欧氏距离小于预设的欧式几何距离阈值，确定所述用户不是所述地面遥控机器人的授权用户。

具体地，控制装置可以通过训练好的深度学习模型对用户的图像和参考图像抽取特征，得到用户的图像的特征x为(x1，x2，...xn)和参考图像的特征y为(y1，y2，...yn)，则用户的图像和参考图像之间的欧氏距离

在某些实施例中，为了提高对用户身份识别的准确度，可以将用户的图像中的背景删除以减少背景噪声对身份识别的干扰。所述根据所述边界框确定用户的图像，包括：从目标图像中识别背景的图像，删除所述背景的图像，其中，所述目标图像为所述第一图像中的边界框内的图像；将删除后目标图像中的剩余图像确定为用户的图像。

具体地，控制装置将第一图像中的边界框内的图像确定为目标图像，目标图像内可能存在背景的图像，背景的图像可能会降低用户的图像与参考图像之间的匹配准确性。控制装置可以从目标图像中识别出背景的图像，例如，控制装置可以根据背景模型从所述目标图像中识别出背景的图像，所述背景模型中包括背景在图像中的每一个像素对应的颜色模型，所述控制装置可以将目标图像中的每一个像素的颜色与背景在图像中的每一个像素对应的颜色模型进行匹配。可选地，所述背景模型包括混合高斯模型。当所述像素的颜色匹配所述颜色模型时，所述像素为背景的像素。控制装置可以将所述目标图像中所有背景的像素删除，将删除后目标图像中的剩余图像确定为用户的图像。

在某些实施例中，根据所述第二图像识别用户的肢体动作包括：将所述第二图像输入已经训练好的肢体识别模型，得到肢体动作的识别结果。

需要说明的是，所述第一图像和第二图像可以是相同的图像，也可以是不同的图像信息；也就是说，可以是通过同一帧图像进行身份信息的确认以及肢体动作的识别，也可以是不同帧的图像分别进行身份信息的确认以及肢体动作的识别，在此不做限制。

可选地，所述肢体动作包括手势动作。

可选地，所述根据所述第二图像识别用户的肢体动作包括：根据所述第二图像识别用户的手势动作。

在一些实施例中，根据所述第二图像识别用户的手势动作包括：

计算所述第二图像和所述第二图像的前或后一帧图像的差分，检测得到运动部分的局部图像；

根据所述局部图像和已经训练好的手势模型，得到所述手势动作的识别结果。

在一些实施例中，所述手势模型的训练包括:

对手势训练样本中的手势图像提取手势特征；

基于所述手掌特征对神经网络模型进行训练，得到训练好的手势模型。

其中，所述手势特征包括且不限于：轮廓、边缘、图像矩、图像特征向量以及区域直方图特征；手势特征的提取方法包括且不限于：局部自适应阈值的图像二值化、高斯模型；所述神经网络模型括且不限于：卷积神经网络。

由于传统的手势识别通过人工选择特征等方法识别用户的手势，而特征选择的差异性会直接影响最终的识别效果；还有一些手势识别是依赖于深度摄像头所获得的深度信息，在普通rgb摄像头上难以应用。本发明实施例中采用计算前后帧图像的差分得的运动部分的局部图像，进而用过手势模型对手势动作进行识别。因为手势模型是利用深度神经网络对不同的手势进行学习后训练出的模型，在此基础上对差分后的手势进行对特定的手势进行识别，得到的手势识别结果准确率和稳定性都比较高，可以满足不同光照环境的鲁棒性。

根据本发明实施例，在步骤s140中，根据肢体动作控制所述地面遥控机器人，包括：

判断所述肢体动作是否为预设的控制肢体动作；

当确定所述肢体动作是预设的控制肢体动作时，控制所述地面遥控机器人执行与预设的控制动作对应的工作任务。

可选地，其特征在于，所述预设的控制肢体动作由所述授权用户指定。

其中，预设的控制肢体动作可以由授权用户预先设置的，用户可以根据自己的习惯或爱好设置控制肢体动作；同样地，与预设的控制肢体动作相对应，用户还可以设置预设的控制肢体动作所对应的工作任务。例如，预设肢体动作可以是挥手、跳跃、双臂展开等；对应的工作任务可以是拍照、跟踪、录像等等。由此可知，本发明实施例的方法通过用户自由定义预设的控制肢体动作和对应的工作任务，为用户提供了更多的拓展性和可玩性。

可选地，在步骤s140中，所述预设的控制肢体动作包括预设的跟随肢体动作，所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别到的用户的肢体动作是否为预设的跟随肢体动作；

所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人对所述用户进行跟随。

其中，控制地面遥控机器人对所述用户进行跟随可以是控制所述地面遥控机器人对所述用户跟踪，使所述用户一直处于所述地面遥控机器人的拍摄装置的画面之中。

在一个实施例中，授权用户将预设的跟随肢体动作设置为跳跃，与其相对应的任务是对所述用户进行跟随；当根据地面遥控机器人拍摄的所述第二图像识别到用户的肢体动作时跳跃时，控制所述地面遥控机器人对所述用户进行跟随，使用户一直位于所述地面遥控机器人拍摄的画面中。

可选地，在步骤s140中，在控制所述地面遥控机器人对所述用户进行跟随之前，所述步骤s140还可以包括：

所述预设的控制肢体动作包括预设的准备跟随肢体动作，

所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别到的用户的肢体动作是否为预设的准备跟随肢体动作；

所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人准备对所述用户进行跟随。

其中，控制地面遥控机器人准备对所述用户进行跟随可以是激活地面遥控机器人的跟随操作，等待确认后开始执行跟随所述用户。

在一个实施例中，如图4所示，授权用户将预设的准备跟随肢体动作设置为挥手(左手或右手均可)，与其相对应的任务是准备对所述用户进行跟随；当根据地面遥控机器人拍摄的所述第二图像识别到用户的肢体动作时挥手时，控制所述地面遥控机器人准备对所述用户进行跟随，使所述地面遥控机器人的跟随功能处于激活状态。

可选地，在步骤s140中，所述预设的控制肢体动作包括预设的拍照或者录像肢体动作，所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别到的用户的肢体动作是否为预设的拍照或者录像肢体动作；

所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人对所述用户进行拍照或者录像。

其中，所述拍照包括但不限于：倒计时拍照、连续拍照、美颜模式、运动模式等。

在一些实施例中，用户也可以对拍照模式的具体参数进行设置，例如有无倒计时、倒计时的时间、连拍帧数、连拍频率等。

参见图5，图5示出了根据本发明实施例的一种地面遥控机器人的控制装置的示意性框图。如图5所示，本发明实施例提供一种地面遥控机器人的控制装置，所述装置500包括:

存储器510和处理器520；

所述存储器用于存储程序代码；

所述处理器520，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；

根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；

当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；

根据肢体动作控制所述地面移动机器人。

可选地，所述处理器在确认所述用户不是所述地面遥控机器人的授权用户时，还执行如下操作：控制显示装置显示提示信息。

可选地，所述处理器基于根据肢体动作控制所述地面移动机器人时，具体执行如下操作：

判断所述肢体动作是否为预设的控制肢体动作；

当确定所述肢体动作是预设的控制肢体动作时，控制所述地面遥控机器人执行与预设的控制动作对应的工作任务。

可选地，所述预设的控制肢体动作包括预设的跟随肢体动作，

所述处理器基于所述判断所述肢体动作是否为预设的控制肢体动作时，具体执行如下操作：确定所述识别到的用户的肢体动作是否为预设的跟随肢体动作；

所述处理器控制所述地面遥控机器人执行与预设的控制动作对应的工作任务时，具体执行如下操作：控制所述地面遥控机器人对所述用户进行跟随。

可选地，所述预设的控制肢体动作包括预设的拍照或者录像肢体动作，

所述处理器判断所述肢体动作是否为预设的控制肢体动作时，具体执行如下操作：确定所述识别到的用户的肢体动作是否为预设的拍照或者录像肢体动作；

所述处理器控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，具体执行如下操作：控制所述地面遥控机器人对所述用户进行拍照或者录像。

可选地，所述处理器调用所述程序代码时，具体执行如下操作：由所述授权用户指定所述预设的控制肢体动作。

可选地，所述地面遥控机器人包括存储授权用户的参考图像的存储装置，所述处理器根据所述第一图像确定所述用户是否为所述地面遥控机器人的授权用户时，具体执行如下操作：

从所述第一图像中确定用户的图像；

将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面遥控机器人的授权用户。

可选地，所述处理器将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面机器人的授权用户时，具体执行如下操作：

将用户的图像与所述参考图像进行匹配以确定所述用户的图像与所述参考图像之间的匹配系数；

当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户。

可选地，所述处理器从所述第一图像中确定用户的图像时，具体执行如下操作：

根据对象识别算法确定用户在所述第一图像中的边界框；

根据所述边界框确定用户的图像。

可选地，所述处理器根据所述边界框确定用户的图像时，具体执行如下操作：

从目标图像中识别背景的图像，删除所述背景的图像，其中，所述目标图像为所述第一图像中的边界框内的图像；

将删除后目标图像中的剩余图像确定为用户的图像。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的地面遥控机器人的控制方法的相应步骤，并且用于实现根据本发明实施例的地面遥控机器人的控制装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行地面遥控机器人的控制的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的地面遥控机器人的控制装置的各个功能模块，并且/或者可以执行根据本发明实施例的地面遥控机器人的控制方法。

根据本发明实施例的地面遥控机器人的控制装置中的各模块可以通过根据本发明实施例的地面遥控机器人的控制的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的地面遥控机器人的控制方法、装置以及存储介质，通过对用户进行身份识别，并根据授权用户不同的肢体动作直接控制地面遥控机器人执行相应的动作，实现了不借助控制终端就可以控制地面遥控机器人执行期望的动作，提高了用户的体验。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。