一种人体姿态估计与手势识别结合的无人机控制方法与流程

本发明涉及无人机的交互与控制的技术领域，尤其涉及到一种人体姿态估计与手势识别结合的无人机控制方法。

背景技术：

目前，关于无人机的交互与控制主要有专业遥控器和手机控制，这两种方式都不能解放双手。为了能够更加智能化、便捷地控制无人机，出现了通过手势识别控制无人机，因为受摄像头分辨率与远距离手势识别正确率的影响，很多能手势控制的无人机都用红外线感应装置来辅助手势的识别。但如果使用其他感应器来辅助识别，这又提高了产品的制作成本。后来，也有人用深度学习人体姿态估计来控制无人机，但一旦近距离控制的话，就会有控制范围的局限。

目前已有的解决方法包括：

(1)穿戴装有惯性测量单元imu头盔的控制无人机方法，对比传统无人机的遥控和摇杆控制方法，虽然简化了无人机的控制，但需要依赖特殊辅助设备，成本加大。

(2)基于kinect的动作识别的无人机控制方法，,操纵者通过kinect传感器来识别动作来控制飞机。虽然基于kinect识别的方法有较高的识别准确率，但因rgb-d传感器对距离的现实，该方法只能对操控者进行近距离的跟踪。

(3)基于计算机视觉及深度学习的无人机手势控制方法，用不同颜色编码光流特征，叠加在一张图片上，将视频转换为同时包含时间特征以及空间特征的彩色纹理图。最后，利用卷积神经网络对彩色纹理图进行学习及分类，根据分类结果生成控制无人机的指令。该方法虽然不依赖辅助设备，但是泛化能力比较差，而且处理起来比较复杂，如果具体到手掌的远距离手势的识别的话，该方法还是行不通。

(4)基于深度学习姿态估计的无人机控制，该方法用人体骨骼关键点的识别来识别动作进而控制无人机，该方法解决了远距离的动作识别控制，但是近距离没有利用到手掌手势来控制无人机。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种人体姿态估计与手势识别结合的无人机控制方法。解决如何既能近距离控制无人机，又能远距离控制无人机的难题，同时也提高手势识别的正确率。而且，该方法不止局限于手势控制无人机，还能结合身体的动作来控制无人机，可扩展性很高。

为实现上述目的，本发明所提供的技术方案为：

一种人体姿态估计与手势识别结合的无人机控制方法，包括以下步骤：

s1：通过无人机拍摄地面指挥者指挥的即时视频；

s2：截取步骤s1拍摄到的视频的关键帧图像；

s3：对步骤s2截取到的图像中的地面指挥者使用充分训练好的自下而上的轻量级openpose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；

s4：以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用ssd目标检测算法来识别左右手的手势；同步地，将步骤s3获得的特征数据输入到训练好的svm动作分类器，得出动作识别结果；

s5：若步骤s4识别出左右手的手势，则基于左右手的手势控制无人机；若步骤s4识别不出左右手的手势，则进入步骤s6；

s6：基于步骤s4得出的人体动作的识别结果控制无人机。

进一步地，步骤s4所述的svm动作分类器通过以下步骤得出：

(1：自建关于地面指挥者指挥动作视频的训练数据集；

(2：对从训练数据集截取的关键帧图像使用已充分训练好的轻量级openpose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；

(3：将生成的特征数据使用svm分类器进行训练，生成svm动作分类器。

进一步地，所述步骤s4中，通过以下过程设定以地面指挥者左手手腕关键点为中心的截取区域：

1)假设左手手腕坐标为(x1，y1)，左手手肘坐标为(x2，y2)；

2)将左手手腕及手肘的坐标投影到x轴和y轴上，得到投影到x轴后的长度为|x1-x2|，投影到y轴后的长度|y1-y2|；

3)比较长度，若|x1-x2|≥|y1-y2|，则l1＝2|x1-x2|；若|x1-x2|≤|y1-y2|则l1＝2|y1-y2|；

4)以左手手腕坐标(x1，y1)为中心坐标，建立边长为l1的正方形区域作为用来手势识别的区域范围。

进一步地，所述自下而上的轻量级openpose网络的特征提取主干网络用mobilenetv1来替换，然后经过一个初始阶段网络和两个精细化阶段网络来不断优化关键点热图和关键点聚类结果，提高网络人体关键点识别的精确度；每一个精细化阶段都以特征提取主干网络的输出和上一个阶段输出的关键点热图和关键点聚类结果作为输入，不断地迭代预测更好的结果。

与现有技术相比，本方案原理和优点如下：

1.获取视频的关键帧图片，估计出关键帧图片中地面指挥者的骨骼关键点的带有时序的二维坐标组(特征数据)，接着以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用ssd目标检测算法来识别左右手的手势；同步地，将获得的特征数据输入到训练好的svm动作分类器，得出动作识别结果。若识别出左右手的手势，则基于左右手的手势控制无人机；若识别不出左右手的手势，则基于得出的人体动作的识别结果控制无人机。该方法解决了既能近距离控制无人机，也能远距离控制无人机的一个难题。

2.人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而下的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测。自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体。

本方案通过自下而上的轻量级openpose网络来估计关键帧图片中地面指挥者的骨骼关键点的带有时序的二维坐标组(特征数据)，该网络的特征提取主干网络用mobilenetv1来替换，然后经过一个初始阶段网络和两个精细化阶段网络来不断优化关键点热图和关键点聚类结果，在保证人体关键点识别正确度的同时也能保证实时性。

3.左右手手势识别过程中，各截取一个特定的区域，在该两个特定的区域内采用ssd目标检测算法来识别左右手的手势，大大提高了手势识别的正确率。而且，该特定的区域通过手腕和手肘的坐标点来设定其大小，避免出现区域过大或过小的情况，在恰好适配的区域中识别手势，大大提高了手势识别的效率。

4.本方案不止局限于手势控制无人机，还能结合身体的动作来控制无人机，可扩展性很强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例中一种人体姿态估计与手势识别结合的无人机控制方法的流程框图；

图2为轻量级openpose网络的结构示意图；

图3为生成svm动作分类器的流程图；

图4为用于手势识别截取的区域范围及人体关键点的示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1所示，本实施例所述的一种人体姿态估计与手势识别结合的无人机控制方法，包括以下步骤：

s1：通过无人机拍摄地面指挥者指挥的即时视频；

s2：截取步骤s1拍摄到的视频的关键帧图像；

s3：对步骤s2截取到的图像中的地面指挥者使用充分训练好的自下而上的轻量级openpose网络进行估计，得出地面指挥者的13个骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；

其中，13个关键点分别对应图4中的13个实点，分别为：1头、2左肩、3右肩、4左手肘、5右手肘、6左手腕、7右手腕、8左臀、9右臀、10左膝盖、11右膝盖、12左脚腕、13右脚腕；

如图2所示，本步骤s3中，所述自下而上的轻量级openpose网络的特征提取主干网络用mobilenetv1来替换，然后经过一个初始阶段网络和两个精细化阶段网络来不断优化关键点热图和关键点聚类结果，提高网络人体关键点识别的精确度；每一个精细化阶段都以特征提取主干网络的输出和上一个阶段输出的关键点热图和关键点聚类结果作为输入，不断地迭代预测更好的结果。

s4：以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用ssd目标检测算法来识别左右手的手势；

上述中，如图4所示，其中通过以下过程设定以地面指挥者左手手腕关键点为中心的截取区域：

1)假设左手手腕坐标为(x1，y1)，左手手肘坐标为(x2，y2)；

2)将左手手腕及手肘的坐标投影到x轴和y轴上，得到投影到x轴后的长度为|x1-x2|，投影到y轴后的长度|y1-y2|；

3)比较长度，若|x1-x2|≥|y1-y2|，则l1＝2|x1-x2|；若|x1-x2|≤|y1-y2|则l1＝2|y1-y2|；

4)以左手手腕坐标(x1，y1)为中心坐标，建立边长为l1的正方形区域作为用来手势识别的区域范围s1。

设定以地面指挥者右手手腕关键点为中心的截取区域的原理与设定左手区域的原理一致。

另外，本步骤中，同步地，将步骤s3获得的特征数据输入到训练好的svm动作分类器，得出动作识别结果；

如图3所示，svm动作分类器通过以下步骤得出：

(1：自建关于地面指挥者指挥动作视频的训练数据集；

(2：对从训练数据集截取的关键帧图像使用已充分训练好的轻量级openpose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；

(3：将生成的特征数据使用svm分类器进行训练，生成svm动作分类器。

s5：若步骤s4识别出左右手的手势，则基于左右手的手势控制无人机；若步骤s4识别不出左右手的手势，则进入步骤s6；

s6：基于步骤s4得出的人体动作的识别结果控制无人机。

本实施例中，获取视频的关键帧图片，估计出关键帧图片中地面指挥者的骨骼关键点的带有时序的二维坐标组(特征数据)，接着以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用ssd目标检测算法来识别左右手的手势；同步地，将获得的特征数据输入到训练好的svm动作分类器，得出动作识别结果。若识别出左右手的手势，则基于左右手的手势控制无人机；若识别不出左右手的手势，则基于得出的人体动作的识别结果控制无人机。该方法解决了既能近距离控制无人机，也能远距离控制无人机的一个难题。

另外，通过自下而上的轻量级openpose网络来估计关键帧图片中地面指挥者的骨骼关键点的带有时序的二维坐标组(特征数据)，该网络的特征提取主干网络用mobilenetv1来替换，然后经过一个初始阶段网络和两个精细化阶段网络来不断优化关键点热图和关键点聚类结果，在保证人体关键点识别正确度的同时也能保证实时性。

还有的是，左右手手势识别过程中，各截取一个特定的区域，在该两个特定的区域内采用ssd目标检测算法来识别左右手的手势，大大提高了手势识别的正确率。而且，该特定的区域通过手腕和手肘的坐标点来设定其大小，避免出现区域过大或过小的情况，在恰好适配的区域中识别手势，大大提高了手势识别的效率。

最后，本实施例不止局限于手势控制无人机，还能结合身体的动作来控制无人机，可扩展性很强。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。