一种基于手势识别的无人机航迹指引方法与流程

本发明属于通信技术领域，更为具体地讲，涉及一种基于手势识别的无人机航迹指引方法。

背景技术：

目前，传统的无人机飞行器都是采用遥控器或地面站的方式来指引无人机飞行的。但是无论是操作无人机飞行器的遥控器还是地面站均需要相当熟练操作水平，否则极易造成无人机的损坏，甚至对操作者的人身安全产生一定的影响。然而培养一名有经验的飞手需要一定的周期以及不菲的代价。

无人机最早在20世纪20年代出现，最初在军事上作为训练时的靶机使用，随着科学技术的发展进步，无人机飞行器在社会生产生活中得到了广泛的应用，无人机飞行器的产品种类也越来越丰富。

但是，目前传统的无人机飞行器都是采用遥控器和地面站共同作用的方式来指引无人机飞行的。无人机飞行器的遥控器和地面站却均设置了较多的按钮和拨杆，且其结构功能复杂，在实际操作中经常需要多个按钮同时配合使用，才能满足所期望的飞行要求，这对操作者的操作水平有较高的要求。同时由于遥控器采用的是拨杆和按钮的设计，在飞行操作的过程中只能凭借人的肉眼观察调整飞行状态，使得飞行精度难以保证。

本发明针对上述问题，提出了采用手势识别技术的方法，通过手势信息指引无人机的操作，使得无人机飞行器在操作上更为便捷精确。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于手势识别的无人机航迹指引方法，通过在无人机地面站系统中添加手势指引，使无人机操作者能入门轻松、操作简单。

为实现上述发明目的，本发明为一种基于手势识别的无人机航迹指引方法，其特征在于，包括以下步骤：

(1)、图像采集

利用摄像头采集操作者的手势图像，并上传到无人机地面站系统；

(2)、图像预处理

无人机地面站系统先将手势图像转化为灰度图像，再将灰度图像转换为行向量，并将该行向量标记为q；

(3)、构建图像识别的动力学方程

按照协同理论，利用行向量q作为待识别模式构建图像识别的动力学方程：

$\stackrel{\·}{q}=\underset{k}{\Σ}{\mathrm{\λ}}_k{v}_k\left(v_k^{+}q\right)-B\underset{k=k^{\′}}{\Σ}{\left(v_{k^{\′}}^{+}q\right)}^2\left(v_k^{+}q\right)v_k-C\left(q^{+}q\right)q+F\left(t\right)$

其中，λ_k为注意参数，只有当它为正时，模式才能被识别；v_k为原型模式，且v_k满足零均值和归一化的条件；为v_k的正交伴随向量；F(t)为涨落力；q⁺表示为q的伴随向量；表示q关于时间的一阶倒数；k表示手势图像所属类别；B、C分别为常系数；

(4)、引入序参量ξ_k，将动力学过程转化成原型向量空间

序参量ξ_k表示行向量q在最小二乘意义下于v_k上的投影，即：

进而把动力学过程转化成原型向量空间：

${\mathrm{\ξ}}_k={\mathrm{\λ}}_k{\mathrm{\ξ}}_k-\underset{k^{\′}\≠k}{\Σ}{B}_{{\mathrm{kk}}^{\′}}{\mathrm{\ξ}}_{k^{\′}}^2{\mathrm{\ξ}}_k-C\left(\underset{k^{\′}}{\Σ}{\mathrm{\ξ}}_{k^{\′}}^2\right){\mathrm{\ξ}}_k$

(5)、利用协同神经网络模型来识别操作者的手势

将手势图像转换为灰度图像后作为训练样本，以训练样本中提取的序参量ξ_k作为协同神经网络的输入，根据先验知识确定训练样本中的操作手势，如果手掌展开且向上，则设置协同神经网络的输出为“000”；如果手掌展开且向下，则设置协同神经网络的输出为“001”；如果拇指指向上，则设置协同神经网络的输出为“010”；如果拇指指向下，则设置协同神经网络的输出为“011”；如果拇指指向左，则设置协同神经网络的输出为“100”；如果拇指指向右，则设置协同神经网络的输出为“101”；最后通过调整内部的权值和阈值，训练协同神经网络；

(6)、识别待监测手势图像中操作者手势

将待监测的手势图像经过上述步骤(1)到步骤(4)处理后提取出序参量ξ_k，再将序参量ξ_k输入到经过训练后的协同神经网络，根据协同神经网络的输出结果识别出操作者的手势；

(7)、根据操作者的手势发送对应的操作指令

如果协同神经网络的输出为“000”，则无人机地面站系统发送降落指令，控制无人机飞行器执行起操作；

如果协同神经网络的输出为“001”，则无人机地面站系统发送起飞指令，控制无人机飞行器执行降落操作；

如果协同神经网络的输出为“010”，则无人机地面站系统发送向上飞行指令，控制无人机飞行器执行向上飞行操作；

如果协同神经网络的输出为“011”，则无人机地面站系统发送向下飞行指令，控制无人机飞行器执行向下飞行操作；

如果协同神经网络的输出为“100”，则无人机地面站系统发送向左飞行指令，控制无人机飞行器执行向左飞行操作；

如果协同神经网络的输出为“101”，则无人机地面站系统发送向右飞行指令，控制无人机飞行器执行向右飞行操作。

本发明的发明目的是这样实现的：

本发明一种基于手势识别的无人机航迹指引方法，通过使用协同神经网络(Synergetic Neural Network，SNN)的方法构建神经网络，通过采集大量的无人机操作指引的手势图像作为样本，对神经网络进行训练，最终使得神经网络能够识别无人机地面站摄像头采集到的手势图像，并通过本发明所构建的系统对应出相应的操作指令，对无人机飞行器的飞行动作做出相对应的指示，实现无人机手势指引飞行。

同时，本发明一种基于手势识别的无人机航迹指引方法还具有以下有益效果：

(1)、通过使用协同神经网络(Synergetic Neural Network，SNN)的方法所构建神经网络，实现了协同模式理论在神经网络方面的应用突破，为神经网络训练提供了又一有力的方法。

(2)、通过采用手势指引无人机飞行器的方法，突破了传统的依靠遥控器和地面站实施无人机飞行器操作的方式，极大的提高了无人机飞行器操作的便利性，有效的降低了无人机飞行器的操作门槛，更加有利于无人机飞行器的发展推广。

(3)、通过采用手势指引无人机飞行器的方法，量化了不同操作手势对应飞行动作，使得无人机的飞行操作相比传统的拨杆式的操作方式在精度上有了较大的提高。

附图说明

图1是本发明基于手势识别的无人机航迹指引方法流程图；

图2是3层协同神经网络模型；

图3是无人机地面站系统的手势指引操作界面；

图4是操作手势图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于手势识别的无人机航迹指引方法流程图。

在本实施例中，如图1所示，本发明一种基于手势识别的无人机航迹指引方法，包括以下步骤：

S1、图像采集

利用摄像头采集操作者的手势图像，并上传到无人机地面站系统；在本实施例中，可以利用电脑上安装的摄像头，手持终端上自带摄像头等。

S2、图像预处理

由于摄像头所采集的图像为彩色图像无法是直接输入到后续神经网络中进行操作，因此，必须经过相应的预处理，才能为后续处理所使用；

彩色图片包含的信息量大，但大部分时候仅仅需要用到灰度图像里的信息，如纹理、对比度等；所以为了加快在图像方面的计算速度，在模式识别中常使用灰度图或者二值图像；在本实施例中，将彩色图先转换为灰度图，因为灰度图像依然表现出了整个图像的整体以及局部纹理特征、亮度、对比度等，但是大大的减少了计算量；

综上，无人机地面站系统先将手势图像转化为灰度图像，再将灰度图像转换为行向量，并将该行向量标记为q；

S3、识别操作者手势

S3.1、构建图像识别的动力学方程

按照协同理论，模式识别的过程可以理解为若干序参量竞争的过程，协同理论处理问题的核心思想就是把一个高维的非线性问题归结为同一组维数很低的非线性方程。

因此，按照协同理论，利用行向量q作为待识别模式构建图像识别的动力学方程：

$\stackrel{\·}{q}=\underset{k}{\Σ}{\mathrm{\λ}}_k{v}_k\left(v_k^{+}q\right)-B\underset{k=k^{\′}}{\Σ}{\left(v_{k^{\′}}^{+}q\right)}^2\left(v_k^{+}q\right)v_k-C\left(q^{+}q\right)q+F\left(t\right)$

其中，λ_k为注意参数，只有当它为正时，模式才能被识别；v_k为原型模式，且v_k满足零均值和归一化的条件；为v_k的正交伴随向量；F(t)为涨落力；q⁺表示为q的伴随向量；表示q关于时间的一阶倒数；k表示手势图像所属类别；B、C分别为常系数；k＝k'表示具体取某一类别的手势图像；

S3.2、引入序参量ξ_k，将动力学过程转化成原型向量空间

为了减少维数，协同理论引入序参量ξ_k，序参量ξ_k表示行向量q在最小二乘意义下于v_k上的投影；

其中待识别模式向量q可分解为原型向量v_k和剩余量ω；

即：

$q=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ξ}}_k{v}_k+\mathrm{\ω},v_k^{+}\mathrm{\ω}=0$

则得:

其中，M表示手势图像所属类别总数；

进而把动力学过程转化成原型向量空间，也就是转换为标准协同模式识别模型：

${\mathrm{\ξ}}_k={\mathrm{\λ}}_k{\mathrm{\ξ}}_k-\underset{k^{\′}\≠k}{\Σ}{B}_{{\mathrm{kk}}^{\′}}{\mathrm{\ξ}}_{k^{\′}}^2{\mathrm{\ξ}}_k-C\left(\underset{k^{\′}}{\Σ}{\mathrm{\ξ}}_{k^{\′}}^2\right){\mathrm{\ξ}}_k$

S3.3、利用协同神经网络模型来识别操作者的手势

将手势图像转换为灰度图像后作为训练样本，以训练样本中提取的序参量ξ_k作为协同神经网络的输入，根据先验知识确定训练样本中的操作手势，如果手掌展开且向上，则设置协同神经网络的输出为“000”；如果手掌展开且向下，则设置协同神经网络的输出为“001”；如果拇指指向上，则设置协同神经网络的输出为“010”；如果拇指指向下，则设置协同神经网络的输出为“011”；如果拇指指向左，则设置协同神经网络的输出为“100”；如果拇指指向右，则设置协同神经网络的输出为“101”；最后通过调整内部的权值和阈值，训练协同神经网络；

在本实施例中，利用序参量ξ_k可构造如图2所示的3层神经网络；

在输入层，输入层的单元i接收待识别模式向量初始值q(0)的第i个分量q_i(0)，在本发明中q(0)为第一步采集到的手势图片的灰度图片经过矩阵变换后得到的数字图片的行向量。

中间层表示各个序参量(ξ_k)神经元，序参量ξ_k是由每个输入值q_i(0)乘以相连接的并对全部角码i求和所得。网络运行时，具有活性的序参量ξ_k的各个神经元即可识别出角码k所确定的特定原型模式，网络按照动力学方程运行和演化，同时随时间的发展达到最终状态。最后，系统的最终状态将由具有最大初始序参量的非稳定模决定，利用该序参量即可得到q_j。

在输出层，输出层的模式可表达成q_j是输出单元j的活性，ξ_k是中间层的最终状态。当k＝k₀时，ξ_k＝1；其他情况下，ξ_k＝0。v_k,j是原型向量v_k的j个分量，另外，可通过用u_k,j替换向量的分量v_k,j来识别出用u_k,j描述的属于角码k的新模式。在本实施例中，即为识别出对应的操作者的手势。

S3.4、识别待监测手势图像中操作者手势

将待监测的手势图像经过上述步骤处理后提取出序参量ξ_k，再将序参量ξ_k输入到经过训练后的协同神经网络，根据协同神经网络的输出结果识别出操作者的手势；

在本实施例中，如图3所示，在无人机地面站系统的手势指引操作界面中，明确显示了采集的操作者手势信息1，识别后确认手势2，控制窗口3，无人机飞行状态显示4，以及无人机的飞行参数5。

S4、根据操作者的手势发送对应的操作指令

如果协同神经网络的输出为“000”，则此时对应的操作手势如图4(a)所示，且该操作手势对应为起飞指令；那么无人机地面站系统发送起飞指令，控制无人机飞行器执行起飞操作；

如果协同神经网络的输出为“001”，则此时对应的操作手势如图4(b)所示，且该操作手势对应为降落指令；那么无人机地面站系统发送起飞指令，控制无人机飞行器执行降落操作；

如果协同神经网络的输出为“010”，则此时对应的操作手势如图4(c)所示，且该操作手势对应为向上飞行指令；那么无人机地面站系统发送向上飞行指令，控制无人机飞行器执行向上飞行操作；

如果协同神经网络的输出为“011”，则此时对应的操作手势如图4(d)所示，且该操作手势对应为向下飞行指令；那么无人机地面站系统发送向下飞行指令，控制无人机飞行器执行向下飞行操作；

如果协同神经网络的输出为“100”，则此时对应的操作手势如图4(e)所示，且该操作手势对应为向左飞行指令；那么无人机地面站系统发送向左飞行指令，控制无人机飞行器执行向左飞行操作；

如果协同神经网络的输出为“101”，则此时对应的操作手势如图4(f)所示，且该操作手势对应为向右飞行指令；那么无人机地面站系统发送向右飞行指令，控制无人机飞行器执行向右飞行操作。

此外，还可以训练出多种操作手势，用于控制无人机飞行器执行拔升飞行高度h米、降低飞行高度h米、向左偏航θ°、向右偏航θ°等操作，其中，h和θ的值可以根据实际的飞行环境设定。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。