一种手势及语音控制四旋翼飞行器方法与流程

本发明涉及一种通过手势及语音控制四旋翼飞行器的方法，属于四旋翼飞行器的控制领域。

背景技术：

四旋翼飞行器由于可以垂直起降，自由悬停，广泛应用于航拍，巡查，监测等多个方面。根据控制方式，四旋翼飞行器可分为自主式，半自主式，遥控式。其中，对于遥控式飞行器，操作者通常采用双摇杆来控制四旋翼飞行器的起飞，前后左右运动以及降落等，双摇杆上下左右进行推动，实现对四旋翼飞行器运动的控制。

然而，这种控制方式往往需要双手进行操作，遥控模式固定单一，操作者往往需要一定的练习后才能够稳定控制四旋翼飞行器。

技术实现要素：

为进一步提升四旋翼飞行器的操作体验，减少操作者的遥控难度，本发明提出了一种手势及语音控制四旋翼的方法，可实现单手进行操作，使四旋翼的遥控更加灵活、简易与便捷。

本发明提出的方法不同于传统的双手摇杆控制，而是将控制端佩戴于手部，控制端利用惯性单元检测出手部的惯性数据，即三轴加速度，三轴角速度，三轴磁强计求解得到俯仰角、横滚角以及偏航角。控制端通过语音识别单元检测语音指令，得到的语音指令和手部惯性数据融合后传递给四旋翼飞行器，参考图4。

一种手势及语音控制四旋翼飞行器方法，具体控制步骤如下：

步骤1：手部初始姿态确定。利用三轴加速度数据，对重力加速度进行反正弦运算求解得到手部初始俯仰角横滚角从而得到姿态阵和姿态四元数q(t0)，具体求解公式如下：

其中，ax为x轴方向加速度，ay为y方向加速度，g为重力加速度。

设q(tk)＝[q0q1q2q3]^t，q(t0)可以由下面公式确定：

其中tij代表中第i行第j列的元素。

步骤2：语音指令设定。采用关键词列表识别技术(asr)，参考图2。将需要识别的关键词转化为拼音字符。将转化之后的拼音字符写入非特定语音识别芯片。对不同的拼音字符定义不同的识别输出特性:

其中th为四旋翼油门值，△h为手部高度变化量，θ，γ，ψ为手部姿态欧拉角。

步骤3：陀螺仪采样。对三轴角速度按照周期t进行采集，得到角速度信号

步骤4：陀螺仪姿态更新。利用四元数的初始值q(t0)和陀螺输出角速度信号，采用等效旋转矢量三子样优化算法，递推解算姿态四元数q(tk)和三个姿态角实时值ψk、θk、γk；

设时间间隔[tk-1,tk]内，δθi(i＝1,2,3)为姿态更新周期h的三等分时间间隔内陀螺的角增量输出则优化三子样旋转矢量算法公式如下：

由q(tk)依次求出和姿态角ψk、θk、γk：

步骤5：加速度计采样。对三轴加速度按照周期t采集，通过公式(10)(11)，得到θ’，γ’。

θ’＝arcsin(ax/g)(11)

γ’＝arcsin(ay/g)(12)

其中，ax为x轴方向加速度，ay为y方向加速度，g为重力加速度。

步骤6：磁强计采样。对三轴磁强计按照周期采样，得到实时值计算得到ψk；

设当前的磁偏角为αk，根据ψ’＝ψk+αk得到偏航角的实时值ψ’；

步骤7：计算误差。计算陀螺仪与加速度计输出的三个欧拉角的误差△θ，△γ，△ψ：

步骤8：互补融合。通过pi控制器，利用式(15)，得到最终θ，γ，ψ：即操作者手部三个欧拉角：俯仰角(pitch)、横滚角(roll)、偏航角(yaw)。如图1。

其中t为采集周期，kp为比例器系数，ki为积分器系数。

步骤9：通过咪头收集语音流，与步骤2所设定的语音关键词列表进行匹配，若匹配成功，则根据式(5)进行匹配赋值，并直接执行步骤11，若匹配失败，则执行步骤10。

步骤10：手部姿态数据赋值。当四旋翼飞行器平稳飞行时候，其期望俯仰角和横滚角为0，当四旋翼飞行器前后飞行时，其期望俯仰角不为0，设为θtar，手部俯仰角即为前面得到的θ，得到传递关系：

根据(16)式的传递关系，将手部姿态的俯仰角赋值为四旋翼飞行器的期望俯仰角，实现四旋翼飞行器的前后运动。

当四旋翼飞行器左右飞行时，其期望横滚角不为0，设为γtar，手部俯仰角即为前面得到的γ，得到传递关系：

根据(17)式的传递关系，将手部姿态的横滚角赋值为四旋翼飞行器的期望横滚角，实现四旋翼飞行器的左右运动。

四旋翼期望偏航角ψtar与手部姿态偏航角ψ直接对应，即：

ψtar＝ψ(18)

控制端同时采集手部高度信息，设手部高度的变化量为△h，四旋翼飞行器高度变化量为△h,则满足：

△h＝△h*10(19)

根据式19,通过手部的高度变化，实现四旋翼飞行器竖直方向上的运动。

步骤11：控制指令发送。通过无线的方式，将得到的期望欧拉角θtar,γtar,ψtar，以及手部高度变化量△h传递给四旋翼飞行器。

本发明所提出的控制方法，通过手部姿态以及语音信息，可实现四旋翼飞行器全过程的控制。

本发明的硬件结构是：控制端硬件由三部分组成，参考图3，采用加速度计1，微型陀螺仪2，磁力计3，以及气压计4构成十轴姿态检测单元；采用微处理器5和无线射频芯片6构成数据处理与传输单元；采用语音识别芯片7和咪头8构成语音检测单元。

本发明的软件结构为：首先进行外设初始化，接下来进行传感器数据的采集，对采集的数据进行姿态解算，求解得到手部姿态数据，将其转化为控制量，通过控制信号发送传输给四旋翼飞行器，语音则采用中断触发的方式，将其转化为控制量，进行发送。具体算法流程可参考图4。

本发明有益效果是通过佩戴于手部的控制端，实现操作者单手手势对四旋翼飞行器运动方向的控制，语音指令对四旋翼飞行器工作状态的控制，灵活的四旋翼控制方法为操作者带来全新的操作体验。

下面结合附图和实例对本发明做进一步说明。

附图说明

图1为控制端佩戴说明

图2为语音识别技术原理框图。

图3为控制端的系统构成图。

图4为控制方法框图。

图5为典型实例应用的系统构成图。

图3中，1，2，3，4构成十轴姿态检测单元；5，6构成数据处理与传输单元；7，8构成语音检测单元。

具体实施方式

本发明控制端硬件电路由三个部分组成，参考图5，其中姿态检测单元选用mpu6050三轴加速度与角速度传感器，hmc5883磁力计，ms5611气压计；数据处理和传输单元选用stm32f103rct6单片机，无线射频芯片选用nrf24l01；语音识别单元采用咪头进行语音采集，ld3320芯片进行语音处理。控制端采用锂电池作为能量来源，通过ldo稳压至3.3v供给设备工作。

具体控制步骤如下：

步骤1：手部初始姿态确定。利用三轴加速度数据，对重力加速度进行反正弦运算求解得到手部初始俯仰角横滚角从而得到姿态阵和姿态四元数q(t0)，具体求解公式如下：

其中，ax为x轴方向加速度，ay为y方向加速度，g为重力加速度。

设q(tk)＝[q0q1q2q3]^t，q(t0)可以由下面公式确定：

其中tij代表中第i行第j列的元素。

步骤2：语音指令设定。采用关键词列表识别技术(asr)，参考图2。将需要识别的关键词“起飞”，“悬停”，“降落”，“关闭”转化为拼音字符，即：“qifei”，“xuanting”，“jiangluo”，“guanbi”。将转化之后的拼音字符写入非特定语音识别芯片。对不同的拼音字符定义不同的识别输出特性:

其中th为四旋翼油门值，△h为手部高度变化量，θ，γ，ψ为手部姿态欧拉角。

步骤3：陀螺仪采样。对三轴角速度按照周期t＝10ms进行采集，得到角速度信号

步骤4：陀螺仪姿态更新。利用四元数的初始值q(t0)和陀螺输出角速度信号，采用等效旋转矢量三子样优化算法，递推解算姿态四元数q(tk)和三个姿态角实时值ψk、θk、γk；

设时间间隔[tk-1,tk]内，δθi(i＝1,2,3)为姿态更新周期h的三等分时间间隔内陀螺的角增量输出则优化三子样旋转矢量算法公式如下：

由q(tk)依次求出和姿态角ψk、θk、γk：

步骤5：加速度计采样。对三轴加速度按照周期t＝10ms采集，通过公式(10)(11)，得到θ’，γ’。

θ’＝arcsin(ax/g)(30)

γ’＝arcsin(ay/g)(31)

其中，ax为x轴方向加速度，ay为y方向加速度，g为重力加速度。

步骤6：磁强计采样。对三轴磁强计按照周期t＝10ms采样,得到实时值计算得到ψk；

设当前的磁偏角为αk，根据ψ’＝ψk+αk得到偏航角的实时值ψ’；

步骤7：计算误差。计算陀螺仪与加速度计输出的三个欧拉角的误差△θ，△γ，△ψ：

步骤8：互补融合。通过pi控制器，利用式(34)，得到最终θ，γ，ψ：即操作者手部三个欧拉角：俯仰角(pitch)、横滚角(roll)、偏航角(yaw)。如图1。

其中t＝10ms，kp＝1.0，ki＝0.02。

步骤9：通过咪头收集语音流，与步骤2所设定的语音关键词列表进行匹配，若匹配成功，则根据式(24)进行匹配赋值，并直接执行步骤11，若匹配失败，则执行步骤10。

步骤10：当四旋翼飞行器平稳飞行时候，其期望俯仰角和横滚角为0，当四旋翼飞行器前后飞行时，其期望俯仰角不为0，设为θtar，手部俯仰角即为前面得到的θ，得到传递关系：

根据(16)式的传递关系，将手部姿态的俯仰角赋值为四旋翼飞行器的期望俯仰角，实现四旋翼飞行器的前后运动。

当四旋翼飞行器左右飞行时，其期望横滚角不为0，设为γtar，手部俯仰角即为前面得到的γ，得到传递关系：

根据(36)式的传递关系，将手部姿态的横滚角赋值为四旋翼飞行器的期望横滚角，实现四旋翼飞行器的左右运动。

四旋翼期望偏航角ψtar与手部姿态偏航角ψ直接对应，即：

ψtar＝ψ(37)

控制端同时采集手部高度信息，设手部高度的变化量为△h，四旋翼飞行器高度变化量为△h,则满足：

△h＝△h*10(38)

根据式38,通过手部的高度变化，实现四旋翼飞行器竖直方向上的运动。

步骤11：控制指令发送。通过无线的方式，将得到的期望欧拉角θtar,γtar,ψtar，以及手部高度变化量△h传递给四旋翼飞行器。

综上所述，本发明提出了一种新型四旋翼飞行器的控制方式，可以通过手势姿态与高度信息以及语音命令实现对四旋翼飞行器的控制，为操作者带来新的四旋翼飞行遥控方式，减少操控难度。