一种基于语音识别的无人机蜂群调度系统及方法与流程

本发明属于无人机蜂群的远程控制领域，是涉及基于语音识别进行操控的无人机控制技术，具体涉及一种基于语音识别的无人机蜂群调度系统及方法。

背景技术：

无人机蜂群技术的实质就是无人机大规模编组飞行，地面信号站对无人机蜂群进行管理控制，将构建统一作战场景、编队控制与调整、根据需要在短时间内将编队协同传达至蜂群网络中，这是目前国内外无人机领域中一个重要的探索方向。据专家介绍，无人机蜂群技术在军事领域的应用价值巨大，一旦技术成熟，将深刻改变现有的战场规则。

在传统中，主要通过利用操作杆实现对无人机的飞行控制，以及一架无人机对应一个操作杆，且需要经过操作培训，存在着操作复杂以及培训时间久等问题，以及对装备的携带上存在着一定的不便。

技术实现要素：

本发明的目的是解决上述现有无人机蜂群协同技术的不足，提供一种基于语音识别的无人机蜂群调度系统及方法，增加了无人机蜂群协同的方便性和一致性。

本发明一种基于语音识别的无人机蜂群调度系统，包括如下模块：

语音信号采集放大模块，用于语音信号的采集和记录以及对语音信息进行预处理；

lcd显示模块，用于显示经过语音识别处理后的控制指令信息、对应的控制指令编码以及传输结果；

语音识别算法模块，用于对预处理后的语音信息进行特征提取，并进行匹配识别，所述语音识别算法模块包括相连的语音接收模块和语音特征提取匹配模块；

无线射频传输模块，用于发送向无人机蜂群发送根据识别后的语音信息得到的控制指令，并向语音识别算法模块传输动作结果；

外置存储模块，用于存储语音模板，该语音模板为经过训练得到的语音特征参数；

无人机蜂群主控调度模块，用于在接受到控制指令后实现无人机蜂群按照控制指令指引完成不同的动作和控制，并通过无线射频传输模块向语音识别算法模块反馈动作结果；

供电模块，用于提供电源；

所述语音信号采集放大模块、lcd显示模块、供电模块及外置存储模块均与语音识别算法模块相连，所述无人机蜂群主控调度模块通过无线射频传输模块与语音识别算法模块相连；

所述语音接收模块与所述语音信号采集放大模块相连，所述语音特征提取匹配模块与语音识别算法模块相连。

优选地，语音信号采集放大模块包括音频采样装置通过偏置电路连接有运算放大器，所述运算放大器与所述语音识别算法模块相连。

优选地，音频采样装置为at9912麦克风，所述运算放大器为运放mcp601。

优选地，lcd显示模块包括ili9320芯片和lcd显示器，所述lcd显示器通过ili9320芯片与语音识别算法模块相连。

优选地，语音识别算法模块为stm32f407处理器，stm32f407处理器的fsmc接口与ili9320芯片相连，stm32f407处理器的adc1接口与语音信号采集放大模块的运算放大器相连，stm32f407处理器的spi1接口与无线射频传输模块相连，stm32f407处理器内还设置有一内部存储器，所述内部存储器与所述外置存储模块相连。

优选地，无线射频传输模块为nrf24l01无线收发器。

优选地，外置存储模块为nandflash存储器。

优选地，供电模块为电源，所述电源通过相连的稳压器和稳压二极管与语音识别算法模块相连。

优选地，无人机蜂群主控调度模块为stm32f3控制器。

一种基于语音识别的无人机蜂群调度方法，利用一种基于语音识别的无人机蜂群调度系统实现，所述方法如下：

指挥员通过音频采样装置采集语音信息，经过运算放大器后，再将语音信息转化为数字信号，并输入至语音识别算法模块中，通过对语音信号进行预加重、分帧加窗和端点检测完语音信息预处理，并通过梅尔频率倒谱系数完成提取该指挥员语音特征的提取，将特征提取结果与外置储存模块中存储的语音模板进行匹配；当所提取的特征与外置储存模块中预储存的语音模板相匹配，则该匹配的语音模板为获得的指挥员语音指令，并在语音识别算法模块中对获得的指挥员语音指令进行对应编号，并将所得到的指令编号发送至无人机蜂群主控调度模块中，无人机蜂群主控调度模块接收到指令编号完成相应的动作；

语音信息的特征提取，在训练阶段将语音特征参数存储于外置存储模块，形成语音特征参数模板库；

当指挥者在输出指令信息时，语音信息经过预处理、特征提取后，将指令信息特征参数与模板库中语音特征参数实现匹配，实现对语音信息的识别；

预先根据制定的语音指令编号规则，在语音识别算法模块中利用代码将经过识别后的语音指令转换对应的指令编号；

整个过程中，lcd显示模块显示获取后的语音信息和指令、显示无人机反馈结果，以及显示指令是否发送接收成功；

其中，将特征提取结果与外置储存模块中预存储的语音模板进行匹配时，由于在匹配路径计算过程中存在许多无用数据，基于dtw的原理上，根据人语语速一定的特性，首先将搜索范围限定为最大斜率和最小斜率分别为2和0.5的菱形范围内，然后在此基础上松弛起点终点，具体为：固定起终点的范围，在对起点赋值，判断是否处于有效范围，如果处于有效范围，则根据欧式距离公式计算误差，选择最小误差，计算累计误差，结合dtw路径搜索算法获得误差最小的路径，即匹配成功。

本发明的有益效果主要体现在：

本发明通过远程控制的方式，将语音信息并转换为指令编码，实现对无人机的远程控制；在特征匹配算法中，采用了改进的动态时间归整，减少识别时间，提高了语音识别准确率，以及降低了因为停顿导致的搜索路径的延时。

本发明还具有如下有益效果：1.显示了语音指令信息和无人机蜂群反馈信息；2、单独的语音模板存储空间，mfcc特征向量可大量存储；3、stm32f407中内置的fpu，使得特征提取算法避免经历浮点定点化处理使其精度降低。

附图说明

图1是本发明语音识别流程图。

图2是本发明的系统流程图。

图3为语音信息采集放大电路。

图4为ili9320芯片与stm32f407处理器连接示意图。

图5为nrf24l01无线收发器连接示意图。

图6为供电模块电压转换电路示意图。

图7为stm32f407处理器内外部连接示意图。

图8为固定起终点搜索路径至松弛起终点搜索路径示意图。

具体实施方式

本发明一种基于语音识别的无人机蜂群调度系统，包括如下模块：

语音信号采集放大模块，用于语音信号的采集和记录以及对语音信息进行预处理；

lcd显示模块，用于显示经过语音识别处理后的控制指令信息、对应的控制指令编码以及传输结果；

语音识别算法模块，用于对预处理后的语音信息进行特征提取，并进行匹配识别，所述语音识别算法模块包括相连的语音接收模块和语音特征提取匹配模块；

无线射频传输模块，用于发送向无人机蜂群发送根据识别后的语音信息得到的控制指令，并向语音识别算法模块传输动作结果；

外置存储模块，用于存储语音模板，该语音模板为经过训练得到的语音特征参数；

无人机蜂群主控调度模块，用于在接受到控制指令后实现无人机蜂群按照控制指令指引完成不同的动作和控制，并通过无线射频传输模块向语音识别算法模块反馈动作结果；

供电模块，用于提供电源；

所述语音信号采集放大模块、lcd显示模块、供电模块及外置存储模块均与语音识别算法模块相连，所述无人机蜂群主控调度模块通过无线射频传输模块与语音识别算法模块相连；

所述语音接收模块与所述语音信号采集放大模块相连，所述语音特征提取匹配模块与语音识别算法模块相连。

语音信号采集放大模块包括音频采样装置通过偏置电路连接有运算放大器，所述运算放大器与所述语音识别算法模块相连。

音频采样装置为at9912麦克风，所述运算放大器为运放mcp601。使用时，对麦克风添加一个直流偏置电压电路，使得麦克风中的半导体器件mosfei工作，达到时而断开时而连通，输出电压通过运放mcp601，实现对电路电压的放大，将放大电压输入至stm32f407处理器的adc1实现模数转换。该过程放大背时约50被，由最初输出电压50mv，至2.5v。

lcd显示模块包括ili9320芯片和lcd显示器，所述lcd显示器通过ili9320芯片与语音识别算法模块相连，如图4所示。lcd显示器由3.2寸320*240分辨率的lcd组成，将语音识别结果通过ili9320芯片控制lcd画面输出。

语音识别算法模块为stm32f407处理器，stm32f407处理器的fsmc接口与ili9320芯片相连，stm32f407处理器的adc1接口与语音信号采集放大模块的运算放大器相连，stm32f407处理器的spi1接口与无线射频传输模块相连，stm32f407处理器内还设置有一内部存储器，所述内部存储器与所述外置存储模块相连。使用时，512kb的flash外接256mb的nandflash，内部flash中运行代码。

无线射频传输模块为nrf24l01无线收发器，发送端对发送队列txfifo中存放的数据以2mbps的速率发送出去，接收端在规定频段中搜索有效信号，将有效数据存放至接收队列rxfifo。

外置存储模块为nandflash存储器，用来存放mfcc特征参数组。

供电模块为电源，所述电源通过相连的稳压器和稳压二极管与语音识别算法模块相连。

无人机蜂群主控调度模块为stm32f3控制器。

一种基于语音识别的无人机蜂群调度方法，利用一种基于语音识别的无人机蜂群调度系统实现，所述方法如下：

指挥员通过音频采样装置采集语音信息，经过运算放大器后，再将语音信息转化为数字信号，具体通过stm32f407处理器的adc1实现，并输入至语音识别算法模块中，通过对语音信号进行预加重、分帧加窗和端点检测完语音信息预处理，并通过梅尔频率倒谱系数完成提取该指挥员语音特征的提取，将特征提取结果与外置储存模块中存储的语音模板进行匹配；当所提取的特征与外置储存模块中预储存的语音模板相匹配，则该匹配的语音模板为获得的指挥员语音指令，并在语音识别算法模块中对获得的指挥员语音指令进行对应编号，并将所得到的指令编号发送至无人机蜂群主控调度模块中，无人机蜂群主控调度模块接收到指令编号完成相应的动作；

语音信息的特征提取，在训练阶段将语音特征参数存储于外置存储模块，形成语音特征参数模板库；

当指挥者在输出指令信息时，语音信息经过预处理、特征提取后，将指令信息特征参数与模板库中语音特征参数实现匹配，实现对语音信息的识别；

预先根据制定的语音指令编号规则，在语音识别算法模块中利用代码将经过识别后的语音指令转换对应的指令编号；

整个过程中，lcd显示模块显示获取后的语音信息和指令、显示无人机反馈结果，以及显示指令是否发送接收成功；

其中，将特征提取结果与外置储存模块中预存储的语音模板进行匹配时，由于在匹配路径计算过程中存在许多无用数据，基于dtw的原理上，根据人语语速一定的特性，首先将搜索范围限定为最大斜率和最小斜率分别为2和0.5的菱形范围内，然后在此基础上松弛起点终点，具体为：固定起终点的范围，在对起点赋值，判断是否处于有效范围，如果处于有效范围，则根据欧式距离公式计算误差，选择最小误差，计算累计误差，结合dtw路径搜索算法获得误差最小的路径，即匹配成功。

供电模块据系统运行需要地面采用5v、3500ma锂电池，其中+3.3v用于对stm32f407、nrf24l01、lcd实现供电，如图6所示，利用稳压器lm1117-3.3以及在输入和输出端增加0.1入0.1uf+10uf电容滤波以保证系统稳定性；对于处理器中adc1供电，利用稳压二极管lm336将5v电压控制在2.5v。

实施例一

图1为一种基于语音识别的无人机蜂群调度系统中语音识别算法流程图。其中包括语音信号采集放大模块、语音识别算法模块，实现对指挥员语音信息的获取和识别。

指挥员所处环境可能存在一定的环境噪音，或者嘈杂声，对于无人机的指令控制存在干扰，因此通过语音信号采集放大模块事先采集指挥员声音信息，如音调、音色等；再通过语音识别算法模块进行语音的预处理消除信号的混叠、高次谐波失真、高频等对语音信号质量的影响以及保证后续语音处理得到的信号更均匀、平滑，为信号参数提取提供优质的参数，提高语音处理质量。

语音特征提取匹配模块根据提取得到后的有效的语音信号，进行梅尔频率倒谱系数提取该指挥员语音特征信息。梅尔频率倒谱系数提取过程主要经过预加重，分帧，加窗函数，fft运算，mel频率滤波器组滤波，取对数能量，离散余弦转换dct求倒谱。在特征匹配中采用了基于动态时间归整dtw，对搜索路径采用松弛起终点法的改进算法，减少了开始语音输入时算法对一些噪音的处理,所以降低了识别时间。

通过上述过程，完成了对操作语音信息的特征提取，并存放至外置储存模块中，方便本发明使用时根据特征参数完成语音识别。

图2是一种基于语音识别的无人机蜂群调度系统流程图。其中包括语音信号采集放大模块、lcd显示模块、无线射频传输模块、供电模块、语音识别算法模块、外置存储模块、无人机蜂群主控调度模块。

指挥员通过麦克风采集语音信息，在语音识别算法模块中对指挥员的语音信息进行语音识别，将得出的语音指令转化成对应的编号，再将指令编号保存至无线射频传输模块中发送队列txfifo，存放完毕后再发送至无人机上的无人机蜂群主控调度模块；无人机中无线射频传输模块将搜索接收到的指令信息存储至接收队列rxfifo。领头无人机将获取的指令经过无人机蜂群主控调度模块stm32f3做出处理，控制无人机蜂群完成相关动作，同时无人机蜂群主控调度模块stm32f3通过无线射频传输模块将信息结果反馈至语音识别算法模块并通过lcd显示模块显示，其中无人机蜂群主控调度模块stm32f3中预先写入每种指令对应无人机蜂群的动作。整个过程中，lcd显示模块显示获取后的语音信息和指令、显示无人机反馈结果，以及显示指令是否发送接收成功；供电模块主要采用5v、3500ma锂电池。

所述语音指令有静态和动态相结合的形式和固定指令形式，静态为飞机固定动作，主要动作参数：上升、下降、左急转弯盘旋、右急转弯盘旋、s型转弯、眼镜蛇机动、筋斗机动、返航、共计等100种指令，动态为飞机编号，如：001号、002号等，固定指令为预先写好的包含各个飞机动作的作战模式，如作战模式1等。

在指挥调度中采用静态与动态结合以及固定指令规则，动静结合指挥口令格式为：无人机编号+动作指令，如：001号上升；固定指令口令格式为：作战模式+编号，如作战模式1等。通过拆分识别指令，将指令词汇大大的降低，也降低了计算机检索量，同时也可以根据训练内容的不同，加载删除不同的指令。

综上所述，本发明的一种基于语音识别的无人机蜂群调度方法通过语音信息实现了对无人机蜂群的直接控制，解决了传统中操作复杂的特点，同时根据对算法的改进和调度控制的规则的改进，降低了识别的时间和提高了精度。