一种舰艇用智能语音交互指挥系统的制作方法

本发明涉及舰艇综合控制系统领域，尤其涉及一种舰艇用智能语音交互指挥系统。

背景技术

在舰艇上，传统的指挥命令的下达及与人员之间沟通交流通常通过车钟、电话或扬声器等传统设备进行，存在不便性：1)电话或扬声器信号无法与舰艇综合控制系统进行信息通信与集成；2)交互效率易于受到舱室嘈杂噪音的影响。智能语音交互作为一种自然、和谐、重要的人机交互手段，可以与传统输入输出设备连接通信，可以与舰艇综合控制系统连接通信。通过开发的专用舰艇智能语音交互指挥设备，舰艇指挥信息交换不再局限于单一方式，多样化、更符合人机工效的交互方式，能够承担舰艇语音交互指挥任务，是舰艇指挥操控未来的必然趋势。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中命令的下达与人员之间沟通交流不方便的缺陷，提供一种舰艇用智能语音交互指挥系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种舰艇用智能语音交互指挥系统，包括：近讲语音增强与骨传导一体化耳麦、智能语音识别装置、综合控制系统服务器以及多个操作员站；其中：

近讲语音增强与骨传导一体化耳麦，包括近讲语音增强麦克风和骨传导耳机，通过一体化设计为一个整体，佩戴在指挥人员的头上；通过近讲语音增强麦克风获取指挥人员的语音指令，并将语音指令发送给智能语音识别装置；骨传导耳机用于接收智能语音识别装置传递回来的声音信号，并通过骨传导的方式将声音信号传递给指挥人员；

智能语音识别装置用于对语音指令进行智能之别和文字转换，从语音指令中提取指令特征信息，进而识别语音指令中的要求、请求、命令或询问信息，将识别得到的信息发送给综合控制系统服务器；并接收综合控制系统服务器传递回来的信息，通过语音合成实现对指挥人员的语音播报和语音告警；

综合控制系统服器用于接收智能语音识别装置发送来的要求、请求、命令或询问信息，并将其转发给各个操作员站，操作员站进而对舰艇作出各种控制操作。

进一步地，本发明的智能语音识别装置包括上腔体和下腔体，上腔体和下腔体之间固定设置有语音板和电源板；上腔体上设置有耳麦接口、识别按键、音量加按键和音量减按键；语音板上设置有扬声器、存储器和控制单元；下腔体上设置有综合控制系统接口。

进一步地，本发明的智能语音识别装置进行语音识别的方法为：

采用基于深度神经网络和区分性训练的模型，构建深度神经网络多隐含层感知器，相邻两层节点间全连通构成网络，网络采用无监督学习的预训练方式来进行语音模型识别训练；融合区分性训练方法调整不同语音模型间分类面，提高模型辨识能力，实现从语音指令数据中获取特征信息，进而识别语音指令中的要求、请求、命令或询问信息。

进一步地，本发明的智能语音识别装置进行语音合成的方法为：

采用基于隐马尔科夫模型的参数化合成方法，其具有双重随机过程，分别由一条隐藏状态的马尔科夫链和描述每个状态对应观测值的随机过程组成，利用收集的训练样本进行自适应学习，合成话音的音色利用参数进行调整。

进一步地，本发明的近讲语音增强与骨传导一体化耳麦与智能语音识别装置之间的连接方式包括：通过音频线进行有线连接；通过蓝牙通信进行无线连接。

进一步地，本发明的近讲语音增强与骨传导一体化耳麦的麦克风采用两路语音输入，一路麦克风位于嘴边，为主麦克风；另一路麦克风位于距离嘴边20cm的位置，为从麦克风；智能语音识别装置进行语音增强的方法为：

语音指令先到达主麦克风，经一定延时后到达从麦克风，语音指令信号进入两路麦克风存在的音信号延时和强度差，智能语音识别装置通过检测两路语音信号差别判别出输入信号中的主要音频成分是语音或噪声，对语音为主的信号进行增强，而对噪声为主的信号进行衰减，实现近讲语音增强功能。

进一步地，本发明的智能语音识别装置安装在舰艇的控制台面上，通过usb数据线与舰艇综合控制系统服务器相连。

本发明产生的有益效果是：本发明的舰艇用智能语音交互指挥系统，通过语音识别实现指控命令输入，正确识别语音中的要求、请求、命令或询问；通过语音合成实现信息播报、语音告警，解决在强背景噪声环境下的话音通讯问题，解决了命令的下达与人员之间沟通交流不方便的问题，提高了指挥指令的下达速度，提高了指挥效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为舰艇用智能语音交互指挥设备组成及原理图；

图2为智能语音识别装置结构图；

图3为指挥语音命令文字识别传输界面。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，舰艇用智能语音交互指挥系统由智能语音识别装置、近讲语音增强麦克、骨传导耳机、与舰艇综合控制系统接口组成，通过特定接口连接形成一个整体智能语音交互指挥设备。实现功能：通过语音识别实现指控命令输入；正确识别语音中的要求、请求、命令或询问；通过语音合成实现信息播报、语音告警；解决在强背景噪声环境下的话音通讯问题；通过脸颊两侧的颞骨将声音信号传递至大脑；与舰艇综合控制系统接口。

基本工作原理：指挥人员语音指令通过近讲语音增强麦克输入到智能语音识别装置，在智能语音识别装置内部进行语音指令识别、合成、文字转换；转换后的语音指令、文字信号通过usb接口输入到舰艇综合控制系统，由综合控制系统向各操作员站进行信号分发传输。如图1所示。

(1)智能语音识别装置用于指挥人员语音指令的智能识别、文字转换、高清语音命令的输出。语音交互设备主要由电源板、语音板、及结构件，连接线及其他接插件组成。电源板是操控设备内部负责电源处理和转换的主要部分，转换后的电源供给语音板和抗噪声一体化耳麦；语音板是操控设备内部的核心部分，包含cpu、存储器及其它控制单元，实现语音识别、合成、与显控台通信等功能；结构件包含上下腔体、导电胶垫等，装有功能按键、指示灯、扬声器、航插。语音交互设备组成图如图2所示。

智能语音识别装置是基于深度神经网络和区分性训练的模型设计，能够有效地从数据中获取有用的特征信息，达到更好的识别效果。语音合成主要利用基于隐马尔科夫模型的参数化合成方法，合成话音的音色可以利用参数进行调整。

采用基于深度神经网络和区分性训练的模型，构建深度神经网络多隐含层感知器，相邻两层节点间全连通构成网络，网络采用无监督学习的预训练方式来进行语音模型识别训练；融合区分性训练方法调整不同语音模型间分类面，提高模型辨识能力。能够有效地从语音指令数据中获取特征信息，进而识别语音指令中的要求、请求、命令或询问信息。

采用基于隐马尔科夫模型的参数化合成方法，其具有双重随机过程，分别由一条隐藏状态的马尔科夫链和描述每个状态对应观测值的随机过程组成。能够利用收集的训练样本进行自适应学习，合成话音的音色利用参数进行调整。

(2)近讲语音增强麦克用于接收指挥人员的语音指令，具有近讲语音增强功能。采用两路语音输入，一路麦克风位于嘴边，为主麦克风，另一路麦克风里嘴距离约为20cm，为从麦克风。从嘴发出的语音先到达主麦克风，经一定延时后到达从麦克风，语音信号进入两路麦克风有音信号延时和强度差。智能语音识别装置通过检测两路语音信号输差别判别出输入信号中占主要成分的是语音还是噪声，对语音为主的信号进行增强，而对噪声为主的信号进行衰减，实现近讲语音增强功能。

(3)骨传导耳机用于指挥人员接收经过服务器分发传输过来的语音命令，通过脸颊两侧的颞骨将声音信号传递至大脑，保证指挥人员双耳不受影响，能够听到外界声响。

(4)与舰艇综合控制系统接口采用常用的usb接口进行语音命令信息的传输。

在本发明的另一个具体实施例中：

(1)将智能语音识别装置安装在舰艇指挥人员控制台台面上，安装方式为台面开孔，通过螺钉将智能语音识别装置固定在控制台台面。

(2)设备连接。用数据线将近讲语音增强麦克、骨传导耳机与智能语音识别装置连接；用usb数据线连接智能语音识别装置和舰艇综合控制系统服务器机柜。

(3)语音识别命令训练。选择指挥人员最常用的语音命令进行智能语音识别装置语音训练。例如典型动力指挥命令：前进预备、前进五、前进四、前进三、前进二、前进一、后退预备、后退二、后退一、停车。语音识别命令训练可以提高语音智能识别准确率、屏蔽地方口音对于语音识别的影响。

(4)智能语音交互指挥过程如下：

1)指挥人员佩戴好近讲语音增强麦克、骨传导耳机；

2)按下智能语音识别装置面板上的“识别”按钮，说出语音指令，此时面板上指示灯会亮；

3)语音指令说完，松开“识别”按钮。智能语音识别装置会自动对语音指令进行识别，整合和文字转换。

4)完成识别，整合和文字转换后，信息通过usb信号传输线输送到舰艇综合控制系统，并分配传输到操作员站。

5)操作员站显示器上会接收到语音转换后的文字命令，见图3所示。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。