本发明涉及空管自动化系统技术领域,具体涉及塔台管制模拟训练系统、语音管制指令识别及报读方法。
背景技术:
塔台管制模拟训练系统作为一种专门提供给塔台飞行管制员训练使用的仿真模拟训练系统,采用计算机模拟仿真技术实时逼真模拟塔台管制指挥的工作场景,拥有定制训练计划、保存训练结果、进行训练考核评估等功能,可用于塔台管制教学实践、管制员岗前培训、在职技能强化培训、管制技能考核等场景。
原有的塔台管制模拟训练系统主要由管制员席、机长席、教员席三部分组成,训练过程中由教员在机长席担任飞行员角色,管制员在管制席发出的管制指令必须通过教员在机长席借助键盘手动输入管制指令以控制飞机的动作,再进行人工机长应答才能完成训练。随着训练人数和训练次数的增多,教员的工作量增大,不仅要与管制员进行必要的航空管制对话,还要听从管制员的调度,做好虚拟飞行目标的操作,当训练流量较大时,教员操作起来更是繁琐不堪,人工操作的缺陷逐渐凸显出来。
随着塔台指挥模式的改革,塔台管制教学要求更加逼真的训练环境,更高的训练质量。因此,在系统中结合语音识别和语音合成技术建立智能虚拟机长,由智能虚拟机长代替教员在机长席自动响应管制指令并作出应答,可以减轻教员的训练负担,减少训练成本,增强训练环境的真实性,提高训练效率。
技术实现要素:
有鉴于此,本发明提供了塔台管制模拟训练系统、语音管制指令识别及报读方法,该系统具备智能虚拟机长功能,通过话音识别和语音合成技术,自动响应飞行管制员语音管制指令,进行目标状态模拟,并自动将模拟飞行员的报告内容进行音频合成,实时报读给飞行管制员。采用本系统在进行塔台管制员训练时,无需教员担任飞行员角色,大大简化的塔台教员的教学工作,训练更加真实和高效。
为达到上述目的,本发明提供了塔台管制模拟训练系统,其特征在于,包括至少一个训练单元、教员席位组、交换机以及云仿真平台;其中训练单元、教员席位组和云仿真平台之间通过交换机进行数据交换。
云仿真平台包括模拟仿真服务器、语音服务器、综合应用服务器和数据存储服务器。
模拟仿真服务器,部署供塔台管制训练的模拟仿真服务。
语音通讯服务器,部署语音识别服务以及语音合成服务。
综合应用服务器部署想定制作服务、时钟同步服务。
数据存储服务器部署数据库服务,用于存储塔台管制训练中产生的数据。
训练单元包括模拟机长席、塔台飞行管制员席以及设置于塔台飞行管制员席的塔台三维视景系统。
模拟机长席,用于模拟塔台管制训练中的机长操作,包括加载教员席发来的训练想定;发送控制指令和特情指令至塔台飞行管制员席对训练过程进行控制和干预,控制指令用于触发塔台管制训练控制,包括触发训练开始、训练结束、训练冻结、训练继续和更改训练速度;特情指令用于触发特情场景,特情是模拟飞行中的特殊情况,系统模拟特情场景,特情包括飞行特情、气象特情、跑道特情以及设备特情;通过内话终端接收塔台管制员席发来的管制命令,用于模拟机长进行飞行指挥操作,完成对飞机的控制,模拟仿真服务器中提供的模拟仿真服务依据控制指令和训练想定生成相应的仿真信息,即飞行航迹,将仿真信息在训练单元中进行发布;模拟机长席根据飞机当前所处的飞行状态生成文字形式的飞行员请求和飞行员报告,通过语音通讯服务器中的语音合成服务合成语音形式的飞行员请求和飞行员报告,并报读给塔台飞行管制员席。
塔台飞行管制员席,用于模拟塔台飞行管制员的真实管制环境,包括:加载教员席发来的训练想定,用于初始化当前训练环境;接收模拟机长席发来的控制指令和特情指令,接收到控制指令和特情指令后,塔台飞行管制员通过设置于塔台飞行管制员席的塔台三维视景系统获取机场周边空中交通状况以及塔台管制区内空中和地面交通状况;塔台飞行管制员席通过语音通讯服务器接收模拟机长席发来的飞行员请求和飞行员报告,塔台飞行管制员根据飞行员请求和飞行员报告进行管制调配,通过麦克风下达语音管制指令;塔台飞行管制员下达语音管制指令,语音管制指令经语音通讯服务器的语音识别服务解析成文字管制指令,并发送至模拟机长席。
设置于塔台飞行管制员席的塔台三维视景系统,用于提供塔台的三维视景,再现机场周边空中交通状况以及塔台管制区内空中和地面交通状况。
教员席位组包括教员席、监控席和设置于监控席的塔台三维视景系统。
教员席,用于教员通过综合应用服务器中的想定制作服务制作塔台管制训练的训练想定,并将训练想定发布至塔台管制员席和模拟机长席。
监控席,用于通过设置于监控席的塔台三维视景系统监控塔台管制训练过程、通过内话终端监听教员席与塔台飞行管制员席之间的语音通讯信息;通过综合应用服务器中部署的时钟同步服务为全部训练单元提供统一的时钟同步。
设置于监控席的塔台三维视景系统,用于提供塔台的三维视景,再现机场周边空中交通状况以及塔台管制区内空中和地面交通状况。
本发明还提供了塔台管制模拟训练系统的语音管制指令识别方法,采用上述塔台管制模拟训练系统模拟塔台管制训练,语音管制指令经语音通讯服务器的语音识别服务解析成文字管制指令具体包括如下步骤:
步骤一,塔台飞行管制员席将语音管制指令转化成pcm音频流,语音管制指令以pcm视频流的形式传输至语音通讯服务器。
步骤二,语音通讯服务器接收到语音管制指令后,通过语音识别服务解析成文字管制指令,具体包括步骤201~步骤204的操作。
步骤201、对语音管制指令进行端点检测,提取出所需识别的关键词的起始点,并将语音信号从背景噪声和静音中分割出来,得到适合进行语音识别的语音信号。
步骤202、对语音信号进行语音特征提取,从而去除冗余信息,从语音信号的波形中提取出按时间顺序变化的语音特征序列,形成特征矢量序列。
步骤203、构建基于连续隐马尔科夫模型chmm的声学模型γ:
γ=(π,a,b),其中,π为初始时刻概率分布,a为状态转移概率矩阵,b为观测过程概率密度向量。
建立关于塔台管制训练中语音管制指令的语音训练样本集:
o=(o1,o2...,ot),其中o1~ot分别为第1~t个语音训练样本。
采用o1~ot对声学模型γ进行训练,调整模型参数,当出现的概率p(o|γ)最大时对应的声学模型γ即为鲁棒性最佳声学模型。
采用鲁棒性最佳声学模型对步骤202中得到的特征矢量序列进行语音识别获得语音识别后的字符串。
步骤204、根据已有的塔台管制训练中的空管指令句型和空管通话语法词汇库构建语言模型。
利用语言模型对步骤203得到的语音识别后的字符串进行语义分析,生成文字管制指令。
进一步地,步骤202中,在进行语音特征提取时,选取mel频率倒谱系数即mfcc参数c(n)为特征参数;
其中,s(m)为mel频谱进行对数能量处理后得到的对数频谱;l为mfcc系数阶数;m为在语音特征提取过程中所使用的三角滤波器个数;n为傅里叶变换的点数;0<=m<m。
进一步地,步骤203中,构建的基于连续隐马尔科夫模型chmm的声学模型γ包括三种:
第一种为塔台指令声学模型,采用的语音训练样本为航空器在塔台管制区域中和管制人员的通信用语;
第二种为数字声学模型,采用的语音训练样本为航班号、高度、速度、航向以及时间中的数字部分;
第三种为字母声学模型,采用的语音训练样本为航线代号、飞行代号、标准离场航线名称、导航台名称以及跑道号中的由多位字母组成的名称。
进一步地,步骤204中,塔台管制指令句型的语法格式为:航班号+指令动作;空管通话语法词汇库包括航班号词汇库以及指令动作词汇库。
本发明还提供了塔台管制模拟训练系统的报读方法,采用上述塔台管制模拟训练系统模拟塔台管制训练,模拟机长席中,根据飞机当前所处的飞行状态生成文字形式的飞行员请求和飞行员报告,通过语音通讯服务器中的语音合成服务合成语音形式的飞行员请求和飞行员报告,并将语音形式的飞行员请求和飞行员报告报读给塔台飞行管制员席,具体包括如下步骤:
s1,模拟机长席根据当前所处的飞行状态生成文字形式的飞行员请求和飞行员报告,发送给语音服务器。
s2,语音通讯服务器的语音合成服务将文字形式的飞行员请求和飞行员报告进行文本解析获得空管用语序列。
文本解析包括词汇、语法和语义分析,确定句子底层结构和每个字的音素的组成,获得文字形式的飞行员请求和飞行员报告中所包含的空管用语,组成空管用语序列。
s3,语音合成服务将空管用语序列中的所有空管用语转换为语音并进行顺序拼接形成pcm音频流,即语音形式的飞行员请求和飞行员报告,并通过语音通讯服务器中的语音合成服务将语音形式的飞行员请求和飞行员报告报读给塔台飞行管制员席。
有益效果:
(1)本发明所提供的塔台管制模拟训练系统是用于培训塔台管制员的一种更为智能化、自动化的训练平台,在系统中结合语音识别和语音合成技术建立智能虚拟机长,即模拟机长,由智能虚拟机长代替教员在机长席自动响应管制指令并作出应答,大大减轻了教员的训练负担,减少训练成本,增强训练环境的真实性,提高训练效率。
(2)本发明针对上述塔台管制模拟训练系统提供一种语音管制指令的识别方法,智能语音识别的过程包括了语音预处理、端点检测、语音特征提取、声学模型训练、语言模型训练以及语音模式匹配等步骤。针对输入的管制指令语音信号,提取其mel频率倒谱系数作为语音特征后,根据已经训练好的chmm声学模型,将语音识别出来的字符串通过构建的语言模型进行语义分析,生成结构化的文字指令。系统实验数据分析表明,针对语音管制指令识别速度快,且识别率可高达95%左右,考虑到管制人员的控制会更加熟练,因此本系统的语言识别方法能完全满足实际训练的要求。
(3)本发明针对上述塔台管制模拟训练系统提供一种塔台管制模拟训练中的自动报读方法,自动报读的过程为模拟机长根据目标当前状态或者管制员指令,实时将所需向管制员报告的内容,首先以文字方式呈现至目标状态显示,然后对文字进行语义分析处理,形成标准pcm话音流,并通过话音服务器将pcm音频实时报读给飞行管制员。系统实验表明,系统合成语音效果自然流畅,应答响应时间及语音合成的效果可以满足塔台模拟训练的需求。自动报读避免了模拟机长在高负荷工作状态下人工向管制员报告,有效的减轻了模拟机长的工作强度,并且结合智能语音识别技术可完全省去模拟飞行员角色。
附图说明
图1为本发明所提供的塔台管制模拟训练系统组成示意图;
图2为桌面型塔台三维视景平台俯视图;
图3为桌面型塔台三维视景平台侧视图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
实施例1
本发明提供了塔台管制模拟训练系统,其组成如图1所示,包括至少一个训练单元、教员席位组、交换机以及云仿真平台;其中训练单元教员席位组和云仿真平台之间通过交换机进行数据交换。
云仿真平台包括模拟仿真服务器、语音服务器、综合应用服务器和数据存储服务器。
模拟仿真服务器,部署供塔台管制训练的模拟仿真服务。
语音通讯服务器,部署语音识别服务、语音合成服务。
综合应用服务器部署想定制作服务、时钟同步服务。还可以包括技术监控服务、记录重演服务。
数据存储服务器部署数据库服务,用于获取塔台管制训练中产生的数据并进行存储。
训练单元包括模拟机长席、塔台飞行管制员席以及设置于塔台飞行管制员席的塔台三维视景系统。
模拟机长席,用于模拟塔台管制训练中的机长操作,包括如下操作:
①加载教员席发来的训练想定;
②基于管制员席发来的文字管制指令,通过界面操作对航空器进行控制,模拟飞行员的操作;
③发送控制指令和特情指令至塔台飞行管制员席对训练过程进行控制和干预,其中控制指令和特情指令是人为设置的操作指令,控制指令用于触发塔台管制训练控制,包括触发训练开始、训练结束、训练冻结、训练继续和更改训练速度;特情指令用于触发特情控制,特情是模拟塔台飞行中的特殊情况,系统模拟特情场景,特情包括飞行特情、气象特情、跑道特情以及设备特情。
④通过内话终端接收塔台管制员席发来的管制命令,用于模拟机长进行飞行指挥操作,完成对飞机的控制,即模拟飞行员的操控。例如,管制员下达管制指令为“119上升高度到8千米”,模拟机长接到指令后,在系统界面上操作,当飞机上升到8千米后,生成飞行语音报告:“119到达高度8千米”。
⑤模拟仿真服务器中的模拟仿真服务依据训练操作指令和训练想定生成仿真信息,即飞行航迹,并将仿真信息发送给训练单元;模拟机长席根据飞机当前所处的飞行状态,比如“119上升高度到8千米”当飞机上升到8千米时,飞行员自动报告“119到达高度8千米”,生成文字形式的飞行员请求和飞行员报告,通过语音通讯服务器中的语音合成服务合成语音形式的飞行员请求和飞行员报告,并报读给塔台飞行管制员席。
图2和图3分别示出了本发明所提供的塔台管制模拟训练系统中塔台三维视景系统的俯视图和侧视图;如图所示系统中塔台三维视景系统,经过合理的布局设计,采用定制的三屏显示支架使三块曲面屏之间紧密贴合,屏幕接缝处过渡平滑整体感强,视景屏幕中心位置与使用者坐姿视线基本平齐,有较好的临场沉浸感。桌面型的塔台三维视景平台部署占用空间小,极大满足了用户高密度部署训练系统的需要。
具体地,本发明实施例中可以选用3台r=1900mm的34英寸窄边曲面显示屏产品作为视景大屏幕,采用定制的三屏显示支架使三块曲面屏之间紧密贴合,屏幕接缝处过渡平滑整体感强,由中间屏幕沿自身曲面半径延伸至左右两侧,构成一个弦长约为2300mm的半弧。通过合理的布局设计,视景屏幕中心位置与使用者坐姿视线基本平齐,有较好的临场沉浸感。塔台视景系统俯视、侧视简图如下图2、图3所示,水平物理视角120°,垂直视角32°。视景渲染画面水平视角48°、垂直视角30°,并可根据需要进行微调。
本发明能够逼真再现塔台飞行管制员的工作环境,直观地模拟航空器在机场活动区的推出、进跑道、滑行、起飞、着陆、起落航线飞行训练、进场与降落过程,培养管制员熟悉基本工作流程、建立空间方位感、了解塔台管制工作环境和业务流程。
塔台飞行管制员席,用于模拟塔台飞行管制员的真实管制环境,包括如下操作:
⑴加载教员席发来的训练想定,用于初始化当前训练环境;
⑵接收模拟机长席发来的控制指令和特情指令,接收到控制指令和特情指令后,塔台飞行管制员通过设置于塔台飞行管制员席的塔台三维视景系统获取机场周边空中交通状况以及塔台管制区内空中和地面交通状况;塔台飞行管制员席接收到模拟机长席发来的特情指令后,系统模拟特情场景,通过机长席设置特情,训练管制员特情处置的能力。
⑶塔台飞行管制员席通过语音通讯服务器接收模拟机长席发来的飞行员请求和飞行员报告,塔台飞行管制员根据飞行员请求和飞行员报告进行管制调配,通过麦克风下达语音管制指令;塔台飞行管制员下达语音管制指令,本发明实施例中管制员人工下达管制指令语音,即管制员对着麦克风说管制指令。语音管制指令经语音通讯服务器的语音识别服务解析成文字管制指令,并发送至模拟机长席。
设置于塔台飞行管制员席的塔台三维视景系统,用于提供塔台的三维视景,再现机场周边空中交通状况以及塔台管制区内空中和地面交通状况。
教员席位组包括教员席、监控席和设置于监控席的塔台三维视景系统。
教员席,用于教员通过综合应用服务器中的想定制作服务制作塔台管制训练的训练想定,并将训练想定通过发布至传输至塔台管制员席和模拟机长席,具体地可以通过互联网进行发布;本发明实施例中所指的训练想定包括参训教学单元基本配置信息、飞行计划、气象信息、训练开始时间以及结束时间。飞行计划包括二次代码、机型、起飞机场、降落机场等信息。
监控席,用于通过设置于监控席的塔台三维视景系统监控塔台管制训练过程、通过内话终端监听教员席与塔台飞行管制员席之间的语音通讯信息;通过综合应用服务器中部署的技术监控服务实现对全系统软件运行状态的监控;通过综合应用服务器中部署的记录重演服务记录并回放各训练单元的训练过程状态;通过综合应用服务器中部署的时钟同步服务为训练单元提供统一的时钟同步。
设置于监控席的塔台三维视景系统,用于提供塔台的三维视景,再现机场周边空中交通状况以及塔台管制区内空中和地面交通状况。
本发明速提供的塔台管制模拟训练系统是用于培训塔台管制员的一种更为智能化、自动化的训练平台,在系统中结合语音识别和语音合成技术建立智能虚拟机长,即模拟机长,由智能虚拟机长代替教员在机长席自动响应管制指令并作出应答,大大减轻了教员的训练负担,减少训练成本,增强训练环境的真实性,提高训练效率。
实施例2
为了实现实施例1给出的塔台管制模拟训练系统的语音管制指令识别,本实施例给出了针对塔台管制模拟训练系统的语音管制指令识别方法,采用实施例1给出的塔台管制模拟训练系统模拟塔台管制训练,语音管制指令经语音通讯服务器的语音识别服务解析成文字管制指令具体包括如下步骤:
步骤一,塔台飞行管制员席将语音管制指令转化成pcm音频流,语音管制指令以pcm视频流的形式传输至语音通讯服务器;
步骤二,语音通讯服务器接收到语音管制指令后,通过语音识别服务解析成文字管制指令,具体包括步骤201~步骤204的操作;
步骤201、对语音管制指令进行端点检测,提取出所需识别的关键词的起始点,并将语音信号从背景噪声和静音中分割出来,得到适合进行语音识别的语音信号
步骤202、对语音信号进行语音特征提取,从而去除冗余信息,从语音信号的波形中提取出按时间顺序变化的语音特征序列,形成特征矢量序列;
在进行语音特征提取时,选取mel频率倒谱系数即mfcc参数c(n)为特征参数;
其中,s(m)为mel频谱进行对数能量处理后得到的对数频谱;l为mfcc系数阶数;m为在语音特征提取过程中所使用的三角滤波器个数;n为傅里叶变换的点数;0<=m<m。
其中第x个语言样本提取的语音特征矢量序列为ox=(ox1,...,oxn),由训练者录入的语音数据经过特征提取后,形成语音训练样本集为o=(o1,o2...,ot)。
步骤203、语音识别应用前需要构建声学模型,进行相应的声学模型训练,这样可以有效提高识别的正确率。本系统采用基于连续隐马尔科夫模型(采用连续概率密度函数,简称chmm)的声学模型建模,声学模型训练的过程就是建立chmm的过程,根据一定的参数重估算法,不断地调整模型库中的模型参数,得到鲁棒性较好的声学模型。本实施例构建基于连续隐马尔科夫模型chmm的声学模型γ:
γ=(π,a,b),其中,π为初始时刻概率分布,a为状态转移概率矩阵,b为观测过程概率密度向量。
建立关于塔台管制训练中语音管制指令的语音训练样本集
o=(o1,o2...,ot),其中o1~ot分别为第1~t个语音训练样本;
采用o1~ot对声学模型γ进行训练,调整模型参数,通过训练数据不断地调整模型参数γ,使得出现的概率p(o|γ)最大,最后找到描述语音信号模型参数的最佳值,当出现的概率p(o|γ)最大时对应的声学模型γ即为鲁棒性最佳声学模型。
采用鲁棒性最佳声学模型对步骤202中得到的特征矢量序列进行语音识别获得语音识别后的字符串。
考虑到空管领域中对数字、字母等发音具有较高的语音识别要求,本发明实施例中构建的基于连续隐马尔科夫模型chmm的声学模型γ包括三种:
第一种为塔台指令声学模型,采用的语音训练样本为航空器在塔台管制区域中和管制人员的通信用语。
第二种为数字声学模型,采用的语音训练样本为航班号、高度、速度、航向以及时间中的数字部分。
第三种为字母声学模型,采用的语音训练样本为航线代号、飞行代号、标准离场航线名称、导航台名称以及跑道号中的由多位字母组成的名称。
步骤204、根据已有的塔台管制训练中的空管指令句型和空管通话语法词汇库构建语言模型。
利用语言模型对步骤203得到的语音识别后的字符串进行语义分析,生成文字管制指令。
管制指令的语言模型包括空管指令句型和空管通话语法词汇库,塔台管制指令句型的语法格式为:航班号+指令动作。在语音识别前,需要预先设定标准的空管通话语法词汇库,空管通话语法词汇库包括航班号词汇库以及指令动作词汇库。其中,将航空器呼号设定为一个独立的词汇库,并且依据塔台管制工作的特点,将塔台管制指令动作分类为:(1)开车程序类指令;(2)推出程序类指令;(3)起飞条件类指令;(4)滑行程序类指令;(5)起飞许可类指令;(6)降落许可类指令。
本实施例针对上述塔台管制模拟训练系统提供一种语音管制指令的识别方法,智能语音识别的过程包括了语音预处理、端点检测、语音特征提取、声学模型训练、语言模型训练以及语音模式匹配等步骤。针对输入的管制指令语音信号,提取其mel频率倒谱系数作为语音特征后,根据已经训练好的chmm声学模型,将语音识别出来的字符串通过构建的语言模型进行语义分析,生成结构化的文字指令。系统实验数据分析表明,针对语音管制指令识别速度快,且识别率可高达95%左右,考虑到管制人员的控制会更加熟练,因此本系统的语言识别方法能完全满足实际训练的要求。
实施例3
为了实现实施例1给出的塔台管制模拟训练系统的语音报读,本实施例给出了针对塔台管制模拟训练系统的报读方法,采用如实施例1的塔台管制模拟训练系统模拟塔台管制训练,模拟机长席中,根据飞机当前所处的飞行状态生成文字形式的飞行员请求和飞行员报告,通过语音通讯服务器中的语音合成服务合成语音形式的飞行员请求和飞行员报告,并将语音形式的飞行员请求和飞行员报告报读给塔台飞行管制员席,具体包括如下步骤:
s1,模拟机长席根据当前所处的飞行状态生成文字形式的飞行员请求和飞行员报告,发送给语音服务器。飞行员报告的内容包括航班或军航飞机过点报告、请求高度到达报告、航向到达报告、请求开车报告。
s2,语音通讯服务器的语音合成服务将文字形式的飞行员请求和飞行员报告进行文本解析获得空管用语序列。
文本解析包括词汇、语法和语义分析,确定句子底层结构和每个字的音素的组成,如有特殊符号,则再对特殊符号进行单独处理。获得文字形式的飞行员请求和飞行员报告中所包含的空管用语,组成空管用语序列。
s3,语音合成服务将空管用语序列中的所有空管用语转换为语音并进行顺序拼接形成pcm音频流,即语音形式的飞行员请求和飞行员报告,并通过语音通讯服务器中的语音合成服务将语音形式的飞行员请求和飞行员报告报读给塔台飞行管制员席。
其中将空管用语序列中的所有空管用语转换为语音,首先定义空管用语索引,包括汉字、数字、英文、以及航空公司代号、报告代号(sr、lvl、ph、pp、pdpr)、告警代号(lc、as、pas)等,其次建立每个索引的语音库,每个索引支持标准普通话中文和英文两种方式。
本实施例针对上述塔台管制模拟训练系统提供一种塔台模拟训练中的自动报读方法,自动报读的过程为模拟机长根据目标当前状态或者管制员指令,实时将所需向管制员报告的内容,首先以文字方式呈现至目标状态显示,然后对文字进行语义分析处理,形成标准pcm话音流,并通过话音服务器将pcm音频实时报读给飞行管制员。系统实验表明,系统合成语音效果自然流畅,应答响应时间及语音合成的效果可以满足塔台模拟训练的需求。自动报读避免了模拟机长在高负荷工作状态下人工向管制员报告,有效的减轻了模拟机长的工作强度,并且结合智能语音识别技术可完全省去模拟飞行员角色。
综上,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。