用于辅助飞行器的方法和系统与流程

本发明涉及一种在运载飞行器的驾驶舱中实现的用于辅助飞行器驾驶的方法和系统。

本发明涉及用于飞行器驾驶舱的多模式人机接口(mmi)领域。

背景技术：

实际上，在驾驶舱中，驾驶员特别需要人机接口以与外部人员通信，以交换与驾驶相关的操作消息。例如，涉及来自空中交通管制(atc)、导航人员等的通信。

已知的多模式驾驶舱人机接口同时包括一个或多个观察屏、各种控制接口(触敏屏、按钮、旋转控制)和音频接口(例如扬声器或耳机)。因此，举例来说，驾驶员可以通过各种通道例如通过无线电接收要应用的指令。

专利申请fr3,049,753a1中提出了使用语音识别引擎基于在所述音频消息中识别的关键字来分离操作音频消息。这种分离使得可以将接收到的音频流划分为用于给定飞行器或由给定飞行器发送的消息，然后将优先级与这些消息相关联并根据其优先级来处理这些消息，这使得有可能提供辅助驾驶的服务，例如：按优先级记录消息，增加高优先级消息的声级。

然而，驾驶舱的音频环境非常嘈杂，这降低了语音识别引擎的性能。

此外，由于不同发言者的发音口音不同，或者发音关键字(包括字母和数字的代码)的潜在可变方式，语音识别存在固有的困难。

由于驾驶舱内存在噪音，驾驶员不能完全理解收到的消息是很常见的。在这种情况下，为驾驶员提供重新收听这些消息的工具是非常有用的。

有一些与向公众提供的设备相类似的、用于记录和重放音频记录的设备。

然而，驾驶员必须选择从他只是大概知道的过去的某个时刻开始重听(即再次收听)。另外，实际上，机载记录能力受缓冲存储器大小的限制。

驾驶员必须继续关注当前的指令，这使得他难以查找和重听先前接收的音频消息。

技术实现要素：

因此，需要通过为驾驶员提供更符合人类工程学的重听工具来改进驾驶辅助，使得可以更好地指向要重听的音频记录部分。

为此，根据第一方面，本发明提出一种在载机飞行器的驾驶舱中实现的飞行器驾驶辅助系统，该系统包括用于接收经由无线通信信道发送的音频消息的设备，用于收听消息的至少一个设备、数据查看界面和机载电子计算设备，该机载电子计算设备包括至少一个计算处理器和至少一个电子存储器单元。该系统包括：

所述存储单元的缓冲空间，用于以记录持续时间连续记录由接收设备接收的音频信号流；

同步和显示控制模块，被配置用于获得与所记录的音频信号相关的至少一条后台信息；根据所述至少一条后台信息将记录的音频信号分段成多个时间片段；以及命令在查看界面上显示代表在过去时刻和当前时刻之间所记录的音频信号的交互条，标识所述时间片段，使得驾驶员能够选择用于开始收听所记录的音频信号的时刻。

有利地，对时间片段的标识以及以交互条形式显示所述时间片段，使得驾驶员能够更容易地选择重听时刻。

根据本发明的驾驶辅助系统可以具有下面的一个或多个特征，这些特征可以独立地或组合地进行考虑。

所述同步和显示控制模块被配置用于显示视觉标志，使得能够识别时间片段，所述视觉标志包括颜色或显示图案。

所述系统还包括以下模块：该模块用于确定所述运载飞行器的驾驶员传输音频消息的传输开始时刻和传输结束时刻，并且将所述传输开始时刻和传输结束时刻及时发送到所述同步和显示控制模块，并且所述后台信息包括所述传输开始时刻和传输结束时刻。

所述系统还包括用于确定无线通信信道频率改变时刻的模块，并且所述后台信息包括所述无线通信信道频率改变时刻。

所述系统还包括音频信号处理模块，被配置用于计算至少一个记录的音频信号部分的至少一个特征参数值，并检测所述音频信号的特征参数值改变和特征参数值改变时刻，并且所述后台信息包括所述音频信号的所述特征参数值改变时刻。

所述音频信号的所述特征参数是能够识别发言者的语音签名，所述音频信号处理模块被配置用于将至少一个特征参数值与先前记录的值进行比较，并识别与所述音频信号的所述特征参数值改变时刻相关联的发言者。

同步和显示控制模块被配置用于根据所识别的发言者显示具有视觉外观的每个时间片段。

所述系统还包括以下模块，该模块用于通过音频信号处理来确定与所述运载飞行器不同的飞行器传输音频消息的传输开始时刻和传输结束时刻，并且将所述传输开始时刻和传输结束时刻及时发送到所述同步和显示控制模块，并且所述后台信息包括所述传输开始时刻和传输结束时刻。

根据第二方面，本发明提出一种由运载飞行器的驾驶舱中的驾驶辅助系统实现的飞行器驾驶辅助方法，所述系统包括用于经由无线通信信道接收音频流的设备、用于收听消息的设备、数据查看界面和机载电子计算设备，所述机载电子计算设备包括至少一个计算处理器和至少一个电子存储单元。所述方法包括以下步骤：

将接收设备接收的音频信号流以记录持续时间连续记录在所述存储单元的缓冲空间中；

获得与所记录的音频信号相关的至少一条后台信息；

根据所述至少一条后台信息将所记录的音频信号分段成多个时间片段；

在查看界面上显示代表在过去时刻和当前时刻之间所记录的音频信号的交互条，标识所述时间片段；

获得驾驶员命令以从在所述交互条上选择的重听开始时刻重听所记录的音频信号。

根据一个有利特征，获得至少一条后台信息包括用于计算至少一个记录的音频信号部分的至少一个特征参数值并检测所述相关联的音频信号的特征参数值改变和特征参数值改变时刻的音频信号处理；以及对与所述音频信号的所述特征参数值改变时刻相关联的发言者的识别。

附图说明

本发明的其他特征和优点将从下面参考唯一附图以作为参考并且非限制性地提供的描述中获得，图1是根据本发明的一个实施例的驾驶辅助系统的示意图。

具体实施方式

图1示意性地示出了根据一个实施例的驾驶辅助系统2。

这种系统例如安装在飞行器(未示出)的驾驶舱中，该飞行器被称为运载飞行器。

驾驶辅助系统2包括航空电子系统4，该航空电子系统4包括各种已知模块。仅示出了本发明中使用的模块。

航空电子系统4具体包括用于控制通信信道的系统，包括适于通过无线通信信道接收音频流的接收设备6。通常，音频流包括由空中交通管制(atc)、自动终端信息服务(atis)或与该运载飞行器在相同的空中交通管制区域中飞行的其他飞行器发送的音频消息。

音频消息被提供给一个或多个收听设备12。这种收听设备是例如具有扬声器和麦克风的耳机，允许驾驶员收听所接收的音频流，并又发送音频消息或对所接收的消息的响应。

航空电子系统4还包括人机界面，例如驾驶员用来通过无线通信信道发送音频消息的“按键通话”按钮8。实际上，传统上，驾驶员必须启动该按钮8并在发送音频消息时保持该按钮8处于按下状态。相反，当按钮8未被启动时，来自驾驶舱的音频通信保持在该空间内。

航空电子系统4还包括用于确定所使用的无线通信信道的有效频率的模块10。该模块10已分立地示出，但其可以集成到例如通信信道的控制系统中。

驾驶辅助系统2由机载计算机14实现，机载计算机14是包括电子存储单元16和适用于执行可执行软件代码指令的一个或多个处理器18的电子计算设备。

本发明的驾驶辅助方法由如下所述的软件模块20、22、24、26实现。

或者，可执行代码指令被记录在计算机可读介质上，例如光盘、磁光盘、rom存储器、ram存储器、非易失性存储器(eprom、eeprom、flash、nvram)、磁卡或光卡。

在一个变型中，模块20、22、24、26采用可编程逻辑组件例如现场可编程门阵列(fpga)的形式，或者采用专用集成电路例如专用集成电路(asic)的形式。

模块20、22、24、26实现下面描述的飞行器驾驶辅助方法的步骤。

将由接收设备6接收的音频信号流以基于平台的能力的给定的记录持续时间dt(例如在3分钟到10分钟之间或更长时间内)存储在存储器单元16的缓冲空间15中。优选地，记录持续时间dt是与缓冲空间15中的最大记录持续时间相对应的持续时间。

驾驶辅助系统2实现音频信号处理模块20，配置用于分析音频信号的特征参数并检测所分析的音频信号部分之间的参数值的改变。在检测特征参数值改变的期间，模块20还确定相关联的改变时刻。

特别地，模块20被配置用于查找语音签名，并且检测语音签名的改变，使其可以识别发言者的改变。以已知的方式，例如，这样的参数是从在发言者的识别范围内已知的音频信号的频谱图获得的系数，例如mfcc(即“梅尔频率倒谱系数”)、rcc(即“实际倒谱系数”)、lpcc(即“线性预测倒谱系数”)或plcp(即“感知线性预测倒谱系数”)。因此，在一个实施例中，语音签名的特征在于mfcc值矢量。

例如，计算在当前时刻tc计算的音频信号的特征参数与在先前时刻tp计算的音频信号的特征参数之间的距离。将计算出的距离与预定阈值s进行比较。例如，特征参数形成参数矢量，分别形成第一时刻tc的第一参数矢量vc和先前计算和存储的参数的矢量vp。计算出的距离是两个矢量vc和vp之间的欧几里德距离。或者，可以使用其他距离。

如果计算的距离高于阈值s，则检测到发言者的改变。

如果检测到发言者的改变，则在一个实施例中，表示语音签名的特征参数被记录在发言者的表格25中，这使得可以区分发言者并将当前音频信号部分上确定的参数与先前存储的参数进行比较，从而识别来自同一发言者的消息的出现。一旦模块20获得了关于当前语音的足够的特征参数，就可以检测到发言者的改变。

例如，使用上述距离计算方法将特征参数矢量vc与记录在发言者的表格25中的所有特征参数矢量进行比较。如果vc与记录的特征矢量之一vi之间的距离低于阈值s，则当前发言者被认为是与特征参数矢量vi相关联的发言者。

如果vc与所有记录的特征参数矢量之间的距离高于阈值s，则当前发言者被认为是新的发言者，并且将该特征参数矢量记录在发言者的表格25中。

在所描述的实施例中，驾驶辅助系统2还实现了用于“按键通话”按钮8的状态改变检测模块22，这使得可以确定飞行器的驾驶员是否处于音频消息传输阶段，音频消息传输阶段包括在传输开始时刻和传输结束时刻之间，传输开始时刻和传输结束时刻分别对应于按钮8被按下的时刻和按钮8被释放的时刻。

或者，驾驶辅助系统2不包含用于“按键通话”按钮8的状态改变模块22。在该变型中，例如，在飞行开始时分别获取并记录运载飞行器的驾驶员和副驾驶员的相应语音签名。根据一个替代实施例，表示每个驾驶员的语音签名的特征参数被预先计算和存储在例如诸如存储卡的计算机可读介质上，并且在飞行开始时由驾驶辅助系统获得。因此，表示每个驾驶员/副驾驶员的语音签名的特征参数在飞行开始时被记录在发言者的表格25中，以用于识别驾驶员/副驾驶员而不必检测按钮8的状态改变时刻。

最后，驾驶辅助系统2还包括用于确定无线通信信道频率改变时刻和相关联的无线通信信道频率改变时刻的模块24。

根据一个替代实施例，音频信号处理模块20或图1中未示出的另一个分立模块被配置用于检测处理后的音频信号部分中的峰值、对应于按下或释放ptt按钮的特征噪声的峰值以及与每个峰值相关联的时刻。这些峰值各自对应于远程飞行器的通信开始或通信停止，并且使得可以通过确定不同于运载飞行器驾驶员的远程飞行器驾驶员的发言的开始时刻和停止时刻。

模块20、22、24中的每一个模块将信息发送到同步和显示控制模块26。该信息称为后台信息。

在一个实施例中，该后台信息包括：

-音频信号的特征参数值改变的时刻、特征参数值以及相关联的发言者(如果适用)；

-无线通信信道频率改变的时刻；

-可选地，通过检测音频信号中的峰值来检测的经由运载飞行器的驾驶员的音频消息的传输开始时刻和传输结束时刻，以及经由远程飞行器的音频消息的传输开始时刻和传输结束时刻。

模块26使用后台信息将记录的音频信号分段为时间片段，每个时间片段对应于所接收的各条后台信息中的至少一条后台信息的改变。

每个片段对应于发言者使用的发言时间。

例如，对于按下按钮8的检测使得可以确定由运载飞行器的驾驶员发送的片段。同样，对音频信号中的峰值的检测使得可以确定远程飞行器驾驶员的音频消息的传输开始时刻和传输结束时刻。

此外，对频率改变的检测使得可以确定运载飞行器改变空中交通管制区域的时刻，在这种情况下可能所有的发言者都会改变(除了运载飞行器的驾驶员和副驾驶员)。然而，有可能再次在与运载飞行器的空中交通管制区域相同的空中交通管制区域内发现周围的飞行器。

优选地，在表格25中，例如使用对由发言者(飞行器驾驶员)使用航空用语说出的飞行器呼号的识别来将所记录的语音签名的特征参数与飞行器标识符相关联。在验证了这些飞行器存在于与运载飞行器的空中交通管制区域相同的空中交通管制区域之后，则这些特征参数代表了来自该空中交通管制区域中的这些飞行器的语音签名。

例如，保留代表来自与运载飞行器在相同方向上移动的飞行器的语音签名的特征参数，并且擦除与在相反方向上移动的飞行器相关联的参数。

模块26被配置用于监视查看界面28上的对交互条30上的显示并且显示先前获得的时间片段321、32i、32n，该交互条30表示在过去时刻和当前时刻之间所记录的音频信号。

优选地，查看界面是触摸不敏感平板类型并且用作操作者(运载飞行器的驾驶员或副驾驶员)的控制界面。

该显示包括可视标识符，例如垂直分隔线，使得能够容易地识别出这些片段。

应注意，在所示示例中，时间片段321、32i、32n彼此跟随。然而，如果多个音频消息同时到达，则将以相对于时间轴的分阶段的方式显示相应的片段。

优选地，由运载飞行器发射的音频信号时间片段相对于与从外部接收的音频信号对应的片段以不同地方式(例如通过图案和/或颜色)示出。

在一个实施例中，如果这些片段之间的语音中断短于给定持续时间，则合并与同一发言者相关联的连续时间片段。在这种情况下，两个连续的时间片段具有不同的视觉外观、图案和/或显示颜色。

优选地，如果识别出语音签名，则将相同的外观(图案和/或颜色)给予与同一发言者相关联的每个音频段，以便使得驾驶员能够更容易地识别音频段的来源，特别是来自空中交通管制员的片段。

在一个实施例中，只要系统没有将发言者标识符与这些片段相关联，就将默认颜色(例如，白色)与这些片段相关联。当识别出发言者时，在刷新显示器时，向相应的片段分配与识别出的发言者相关联的不同视觉外观、颜色或图案。

例如，在一个实施例中，记录在发言者的表格25中的每个发言者与视觉外观标志(例如颜色)相关联。将与发言者相关联的该视觉外观标志存储在例如发言者的表格25中。因此，当发言者与片段相关联时，直接从发言者的表格25获得视觉外观标志(例如相关片段的显示颜色)。

可选地，显示视觉标志34(例如垂直条)，以显示后台信息的改变。在一个实施例中，还显示后台信息36，例如当检测到频率改变时的有效频率值。

然后，驾驶员可以使用点击设备，优选地通过触觉操作，基于所显示的片段来选择重听的开始时刻tl。

然后，模块26被配置为发送从时刻tl开始记录的音频信号的重放命令，并且音频信号被发送到收听设备12。

此外，将手指滑过片段使得可以前进或回退读取，这增强了系统的人类工程学。

当然，相对于记录在缓冲存储器中的音频信号，显示是实时更新的。

需要注意的是，即使将音频信号划分为时间片段相对于发言者的改变有轻微的偏移，这种划分也会极大地帮助驾驶员选择要重放的片段。例如，驾驶员可以从相对于目标分段的时刻略微提前的时刻命令重放。由于视觉标志(图案/颜色)和时间片段的划分，驾驶员可以非常容易地识别他希望再次听到的所记录的音频流的部分。