飞机上确定位置并操控换能器波束至该位置的麦克风阵列的制作方法

1.本公开总体上涉及用于飞机的音频声音系统，并且更具体地涉及电操控的扬声器或麦克风阵列，其通过检测用户语音的声音而在用户的方向上投射或接收声音。


背景技术：

2.本部分提供与本公开相关的背景信息，其不一定是现有技术。
3.现代商务飞机的内部限定细长的管状声学空间。飞行员和副飞行员坐在飞机机头处的飞行驾驶台(flight deck)上，飞行控制和航空电子设备位于那里。被占据的空间的其余部分通常配备有坐席区域、机载娱乐系统、睡眠区域、盥洗室等。
4.传统上，通常在每个乘员坐席位置处使用头戴式耳机。飞行员使用具有附接的悬臂麦克风的耳罩式头戴式耳机，该耳机用于通过航空电子通信系统与空中交通管制进行通信。乘客通常被分发不太精制的头戴式耳机，该耳机主要用于享受机上娱乐系统。在某些情况下，可以使用放置在乘客上方或附近的扬声器来代替头戴式耳机。
5.头戴式耳机的优点是能够抑制周围的飞机空气动力学和发动机噪声，但以舒适度为代价。一些人认为在长时间佩戴时，头戴式耳机佩戴不方便或不舒服。


技术实现要素：

6.所公开的系统和方法从飞行员或飞机乘客的口头话语(spoken utterance)捕获到达方向信息，并使用该信息来操控(steer)诸如扬声器阵列或麦克风阵列的换能器阵列的波束图案。在操控扬声器阵列的情况下，到达方向信息用于在口头话语方向上聚焦或操控扬声器阵列的输出，从而允许飞行员或乘客听得更清楚。在操控麦克风阵列的情况下，到达方向信息用于在口头话语方向上训练麦克风阵列的接收图案，从而提高飞行员或乘客的语音清晰度——这在嘈杂的飞机环境中可能特别有用。来自口头话语的到达方向信息也可用于控制机舱(cabin)控制系统，诸如照明、窗帘控制、机上娱乐系统控制等。在这种应用中，到达方向信息允许受控系统对飞机内的特定位置应用控制，诸如飞行员或乘客就座的位置。因此，例如，降低自动窗帘的语音命令将应用于靠近口头话语从其起源的位置的窗帘。
7.所公开的系统和方法可以为飞行员和乘客消除佩戴不舒服的头戴式耳机的需要。在一个实施例中，该系统使用部署在每个坐席或潜在收听位置处的电可操控的扬声器阵列。在一个实施例中，电可操控的扬声器阵列采用相控阵技术以在操控波束指向方向上聚焦增强的声压级，同时在波束外的角度提供大大降低的声压级。在一个实施例中，使用利用超声(人耳听不见)载波驱动的超声换能器实现扬声器阵列，该超声载波利用音频节目内容来调制。
8.为了将扬声器阵列操控至用户占据的位置，系统采用间隔开的麦克风换能器的集群，其在每个坐席位置或其他通常占据的位置附近部署在整个飞机中。当乘员说话时，他或她的语音被附近的换能器集群检测到，并且系统利用编程有到达方向算法的信号处理器来
定位说话乘员的位置。然后将该位置馈送到可操控的扬声器阵列，以使操控波束指向说话用户的方向。
9.由于每个扬声器阵列的波束宽度相对较窄，扬声器现在指向的乘员将听到音频节目内容，而飞机内其他位置的乘员将听不到。在配备适当的飞机中，通过在内壁表面、隔板表面和铺有地毯的地板上为飞机配备吸音材料，可以增强这种“私人扬声器”效果。
10.所公开的系统和方法非常适于在飞行驾驶台上使用，允许飞行员听到与空中交通管制、航空电子警告系统和私人对讲通信等的通信，而无需佩戴头戴式耳机并且不会打扰乘客。类似地，乘客可以选择性地享受他们选择的机上娱乐节目内容，而无需佩戴头戴式耳机并且不会打扰可能正在收听不同娱乐节目或试图入睡的其他乘客。
11.根据一方面，所公开的方法通过使用至少两个换能器的麦克风阵列接收飞机内的声音来将音频内容可控地定向至飞机乘员。对接收到的声音进行处理以提取人类话语，并且对所提取的人类话语执行到达方向分析以确定话语起源方向。使用话语起源方向来朝向话语起源方向以电子方式操控扬声器阵列。使用扬声器阵列，然后将音频内容从飞机音频系统定向至所提取的人类话语起源自的飞机乘员。
12.根据另一方面，所公开的系统将音频内容可控地定向至飞机乘员。至少两个换能器的麦克风阵列定位在飞机上以拾取飞机乘员的话语。耦合到机载飞机音频系统的以电子方式可操控的扬声器阵列将音频内容提供给飞机乘员。信号处理器耦合到麦克风阵列以处理由至少两个换能器感测到的话语，从而确定感测到的话语的话语起源方向。然后，控制器电路基于话语起源方向将指向方向控制信号提供给可操控的扬声器阵列，以使可操控的扬声器阵列将音频内容定向在感测到的话语的方向上，并且从而将音频内容定向至飞机乘员。
13.根据另一方面，所公开的系统控制飞机机舱系统，该飞机机舱系统具有在多个不同的可选位置处提供功能的类型。至少两个换能器的麦克风阵列接收飞机的声音。对这些接收到的声音进行处理以提取人类话语。然后对所提取的人类话语执行到达方向分析以确定话语起源方向。使用话语起源方向，使机舱系统基于话语起源方向在至少一个所选位置处提供功能。
附图说明
14.本文描述的附图仅用于所选实施例的说明性目的，而不是所有可能的实现方式。附图的特定选择并不旨在限制本公开的范围。
15.图1是示例性商务飞机内的一部分占据空间的平面图，示出了可以部署麦克风阵列和可操控的扬声器阵列的一些位置；
16.图2是图1的飞机的飞行驾驶台的平面图，更详细地示出了用于飞行员和副飞行员的麦克风阵列和可操控的扬声器阵列的示例性布置；
17.图3a和图3b图示性地示出了序列，通过该序列检测飞行员话语并使用飞行员话语在该飞行员的方向上操控扬声器阵列；
18.图4是示出麦克风阵列和扬声器阵列系统可以如何与信号处理相结合以基于检测到的话语来操控波束成形扬声器阵列或波束成形麦克风阵列指向方向的框图；
19.图5是示出可以如何测量相同说出信号的不同到达时间的波形图；
20.图6是示出被说出声音的波前的几何原点可以如何从不同视角到达麦克风换能器对的图；
21.图7是示出扬声器阵列内的一对扬声器换能器的定相(插入的时间延迟)可以如何通过相长和相消干涉来影响波束指向方向的图；
22.图8是用于理解编程处理器可以如何实现音频定向系统的流程图；以及
23.图9是用于理解用于到达方向分析的gcc-phat最大似然估计技术的框图。
具体实施方式
24.参考图1，示例性商务飞机的内部平面机舱布局在10处示出。飞行驾驶台12在飞机机头内占据内部空间的前部，而被占据的内部空间的其余部分用于乘客区14，包括用于空乘机组人员的区。内部空间的墙壁和天花板可以用吸音材料处理，并且地板同样会设置有地毯，地毯也充当吸音器。机舱的不同部分可以由隔板隔开以限定不同的功能区域。例如，在图1中，隔板设置在16处以限定更私密的睡眠区18。
25.取决于飞机的预期用途，在整个机舱中部署各种乘客座椅20以及工作空间和餐桌22。为每个乘客座椅和沙发床26提供单独的机上娱乐系统监视器，诸如下拉式、天花板安装式监视器。在所示的机舱布局中，大屏幕机上娱乐系统监视器24定位在沙发28对面，以允许几个人同时观看监视器。
26.部署在靠近乘客区、厨房、盥洗室和飞行驾驶台内的每个占据区域的合适结构上的是微型麦克风阵列30和扬声器阵列32(在图1中未示出；但在图2中的示例性位置处示出)。如将进一步解释的，定位麦克风阵列以从乘客、飞行员和其他机组人员拾取话语(例如，人类语音)。信号处理电路分析这些接收到的话语以确定话语起源的位置。然后，波束操控系统使用该信息来以电子方式操控附近扬声器阵列的波束。相同的信息也将用于操控波束成形麦克风阵列，以提高乘客在嘈杂环境中的语音清晰度。因此，系统能够直接向每个乘员的位置或从每个乘员的位置提供音频内容。在图2中，麦克风阵列30和扬声器阵列32的相对布置不一定是按比例绘制的，并且实际安装位置在实践中可能会改变，这是因为这些组件的实际布置可能取决于合适的安装结构位于飞行驾驶台上的位置。
27.参考图2，飞行驾驶台12通过隔板16与乘客区分开。在所示示例中，提供三个飞行员座椅34，用于飞行员、副飞行员和辅助飞行员。安装在仪表板上合适位置的是麦克风阵列30(所示的是两个这样的阵列，一个用于飞行员，一个用于副飞行员)。还适当地安装扬声器阵列32(所示的是两个这样的阵列，一个用于飞行员，一个用于副飞行员)。在图2中图示性地示出了用于实现音频定向系统36的电子组件。在38处还图示性地示出了航空电子通信系统，其提供飞行员与空中交通管制和其他服务之间的无线电通信，包括与机组人员的对讲通信，并且还提供声音警告和警报信息。该航空电子通信系统通过定位在飞行员前方的扬声器阵列32提供音频内容。
28.图3a和图3b示出了音频定向系统如何工作。如图3a中所示，飞行员40a说出作为话语42传播的口头消息，它被麦克风阵列30a接收。电子音频定向系统36对接收到的话语进行处理以确定话语从其起源的方向，并且然后使用该起源方向将扬声器阵列32(位于最接近飞行员40a)的声学输出以电子方式操控在飞行员40a的方向上。如图3b中所示，在现在已经被操控以将其声能指向飞行员的情况下，扬声器阵列32将来自航空电子通信系统38的后续
音频内容作为声能束44传输到该飞行员。音频定向系统36可以被配置为执行采样和保持功能，由此在从他或她的话语获悉人的位置的情况下，系统将维持在所获悉的位置上训练的扬声器阵列32，除非后续话语规定应当调整波束方向。
29.参考图4，更详细地示出了音频定向系统36。在操控扬声器模式下，系统被设计成在通过确定乘员说出的话语42的起源方向来感测乘员的方向或位置之后，将音频内容从扬声器阵列32定向至飞机的乘员，诸如飞行员或乘客40。在聚焦麦克风模式下，系统还被设计成在感测乘员的方向或位置之后，将波束成形麦克风阵列30(包括多个麦克风换能器46)聚焦在乘员的方向上。如果需要，可以一起使用操控扬声器和聚焦麦克风的应用。
30.如先前所讨论的，话语42由麦克风阵列30拾取，该麦克风阵列30包括以已知位置和间距的预定分组布置的多个单独可寻址(独立监测)的麦克风换能器46。扬声器阵列32还包括已知位置和间距的多个单独可寻址的扬声器换能器50。
31.单独的麦克风换能器46各自耦合到多通道的前置放大器52，前置放大器52将每个麦克风换能器46的相应输出放大到合适的电平，以驱动多通道的模数(a到d)转换器54。由于音频定向系统依赖于到达时间检测，所以前置放大器52和模数转换器电路54应当被配置为在所有通道上引入相等的相位延迟(或时间延迟)(如果有的话)。这将确保相对到达时间的测量是准确确定的，以确保计算出的时间差是准确的。这可以部分地通过仔细选择组件以匹配麦克风换能器的阻抗并最小化通道之间的电容或电感差异、以及通过确保所有通道的电信号路径长度相同来实现。还可以使用不需要模数转换器的具有数字输出的麦克风换能器来实现该系统。
32.多通道的模数转换器54将每个麦克风换能器输出的数字表示提供给信号处理器56，信号处理器56使用到达方向算法来确定话语来源的位置或定位。信号处理器56被编程为对由麦克风阵列30的换能器接收到的声音进行关联和比较，以确定相同话语到达每个换能器的时间。根据这些所确定的时间，计算时间差dt。
33.如图5中图示性示出的，在话语42b到达换能器46b之前，话语42a到达第一换能器46a。信号处理器对由每个换能器接收到的声音执行关联，以便识别话语42a和42b表示相同的话语事件，只是在不同时间被接收。通过对相应接收到的话语信号的到达时间进行相减，由处理器计算时间差dt。然后根据该计算出的时间差dt计算话语来源的位置或定位。
34.图6示出了计算出的在换能器46a和46b处的到达时间的差dt可以如何用来不仅确定话语来自的大致方向，还通过三角测量法确定话语42的来源的精确位置或定位。在图6中，话语在42处起源，并以由图6中的扩展弧线描绘的球面波前在声学上传播。如图所示，在波前穿过换能器46b并被其接收之前，波前在48处穿过换能器46a并被其接收。换能器46a和46b之间的间距l是固定的。因此，从话语来源42到换能器46a的视线距离x比视线距离y短一个数量，该数量等于在计算出的延迟时间dt期间波前传播到46b的附加距离。换句话说，在知道所计算或测量的时间延迟dt和飞机机舱内的声速c的情况下，从话语来源42到相应换能器46a和46b的距离可以相关，如下：
35.y＝x+dt
×c36.在已经计算出距离x和y并且知道固定间距l以及麦克风换能器46a和46b的已知位置的情况下，可以确定话语来源42的方向和位置。如果需要，可以使用角度度量来表示话语来源的位置。在图6中，这样的角度度量以相对于与换能器46a和46b所在平面垂直的直线所
测量的θ1和θ2示出。将理解，图5和图6旨在简单地概念性示出话语来源如何与位置和间距已知的多个换能器处的到达时间相关。存在多种计算技术可以用于确定到达方向以及话语来源的空间位置或定位。这样做的一个实施例是对处理器进行编程以通过最大化广义互相关相位变换(gcc-phat)函数来识别话语来源，如下所述。
37.聚焦麦克风模式
38.返回图4，处理器56使用所计算的话语来源计算将到达方向指令提供给麦克风阵列波束成形延迟调整处理器57。这将时间延迟或相位变化插入到来自模数转换器54的输入信号中的所选信号中，以使麦克风阵列作为操控波束成形阵列进行操作，其定向或聚焦麦克风阵列拾取图案以增强在话语来源的方向上的声音拾取。麦克风阵列波束成形延迟调整处理器57的输出作为音频输入源在24和38处馈送。以该方式，由麦克风阵列30拾取的音频信号将偏好在波束已被主动聚焦的方向上的声音拾取。如上所述，聚焦麦克风模式可以与操控扬声器模式同时使用。
39.操控扬声器模式
40.返回图4，处理器56使用所计算的话语来源计算将指令提供给波束操控电路或信号处理操作60。执行声束的实际操控，而不需要扬声器换能器50或麦克风阵列30的物理重取向。相反，通过在馈送到每个单独换能器的音频信号中引入定时或定相差异来以电子方式操控波束。这些相移或时移的音频信号通过合适的驱动器电路72和功率放大器74提供给扬声器阵列32的单独的扬声器换能器50。注意，相移或时移的音频信号并行地传送到扬声器阵列的扬声器换能器。应当注意，驱动器电路72和功率放大器74在所有通道上引入相等的相位延迟(或时间延迟)(如果有的话)。这将确保会发生适当的相长和相消干涉，以便正确地操控波束。这可以部分地通过仔细选择组件以匹配扬声器换能器的阻抗并最小化通道之间的电容或电感差异、以及通过确保所有通道的电信号路径长度相同来实现。
41.波束操控电路或过程60在为每个通道插入计算出的时间延迟以实现波束操控之后，本质上是从航空电子通信系统38(用于飞行员)或从机上娱乐系统24(用于乘客)传送音频内容。如果尚未在数字域中，则来自航空电子通信系统38和机上娱乐系统24的音频输入可以通过音频处理电路62中的模数转换进行转换。
42.调制超声波束实施例
43.如果需要，可以使用超声扬声器系统来实现更有方向性(更窄)的波束44，该系统可以实现为音频处理电路62的一部分，如图4中的虚线框64所示。在该实施例中，来自航空电子通信系统38和/或机上娱乐系统24的音频输入在通过波束操控调整60处理之后被提供给调制器电路68，调制器电路68将音频节目内容调制到由超声振荡器66提供的超声载波上。采用一个这样的调制器电路来馈送驱动器72电路中的每一个，使得每个换能器以适当的时间延迟(相位调整)传输超声信号。以该方式，扬声器阵列产生具有人耳听不见的频率的超声载波的超声波束。系统音频调制在该超声载波上，并因此与载波一起在波束的方向上传播。当波束在到达听众耳朵的路线中经过空气分子时，调制波通过与空气分子的相互作用而变为自然解调。由于这种自然解调，听众能够听到解调后的音频信号，听起来就像来自常规扬声器。
44.控制扬声器波束方向
45.信号处理器56使用麦克风换能器信号之间的到达时间延迟，在其话语被接收到的
人的方向上以电子方式操控波束44。这是通过插入受控延迟来实现的。
46.为了更好地理解波束操控是如何实现的，请参考图7，其示出了以线性阵列布置的两个扬声器换能器50。当两个扬声器相干地馈送有相同的音频信号时，从每个扬声器发出的声波是同相的，并且声音将好像从扬声器的平面(即，从垂直于水平轴(如图7中所示)的方向)直接产生。
47.然而，当扬声器之一由延迟了时间增量dt的信号馈送时，两个扬声器的相应波前之间的相长和相消干涉将在成角度的方向上产生最响亮的集合声音，与水平轴不再垂直而是成角度θ，如图7中所示。通过知道音频频率的波长，可以用三角法计算角度方向。根据以下等式，频率(f)和波长λ与声速c相关：
48.f＝c/λ
49.为了在图7中所示的方向(角度θ)上操控波束，来自左侧扬声器(图7中)的信号被延迟了时间dt，该时间dt被计算为导致以下事实，即，来自左侧扬声器(图7中)的信号必须穿过附加距离d，以便其波前与来自右侧扬声器(图7中)的波前同相。可以使用以下三角关系为给定角度θ计算该延迟dt：
50.dt＝s sin(θ)/c
51.其中s是扬声器间距，并且c是环境温度下的声速。
52.编程处理器实现方式
53.图8示出了处理器被编程以执行的步骤的一个示例性实施例，在100处开始。尽管将处理器描绘为连续的一系列步骤，但是如果需要，这些操作可以并行执行。
54.处理器使用存储器102，其被配置为存储校准数据104，校准数据104用于向处理器给出麦克风换能器和扬声器换能器的位置的知识。可替代地，如果需要，换能器位置可以硬编码在固件或软件中。存储器102还提供数据存储106，用于存储最后使用的(先前的)话语来源位置。处理器使用这种存储的位置来计算扬声器指向方向，如果扬声器移动，则根据需要更新所存储的值——有效地实现采样和保持功能。存储器102还用于定义多个预定义音频通道108，包括用于每个麦克风换能器的一组通道和用于每个扬声器换能器的一组通道。这些是数字音频通道，将来自麦克风和来自航空电子通信系统38或机上娱乐系统的数字音频存储在适当大小的缓冲存储器位置，处理器可以在这些缓冲存储器位置上进行操作以操纵数据。
55.处理器在110处从麦克风接收输入并在112处应用预滤波器。如下面所讨论的，预滤波器可以用于抑制或拒绝由麦克风接收的不具有人类语音质量的声音。在114处，处理器对预滤波的(人类语音话语)数据应用到达时间算法或函数，以找到话语来源位置。在一个实施例中，使用gcc-phat函数。
56.处理器在116处测试话语来源位置是否与先前存储在数据存储106中的值实质不同。如果是，则处理器前进到步骤118，在数据存储106中写入新的话语来源位置。如果不是，则处理器恢复到开始100。
57.根据存储在数据存储106中的话语来源位置值，处理器在步骤120处计算新的扬声器阵列指向方向。参见图6。然后处理器在122处使用该新的指向方向来计算将使扬声器波束指向新的指向方向的时间延迟参数。参见图7。处理器在步骤124处使用这些计算出的时间延迟参数在适用时在每个扬声器的音频通道中插入时间延迟。这是通过对音频通道中缓
冲的数字音频数据进行操作来完成的，以重新定位某些数据以进行延迟播放(相对于其他音频通道)。经过时间延迟处理的音频数据作为音频内容通过每个扬声器的多个信号通道来提供。
58.广义互相关相位变换(gcc-phat)
59.参考图4，在一个实施例中，处理器56被编程为通过最大化广义互相关相位变换(gcc-phat)函数58来执行到达时间检测，以确定话语来源(位置和/或方向)。这通过以下操作将从两个空间分离的麦克风换能器接收的信号进行比较：将这些信号应用到具有可调时间分量的互相关器，其建立一个信号相对于另一个信号的时间延迟。然后通过以编程方式或以算法方式调整时间分量，针对各种不同的延迟组合对两个信号进行相乘和积分，直到发现最大峰值。达到该最大峰值的时间分量延迟对应于两个信号之间的到达时间延迟的最大似然估计。
60.图9示出了基本的最大似然估计原理。将两个麦克风信号x1和x2应用到具有滤波器函数h1和h2的滤波器200。两个信号路径之一被延迟(如在202处)。然后将信号在204处相乘、在206处积分并在208处平方，以产生由峰值检测器210分析的复合信号。以这种方式处理两个麦克风信号，同时调整在202处应用的延迟，直到在峰值检测器处发现最大峰值。该过程实现最大似然估计器，其包括一对接收器预滤波器，后面是一个互相关器。相关器达到最大值的时间自变量(argument)是延迟估计。
61.不同的滤波器函数或变换可以用于滤波器200。在所描述的实施例中，已经使用相位变换(phat)。可以替换其他滤波器替代物。如果需要，可以使用matlab gccphat(sig,refsig)函数实现gcc-phat函数。
62.预滤波
63.假设背景噪声是相对不相关的，信号处理器56使用的gcc-phat函数在存在背景噪声的情况下相当稳健。然而，为了增强话语检测并避免错误触发，信号处理器56还可以包括一个或多个音频预滤波器，以在到达时间估计(gcc-phat)之前处理麦克风换能器数据。这种预滤波可以包括频带滤波，其中在正常人类语音频率范围之外的麦克风换能器信号被抑制。为了进一步提高可扩展性，可以使用不同的成对麦克风阵列来推导出更可靠的到达方向估计。
64.这种预滤波还可以包括梅尔频率处理，其比线性间隔的频带更接近人类听觉系统的响应。此外，预滤波还可以包括时间窗口处理，由此来自麦克风换能器的输入数据流被采样到与人类语音的自然持续时间相对应的时间窗口中，从而允许处理器抑制对信号的到达时间估计处理，该信号可能包括与人类语音相同的频率，但不存在于与人类语音相当的时间帧上。
65.在更高级的系统中，预滤波还可以包括语音识别处理，由此处理器测试接收到的信号是否从语音识别器算法生成足够高的似然分数，以断定该信号是人类语音。在这种情况下，识别器不需要将话语解码成文本，而只是确定接收到的声音很可能是人类语音。也可以使用这些和其他类似滤波器的组合。
66.机舱系统控制模式
67.除了操控扬声器模式和聚焦麦克风模式之外，到达方向信号处理器56(图4)还可以与机载的机舱管理系统75对接，以提供对这些系统的聚焦的位置控制。
68.在现代商务飞机中有许多乘客便利系统，包括机上娱乐系统、照明控制、自动窗帘控制等。这些系统通常将在整个飞机中的多个不同的离散位置处提供可选功能。例如，在每个坐席位置上方提供单独的工作照明，此外还有机舱照明以提供环境光和照亮过道。这种照明可以配备有可调光开关控制和可选的色温控制。在这种照明系统中，乘客希望能够控制他们所在位置的照明，而不影响其他乘客的照明。对于自动窗帘和机上娱乐系统而言也是如此。
69.为了向每个乘客提供对其在飞机内的空间的单独的聚焦控制，到达方向处理器56向机舱管理系统75提供关于每个乘客的位置信息。因此，当乘客希望控制机舱管理系统时，系统知道该乘客所位于的位置，从而将控制命令限制到乘客所在的适当位置。如果需要，机舱管理系统75可以使用语音命令来操作。由于来自处理器56的到达方向信息，控制系统不需要预先以编程方式指定乘客位置。
70.尽管在前述详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，示例性实施例或多个示例性实施例仅是示例，并且不旨在以任何方式限制本发明的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现如本文考虑的示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求中阐述的本发明的范围的情况下，可以在示例性实施例中描述的元件的功能和布置中进行各种改变。