处理音频信号的制作方法

专利名称：处理音频信号的制作方法
技术领域：
本发明涉及对在装置中所接收的音频信号进行处理。
背景技术：
装置可具有音频输入部件(诸如麦克风)，该音频输入部件可以用于接收来自周围环境的音频信号。例如，用户装置的麦克风可接收主要音频信号(诸如来自用户的语音)以及其它音频信号。所述其它音频信号可以是装置的麦克风中所接收的干扰音频信号，并且可以从干扰源中接收其它音频信号，或者其它音频信号可以是周围背景噪声或麦克风自身噪声。干扰音频信号可能干扰该装置中所接收的主要音频信号。该装置可将所接收的音频信号用于许多不同目的。例如，在所接收音频信号是从用户所接收的语音信号的情况下，该装置可以对语音信号进行处理而将其用于通信事件，例如通过在网络上将语音信号传送给与通信事件的另一用户相关的另一个装置。可替代地或附加地，所接收的音频信号可以用 于其它目的，正如本领域中已知的。为了提高所接收音频信号的质量(例如，从用户处所接收的用于呼叫的语音信号)，需要抑制用户装置的麦克风中所接收的干扰音频信号(例如，背景噪音以及从干扰音频源所接收的干扰音频信号)。立体声麦克风及其它麦克风阵列的使用(其中将多个麦克风用作单个音频输入部件)正变得越来越普遍。在装置中使用多个麦克风使得能够除了使用可以从由单个麦克风所接收的音频信号中所提取的信息以外还可以使用从接收的音频信号中所提取的空间信息。当使用这种装置时，用于抑制干扰音频信号的一种方法是将波束成形器应用于由多个麦克风所接收的音频信号中。波束成形是如下过程与在麦克风阵列所接收音频信号的剩余部分相比，通过应用信号处理来增强从麦克风阵列中一个或多个期望位置(即，方向和距离)所接收的特定音频信号，由此集中由麦克风阵列所接收的音频信号。为简单起见，我们在此将描述仅有单个期望方向的情况，但如果存在更多感兴趣的方向相同方法也将适用。在麦克风阵列中接收期望音频信号的角度(和/或距离)，即所谓的到达方向(“D0A”)信息，可以在波束成形过程前确定或设定。因为对到达方向的估计可能是复杂的，所以有利的是将期望的到达方向设定为固定。然而，在替代的情况下，有利的是使期望的到达方向适应于改变条件，因而有利的是当使用波束成形器时实时地执行期望到达方向的估计。自适应波束成形器将一些权重(或者“波束成形器系数”)应用于所接收的音频信号中。这些权重可以适合于考虑DOA信息来处理由多个麦克风接收的音频信号从而形成“波束”由此将高增益应用于麦克风从来自期望位置(即，期望的方向和距离)所接收的期望的音频信号并且在任何其它(例如，干扰)信号源的方向应用低增益。可以适配对干扰源的抑制，在这个意义上而言，波束成形器可以是“自适应”的，但对期望源/看方向的选择不必是可适配的。同样，具有多个用于接收音频信号的麦克风的装置也可具有用于输出音频信号的音频输出部件(例如，包括扬声器)。例如，在将音频信号输出给装置的用户以及接收来自装置的用户的音频信号的情况下，例如在通信事件期间，这种装置是有用的。例如，所述装置可以是用户装置(诸如电话、计算机或电视机)并且可包括允许用户参加远程会议所必需的设备。如果装置同时包括音频输出部件(例如包括扬声器)和音频输入部件(例如麦克风)，那么常常会存在一个问题当接收的音频信号中存在回声，其中该回声是由于从扬声器中输出且在麦克风中接收的音频信号所产生。从扬声器中输出的音频信号包括回声而且还包括由扬声器播放的其它声音，诸如，例如来自视频片段的音乐或音频。如上所述，当在实施波束成形器的装置中接收的音频信号中存在回声时，可以将回声作为所接收音频信号中的干扰进行处理，并且可以适配波束成形器系数以便波束成形器将低增益应用于从回声信号方向(和/或距离)所到达的音频信号。当通信事件开始时，波束成形器不了解扬声器信号(其中包括回声)将从什么角度(和/或距离)到达，直到通信事件中的远端活动的第一种情况(例如，来自远端用户的语音)。一旦在通信事件中已发生了远端活动的第一种情况，该装置可以对装置麦克风中所接收的音频信号进行分析从而确定回声方向，然后可以适配波束成形器系数以便波束成形器对从回声方向所接收的音频信 号应用回声抑制。在自适应波束成形器中，高度期望的属性是具有缓慢形成的波束图。对波束图的快速改变往往导致背景噪音特征中的可听的变化，因此不被看作是自然的。因此，如上所述当响应于通信事件中的远端活动的第一种情况而适配波束成形器系数时，在快速抑制回声与不过快改变波束图之间作出折衷。

发明内容
在本发明的各实施例中，基于从大量类似装置中收集的统计，在回声通常被接收的角度给定的情况下，将波束成形器初始化。在本发明的各实施例中，当通信系统的装置参与通信事件时，它们在通信事件期间确定回声方向，例如采用基于相关性的方法，并且它们将回声方向数据优选地连同识别正在运行软件的装置的类型信息传送至通信系统的服务器，并且服务器可以存储来自通信系统的多个装置的回声方向数据连同装置标识符。由服务器存储的回声方向数据可以用于确定针对通信系统的其它类似的装置的可能的回声方向，并且可将可能的回声方向的指示传送至该装置以使得这些装置可以初始化波束成形器从而在通信事件期中远端活动的第一情况之前将回声抑制应用于通信事件可能的回声方向。这样，在本发明的各实施例中，如果最初回声方向与实际回声方向相一致，波束成形器被准备用于将到达的回声，并且该波束成形器将在通信事件远端活动的第一情况之前将已具有全回声抑制。因此，在这些情况下，由于回声抑制的第一远端活动而导致波束图无需随后改变。如果在通信事件中最初的回声方向不与实际回声方向一致，那么缓慢适配波束成形器的系数以将回声抑制应用于通信事件中的回声，这导致上述的现有技术的类似的波束图失真。根据本发明的第一方面，提供一种用于通信事件中的在装置中处理音频信号的方法，所述装置包括用于输出通信事件的音频信号的音频输出部件；该方法包括装置查询数据存储部件以获得回声方向的指示，从该回声方向，从音频输出部件输出的音频信号有可能在装置的麦克风阵列中接收，所述麦克风阵列包括多个麦克风；根据获得的回声方向的指示确定装置的自适应波束成形器的波束成形器系数；在麦克风阵列的多个麦克风处接收音频信号；自适应波束成形器将确定的波束成形器系数应用于接收的音频信号，由此生成波束成形器输出以用于通信事件中，其中确定波束成形器系数以便自适应波束成形器将回声抑制应用于麦克风阵列从指示的回声方向所接收的音频信号。有利地，所述装置可以使用从数据存储部件中获得的回声方向的指示来确定波束成形器系数，以便波束成形器将回声抑制应用于麦克风阵列从指示的回声方向所接收的音频信号。这允许在通信事件中远端活动的第一种情况之前基于可能的通信事件的回声方向将波束成形器初始化。这避免需要在实验室中对装置进行测试并且基于特定装置的回声方向的手动地测量对波束成形器进行初始化。当人工努力不可行的时，例如当其上实施波束成形器的装置的数量非常大使得手动地初始化各装置是不切实际的，将初始化过程自动化成了特别有利的。在本发明的各实施例中，这是通过获得来自数据存储部件的回声方向的指示而实现。这样，可以使初始化过程自动化并且用于大量的装置，其均可以查询数据存储部件而获得回声方向的指示。·在波束成形器系数已如上所述被最初确定之后，一旦在通信事件中远端活动开始，装置可根据实际的回声方向，例如使用基于相关性的方法，适配波束成形器系数。如果从数据存储部件获得的指示的回声方向与实际的回声方向匹配(或者接近)，那么一旦远端活动开始，波束成形器系数将需要很少、或者无需调节。因而，由于通信事件中远端活动开始，波束成形器的波数图将有利地经历很少或者没有失真。所述方法可进一步包括输出来自音频输出部件的通信事件的音频信号；确定输出的音频信号在麦克风阵列中接收的实际回声方向；以及，如果实际回声方向不同于所指示的回声方向，那么适配波束成形器系数，使得自适应波束成形器对麦克风阵列在实际回声方向上所接收的音频信号应用回声抑制。查询数据存储部件的步骤可包括利用该装置的标识符对数据存储部件进行查询。响应于对数据存储部件的查询的步骤，所述方法可进一步包括使用该装置的标识符从数据存储部件中检索出从至少一个具有识别符的其它装置中所接收的回声方向数据，所述标识符对应于该装置的标识符；以及，使用检索出的回声方向数据来确定该装置的回声方向。如果该装置至少是(i)相同类型、(ii)相同型号、及(iii)相同类别中的一种情况，那么所述至少一个其它装置的标识符可对应于该装置的标识符。可以存在多个所述的其它装置，并且可基于从所述多个其它装置中所接收的回声方向数据的平均统计值来确定该装置的回声方向。所述方法可进一步包括确定从多个其它装置中所接收的回声方向数据表明一个特定的回声方向对于多个其它装置是最常见的，以及将该装置的回声方向设置成特定的回声方向。所述方法可进一步包括从至少一个其它装置接收回声方向数据(其中，从至少一个其它装置的每个装置中接收的所述回声方向数据包括(i)在通信事件期间在其他装置处接收回声的回声方向有关的数据和(ii)其它装置的标识符)；以及将所接收的回声方向数据存储于数据存储部件中。数据存储部件可以在装置中。可替代地，数据存储部件可以在服务器中，并且查询数据存储部件的步骤可包括从装置向服务器传送查询；以及在装置中接收来自服务器的所述回声方向的指示。可将回声方向的指示从服务器广播至装置。所述方法可以进一步包括在装置中确定与回声方向相关的回声方向数据，在通信事件期间在装置中接收来自该回声方向的回声；以及在数据存储部件中存储确定的回声方向数据，其中存储在数据存储部件中的确定的回声方向数据是用于确定在查询数据存储部件的所述步骤获得的回声方向的指示。根据本发明的第二方面，提供一种用于通信事件的处理音频信号的装置，该装置包括音频输出部件，其用于输出通信事件的音频信号；包括多个麦克风的麦克风阵列，其用于接收频信号；查询部件，其用于查询数据存储部件从而获得回声方向的指示，从音频输出部件输出的音频信号可能在麦克风阵列从该回声方向接收；自适应波束成形器，其用于将波束成形器系数应用于在多个麦克风中接收的音频信号，由此生成波束成形器输出以用于通信事件；以及确定部件，其用于根据获得的回声方向的指示，确定所述波束成形器系数，其中确定部件被配置为确定波束成形器系数以使得自适应波束成形器将回声抑制应用于在麦克风阵列从指示的回声方向上接收的音频信号 。所述装置可以进一步包括进一步确定实际的回声方向的部件，从音频输出部件输出的输出音频信号在麦克风阵列中从该实际的回声方向接收；以及适配部件，其用于适配波束成形器系数，如果实际的回声方向不同于指示的回声方向，这样自适应波束成形器将回声抑制应用于在麦克风阵列中从实际的回声方向上接收的音频信号。查询部件可以被配置来利用装置的标识符查询数据存储部件。所述装置可以进一步包括所述数据存储部件。可替代地，数据存储部件可以在服务器中，并且查询部件可被配置为将查询传送给服务器；以及从服务器接收所述回声方向的指示。根据本发明的第三方面，提供一种计算机程序产品，该计算机程序产品是用于在装置中处理音频信号以用于通信事件，所述装置包括用于输出通信事件的音频信号音频输出部件，该计算机程序产品记录在非瞬时性计算机可读介质并且被配置为当在装置的处理器中执行时以便执行如本文所述的在设备处执行的方法步骤。根据本发明的第四方面，提供一种用于处理音频信号以用于通信事件中的系统，该系统包括一种装置，包括音频输出部件，其用于输出通信事件的音频信号；包括多个麦克风的麦克风阵列，其用于接收音频信号；查询部件，其用于查询数据存储部件从而获得回声方向的指示，其中从音频输出部件输出的音频信号可能在麦克风阵列中从该回声方向接收；自适应波束成形器，其用于将波束成形器系数应用到接收的音频信号中，由此生成波束成形器输出以用于通信事件；以及确定部件，其用于根据获得的回声方向的指示确定所述波束成形器系数，其中确定部件被配置为确定波束成形器系数以使得自适应波束成形器将回声抑制应用于在麦克风阵列中从指示的回声方向接收的音频信号；以及一种服务器，包括数据存储部件；确定部件，其用于确定回声方向；和提供部件，其用于响应于来自查询部件的查询而将回声方向的指示提供给装置。根据本发明的第五方面，提供一种在通信系统中处理音频信号的方法，该方法包括在通信系统的多个装置中确定回声方向数据，在多个装置中的每个装置中确定的所述回声方向数据包括(i)与回声方向有关的数据，其中在通信事件期间在多个装置中的一个装置中从该回声方向接收回声，以及(ii)多个装置中的一个装置的标识符；将确定的回声方向数据从多个装置传送至通信系统的数据存储部件；将从多个装置接收的回声方向数据存储在数据存储部件中；利用通信系统的特定装置的标识符来查询数据存储部件；使用特定装置的标识符来从数据存储部件中检索从所述多个装置中的至少一个接收的回声方向数据，所述多个装置具有对应于特定装置的标识符的标识符；使用检索的回声方向数据来确定特定装置的回声方向；根据回声方向的指示确定特定装置的自适应波束成形器的波束成形器系数；在特定装置的麦克风阵列的多个麦克风中接收音频信号；以及自适应波束成形器将确定的波束成形器系数应用于接收的音频信号，由此生成用于通信事件的波束成形器输出，其中对波束成形器系数进行确定以使得自适应波束成形器将回声抑制应用于在麦克风阵列中从指示的回声方向接收的音频信号。根据本发明的第六方面提供一种用于处理音频信号的通信系统，该通信系统包括_多个装置，包括用于确定回声方向数据的确定部件，在多个装置中的每个装置中确定的所述回声方向数据包括(i)与回声方向相关的数据，其中在通信事件期间在多个装·置中的一个装置中从该回声方向接收回声，和(ii)多个装置中的一个装置的标识符；以及传送部件，用于将确定的回声方向数据从多个装置传送给服务器；_服务器，包括接收部件，其用于接收从多个装置传送的回声方向数据；数据存储部件，其用于存储接收的回声方向数据；检索部件，其用于利用通信系统的特定装置的标识符从数据存储部件中检索从所述多个装置中的至少一个装置接收的回声方向数据，所述多个装置具有对应于特定装置的标识符的标识符；确定部件，其用于使用检索的回声方向数据来确定特定装置的回声方向；以及，提供部件，其用于将确定的回声方向的指示提供至特定装置；以及-特定装置，包括音频输出部件，其用于输出通信事件的音频信号；包括多个麦克风的麦克风阵列，其用于接收音频信号；查询部件，其用于查询数据存储部件从而获得由服务器提供的确定的回声方向的指示；自适应波束成形器，其用于将波束成形器系数应用于接收的音频信号，由此生成波束成形器输出以用于通信事件；以及，确定部件，其用于根据获得的确定的回声方向的指示确定所述波束成形器系数，其中确定部件被配置为确定波束成形器系数以便自适应波束成形器将回声抑制应用于在麦克风阵列中从指示的回声方向接收的音频信号。根据本发明的第七方面，提供一种在通信系统的服务器中处理数据的方法，该方法包括在服务器中接收来自通信系统的多个装置的回声方向数据，从多个装置中的每个装置中接收的所述回声方向数据包括(i)与回声方向相关的数据，其中在通信事件期间在多个装置中的一个装置中从该回声方向接收回声，以及(ii)多个装置中的一个装置的标识符；将接收的回声方向数据存储在数据存储部件中；确定通信系统的特定装置的标识符；使用特定装置的标识符在服务器中从数据存储部件检索从所述多个装置的至少一个装置接收的回声方向数据，所述多个装置的至少一个装置具有对应于特定装置的标识符的标识符；使用检索的回声方向数据在服务器中确定特定装置的回声方向；以及将确定的回声方向的指示提供至特定装置。确定特定装置的标识符的步骤可以包括在服务器中接收来自装置的针对回声方向数据的查询，所述查询包括特定装置的标识符。提供确定的回声方向的指示的步骤可包括将确定的回声方向的指示从服务器传送至特定装置。将确定的回声方向的指示从服务器传送至特定装置的步骤可包括广播确定的回声方向的指示。如果特定装置是以下情况中的至少一种情况与所述多个装置中的至少一个装置为(i)相同的类型、(ii)相同的模式、和(iii)相同的类别，则所述多个装置的至少一个装置的标识符可对应于特定装置的标识符。可存在具有对应于特定装置的标识符的标识符的多个所述装置，并且可以基于从具有对应于特定装置的标识符的标识符的多个所述装置中接收的回声方向数据的平均的统计确定特定装置的回声方向。所述方法可以进一步包括确定从存储部件检索的回声方向数据表明特定回声方向是最常用在具有对应于特定装置的标识符的标识符的多个所述装置，以及将特定装置的回声方向设定为特定回声方向。根据本发明的第八方面，提供一种用于处理数据的服务器，该服务器是通信系统的一部分，该服务器包括接收部件，其用于从通信系统的多个装置接收回声方向数据，针对多个装置中的每个装置的所述回声方向数据包括(i)与回声方向相关的数据，其中在通信事件期间在多个装置中的一个装置中从该回声方向接收回声，以及(ii)多个装置中的一个装置的的标识符；数据存储部件，用于存储接收的回声方向数据；确定部件，其用于确定通信系统的特定装置的标识符；检索部件，其用于使用特定装置的标识符来从数据存储 部件中检索从所述多个装置中的至少一个接收的回声方向数据，所述多个装置具有对应于特定装置的标识符的标识符；确定部件，其用于使用检索的回声方向数据来确定特定装置的回声方向；以及提供部件，其用于将确定的回声方向的指示提供至特定装置。根据本发明的第九方面，提供一种用于在通信系统的服务器中处理音频信号的计算机程序产品，该计算机程序产品记录于非瞬时性计算机可读介质并且被配置为当在服务器的处理器中执行时在服务器中执行如本文中所述的方法步骤。根据本发明的第十方面，提供一种在通信系统中处理数据的方法，该方法包括在通信系统的多个装置中确定回声方向数据，在多个装置中的每个装置中确定的所述回声方向数据包括(i)与回声方向相关的数据，其中在通信事件期间在多个装置中的一个装置中从该回声方向接收回声，以及(ii)多个装置中的一个装置的标识符；将确定的回声方向数据从多个装置传送至通信系统的服务器；将在服务器中从多个装置接收的回声方向数据存储在数据存储部件器中；确定通信系统的特定装置的标识符；使用特定装置的标识符在服务器中从数据存储部件检索从所述多个装置中的至少一个装置接收的回声方向数据，所述多个装置具有对应于特定装置的标识符的标识符；使用检索的回声方向数据在服务器中确定特定装置的回声方向；以及将特定装置的确定的回声方向的指示提供给特定装置。在多个装置中确定回声方向数据的步骤可以包括，对于多个装置中的每个装置，采集与回声方向相关的信息，其中贯穿通信事件在多个装置中的每个装置中从该回声方向接收回声。采集信息可以包括在通信事件的回声活动期间在多个装置中的一个装置中更新到达方向估计。所述方法可以进一步包括，对于多个装置的每个装置，在通信事件结束时在多个装置的一个装置中使用到达方向估计确定传送至服务器的回声方向数据。根据本发明的第十一方面，提供一种用于处理数据的通信系统，该通信系统包括多个装置，包括确定部件，其用于确定回声方向数据，在多个装置中的每个装置中确定的所述回声方向数据包括(i)与回声方向相关的数据，其中在通信事件期间在多个装置中的一个装置中从该回声方向接收回声，和(ii)多个装置中的一个装置的标识符；以及，传送部件，其用于将确定的回声方向数据从多个装置传送至服务器；并且，服务器包括接收部件，其用于接收从多个装置传送的回声方向数据；数据存储部件，用于存储接收的回声方向数据；确定部件，其用于确定通信系统的特定装置的标识符；检索部件，其用于使用特定装置的标识符而从数据存储部件中检索从所述多个装置的至少一个装置中接收的回声方向数据，所述多个装置具有对应于特定装置的标识符的标识符；确定部件，其用于使用检索的回声方向数据来确定特定装置的回声方向；以及提供部件，其用于将确定的回声方向的指示提供给特定装置。


为了更好地理解本发明并揭示如何实施本发明，将通过举例并参考以下附图，其中
图1示出了根据优选实施例的通信系统；
图2示出了根据优选实施例的装置的示意 图3示出了根据优选实施例的装置操作的环境；
图4示出了装置根据优选实施例的各元件的的功能框 图5是根据优选实施例的处理数据的过程的流程 图6是根据优选实施例的处理音频信号的过程的流程 图7示出了在一个实施例中如何估计到达方向信息的图示。
具体实施例方式现在将通过仅作为举例来描述本发明的优选实施例。在优选实施例中，基于从通信系统的服务器中接收的回声方向的指示，对通信系统的第一装置中的波束成形器的波束成形器系数进行初始化。服务器基于从通信系统的其它装置中接收的回声方向数据确定回声方向的指示，该其它装置类似于第一装置(例如从与第一装置相同的类型和模式或者相同装置类别的其它装置，例如TV)。这允许波束成形器在通信事件中的远端活动的第一情况之前将回声抑制应用于回声方向。首先参照图1，图中示出了根据优选实施例的通信系统100。通信系统100包括与第一用户104相关联的第一装置102。第一装置102例如经由网络106连接到通信系统100的服务器112。服务器112包括数据存储部件部件(诸如数据库114)。通信系统100还包括多个其它装置Ios1和1082，其与相应的多个其它用户Iio1和Iio2相关联。装置Ios1和IOS2经由网络106连接到服务器112。为了清楚起见在图1中仅示出两个装置108，但将理解的是多于两个的装置108可以以与图1所示的针对装置IOS1和IOS2的类似的方式连接到服务器112。通信系统100的装置(例如，装置102、IOS1和1082)可以在通信系统100中通过网络106相互通信，由此允许用户(例如，用户104、IlOjP IlO2)参与通信事件，由此相互进行通信。网络106可以是例如互联网。每个装置102, IOS1和1082可以是例如移动电话、个人数字助理(“PDA”)、个人计算机(“PC”)(包括例如，Windows , Mac OS 和Linux PC)、笔记本电脑、电视机、游戏装置或者能够连接到网络106的其它嵌入式装置。装置102是被安排来接收来自用户104的信息以及输出信息给用户104。现在参照图2，图中示出了装置102的示意图。装置102可以是固定装置或移动装置。装置102包括CPU 204，与CPU 204相连接的是用于接收音频信号的麦克风阵列206、用于输出音频信号的音频输出装置210，用于将可视数据输出给装置102的用户104的显示器212 (诸如屏幕)、以及用于存储数据的存储器214。现参照图3，图中示出了装置102操作的示例性环境300。装置102的麦克风阵列206接收来自环境300的音频信号。例如，如图3中所示，麦克风阵列206接收来自用户104的音频信号(如图3中的Cl1所表示)、来自TV 304的音频信号(如图3中的d2所表不)、来自风扇306的音频信号(如图3中的d3所表不)和来自扬声器310的音频信号(如图3中的d4所表示)。装置102的音频输出装置210包括音频输出处理部件308和扬声器310。音频输出处理部件308操作以将音频输出信号传送至扬声器310以用于从扬声器310输出。扬声器310可实施在装置102外壳的内部。可替代地，扬声器310可位于装置102外壳的外部。音频输出处理部件308可操作作为在CPU 204中所执行的软件、或者作为装置102中的硬件。对于本领域技术人员显而易见的是，麦克风阵列206可以接收除图3所示的音频信号之外的其它音频信号。在图3中所示的情况下，来自用户104的音频信号是期望的音频信号，而在麦克风阵列206中所接收的所有其它音频 信号是干扰音频信号。在其它实施例中，在麦克风阵列206中接收的多于一个的音频信号可以被认为是“期望的”音频信号，但为简单起见，在本文中所描述的各实施例中，仅存在一个期望的音频信号(来自用户104的音频信号)，其它音频信号被认为是干扰。不需要的噪声信号的其它源可以包括例如空调系统、播放音乐的装置、环境中的其它用户以及例如在环境300中脱离墙壁的音频信号的回响(reverberance)。现在参照图4，图中示出了根据本发明优选实施例的装置102的各元件的功能表示。麦克风阵列206包括多个麦克风402^4022和4023。装置102进一步包括波束成形器404，波束成形器404可以是例如最小方差无失真响应(MVDR)波束成形器。波束成形器404可以在CPU 204中所执行的软件中实施或者是在装置102的硬件中实施。麦克风阵列206中的每个麦克风的输出耦接到波束成形器404的相应输入。本领域技术人员将理解的是，需要多个输入来实施波束成形。麦克风阵列206在图4中被图示为具有三个麦克风(402ρ40 和4023)，但应当理解的是麦克风的此数量只是示例性的而决不是以任何方式限制性。波束成形器404包括用于接收和处理来自麦克风阵列206的麦克风402^4022和4023的音频信号(t)、y2 (t)和y3 (t)的部件。例如，波束成形器404可包括语音活动检测器(VAD)以及DOA估计块(图中未示出)。在操作中，波束成形器404确定麦克风阵列206所接收的音频信号的性质并且基于由VAD和DOA估计块检测到的如质量之类的语音检测，确定(多个)主扬声器的一个或多个主要方向。在其它实施例中，可预设(多个)主扬声器的(多个)主要方向以便波束成形器404集中于固定方向。在图3中所示的示例中，从用户104中接收的音频信号((I1)的方向被确定是主要方向。波束成形器404可使用DOA信息(或者可以简单地使用固定的观看方向，该观看方向被预先设定供波束成形器404使用)通过形成这样的波束来处理音频信号，其中该波束具有在来自主要方向(Cl1)的方向上的高增益以及在任何其它信号(例如d2、ddPd4)方向上的低增益，其中，所需要的信号在麦克风阵列206从主要方向(Cl1)接收。波束成形器404还可以确定干扰的到达方向((12、(13和(14)，并且可以有利地适配波束成形器404的表现以使得特别地将低增益应用于从干扰的到达方向接收的音频信号，从而抑制干扰音频信号。虽然上面已描述波束成形器404可以确定任意数量的主要方向，所确定的主要方向的数量影响波束成形器的属性，例如对于大量的主要方向，与如果确定单个主要方向相比，波束成形器404将对在麦克风阵列206中从其它(不需要的)方向接收的信号应用较少衰减。波束成形器404的输出可以以许多不同方式用于装置102，正如对本领域技术人员而言是显而易见的。例如，波束成形器404的输出可以用作通信事件的部分，其中用户104使用装置102参与通信事件。波束成形器404的输出可以以单个信道的形式提供以进行处理。输出多于一个信道也是可能的，例如保留或者虚拟地生成立体图像。通信系统100中的其它装置108可具有与上面有关装置102描述的那些元件相应的元件。参照图5，现在描述根据优选实施例的处理数据的方法。在步骤S502，通信系统100中的其它装置108在装置108参与的通信事件期间采集与回声方向相关的信息。例如，可以贯穿呼叫采集与回声到达装置108的麦克风阵列的方向有关的信息。这可以在回声活动期间通过更新到达方向估计而完成，例如使用以下参考图7更详细地描述的基于相关性的方法。在步骤S504，当有关装置108的通信事件结束时，装置108基于在步骤S502中采 集的信息而确定回声方向数据。每个装置108独立地完成此任务。回声方向数据包括(i)与回声方向相关的数据，其中在通信事件期间在装置108中从该回声方向接收回声，以及
(ii)装置108的标识符。标识符可以包括装置108的类型、模式和/或类别(例如个人计算机、移动电话或者电视机)。在步骤S506，将在步骤S504中所确定的回声方向数据例如经由网络106从装置108传送至服务器112。这样，在有关装置108的呼叫(或者其它通信事件)之后，用标识符回声方向的估计的角度传送至服务器112，该标识符可以是识别装置108的类别、类型和模式的字符串。在步骤S508，服务器112将从装置108所接收的回声方向数据存储在数据库114中。随时间的推移，将存在针对使用通信系统100的不同类别、类型和模式的装置的回声方向的多个估计，并且这些估计存储在数据库114中。因此，以这种方式，服务器112能够存储用于许多不同类别、类型和模式的装置的回声方向数据，其可随后用来基于装置的类别、类型和模式来提供装置的可能回声方向的指示。参照图6，现在描述一种根据优选实施例的处理音频信号的方法。装置102将要通过通信系统100参与例如与装置IOS1的通信事件。期望初始化装置102的波束成形器404以将回声抑制应用于在麦克风阵列206中从扬声器310接收的回声。此外，期望在通信事件开始之前以此方式初始化波束成形器404，使得不要求响应于通信事件中远端活动的第一情况(例如，来自用户IlO1的语音)快速地改变波束图形。因此，在在通信事件开始之前步骤S602，装置102将回声方向数据的请求传送到服务器112。该请求包括装置102的标识符，诸如装置102的类型和模式。装置102可被称为“请求”装置。这样，装置102查询服务器112的数据库114的回声方向数据。在步骤S604，服务器112为类似于装置102的装置从数据库114中检索回声方向数据。如果它们具有相应的标识符，例如识别装置的相同类型和模式的标识符，则可以确定这些装置是“类似的”。例如，装置IOS1可以是与装置102 (图示为类似于图1)相同的类型和模式，然而装置IOS2可以是与装置102(在图1所示为不同的)不同的类型和/或模式，因此，在步骤S604可能检索从装置IOS1中提供给服务器112的回声方向数据，而在步骤S604可能没有检索从装置IOS2提供给服务器112的回声方向数据。在步骤S606，服务器112基于在步骤S604检索的回声方向数据为装置102确定回
声方向。例如，服务器112可对存储在数据库114中的回声方向数据进行处理以便在数据库114中参考与各条回声方向数据相关联的装置108的类型和模式将回声方向数据分组。然后，服务器112可以确定对于装置102的类型和模式是否存在比其它回声方向更普遍的单个回声方向，或者是否不存在这样的回声方向。在存在这种回声方向的情况下，这可被服务器112解释为意指与装置102相同类型和模式的装置的麦克风阵列和扬声器被嵌入该装置中，以使得在麦克风阵列中以相同的到达方向接收从这些装置扬声器中输出的音频信号。在此情况下，在步骤S606，在大多数类似于装置102的装置108中相同的回声方向被确定为装置102的可能回声方向。如果不存在在大多数利用类似于装置102的装置进行的呼叫中相同的普遍的回声方向，则这由服务器112解释为意指与装置102相同类型和模式的装置的麦克风阵列和扬声器没有嵌入到装置中，因此装置102的回声方向的确定可能不太明确。在这些情况下，服务器112可以继续确定与装置102相同类型和模式的装置的最常见回声方向，或者服务器112可确定没有回声方向应被确定以供装置102使用。在步骤S608，已在步骤S606中确定的回声方向的指示被例如经由网络106从服务器112传送至装置102。在步骤S610，装置102基于在步骤S608中传送的回声方向的指示确定波束成形器404的波束成形器系数。确定波束成形器系数以使得波束成形器将把回声抑制应用于在麦克风阵列206中从指示的回声方向所接收的音频信号。在通信事件开始之前执行步骤S610以便在通信事件开始之前对波束成形器404进行初始化。因此，在通信事件开始之前以及在通信事件中远端活动的第一情况之前，为了从指示的回声方向到达的回声准备波束成形器 404。在步骤S612，通信事件已开始并且在麦克风阵列206的麦克风(402^4022和 4023)中接收音频信号。例如，从用户104、TV 304和风扇306接收音频信号。并且这些音频信号构成了近端音频信号，如图3和图4中所示。麦克风阵列206中的麦克风还接收来自扬声器310的回声信号，如图3和图4中所示。其它干扰音频信号(诸如背景噪音)也可以在麦克风阵列206的麦克风(402^4022和4023)中接收，并且这些其它干扰音频信号将构成进一步的近端音频信号。由麦克风阵列206的各麦克风(402^4022和4023)所接收的音频信号Y1 (t)、y2 (丨)和73 (t)被传递到波束成形器404。回声信号是音频输出处理部件308将扬声器音频信号X (t)发送至扬声器310并且扬声器310输出扬声器音频信号x(t)的结果。扬声器音频信号X (t)经过回声路径传播并存在于所接收的音频信号yi (t)、
I2(t)和 y3 (t)中。在步骤S614，波束成形器404将在步骤S610确定的波束成形器过滤器系数应用于所接收的音频信号(Y1 (t)、y2 (t^Py3 (t)中，从而生成波束成形器输出。如上所述，波束成形器404集中在麦克风阵列206中从主要方向(Cl1)接收的音频信号从而增强从用户104接收的期望的音频信号，并且将抑制应用于在麦克风阵列206中从其它方向所接收的其它音频信号。波束成形器404的任务是相对于其它干扰源增强来自主要源的信号。特别是，波束成形器404将把回声抑制应用于在麦克风阵列206中从在步骤S608的传送中的指示的回声方向接收的音频信号。在步骤S616，从波束成形器404中输出信号以在装置102中进一步进行处理。例如，来自波束成形器404的信号输出可用于通信事件，例如作为音频或视屏呼叫的一部分的从用户104传送至另一用户例如用户IlO1)的语音信号通过网络106传送至另一个装置(例如装置Ios1 )。在通信事件期间，装置102可以确定实际的回声方向，其中在麦克风阵列206中从该实际的回声方向接收从扬声器310输出的音频信号。如果实际的回声方向不同于指示的回声方向，那么可以对波束成形器系数进行适配以便波束成形器404将回声抑制应用于在麦克风阵列206中从实际的回声方向接收的音频信号。 如果服务器112指示的回声方向符合在麦克风阵列206中从扬声器310接收回声的实际方向，那么将无需响应于通信事件中远端活动的第一情况而调节波束成形器系数。这有利地减小波束图的失真，由此提供更自然的音响信号。通过利用接近或者等于正确的回声方向的回声方向初始化波束成形器404，与现有技术相比，为获得回声抑制需要对波束成形器的波束图作出的改变显著地减小。如果由服务器112指示的回声方向不符合在麦克风阵列206中从扬声器310接收回声的实际的方向，则适配波束成形器系数从而缓慢改变波束成形器404的波束图直到波束成形器404将合适的回声抑制应用于实际的回声方向。现在将参照图7对执行到达方向(DOA)估计以确定回声的回声到达方向的操作(例如在装置108中以及在装置102中)进行更详细的描述。通过以下操作估计DOA信息包括例如使用相关性方法在麦克风阵列206的多个麦克风的接收的音频信号之间估计时延，并且使用有关麦克风阵列206的多个麦克风402ρ4022和4023的位置的先验知识估计音频信号的源。作为示例，图7示出了在两个单独的输入通道接收来自扬声器310的音频信号的麦克风阵列206的麦克风402i和4022。为了便于理解，图7示出了作为点源的扬声器310，其中波正从源310以圆形运动的方式传播出去。它在现实中即为这样，但下面所示的方程式假设所接收的音频信号在麦克风402i和4022中被作为平面波接收。当点源310与麦克风402i和4022是“足够远”时，此假设是个好的假设。然而，应当注意的是平面波假设仅用于简化数学，而决不是本发明的先决条件，本发明在没有平面波假设的情况下同样地工作。在分隔距离为d的麦克风402i和4022中的音频信号到达方向可以使用方程式(I)估计
Θ — Cl f*CS I It (—》-*)
Cl)
其中K是音速，rD是音频信号从自扬声器310到达麦克风402i和4022的时间之间的差，即时延。距离d是麦克风阵列206的已知参数，并且音速^是已知的(大约340 ms’。时延1rD被获取作为时滞，其使在麦克风402i和4022的输出中接收的干扰音频信号之间的互相关最大化。然后可以使用以上给出的方程式(I)找出对应于此时延的角度(K可以在接收的具有最大互相关时延的音频信号中检测扬声器信号X (t)的特性，以确定扬声器310的回声方向。应当理解的是计算信号的互相关是信号处理领域的常用技术，本文中将不更详细地加以描述。在以上参考图6所示的方法中，服务器112响应于接收来自装置102的请求而确定装置102的回声方向的指示。在其它实施例中，服务器112可以确定将针对装置102确定回声方向的指示而无需接收来自装置102的请求。因此，图6中所示的方法可始于步骤S604而无需在服务器112中接收请求，如在步骤S602中所示。例如，服务器112可以将回声方向的指示广播至装置102 (以及在通信系统100中的将其它回声方向广播至相应的其它装置)。装置102可以存储指示的回声方向以在装置102中随后用于将来的通信事件。装置102可以使用新接收的回声方向指示，如上所述，而无需已传送回声方向指示的请求至 服务器112。在这个意义上，启动过程的是服务器112而非装置102。如上所述，波束成形器404可以在CPU 204上执行的软件中实施或者在装置102中的硬件中实施。当波束成形器404在软件中实施时,可以通过记录在非暂时计算机可读介质的计算机程序产品提供，其被配置为当在装置102的CPU 204上执行时执行如上所述的波束成形器404的功能。虽然上述各实施例已提及麦克风阵列206接收来自单个用户104的一个期望的音频信号(Cl1 )，将理解的是麦克风阵列206可以接收来自多个用户的音频信号，例如在会议呼叫期间多个用户都可以被视为期望的音频信号。在此情况下，需要的音频信号的多个源到达麦克风阵列206。装置102可以是电视机、笔记本电脑、移动电话或者用于实施本发明的任何其它适当的装置，其具有多个麦克风，以便可实施波束成形。此外，可使波束成形器404能够在使用立体声麦克风拾音的任何合适的装备中实现。本发明的各实施例尤其可用于这样的装置，其使扬声器和麦克风嵌入该装置的外壳中，以使得在麦克风阵列中接收扬声器信号的回声方向是固定的。对于这些装置，由服务器112确定的回声方向应当是有关装置102将经历的回声方向的精确指示。本发明的其它实施例可以用于这样的装置，其中扬声器和麦克风阵列之一或二者均不嵌入该装置的外壳内。对于这种装置，仍然存在特定回声方向，该回声方向比其它回声方向更有可能，因此本发明仍然是有用的，尽管有关装置102将会经历的回声方向的指示的精确度可能低于扬声器和麦克风阵列嵌入装置的外壳内的装置。在上述实施例中，扬声器310是单声道的扬声器,用于输出单声道的音频信号,并且来自波束成形器404的波束成形器输出是单个信号。然而，这仅仅是为了简化陈述，本发明并不局限于仅用于这种系统。换句话说，本发明的一些实施例可使用立体音响的扬声器来输出立体音响的音频信号，并且本发明的一些实施例可以使用输出多个信号的波束成形器。参考图5的上述方法有关装置108将回声方向数据传送至服务器112以存储在数据库114中。装置102还可以确定回声方向数据，该回声方向数据可传送至服务器112从而以与如上有关装置108所述的相同方式存储于数据库114。类似地，参考图6的上述方法有关装置102接收以及使用可能的回声方向的指示。任何装置108还可以以与如上有关装置102所描述的相同的方式接收并使用可能的回声方向的指示。在上述实施例中，装置102将装置102中可能的回声方向的请求传送至服务器112，以便在装置102中初始化波束成形器440，并且服务器112通过传送回声方向至装置102进行响应。然而，在替代实施例中，服务器112可以确定如上所述的特定类另I」、类型和模式的装置的可能的回声方向，但在这些替代实施例中，在从特定装置接收请求之前执行此确定。可以将确定的回声方向提供至特定类别、类型和模式的装置并且预存储在那些装置的存储器中。在此情况下，当装置102即将开始通信事件时，可以从装置的存储器中检索出回声方向并用于初始化波束成形器系数以使得波束成形器将回声抑制应用于可能的回声方向。因此，在这些替代实施例中，在服务器中确定可能的回声方向(如上述实施例中)并且提供给装置，然而在这些替代实施例中，这可以离线完成(即，没有通过网络106在服务器112与装置102之间的传输)，然后存储于装置102的存储器214中，准备在有关装置102的通信事件开始时使用。
·
在还进一步的替代实施例中，在步骤S502从装置108中采集的数据可以存贮于装置102中的数据存储部件中(另外或替代地存储于服务器112的数据库114中)。在这些实施例中，装置102具有确定波束成形器404的最初回声方向所需要的(存储在装置102中的数据存储部件中的)信息，如上所述。因此，代替传送回声方向请求至服务器112和从服务器112接收回声方向的指示(步骤S602至S608)，装置102可以在装置102中查询数据存储部件从而获得回声方向的指示以供波束成形器404使用。然后，图6中所示方法的其余部分(即，步骤S610至步骤S616)可以以如上参考图6所述继续进行。因此，在这些实施例中，将数据存储在装置102中，以便装置102无需与服务器112进行通信从而确定初始的波束成形器系数。一旦服务器112已从装置108接收了数据，可将存储在装置102的数据存储部件中的数据从服务器112传送至装置102。换句话说，在图5的方法中，代替在步骤S508将回声方向数据存储在数据库114中，可将回声方向数据从服务器112传送至装置102从而存储于装置102的数据存储部件中。可替代地，可将数据从装置108传送至装置102从而在存储于装置102的数据存储部件中。还可替代地，可将数据从通信系统中除服务器以外的节点提供给装置102从而存储于装置102的数据存储部件内，例如，可利用波束成形器404将数据提供给装置102。尽管在上述各实施例中，描述了在通信事件之后装置108将回声方向数据传送至服务器112，在有关装置102的通信事件后装置102还可将回声方向数据传送至服务器112。因此，被根据来为装置102确定回声方向的数据存储部件中的数据可包括由装置102自身提供的数据。在一个示例中，可仅基于在装置102处的一个或多个通信事件期间由装置102自身所采集的数据来确定装置102的回声方向。这样，波束成形器404的波束成形器系数可以基于在装置102处至少一个较早的通信事件(例如音频或射频呼叫)中在装置102中确定的回声方向。在装置102处多个通信事件期间由装置102采集的回声方向数据可以从装置102传送至服务器112，并且服务器112可以求出从装置102接收的回声方向数据的平均值从而确定装置102的平均回声方向。可将此平均回声方向从服务器112传送至装置102使得装置102可以在装置102处的随后通信事件之前初始化波束成形器404的波束成形器系数。此外，虽然已参照优选实施例具体地图 示并描述了本发明，但本领域技术人员将理解的是，在不背离由所附权利要求所限定的本发明范围的情况下，可在形式和细节中作出各种变化。
权利要求
1.一种在装置中对音频信号进行处理以用于通信事件的方法，所述装置包括用于输出所述通信事件的音频信号的音频输出部件，所述方法包括所述装置对数据存储部件进行查询，以获得从所述音频输出部件输出的音频信号有可能在所述装置的麦克风阵列中被接收的回声方向的指示，所述麦克风阵列包括多个麦克风；基于所获得的所述回声方向的指示，确定所述装置的自适应波束成形器的波束成形器系数；在所述麦克风阵列的多个麦克风中接收音频信号；以及所述自适应波束成形器将所述确定的波束成形器系数应用于所接收的音频信号中，由此生成使用于所述通信事件的波束成形器输出，其中，确定所述波束成形器系数，使得所述自适应波束成形器将回声抑制应用于在所述麦克风阵列从所述指示的回声方向中所接收的音频信号。
2.如权利要求1所述的方法，进一步包括从所述音频输出部件输出所述通信事件的音频信号；确定在所述麦克风阵列中接收所述输出的音频信号的实际回声方向；以及如果所述实际回声方向不同于所述指示的回声方向，那么适配所述波束成形器系数，使得所述自适应波束成形器对在所述麦克风阵列中从所述实际回声方向中所接收的音频信号应用回声抑制。
3.如权利要求1或2所述的方法，其中，对所述数据存储部件进行查询的步骤包括利用所述装置的标识符对所述数据存储部件进行查询，并且其中，响应于对所述数据存储部件进行查询的步骤，所述方法进一步包括使用所述装置的标识符从所述数据存储部件中检索出从至少一个其它装置所接收的回声方向数据，所述其它装置具有对应于所述装置的标识符的标识符；以及使用检索出的回声方向数据来确定所述装置的回声方向。
4.如权利要求3所述的方法，其中，存在多个所述其它装置，并且其中，基于从所述多个其它装置所接收的回声方向数据的平均统计值而确定所述装置的回声方向，并且其中，所述方法进一步包括确定从所述多个其它装置中所接收的回声方向数据表明特定的回声方向是所述多个其它装置中最常见的并且将所述装置的回声方向设置为所述特定的回声方向。
5.如权利要求3或4所述的方法，进一步包括从所述至少一个其它装置接收回声方向数据，从所述至少一个其它装置的每个装置中所接收的回声方向数据包括(i)与在通信事件期间在该其它装置中接收回声的回声方向有关的数据、以及(ii)该其它装置的标识符；以及将所接收的回声方向数据存储于所述数据存储部件中。
6.如权利要求1至5中任一项所述的方法，其中，所述数据存储部件是处在服务器中，并且其中，对数据存储部件进行查询的步骤包括将查询从所述装置传送至所述服务器；以及在所述装置中接收来自所述服务器的所述回声方向的指示。
7.如前述权利要求中任一项所述的方法，进一步包括在所述装置中确定回声方向数据，所述回声方向数据与在通信事件期间在所述装置中接收回声的回声方向有关；以及将所述确定的回声方向数据存储于所述数据存储部件中；其中，存储于所述数据存储部件中的所述确定的回声方向数据是用于确定在对所述数据存储部件进行查询的步骤中所获得的回声方向的指示。
8.一种对音频信号进行处理以用于通信事件的装置，所述装置包括音频输出部件，所述音频输出部件是用于输出所述通信事件的音频信号；麦克风阵列，所述麦克风阵列包括用于接收音频信号的多个麦克风；查询部件，所述查询部件是用于对数据存储部件进行查询以获得从所述音频输出部件中输出的音频信号有可能在所述麦克风阵列中被接收的回声方向的指示；自适应波束成形器，所述自适应波束成形器是用于将波束成形器系数应用于在所述多个麦克风处接收的音频信号中，由此生成用于所述通信事件的波束成形器输出；以及确定部件，所述确定部件是用于基于所获得的回声方向的指示而确定所述波束成形器系数，其中，所述确定部件被配置来确定所述波束成形器系数使得所述自适应波束成形器对在所述麦克风阵列中从所述指示的回声方向上所接收的音频信号应用回声抑制。
9.如权利要求8所述的装置，进一步包括所述数据存储部件。
10.一种用于在装置中处理音频信号以用于通信事件的计算机程序产品，所述装置包括用于输出所述通信事件的音频信号的音频输出部件，所述计算机程序产品被记录在非暂时性计算机可读介质中并且被配置成当在所述装置的处理器中被执行时执行如权利要求1至7中任一项所述的步骤。
11.一种或多种其上存储计算机可执行指令的计算机可读存储媒体，所述指令当由计算装置执行时，使得所述计算装置实现如权利要求1 一 7中的任一个所述的方法。
全文摘要
用于在装置中处理音频信号以用于通信事件中的方法、装置、系统和计算机程序产品。该装置包括音频输出部件，其用于输出通信事件的音频信号。该装置查询数据存储部件以获得回声方向的指示，其中回声方向涉及这样的方向，其中从音频输出部件输出的音频信号有可能在该装置的麦克风阵列中从该方向接收，所述麦克风阵列包括多个麦克风。该装置的自适应波束成形器的波束成形器系数是根据接收的回声方向的指示而确定。音频信号在麦克风阵列的多个麦克风中被接收。自适应波束成形器将所确定的波束成形器系数应用于接收的音频信号，由此生成用于通信事件的波束成形器输出，其中确定波束成形器系数以使得波束成形器在麦克风阵列中从指示的回声方向对音频信号应用回声抑制。
文档编号H04M9/08GK103002171SQ201210377130
公开日2013年3月27日 申请日期2012年10月8日 优先权日2011年9月30日
发明者K.索伦森 申请人:斯凯普公司