处理信号的制作方法

专利名称：处理信号的制作方法
技术领域：
本发明涉及处理在设备中接收到的信号。
背景技术：
设备可具有可被用来从周围环境接收传输的信号的输入装置。例如，设备可具有诸如麦克风的音频输入装置，其可被用来从周围环境接收音频信号。例如，用户设备的麦克风可接收主要音频信号(诸如来自用户的语音)和其他音频信号。其他音频信号可以是在设备的麦克风接收到的干扰音频信号，可以是从干扰源接收到的或者可以是环境背景噪声或麦克风的自身噪声。干扰音频信号可扰乱在设备中接收到的主要音频信号。设备可出于许多不同的目的而使用接收到的音频信号。例如，在接收到的音频信号是从用户处接收到的语音信号的情形下，设备可处理语音信号以将其用于通信事件，例如，通过网络传输语音信号到与通信事件的另一个用户相关联的另一个设备。可替换地，或附加地，接收到的音频信号可被用于本领域公知的其他目的。在其他例子中，设备可具有用于接收其他类型的传输信号(诸如一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波或微波)的接收装置。对于这些其他类型的传输信号也会发生同样的情况，其中在接收装置中接收主要信号和干扰信号。以下所提供的描述主要涉及在设备中对音频信号的接收，但是相同的原理将适用于设备中对其他类型的传输信号(诸如以上所述的一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波和微波)的接收。为了提高接收到的音频信号(例如从用户处接收到的用于在呼叫中使用的语音信号)的质量，希望抑制在用户设备的麦克风中接收到的干扰音频信号(例如背景噪声和从干扰音频源接收到的干扰音频信号)。其中多个麦克风操作为单个音频输入装置的立体声麦克风和其他麦克风阵列的使用已经变得越来越普 遍。在设备上使用多个麦克风使得除了能够使用从由单个麦克风接收到的音频信号提取出的信息之外，还能够使用从接收到的音频信号中提取出的空间信息。当使用这样的设备时，一种用于抑制干扰音频信号的方法是应用波束成型器(beamformer)到由多个麦克风接收到的音频信号。波束成型是通过应用信号处理来聚焦由麦克风阵列接收到的音频信号的处理，从而增强麦克风阵列中从一个或多个期望方向接收到的特定音频信号。出于简明的目的，此处我们将描述仅有单个期望方向的情况，但是相同的方法也可应用到具有多个感兴趣方向的情况。在波束成型处理之前可以确定或设置被称为到达方向(Direction of Arrival (DOA))的信息,也就是麦克风阵列中接收期望的音频信号的角度。将期望的到达方向设置为固定的是有益的，这是因为到达方向的估计可能很复杂。然而，在可替换的情况中，使期望的到达方向适应变化的条件是有益的，所以在使用波束成型器时实时估计期望的到达方向也是有益的。自适应波束成型器应用波束成型器系数到接收到的音频信号，由此他们使用DOA信息来处理由多个麦克风接收到的音频信号以形成“波束”，从而高增益被应用到麦克风接收到期望的音频信号的方向，而低增益被应用到任何干扰源的方向。当波束成型器试图抑制来自不希望的方向的不希望的音频信号时，麦克风的数量以及麦克风阵列的外形和大小将限制波束成型器的效果，因此虽然抑制了不希望的音频信号，但是不希望的音频信号还是可听见的。可在设备中通过与处理来自单个麦克风的接收到的音频信号的相同的方式进一步处理波束成型器的输出，例如以便作为通信事件的一部分传输到另一个设备。例如，波束成型器的输出可作为输入信号提供到设备中的回声消除阶段(echo cancellation stage)、自动增益控制(AGC)处理阶段和单通道噪声降低阶段中的至少一个。确定与来自特定干扰源的特定干扰音频信号相关的特定的到达麦克风的方向可能是有用的。接着可能是有益的是，适配波束成型器的波束成型器系数以向从已知干扰的特定方向(例如干扰到达方向)接收到的音频信号应用更高等级的抑制。通过这种方式，可以降低对主要(或者期望的)音频信号的干扰。可通过计算输入音频信号之间的互协方差(cross-covariance)来确定用于干扰源的到达方向，从而确定音频信号的到达方向。互协方差指示多个麦克风中接收到的音频信号最高度相关的到达方向。

发明内容
发明人认识到使用现有技术中的互协方差方法，其中在麦克风中接收多个音频信号，对于在接收时具有微弱功率的音频信号，更强的信号能支配互协方差的计算，因此可能无法成功地计算出微弱音频信号的到达方向。例如，当主扬声器(也就是期望的音频信号源)活动时，同时麦克风中接收到来自干扰源的音频信号，接着这个信号和麦克风阵列的瑕疵将支配互协方差方法，因为主要扬声器的功率支配互协方差估计。发明人进一步认识到仅仅当期望的音频信号源活动时才可能产生一些类型的干扰音频信号。例如，在干扰音频信号是来自主扬声器的语音回响的情形下，根据定义只有当扬声器活动时才会产生该干扰音频信号，在这种情况下，用于计算语音回响的到达方向的互协方差方法执行不佳，这是因为来自主扬声器的主要音频信号支配麦克风中接收到的音频信号的功率。本发明的实施方式提供一种用于不使用以上所描述的现有技术中的互协方差方法而确定干扰音频信号到达设备的干扰到达方向的方法和设备，即使当主要音频信号的功率大于设备中接收到的干扰音频信号的功率时，该方法和设备也可指示干扰音频信号的干扰方向。根据本发明的第一个方面，提供了一种处理设备中的信号的方法，该方法包括:在设备的输入装置中接收一角度范围的信号，信号包括在到达输入装置的主到达方向接收到的主要信号和在到达输入装置的相应的至少一个干扰到达方向接收到的至少一个干扰信号；为所述角度范围的接收信号确定多个测量值(measurement)，每个测量值涉及特定角度，并指示从特定角度接收到的接收信号的能量；以及对于所述角度范围内的每个角度，基于如下各项中的最小值从用于那个角度的测量值中移除一个值:(i)用于那个角度的测量值，和(ii)用于围绕主到达方向镜像的相对应角度的相对应测量值，其中多个测量值的剩余值指示所述至少一个干扰到达方向。测量值提供在特定方向的接收到的信号的能量的指示。因此测量值可被用来指示设备中接收到比其他方向更大能量的方向。在优选的实施方式中，确定多个测量值的步骤包括确定当在所述角度范围上操纵(steer)时被应用到接收的信号的波束成型装置的波束成型器输出能量的范围，从用于所述角度范围内的每个角度的测量值中移除值的步骤包括基于如下各项中的最小值从用于那个角度的波束成型器输出能量中移除一个值:(i)用于那个角度的波束成型器输出的能量；(ii)用于围绕主到达方向镜像的相对应角度的相对应的波束成型器输出的能量，其中多个波束成型器输出的剩余值指示所述至少一个干扰到达方向。在其他实施方式中，可以使用其他测量值(波束成型器输出能量之外)来指示设备中从不同方向接收的能量。例如，测量值可以是指示接收到的信号之间作为接收到的信号的到达角度的函数的相关性的相关性测量值。在优选实施方式中，所述信号是音频信号，但在其他实施方式中，所述信号可以是其他类型的传输信号(诸如一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波或微波)。发明者认识到如果没有干扰信号，即在具有无穷大信噪比(SNR)的理论环境中，输入装置首先将接收到从期望源方向接收的主要信号，在确定多个波束成型器输出后，波束成型器输出的能量将围绕主到达方向对称地展开，如果应用的波束成型器具有对称的波束图案(beampattern)的话。会发生这样的情况部分是由于麦克风的瑕疵，更重要的是由于输入信号作为平面波到达的波束成型器假设，这是因为波束成型装置不会将全部衰减应用到它们操纵朝向的方向以外的其他方向。具体而言，主波瓣的宽度将导致靠近干扰源的角度还指示因该干扰源而产生的干扰。因此期望的信号源将对称地存在于多个波束成型器输出能量中。设备的输入装置中接收到的信号的多个波束成型器输出能量的不对称指示从远离主要信号的主到达方向的特定方向接收到的干扰信号。有利的是，本发明的优选实施方式从波束成型器输出能量中移除对称组分(symmetric contribution),使得剩余值强调设备中接收到的信号的不对称。该方式强调干扰信号的干扰到达方向。在从波束成型器输出能量中移除对称组分之后，在波束成型器输出能量中的剩余值对于从中接收到干扰信号的方向来说较高。本发明的实施方式有效地在以下两种情况中使用，当主要信号支配接收到的信号时的情况(也就是当主要信号具有接收到的信号的最高功率时)，以及当主要信号没有支配接收到的信号的情况(也就是当主要信号不具有接收到的信号的最高功率时)。这是因为主要信号将向波束成型器输出能量提供对称组分，因此根据本发明的实施方式的方法将其移除，以使得剩余波束成型器输出的值仅包括干扰信号。然而，使用互协方差方法的现有技术系统在主要信号支配接收到的信号时执行特别差。因此本发明的实施方式特别适用于指示当主要信号支配接收到的信号时的干扰到达方向。根据本发明的第二个方面，提供了一种用于处理信号的设备，该设备包括:用于在一角度范围内接收信号的输入装置，信号包括从到达音频输入装置的主到达方向接收的主要信号以及从到达输入装置的相应的至少一个干扰到达方向接收的至少一个干扰信号；用于为所述角度范围的接收信号确定多个测量值的确定装置，每个测量值涉及特定角度，并指示从特定角度接收到的接收信号的能量；和移除装置，用于对于所述角度范围内的每个角度，基于如下各项中的最小值从用于那个角度的测量值中移除一个值:(i)用于那个角度的测量值，和(ii)用于围绕主到达方向镜像的相对应角度的相对应测量值，其中多个测量值的剩余值指示所述至少一个干扰到达方向。根据本发明的第三个方面，提供了一种用于处理在设备的输入装置中在一角度范围内接收到的信号的计算机程序产品，信号包括从到达输入装置的主到达方向接收的主要信号以及从到达输入装置的相应的至少一个干扰到达方向接收的至少一个干扰信号；计算机程序产品被包含在非易失性计算机可读媒介上，并且其被配置为当在设备的处理器上执行时执行以下步骤:为一角度范围的接收信号确定多个测量值，每个测量值涉及特定角度，并指示从特定角度接收到的接收信号的能量。对于所述角度范围内的每个角度，基于以下各项中的最小值从用于那个角度的测量值中移除一个值:(i)用于那个角度的测量值，和
(ii)用于围绕主到达方向镜像的相对应角度的相对应测量值，其中多个测量值的剩余值指示所述至少一个干扰到达方向。在优选的实施方式中，该方法进一步包括抑制在所述测量值的剩余值指示的至少一个干扰到达方向接收到的信号。该方法可进一步包括通过分析接收到的信号来确定主到达方向。该方法可进一步包括设置所述角度范围以使得主到达方向处于所述角度范围的中间。在优选实施方式中，输入装置包括用于接收信号(例如音频信号)的多个传感器(例如麦克风)，该方法进一步包括使用主要波束成型器以应用波束成型器系数到接收到的信号，从而对在至少一个干扰到达方向接收到的信号应用比在主到达方向接收到的信号更闻级别的抑制。在一些实施方式中，根据主要信号具有接收到的信号的最高功率的确定而执行移除步骤。设备可以是电视机或计算机。用于计算来自多个角度的输出能量的波束成型装置可包括延迟并相加(delay-and-add)波束成型器，以及随后被用来抑制干扰源的主要波束成型器可包括最小方差无失真响应波束成型器。


为了更好地理解本发明以及为了显示本发明如何实施，将通过示例方式参考以下附图，其中:
图1显示根据优选实施方式的设备的示意 图2显示根据优选实施方式的系统；
图3显示根据优选实施方式的设备的元件的功能框 图4是根据优选实施方式处理音频信号的过程的流程 图5a是作为到达方向的函数的延迟并相加波束成型器输出能量的第一示 图5b是在移除了对称部分后的作为到达方向的函数的延迟并相加波束成型器输出能量的第二示 图6a是作为到达方向的函数的延迟并相加波束成型器输出能量的第三示 图6b是在移除了对称部分后的作为到达方向的函数的延迟并相加波束成型器输出能量的第四示 图7显示代表在一个实施方式中如何估计到达方向信息的图示。
具体实施方式
以下将仅以示例的方式描述本发明的优选实施方式。在本发明的以下实施方式中，描述了一些技术，其中将指示各个干扰信号的干扰到达方向。可以考虑所指示的干扰到达方向而适配波束成型器的系数，从而抑制干扰信号。以下所描述的实施方式涉及信号是音频信号的情况。然而，其他实施方式涉及信号是其他类型的传输信号(诸如一般宽带信号、一般窄带信号、雷达信号、声纳信号、天线信号、无线电波或微波)的情况。当以比主要(或期望的)音频信号更低的功率接收到干扰音频信号时，这些技术尤其工作良好。一种确定音频信号的到达方向的技术在多个不同方向上使用延迟并相加波束成型器，并选择在输出中具有最大能量的方向作为最活跃源(most activesource)的方向。该方法可与语音活动检测器相组合以搜寻期望的扬声器的方向，可以预先操控波束成型器面对所述方向。首先参见图1，其示出了设备102的示意图。设备102可以是固定或移动设备。设备102包括CPU 104，连接到CPU 104的有用于接收音频信号的麦克风阵列106、用于输出音频信号的扬声器110、用于向设备102的用户输出可视数据的诸如屏幕的显示器112以及用于存储数据的存储器114。现在参见图2，其示出了设备102在其中操作的示例环境200。设备102的麦克风阵列106从环境200接收音频信号。例如，如图2所示，麦克风阵列106接收来自用户202的音频信号(图2中标示为屯)、来自另一个用户204的音频信号(图2中标示为d2)、来自风扇206的音频信号(图2中标示为d3)和来自墙208反射的用户202的音频信号(图2中标示为d4)。本领域技术人员清楚，麦克风阵列106还可接收除了图2所示的音频信号之外的其他音频信号，例如麦克风自身噪音。在如图2所示的场景中，直接从用户202到 达的音频信号是期望的音频信号，麦克风阵列106中接收到的所有其他音频信号都是干扰音频信号。当用户202说话时从墙反射的信号增加回响到由麦克风阵列106记录的信号。在其他实施方式中，麦克风阵列106中接收到的超过一个的音频信号可以被认为是“期望的”音频信号，但是出于简明的目的，在此处描述的实施方式中，仅有一个期望的音频信号(也就是来自用户202的音频信号)，其他音频信号都被认为是干扰。图
2显示了作为干扰源的另一个用户204、风扇206或来自墙208的反射。其他不希望的噪声信号源可包括例如空调系统和播放音乐的设备。当在麦克风阵列106接收到音频信号后对其进行处理时识别期望的音频信号。在处理期间，基于语音类特征的检测而识别期望的音频信号，并且确定主扬声器的主方向。图
2显示了从主方向Cl1到达麦克风阵列106的作为期望的音频信号源的主扬声器(用户202)。现在参见图3，其示出了设备102的元件的功能表示。麦克风阵列106包括多个麦克风302^3(^和3023。设备102进一步包括到达方向(DOA)估计块303、波束成型器304和处理装置306。可以以在CPU104上执行的软件方式实现或以在设备102内的硬件方式来实现DOA估计块303、波束成型器304和处理装置306。麦克风阵列106中的每个麦克风的输出耦合到DOA估计块303的相应输入。将来自麦克风的输出从DOA估计块303传递到波束成型器304。本领域技术人员将明了需要多个输入以实现波束成型。图3中所示的麦克风阵列106具有三个麦克风(302^3022和3023)，但是将理解的是这些数量的麦克风仅是示例，并不以任何方式作为限制。DOA估计块303和波束成型器304包括用于从麦克风阵列106的麦克风接收并处理音频信号的装置。例如，DOA估计块303可包括语音活动检测器(VAD)。在操作中，波束成型器304确定由麦克风阵列106接收到的音频信号的特性，并且基于由VAD和DOA估计块303执行的语音类质量检测,主扬声器的一个或多个主方向被确定。在其他实施方式中，可预先设置主扬声器的主方向以供波束成型器304使用，以使得波束成型器304聚焦到固定方向。在图2所示的例子中，从用户202接收到的音频信号(Cl1)的方向被确定为主方向。波束成型器304使用DOA信息以通过形成在麦克风阵列106中接收到期望信号的主方向(Cl1)上具有高增益，而在干扰源方向上具有低增益的波束而处理音频信号。如果波束成型器304知道干扰到达方向((12、(13和d4)，那么可向从那些干扰到达方向接收到的音频信号应用特别低的增益，从而更好地抑制干扰音频信号。尽管以上已描述了波束成型器304可确定任意数量的主方向，但是所确定的主方向的数量影响波束成型器的特性，例如，对于大量的主方向，波束成型器304将能够应用比仅仅确定了单个主方向的情形更少的衰减在麦克风阵列中从其他(不希望的)方向接收到的信号上。将波束成型器304的输出以将要处理的单个通道的形式提供到设备102的其他处理装置。当然输出超过一个通道也是有可能的，例如为了维持或虚拟地生成立体图像。本领域技术人员将明了在设备102中可通过多种不同方式来使用波束成型器304的输出。例如，波束成型器304的输出可被用作用户202使用设备102正在参与的通信事件的一部分。波束成型器304的输出可遭受进一步的信号处理(诸如自动增益控制、噪声抑制和/或回声消除)。这些进一步的信号处理的细节超出了本发明的范围，因此在此处没有给出进一步的信号处理的详情，但是本领域技术人员可意识到可以在设备102中处理波束成型器304的输出的多种方式。波束成型器304的输出被传递到处理装置306。处理装置306可以分析来自波束成型器304的输出并控制波束成型器304，从而适配由波束成型器304应用到从麦克风阵列106的麦克风302^3022和3023接收到的音频信号的波束成型器系数。如果在环境200中不存在干扰，从而由麦克风阵列106接收到的唯一音频信号是来自用户202的期望的音频信号，那么麦克风阵列106中接收到的音频信号的能量分布在以期望信号的方向为中心的在一个角度范围内将会是对称的。因此，没有干扰的话，当以相对于期望麦克风的主方向的特定角度接收时，主方向所创建的音频信号的能量将等于具有相对应角度但是处于期望麦克风的主方向的相对侧(也就是围绕主到达方向镜像的角度)的相对应的音频信号的能量。这意味着，没有干扰的话，因为输入音频信号以及所应用的波束成型器的完美对称性，延迟并相加波束成型器的输出在特定角度和镜像角度中具有相同能量。这意味着如果完全没有干扰源，波束成型器304的输出在一个角度范围内的空间能量分布将围绕主到达方向对称。在本发明的实施方式中，通过在所有角度从波束成型器输出能量中减去来自该角度本身的能量和围绕期望的扬声器的主方向镜像的能量中的最小值而移除波束成型器输出能量在所述角度范围内的空间对称组分。利用在任何环境(例如环境200)中通常可见的完美对称性的缺失来确定干 扰音频信号的方向。有利的是，在减法之后的剩余波束成型器输出能量的值清楚地识别麦克风阵列106中接收到的干扰音频信号的方向。例如，干扰音频信号可以是导致回响的反射(例如图2中标示为d4的墙208的反射)，或者可以是来自与期望的扬声器202空间分离的其他噪声源(例如用户204和风扇206)的任何其他干扰音频信号。尽管本发明的实施方式确实有助于指示这些其他干扰音频信号(例如用户204和风扇206)的方向，但是他们特别有助于确定回响(诸如来自墙208的音频信号)的主要贡献来源(contributor)的方向，这是因为使用其他方式这个干扰音频信号(d4)很难(例如使用以上所述的互协方差方法)来识别，因为来自用户202的语音的更高能量在从扬声器202到麦克风阵列106的主要/直接路径(dl)上来回移动(traverse)。参见图4，现在描述根据优选实施方式的处理音频信号的方法。在步骤S402，在麦克风阵列106的麦克风(302^3022和3023)中接收音频信号。例如，从如图2所示的用户202、用户204、风扇206和墙208接收音频信号。麦克风阵列106的麦克风(302^3(^和3023)中还可接收到诸如背景噪声的其他干扰音频信号。由麦克风阵列106的每个麦克风(302^3022和3023)接收到的音频信号被传递到波束成型器304。在步骤S404，确定来自用户202的期望的音频信号的主到达方向。可通过分析音频信号以确定语音信号具有最强相关性的角度而实现步骤S404的操作，以下参照图7对其进行更详细的描述。在步骤S406，处理装置306确定来自波束成型器304的波束成型器输出，因为波束成型器是在所述角度范围内操纵的。通过这样的方式，处理装置306可从接收到的音频信号中提取空间信息，并且可以确定波束成型器输出的能量如何随着角度变化。显示波束成型器输出的能量如何作为角度的函数而变化的图示的示例在图5a和图6a中显示，以下将对其进行详细描述。处理装置306可在所述角度范围内操纵波束成型器304，从而确定所述角度范围内的波束成型器输出。在步骤S407，处理装置306处理来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，可以计算输出信号的能量。在步骤S408，处理装置306处理来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，从用于那个角度的波束成型器输出能量中移除是以下各项中的最小值的值:(i)用于那个角度的波束成型器输出的能量；和(ii)用于围绕主到达方向镜像的相对应角度的相对 应波束成型器输出的能量。在一些实施方式中，基于(但是可以等于或者可以不等于)以下各项中的最小值:(i)用于那个角度的波束成型器输出的能量，和(i i )用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量来移除能量。例如，可随时间来平滑能量分布。可替换地或附加地，可随时间来平滑作为结果产生的能量分布。所有这些都减低了随机波动的不利效果。在步骤S408移除了信号值之后，波束成型器输出的范围中的剩余信号值指示来自干扰源(204、206和208)的干扰音频信号的到达方向。在步骤S410，处理装置306从波束成型器输出的范围中的剩余信号值确定干扰到达方向。图5a至6b提供步骤S408对于波束成型器输出能量的效果的实验结果。图5a显示了当以O角度从主到达方向接收到来自用户202的期望的语音信号时，作为到达方向的函数的延迟并相加波束成型器输出能量的图示。图5a是在步骤S406中执行的确定从-90度至90度的角度范围内的波束成型器输出的结果。如图5a中可见的，在O度(也就是主到达方向)的音频信号最强，这指示主要音频信号(来自用户202的语音)支配接收到的音频信号，并且麦克风阵列106中接收到的干扰音频信号具有比主要音频信号更低的功率。然而，如从图5a可见的，接收到的音频信号的能量分布不是围绕O度完全对称的。当波束成型器304被操纵朝向右侧(也就是在图中的正角度)时的波束成型器输出具有比波束成型器304被操纵朝向左侧(也就是图中的负角度，也就是相对一侧)时更高的能量。例如，波束成型器输出在40度具有略低于4.44 χ 108dB的能量，而波束成型器输出在-40度具有略低于4.42 χ 108dB的能量。这样的不对称性是由于在麦克风阵列106中从正角度接收到比从负角度接收到的干扰更高等级的干扰。在使用中，可以操纵波束成型器304，以使得波束成型器304的角度范围具有O度的主到达方向。相比于被设置为使得主方向偏离O度的波束成型器304，具有O度的主到达方向的波束成型器304 —般提供更简单的波束成型处理。然而，在具有超过一个主到达方向(也就是超过一个的期望的音频信号)的情况下，在优化设置中，可将波束成型器304的至少一些主到达方向设置为偏离O度。波束成型器304的系数可适配来聚焦于从超过一个方向接收到的音频信号，从而聚焦到超过一个的主到达方向。图5b显示了步骤S408的结果，其中处理装置306处理如图5a所示的来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，基于以下各项中的最小值从用于那个角度的波束成型器输出能量中移除一个值:(i)用于那个角度的波束成型器输出的能量；(ii)用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量。在一个理想的场景中，其中麦克风阵列106中没有接收到干扰音频信号，则图5b所示的图示在零能量处将完全平坦，这是因为所有接收到的音频信号将围绕主到达方向对称，并且因而将被全部移除。图5b清楚地显示了更高等级的干扰从右手侧(也就是正角度)到达，并且似乎显示了最大干扰来自90度的角度。在理论上来说，如果步骤S408移除了在每个角度中如下各项中的最小值的确切能量:(i )用于那个角度的波束成型器输出的能量；和(i i )用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量，那么可以预计图5b的左手侧(也就是负角度)将位于零等级，并且可以预计图5b的右手侧(也就是正角度)具有正的值，而峰值位于对应于干扰音频信号的干扰到达方向的角度。然而，图5b显示了对波束成型器输出能量应用了时间平滑的实际试验结果，并且作为结果在负值处的能量并非完全等于零。然而，图5b指示干扰音频信号的干扰到达方向，并且似乎指示干扰到达方向位于90度。替代仅检测一个干扰角度，可使用如图5b所示的值来缩放正则化噪声(regularization noise)。可基于正则化噪声来控制抑制程度，以使得向整个右侧增加较强抑制，从而保证对干扰源的显著抑制。图6a显示了当从45度的干扰到达方向接收到来自用户204的干扰语音信号时，作为到达方向的函数的延迟并相加波束成型器输出能量的图示。图6a是在步骤S406中执行的确定从-90度至90度的角度范围内的波束成型器输出能量的结果。如图6a中可见的，在45度(也就是干扰到达方向)音频信号最强，其指示干扰音频信号(来自用户204的语音)支配接收到的音频信号。因此，如图6a所示的接收到的音频信号的空间分布并非围绕O度对称。图6b显示了步骤S408的结果，其中处理装置306处理如图6a所示的来自波束成型器304的波束成型器输出，以使得对于所述角度范围内的每个角度，基于以下各项中的最小值从用于那个角度的波束成型器输出能量中移除一个值:(i)用于那个角度的波束成型器输出的能量，和(i i )用于围绕主到达方向镜像的相对应角度的相对应波束成型器输出的能量。图6b显示了对波束成型器输出应用平滑的实际试验结果。如图6b所示的波束成型器输出能量随着角度增加超过45度而保持升高。这是因为麦克风的数量如此少以至于处于干扰之一旁边的角度的波束成型器的主波瓣包括大量来自干扰源的组分。对于数量少的麦克风，该次优性差别不大，因为我们大多只能抑制一侧或另一侧，对于阵列中更多数量的麦克风，主波瓣将更窄，因而这将导致输出能量中具有更少的干扰拖尾效应(smearing)。图6b清楚地显示了更高等级的干扰从右手侧(也就是从正角度)到达，其指示干扰音频信号的干扰到达方向。回到图4，一旦在以上所述的步骤S410中确定了干扰音频信号的干扰到达方向，接着在步骤S412中，处理装置306适配波束成型器304以抑制从确定的干扰到达方向接收到的干扰音频信号。在这个意义上，处理装置306适配由波束成型器304应用到接收到的音频信号上的波束成型器系数。波束成型器系数描述作为在麦克风阵列106中接收音频信号的角度的函数的衰减，波束成型器304将其应用到音频信号。适配波束成型器系数以使得向麦克风阵列106中从确定的干扰到达方向接收到的音频信号应用更高等级的抑制。在步骤S414，波束成型 器输出处理后的音频信号以用于在设备102中做进一步处理。在步骤S412中的波束成型器系数的适配通过降低波束成型器输出中的干扰而提高了波束成型器输出中的主要音频信号的质量。在一个例子中，波束成型器304是最小方差无失真响应(MVDR)波束成型器，在不失真麦克风阵列106中从主到达方向接收到的主要音频信号的约束下，其最小化波束成型器304的输出的能量。由波束成型器304和/或处理装置306执行到达方向(DOA)估计操作以确定来自用户202的语音信号的主到达方向，以下将参照图7对其进行更详细的描述。由DOA估计块303通过如下操作估计DOA信息:例如使用相关方法来估计在麦克风阵列106的多个麦克风中接收到的音频信号之间的时间延迟，以及使用关于麦克风阵列106的多个麦克风302^3022和3023的位置的先验知识来估计音频信号源。作为一个例子，图7显示了从主要音频源202接收两个单独输入通道上的音频信号的麦克风阵列106的麦克风302i和3022。为了便于理解，图5显示了一个点源202，其中声波以圆周运动方式远离源202传播。在真实情况下就是这样的，但是以下所示的公式假设在麦克风302i和3022中将接收到的音频信号作为平面波来接收。当点源202离麦克风302!和3022足够远时，这样的假设是好的假设。可使用公式(I)在平面波的假设下估计音频信号到达以距离d分离的麦克风302i和3022的方向:
^.(TnIJ^
Θ = arc sm(I)
Id J
其中V是声速，&是来自主要源202的音频信号到达麦克风302i和3022的时间之间的差，也就是时间延迟。距离d是麦克风阵列106的已知参数，声速V也是已知的(大致为340m/s)。时间延迟匕作为最大化麦克风302i和3022的输出中接收到的主要音频信号之间的互相关性的时间标签而被获得。接着可使用以上给出的公式(I)得到相应于该时间延迟的角度5。可在以最大互相关性的延迟接收到的音频信号中检测语音特征以确定主扬声器的一个或多个主方向。
可以明了的是，计算信号的互相关性是信号处理领域的公知技术，此处不对其进行更详细的描述。在优选的实施方式中，无论何时来自用户202的具有主到达方向的期望的语音信号支配输入信号的时候，也就是说，无论何时在从波束成型器输出的范围内减去任何值之前的最大能量是来自延迟并相加波束成型器在O度的输出的时候，根据以上所述方法的干扰到达方向的确定都是激活。在这些条件下，该方法特别有用，例如用于确定语音信号的回响的到达方向。如上所述，本发明的实施方式相对于现有技术的具体优点在于用于干扰源的到达方向的清楚识别，并且期望的扬声器的声音反射的方向的识别是其特定的强项。在以上所述的实施方式中，DOA估计块303和处理装置306被显示为与波束成型器304分离的元件，但在可替换的实施方式中，DOA估计块303、处理装置306和波束成型器304可实现为设备102内的单个单元。可周期性地执行步骤S404至S412以确保波束成型器304的系数被如此适配，从而正确地抑制麦克风阵列106中当前接收到的干扰音频信号。尽管在以上所述的实施方式以及如图3所示都仅使用了一个波束成型器304，都是在其他实施方式中，可以使用两个或多个波束成型器。在一个例子中，可以使用主要波束成型器(例如最小方差无失真响应(MVDR)波束成型器)来处理接收到的音频信号，从而提供输出以用于在设备102中做进一步处理，而在步骤S406至S410中可使用次要波束成型器(例如延迟并相加波束成型器)来确定干扰音频信号的干扰方向。在这个例子中，当在所述角度范围上操纵时，处理装置306将接收来自次要波束成型器的波束成型器输出，并且使用这些波束成型器输出来确定干扰到达角度(在步骤S408和S410中)，但是接着处理装置306将适配主要波束成型器的系数(在步骤S412中)，以使得在传递主要波束成型器的波束成型器输出以供在设备102中做进一步处理之前，将正确的波束成型器系数应用到波束成型器的接收音频信号以抑制干扰音频信号。如上所述，可将DOA估计块303、波束成型器304和处理装置306实现为在CPU 104上执行的软件或实现为设备102中的硬件。当DOA估计块303、波束成型器304和处理装置306实现为软件时，可通过包含在非瞬态计算机可读媒介上的计算机程序产品的方式来提供DOA估计块303、波束成型器304和处理装置306，该计算机程序产品被配置为当在设备102的CPU 104上执行时，执行以上所述的DOA估计块303、波束成型器304和处理装置306的功能。虽然以上所述的实施方式提及了从单个用户202接收一个期望的音频信号(屯)的麦克风阵列106，但是可以理解的是麦克风阵列106可接收来自多个用户的音频信号，例如在可以全部都被视为期望的音频信号的会议呼叫中。在该场景中，多个希望音频信号源到达麦克风阵列106。虽然以上所述的实施方式提及了使用波束成型器输出，但是还可以使用指示每个特定角度的接收信号的能量的其他测量值。在任何合适的测量值中的空间不对称性将指示干扰信号的到达方向，这是因为在测量值中主要信号看起来是对称的。以上所述的波束成型器输出仅是合适的相关性测量值的一个例子。其他可用量度的例子是互相关性系数、互协方差系数、相干性和互相关性以及基于以上的一个或多个的任何量度。此外，虽然已经参照优选实施方式特别地显示和描述了本发明，但是本领域技术人员将理解可以做出各种形式或细节上的改变而不脱离于由所附权利要求定义的本发明的范围。
权利要求
1.一种在设备(102)中处理信号的方法,所述方法包括: 在所述设备(102)的输入装置(106)处在一个角度范围上接收信号，所述信号包括在到达所述输入装置(106)的主到达方向接收到的主要信号和在到达所述输入装置(106)的相应的至少一个干扰到达方向接收到的至少一个干扰信号； 确定用于所述角度范围上接收到的信号的多个测量值，每个测量值涉及特定角度，并且指示从所述特定角度接收到的所述接收信号的能量；和 对于所述角度范围的每个角度，基于以下各项中的最小值从用于那个角度的所述测量值中移除一个值:(i)用于那个角度的测量值，和(ii)用于围绕所述主到达方向镜像的相对应角度的相对应测量值，其中所述多个测量值的剩余值指示所述至少一个干扰到达方向。
2.根据权利要求1所述的方法，进一步包括抑制从由所述测量值的剩余值指示的所述至少一个干扰到达方向接收到的信号。
3.根据权利要求1或2所述的方法，进一步包括以下的至少一个:(i)通过分析接收到的信号来确定所述主到达方向，和(ii )设置所述角度范围以使得所述主到达方向位于所述角度范围的中间。
4.根据以上任一权利要求所述的方法，其中确定多个测量值的步骤包括当在所述角度范围上操纵时，确定将应用到所述接收到的信号的波束成型装置(304)的波束成型器输出的范围，和 其中从用于所述角度范围内的每个角度的测量值中移除一个值的步骤包括基于以下各项中的最小值从用于那个角度的所述波束成型器输出能量中移除一个值:(i)用于那个角度的所述波束成型器输出的能量，和(ii)用于围绕所述主到达方向镜像的相对应角度的相对应波束成型器输出的能量，其中所述多个波束成型器输出的剩余值指示所述至少一个干扰到达方向。
5.根据权利要求1-3任一所述的方法，其中所述测量值是指示作为接收信号的角度的函数的接收信号的相关性的相关性测量值。
6.根据以上任一权利要求所述的方法，其中所述输入装置(106)包括用于接收所述信号的多个传感器(302)，并且所述方法进一步包括使用主要波束成型器以对接收到的信号应用波束成型器系数，从而对在所述至少一个干扰到达方向接收到的信号应用比在所述主到达方向接收到的信号更高等级的抑制。
7.一种用于处理信号的设备(102)，所述设备(102)包括: 输入装置(106)，用于在一个角度范围内接收信号，所述信号包括在到达所述输入装置(106)的主到达方向接收到的主要信号和在到达所述输入装置(106)的相应的至少一个干扰到达方向接收到的至少一个干扰信号； 确定装置，用于确定用于所述角度范围内接收到的信号的多个测量值，每个测量值涉及特定角度，并且指示从所述特定角度接收到的所述接收信号的能量；和 移除装置，用于对于所述角度范围的每个角度，基于以下各项中的最小值从用于那个角度的所述测量值中移除一个值:(i)用于那个角度的测量值，和(ii)用于围绕所述主到达方向镜像的相对应角度的相对应测量值，其中所述多个测量值的剩余值指示所述至少一个干扰到达方向。
8.根据权利要求7所述的设备，其中所述输入装置(106)包括用于接收所述信号的多个传感器(302)，并且其中所述设备(102)包括用于应用波束成型器系数到接收到的信号的主要波束成型器(304)，从而对在所述至少一个干扰到达方向接收到的信号应用比在所述主到达方向接收到的信号更高等级的抑制，其中所述主要波束成型器(304)包括最小方差无失真响应波束成型器。
9.根据权利要求7或8所述的设备，其中所述信号是音频信号，并且所述输入装置(106)包括用于接收所述音频信号的多个麦克风(302)。
10.一种用于处理在设备(102)的输入装置(106)中在一个角度范围上接收到的信号的计算机程序产品，所述信号包括在到达所述输入装置(106)的主到达方向接收到的主要信号和在到达所述输入装置(106)的至少一个干扰到达方向接收到的至少一个干扰信号；所述计算机程序产品包含在非瞬态计算机可读媒介上，并且被配置为当在所述设备(102)的处理器(104)上执行时，执行 权利要求1至6中任何一项的步骤。
全文摘要
公开了一种用于在设备中处理信号的方法、设备和计算机程序产品。在设备的输入装置中，信号在一角度范围上接收，信号包括在到达输入装置的主到达方向接收到的主要信号和在到达输入装置的相应的至少一个干扰到达方向接收到的至少一个干扰信号。为所述角度范围上接收到的信号确定多个测量值，每个测量值涉及特定的角度，并指示从该特定角度接收到的接收信号的能量。对于所述角度范围内的每个角度，从用于那个角度的测量值中移除一个值，该值基于以下各项中的最小值(i)用于那个角度的测量值的能量，和(ii)用于围绕主到达方向镜像的相对应角度的相对应测量值的能量，其中多个测量值中的剩余值指示所述至少一个干扰到达方向。
文档编号G10L21/02GK103117064SQ201210367888
公开日2013年5月22日 申请日期2012年9月28日 优先权日2011年9月30日
发明者K.索伦森 申请人:斯凯普公司