专利名称：使用多个音频信号来抑制环境噪声的方法和设备的制作方法
技术领域：
本发明一般涉及信号处理。更具体来说，本发明涉及使用使用例如麦克风的电换能器所记录的多个音频信号来抑制环境噪声。
背景技术：
通信技术在许多领域中不断进步。随着这些技术的进步，用户在其可相互通信的方式方面具有更多灵活性。对于电话呼叫，用户可参加直接双向呼叫或会议呼叫。此外，耳机或扬声器电话可用以启用免提操作。呼叫可使用标准电话、蜂窝式电话、计算装置等等而发生。通过使通信技术进步而实现的此增加的灵活性还有可能使用户从许多不同种类的环境进行呼叫。在一些环境中，可出现可影响呼叫的各种条件。一个条件为环境噪声。环境噪声可使经发射音频质量降级。具体来说，其可使所发射的语音质量降级。因此，可通过提供用于抑制环境噪声的改进型方法和设备来实现益处。
图1为无线通信装置和展示话音音频和环境噪声可如何被无线通信装置接收的实例的说明；图加为说明包括环境噪声抑制的系统的一个可能配置的一些方面的方框图；图2b为说明包括环境噪声抑制的系统的另一可能配置的一些方面的方框图；图3a为说明波束成形器的一个可能配置的一些方面的方框图；图北为说明波束成形器的另一可能配置的一些方面的方框图；图3c为说明波束成形器的另一可能配置的一些方面的方框图；图如为说明噪声参考精细化器的一个可能配置的一些方面的方框图；图4b为说明噪声参考精细化器的另一可能配置的一些方面的方框图；图fe为说明包括环境噪声抑制的系统的一个可能配置的一些方面的更详细方框图；图恥为说明包括环境噪声抑制的系统的另一可能配置的一些方面的更详细方框图；图5c说明包括环境噪声抑制的系统的一替代配置；图5d说明包括环境噪声抑制的系统的另一替代配置；
图6a为说明用于抑制环境噪声的方法的一个实例的流程图；图6b为说明对应于图6a所示的方法的装置加功能方框的流程图；图7a为说明包括环境噪声抑制的系统的一个可能配置的一些方面的方框图；图7b为说明包括环境噪声抑制的系统的另一可能配置的一些方面的方框图；图7c为说明包括环境噪声抑制的系统的另一可能配置的一些方面的方框图；图为说明校准器的一个可能配置的一些方面的方框图；图汕为说明校准器的另一可能配置的一些方面的方框图；图8c为说明校准器的另一可能配置的一些方面的方框图；图9a为说明噪声参考校准器的一个可能配置的一些方面的方框图；图9b为说明噪声参考校准器的另一可能配置的一些方面的方框图；图9c为说明噪声参考校准器的另一可能配置的一些方面的方框图；图10为说明波束成形器的一个可能配置的一些方面的方框图；图11为说明后处理块的一个可能配置的一些方面的方框图；图12为说明用于抑制环境噪声的方法的流程图；图12a说明对应于图12的方法的装置加功能方框；以及图13为说明可在可用以实施本文中所描述的方法的通信装置中利用的各种组件的方框图。
具体实施例方式揭示一种用于使用多个音频信号来抑制环境噪声的方法。所述方法可包括通过至少两个电声换能器来提供至少两个音频信号。所述至少两个音频信号可包括所要音频和环境噪声。所述方法还可包括对至少两个音频信号执行波束成形，以便获得与噪声参考信号分离的所要音频参考信号。所述方法还可包括通过从噪声参考信号移除残余所要音频来将噪声参考信号精细化，借此获得经精细化的噪声参考信号。揭示一种用于使用多个音频信号来抑制环境噪声的设备。所述设备可包括至少两个电声换能器，其提供包含所要音频和环境噪声的至少两个音频信号。所述设备还可包括波束成形器，其对至少两个音频信号执行波束成形，以便获得与噪声参考信号分离的所要音频参考信号。所述设备还可包括噪声参考精细化器，其通过从噪声参考信号移除残余所要音频将噪声参考信号精细化，借此获得经精细化的噪声参考信号。揭示一种用于使用多个音频信号来抑制环境噪声的设备。所述设备可包括用于通过至少两个电声换能器来提供至少两个音频信号的装置。所述至少两个音频信号包含所要音频和环境噪声。所述设备还可包括用于对至少两个音频信号执行波束成形以便获得与噪声参考信号分离的所要音频参考信号的装置。所述设备可进一步包括用于通过从噪声参考信号移除残余所要音频来将噪声参考信号精细化，借此获得经精细化的噪声参考信号的装置。揭示一种用于使用多个音频信号来抑制环境噪声的计算机程序产品。计算机程序产品可包括其上具有指令的计算机可读媒体。所述指令可包括用于通过至少两个电声换能器来提供至少两个音频信号的代码。所述至少两个音频信号可包括所要音频和环境噪声。 所述指令还可包括用于对至少两个音频信号执行波束成形以便获得与噪声参考信号分离的所要音频参考信号的代码。所述指令还可包括用于通过从噪声参考信号移除残余所要音频来将噪声参考信号精细化，借此获得经精细化的噪声参考信号的代码。移动通信装置日益在有噪声情景下使用多个麦克风来将所发射话音质量精细化。 多个麦克风可提供区分所要话音与背景噪声的能力，且因此通过抑制音频信号中的背景噪声来帮助改进话音质量。如果麦克风在装置的同一侧上经放置成相互靠近，则话音与噪声的区分可特别困难。呈现用于在这些情景下将所要话音与噪声分离的方法和设备。话音质量为移动通信系统中的主要问题。在移动通信装置的使用期间，话音质量受环境噪声的存在高度影响。用于在有噪声情景期间改进话音质量的一个解决方案可为给移动装置装备多个麦克风且使用复杂信号处理技术来将所要话音与环境噪声分离。特定来说，移动装置可使用两个麦克风来用于抑制背景噪声并改进话音质量。两个麦克风常常可放置成相对远离。举例来说，可将一个麦克风放置于装置的前侧上且可将另一麦克风放置于装置的后侧上，以便利用声学接收的分集并提供所要话音与背景噪声的更好区分。然而， 为了便于可制造性和消费者使用，可能有益的是在装置的同一侧上将两个麦克风放置成相互靠近。许多可常用的信号处理解决方案不能够处置此紧密间隔型麦克风配置，且不提供所要话音与环境噪声的良好区分。因此，揭示用于使用多个麦克风来改进移动通信装置的话音质量的新方法和设备。所提议的方法可适用于广泛多种紧密间隔型麦克风配置(通常小于5cm)。然而，其不限于麦克风间隔的任何特定值。可利用在移动装置上的两个紧密间隔型麦克风来改进所发射话音的质量。具体来说，可使用波束成形技术来区分所要音频(例如，语音)与环境噪声并通过抑制环境噪声来改进音频质量。波束成形可通过朝向所要扬声器形成波束而将所要音频与环境噪声分离。 其还可通过在所要音频的方向上形成零点波束(null beam)而将环境噪声与所要音频分离。波束成形器输出可经或可不经后处理，以便进一步改进音频输出的质量。图1为无线通信装置102和展示所要音频(例如，语音106)和环境噪声108可如何被无线通信装置102接收的实例的说明。无线通信装置102可在可包括环境噪声108的环境中使用。因此，除了语音106可被可收容于无线通信装置102中的麦克风IlOaUlOb 接收以外，环境噪声108也可被麦克风IlOaUlOb接收。环境噪声108可使如由无线通信装置102发射的语音106的质量降级。因此，可经由能够将环境噪声108与语音106分离并抑制环境噪声108的方法和设备来实现益处。虽然给出此实例，但可以任何数目个配置来利用本文中所揭示的方法和设备。举例来说，本文中所揭示的方法和设备可经配置以用于移动电话、“陆线”(land line)电话、有线耳机、无线耳机(例如，Bluetooth )、助听器、 音频/视频记录装置和利用换能器/麦克风来用于接收音频的实际上任何其它装置中。图加为说明包括环境噪声抑制的系统200a的一个可能配置的一些方面的方框图。系统200a可包括波束成形器214和/或噪声参考精细化器220a。系统200a可经配置以接收数字音频信号21h、212b。数字音频信号212a、212b可具有或可不具有匹配或类似能量水平(energy level)。数字音频信号212a、212b可为来自两个音频源(例如，图1所示的装置102中的麦克风110a、IlOb)的信号。数字音频信号212a、212b可具有匹配或类似的信号特性。举例来说，信号212a、 212b两者均可包括所要音频信号(例如，语音106)。数字音频信号212a、212b还可包括环境噪声108。
数字音频信号21h、212b可被波束成形器214接收。数字音频信号21 中的一者还可经路由到噪声参考精细化器220a。波束成形器214可产生所要音频参考信号216 (例如，话音/语音参考信号)。波束成形器214可产生噪声参考信号218。噪声参考信号218 可含有残余所要音频。噪声参考精细化器220a可从噪声参考信号218减少或有效地消除残余所要音频，以便产生经精细化的噪声参考信号222a。噪声参考精细化器220a可利用数字音频信号21 中的一者来产生经精细化的噪声参考信号22加。所要音频参考信号216 和经精细化的噪声参考信号22 可用以改进所要音频输出。举例来说，经精细化的噪声参考信号22 可经滤波并从所要音频参考信号216减去，以便减少所要音频中的噪声。还可进一步处理经精细化的噪声参考信号22 和所要音频参考信号216，以减少所要音频中的噪声。图2b为说明包括环境噪声抑制的系统200b的另一可能配置的一些方面的另一方框图。系统200b可包括数字音频信号21h、212b、波束成形器214、所要音频参考信号216、 噪声参考信号218、噪声参考精细化器220b和经精细化的噪声参考信号222b。因为噪声参考信号218可包括残余所要音频，所以噪声参考精细化器220b可从噪声参考信号218减少或有效地消除残余所要音频。噪声参考精细化器220b除了可利用噪声参考信号218以外， 还可利用数字音频信号212a、212b两者，以便产生经精细化的噪声参考信号222b。可利用经精细化的噪声参考信号222b和所要音频参考信号216，以便改进所要音频。图3a为说明波束成形器31 的一个可能配置的一些方面的方框图。波束成形器 314a的主要目的可为处理数字音频信号312a、312b并产生所要音频参考信号316a和噪声参考信号318a。可通过朝向所要音频源(例如，用户)形成零点波束并抑制来自数字音频信号312a、312b的所要音频(例如，语音106)来产生噪声参考信号318a。可通过朝向所要音频源形成波束并抑制来自其它方向的环境噪声108来产生所要音频参考信号316a。可经由固定波束成形和/或自适应波束成形而执行波束成形过程。图3a说明利用固定波束成形方法的配置300a。波束成形器31 可经配置以接收数字音频信号31h、312b。可校准或可不校准数字音频信号31h、312b，使得其能量水平匹配或类似。数字音频信号312a、312b可分别标示为^(n)和ζ。2 (η)，其中η为数字音频样本数目。简单形式的固定波束成形可被称作“横向” (broadside)波束成形。所要音频参考信号316a可标示为zbl (η)。对于固定“横向”波束成形，所要音频参考信号316a可通过等式(1)给出zbl (n) = zcl (η) +zc2 (η)(1)噪声参考信号318a可标示为 (η)。噪声参考信号318a可通过等式⑵给出zb2 (n) = zcl (n)-zc2 (n)(2)根据横向波束成形，假定所要音频源与两个麦克风(例如，麦克风IlOaUlOb)等距。如果所要音频源与一个麦克风相比更靠近另一麦克风，则一个麦克风所捕获的所要音频信号与另一麦克风所捕获的所要音频信号相比将遭受时间延迟。在此情况下，可通过补偿两个麦克风信号之间的时间延迟差来改进固定波束成形器的性能。因此，波束成形器 314a可包括延迟补偿滤波器324。所要音频参考信号316a和噪声参考信号318a可分别以等式(3)和⑷表达。zbl (n) = zcl (η) +zc2 (η— τ )(3)
zb2 (n) = zcl (η) _zc2 (η- τ )(4)此处，τ可表示两个麦克风所捕获的数字音频信号312a、312b之间的时间延迟， 且可采用正值或负值。可使用此项技术中已知的时间延迟计算方法中的任一者来推算两个麦克风信号之间的时间延迟差。可通过仅在所要音频活动周期期间计算时间延迟估计来改进时间延迟估计方法的准确度。如果麦克风非常紧密地间隔(例如，小于km)，则时间延迟τ还可采用分数值。 在此情况下，可使用分数时间延迟估计技术来推算τ。可使用sine滤波方法来执行分数时间延迟补偿。在此方法中，使经校准的麦克风信号与经延迟的sine信号卷积以执行分数时间延迟补偿，如等式(5)所示zc2 (η- τ ) = zc2 (η) *sinc (η- τ )(5)用于计算分数时间延迟的简单程序可涉及搜索将第一数字音频信号312a(例如， zcl (η))与经时间延迟补偿的第二数字音频信号312b(例如，z。2(n))之间的交叉相关最大化的值τ，如等式(6)所示
权利要求
1.一种用于使用多个音频信号来抑制环境噪声的方法，其包含通过至少两个电声换能器来提供至少两个音频信号，其中所述至少两个音频信号包含所要音频和环境噪声；对所述至少两个音频信号执行波束成形，以便获得与噪声参考信号分离的所要音频参考信号；以及通过从所述噪声参考信号中移除残余所要音频来将所述噪声参考信号精细化，借此获得经精细化的噪声参考信号。
2.根据权利要求1所述的方法，其中所述残余所要音频为高频残余所要音频。
3.根据权利要求1所述的方法，其中通过通信装置实施所述方法，且其中所述所要音频包含语音。
4.根据权利要求1所述的方法，其中所述至少两个电声换能器为麦克风。
5.根据权利要求1所述的方法，其进一步包含校准所述至少两个信号，以便平衡所述至少两个信号之间的所要音频能量。
6.根据权利要求1所述的方法，其进一步包含校准所述经精细化的噪声参考信号以补偿由所述波束成形引起的衰减效应。
7.根据权利要求6所述的方法，其中校准所述经精细化的噪声参考信号包含 对所述经精细化的噪声参考信号进行滤波，以便获得至少两个子频带；推算校准因子，针对每一子频带推算单独校准因子； 通过使所述子频带乘以所述校准因子来校准所述子频带；以及对所述经校准的子频带求和。
8.根据权利要求1所述的方法，其中所述波束成形包含固定波束成形。
9.根据权利要求1所述的方法，其中所述波束成形包含自适应波束成形。
10.根据权利要求1所述的方法，其进一步包含执行额外波束成形以从所述所要音频参考信号中移除额外噪声。
11.根据权利要求10所述的方法，其中执行额外波束成形包含 对经校准的经精细化的噪声参考信号进行低通滤波；以及对所述经低通滤波的经校准的经精细化的噪声参考信号执行自适应滤波。
12.一种用于使用多个音频信号来抑制环境噪声的设备，其包含至少两个电声换能器，其提供包含所要音频和环境噪声的至少两个音频信号； 波束成形器，其对所述至少两个音频信号执行波束成形，以便获得与噪声参考信号分离的所要音频参考信号；以及噪声参考精细化器，其通过从所述噪声参考信号中移除残余所要音频来将所述噪声参考信号精细化，借此获得经精细化的噪声参考信号。
13.根据权利要求12所述的设备，其中所述残余所要音频为高频残余所要音频。
14.根据权利要求12所述的设备，其中所述设备为通信装置，且其中所述所要音频包含语首ο
15.根据权利要求12所述的设备，其中所述至少两个电声换能器为麦克风。
16.根据权利要求12所述的设备，其进一步包含校准器，所述校准器校准所述至少两个信号，以便平衡所述至少两个信号之间的所要音频能量。
17.根据权利要求12所述的设备，其进一步包含噪声参考校准器，所述噪声参考校准器校准所述经精细化的噪声参考信号以补偿由所述波束成形引起的衰减效应。
18.根据权利要求17所述的设备，其中所述噪声参考校准器包含至少两个滤波器，其对所述经精细化的噪声参考信号进行滤波，以便获得至少两个子频带；校准单元，其推算校准因子，针对每一子频带推算单独校准因子；至少两个乘法器，其通过使所述子频带乘以所述校准因子来校准所述子频带；以及加法器，其对所述经校准的子频带求和。
19.根据权利要求12所述的设备，其中所述波束成形器为固定波束成形器。
20.根据权利要求12所述的设备，其中所述波束成形器为自适应波束成形器。
21.根据权利要求12所述的设备，其进一步包含第二波束成形器，所述第二波束成形器执行额外波束成形以从所述所要音频参考信号中移除额外噪声。
22.根据权利要求21所述的设备，其中所述第二波束成形器包含 低通滤波器，其对经校准的经精细化的噪声参考信号执行低通滤波；以及自适应滤波器，其对所述经低通滤波的经校准的经精细化的噪声参考信号执行自适应滤波。
23.一种用于使用多个音频信号来抑制环境噪声的设备，其包含用于通过至少两个电声换能器来提供至少两个音频信号的装置，其中所述至少两个音频信号包含所要音频和环境噪声；用于对所述至少两个音频信号执行波束成形以便获得与噪声参考信号分离的所要音频参考信号的装置；以及用于通过从所述噪声参考信号中移除残余所要音频来将所述噪声参考信号精细化借此获得经精细化的噪声参考信号的装置。
24.根据权利要求23所述的设备，其中所述残余所要音频为高频残余所要音频。
25.根据权利要求23所述的设备，其进一步包含用于校准所述至少两个信号以便平衡所述至少两个信号之间的所要音频能量的装置。
26.根据权利要求23所述的设备，其进一步包含用于校准所述经精细化的噪声参考信号以补偿由所述波束成形引起的衰减效应的装置。
27.根据权利要求沈所述的设备，其中所述用于校准所述经精细化的噪声参考信号的装置包含用于对所述经精细化的噪声参考信号进行滤波以便获得至少两个子频带的装置； 用于推算校准因子的装置，针对每一子频带推算单独校准因子； 用于通过使所述子频带乘以所述校准因子来校准所述子频带的装置；以及用于对所述经校准的子频带求和的装置。
28.根据权利要求23所述的设备，其进一步包含用于执行额外波束成形以从所述所要音频参考信号中移除额外噪声的装置，所述用于执行额外波束成形的装置包含用于对经校准的经精细化的噪声参考信号进行低通滤波借此获得经低通滤波的经校准的经精细化的噪声参考信号的装置；以及用于对所述经低通滤波的经校准的经精细化的噪声参考信号执行自适应滤波的装置。
29.一种用于使用多个音频信号来抑制环境噪声的计算机程序产品，所述计算机程序产品包含其上具有指令的计算机可读媒体，所述指令包含用于通过至少两个电声换能器来提供至少两个音频信号的代码，其中所述至少两个音频信号包含所要音频和环境噪声；用于对所述至少两个音频信号执行波束成形以便获得与噪声参考信号分离的所要音频参考信号的代码；以及用于通过从所述噪声参考信号移除残余所要音频来将所述噪声参考信号精细化借此获得经精细化的噪声参考信号的代码。
30.根据权利要求四所述的计算机程序产品，其中所述残余所要音频为高频残余所要音频。
31.根据权利要求四所述的计算机程序产品，其进一步包含用于校准所述至少两个信号以便平衡所述至少两个信号之间的所要音频能量的代码。
32.根据权利要求四所述的计算机程序产品，其进一步包含用于校准所述经精细化的噪声参考信号以补偿由所述波束成形引起的衰减效应的代码。
33.根据权利要求32所述的计算机程序产品，其中所述用于校准所述经精细化的噪声参考信号的代码包含用于对所述经精细化的噪声参考信号进行滤波以便获得至少两个子频带的代码；用于推算校准因子的代码，针对每一子频带推算单独校准因子；用于通过使所述子频带乘以所述校准因子来校准所述子频带的代码；以及用于对所述经校准的子频带求和的代码。
34.根据权利要求四所述的计算机程序产品，其进一步包含用于执行额外波束成形以从所述所要音频参考信号中移除额外噪声的代码，所述用于执行额外波束成形的代码包含用于对经校准的经精细化的噪声参考信号进行低通滤波借此获得经低通滤波的经校准的经精细化的噪声参考信号的代码；以及用于对所述经低通滤波的经校准的经精细化的噪声参考信号执行自适应滤波的代码。
全文摘要
一种用于使用多个音频信号来抑制环境噪声的方法可包括提供由至少两个电声换能器捕获的至少两个音频信号。所述至少两个音频信号可包括所要音频和环境噪声。所述方法还可包括对所述至少两个音频信号执行波束成形，以便获得与噪声参考信号分离的所要音频参考信号。
文档编号H04R3/00GK102224403SQ200980147227
公开日2011年10月19日 申请日期2009年11月24日 优先权日2008年11月25日
发明者王松, 迪内希·拉马克里希南 申请人:高通股份有限公司