处理音频信号的制作方法
【专利摘要】一种处理从远程发射机传送并且在声学系统的本地接收机处接收的音频信号的方法，包括在所述接收机处：与所述音频信号一起接收远程发射机增益的指示；根据所述远程发射机增益和本地接收机增益来确定所述声学系统的总系统增益；以及如果确定所述总系统增益超过门限，则选择性地对所述音频信号应用系统增益降低步骤。
【专利说明】处理音频信号
【技术领域】
[0001]本发明涉及特别地而非排它地在近端设备与远端设备之间的通信会话的情况下
处理音频信号。
【背景技术】
[0002]通信系统允许用户通过网络与彼此进行通信。所述网络可以是例如因特网或公用交换电话网(PSTN)。音频信号能够在网络的节点之间被传送，以便从而允许用户通过通信系统在通信会话中向彼此传送音频数据(诸如，语音数据)和接收音频数据。
[0003]用户设备可以具有音频输入装置，诸如能够被用来接收诸如来自用户的语音之类的音频信号的话筒。用户可以参加与另一用户的通信会话，诸如私人呼叫(在呼叫中仅有两个用户)或会议呼叫(在呼叫中有两个以上的用户)。用户的语音在话筒处被接收、处理并且然后通过网络被传送到呼叫中的其它用户。
[0004]和来自用户的音频信号一样，话筒还可以接收为不想要的并且可能干扰从用户接收到的音频信号的其它音频信号，诸如背景噪声。
[0005]用户设备还可以具有音频输出装置，诸如用于将音频信号输出到近端用户的扬声器，所述音频信号在呼叫期间从远端用户通过网络被接收到。这样的扬声器还能够被用来输出来自在用户设备处被执行的其它应用的并且能够作为将干扰来自近端用户的语音信号的不想要的音频信号而被话筒拾取的音频信号。
[0006]在声学系统中可能出现的困难是“嘯叫”。嘯叫是由系统中的声学反馈引起的不想要的效果，并且引起大声的、常常高音调的、持久不想要的声音。嘯叫能够在它已被检测为可听的之后被抑制，例如使用陷波滤波器来抑制嘯叫。大多数声学系统具有能够降低嘯叫的回声消除器(AEC)，但取决于AEC设计，任务可以是非常具有挑战性的。在其它AEC中，嘯叫像回声一样被消除。
【发明内容】
[0007]本
【发明内容】
被提供来以简化的形式介绍概念的选择，这些概念下面在【具体实施方式】中被进一步描述。本
【发明内容】
不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在被用来限制所要求保护的主题的范围。
[0008]本发明人已经认识到，预期嘯叫而不是在它已经发生之后解决它将是有利的。
[0009]在本发明的以下描述的实施例中，一种技术被描述，其中本地侧(发射机)增益信息连同音频信号一起被发送的。通过和经编码的音频信号一起将本地侧系统增益信息发送到远端侧(接收机)，准确的(全)系统增益信息能够在远端侧上通过将所接收到的信息与在本地能够被计算或者估计或者测量的信息相结合而被计算。这个信息将估计如果系统增益高于一而发生嘯叫的风险。在本发明的优选实施例中，所述系统增益在频率带中被估计，并且被用来仅必不可少地降低每个频带中的系统增益以便防止嘯叫加强。
[0010]在传递增益信息并且使用它来计算总系统增益中的主要优点是它能够准确地知道嘯叫何时将要发生，但是在它实际发生之前。它因此能够通过当它接近门限(例如临界值I)时应用降低系统增益的各种技术来被防止逐渐成为问题。
[0011]此外，当仅使用本地侧系统增益贡献信息时，考虑远端用户是否例如正戴着头戴式耳机并且从而防止来自本地侧的高系统增益贡献导致嘯叫是不可能的。
[0012]因此，本发明的实施例还能够被视为一种在没有对策被要求时用来避免采取对策来降低嘯叫的风险的方式。
[0013]为了更好地理解本发明以及为了示出相同的发明可以如何被付诸实践，现将通过例子对附图进行参考。
【专利附图】
【附图说明】
[0014]图1是通信系统的示意图；
图2是用户设备的框图；
图3是噪声裳减技术的不意功能图；
图4是增益相对于信号加噪声对噪声的比的图表；以及 图5是最小增益相对于系统增益对平均系统增益的比的图表。
【具体实施方式】
[0015]现将仅通过例子对本发明的优选实施例进行描述。
[0016]在描述本发明的特定实施例之前，现将参考图1描述本发明能够被有效地应用在其中的环境，图1图示了通信系统100。
[0017]通信系统的第一用户(用户A 102)操作用户设备104。用户设备104可能是例如移动电话、电视、个人数字助理(“PDA”)、个人计算机(“PC”)(包括例如Windows?、MacOS?以及Linux? PC)、游戏设备、或能够通过通信系统100进行通信的其它嵌入式设备。
[0018]用户设备104包括中央处理单元(CPU) 108，其可以被配置成执行诸如用于通过通信系统100进行通信的通信客户端之类的应用。所述应用允许用户设备104通过通信系统100从事呼叫和其它通信会话(例如，即时消息传送通信会话)。用户设备104能够经由网络106通过通信系统100进行通信，所述网络106可以是例如因特网或公用交换电话网(PSTN)。用户设备104能够通过链路110将数据传送到网络106，以及从网络106接收数据。
[0019]图1还示出了远程节点，用户设备104能够通过通信系统100与该远程节点进行通信。在图1中所示出的例子中，远程节点是第二用户设备114，其可由第二用户112使用并且包括CPU 116，所述CPU 116能够执行应用(例如，通信客户端)以便以与用户设备104在通信系统100中通过通信网络106进行通信的方式相同的方式来通过通信网络106通信。用户设备114可以是例如移动电话、电视、个人数字助理(“PDA”)、个人计算机(“PC”)(包括例如WindowsTM、Mac OS?以及Linux? PC)、游戏设备、或能够通过通信系统100进行通信的其它嵌入式设备。用户设备114能够通过链路118将数据传送到网络106以及从网络106接收数据。因此，用户A 102和用户B 112能够通过通信网络106与彼此通信。
[0020]图2更详细地图示了在近端扬声器处的用户设备104。特别地，图2图示了接收来自用户的语音信号22的话筒20。话筒可以是单个话筒或包括多个话筒以及可选地包括波束形成器的话筒阵列。如已知的那样，波束形成器接收来自话筒阵列中的话筒的音频信号并且处理它们，试图与被感知到的来自不想要的方向的信号相比而改进在想要的方向上的信号。这牵涉到在期望方向上应用较高增益。
[0021]此外，在房间中可能存在其它不想要的噪声的源，诸如冷却风扇、空调系统、背景中的音乐播放以及键盘敲击声。所有这样的噪声都能够对在话筒处从近端用户接收的用于在呼叫中传输到远端用户的音频信号的干扰起到作用。
[0022]为了改进信号的质量，诸如用于在呼叫中使用，期望抑制在用户设备的音频输入装置处接收的不想要的音频信号(背景噪声和从用户设备输出的不想要的音频信号)。各种噪声降低技术对于这个目的是已知的，其包括，例如谱减法(例如，如通过S.F.BoolIEEE Trans.Acoustics, Speech, Signal Processing (1979), 27(2):，页 113-120 在文章“Suppression of acoustic noise in speech using spectral subtraction，，中所描述的)。
[0023]来自话筒(无论有或没有波束形成器)的信号被应用到信号处理级24。信号处理级24包括多个信号处理块，它们的每一个都能够被用被认为适当的硬件或软件或其组合来实施。所述块能够包括例如数字增益块26 (AGC -自动增益控制)、噪声衰减块28以及回声消除器块30。
[0024]扩音器32被提供来提供旨在供用户102使用的音频信号34。这样的信号能够来自要向用户输出的远端扬声器，或者能够替换地来自如早先所讨论的用户设备本身。在其中由扩音器所输出的信号34来自诸如用户112之类的远端用户的情形中，它们能够在被扩音器发射之前被信号处理电路处理，并且为了方便起见扩音器被示出为连接到图2中的信号处理电路24。可选地，它们能够使用在下面描述的噪声衰减技术来处理。
[0025]在信号处理之后，由用户102输入并由话筒20拾取的信号被传送用于与远端用户112通信。
[0026]信号处理电路24还包括本地系统增益估计块36。如稍后更详细地讨论的那样，并且如在我们较早的专利申请N0.GB 1102704.2中所描述的那样，块36考虑了增益谱的形状来估计本地系统增益。也就是说，系统增益随频率而变化。针对不同频率的本地系统增益的估计被供应给噪声衰减块28，并且被作为发射机增益信息Gtl传送到远端。类似地，从远端接收到信号处理级中的音频信号伴随有远端发射机增益信息Gt2。
[0027]嘯叫是具有这样的反馈的症状，所述反馈在频谱中某处具有高于I的系统增益。通过降低在这个频率处的系统增益，嘯叫将停止。经常，扩音器、话筒或回声路径中的谐振频率将比平均值大得多并且其将是正限制对嘯叫的强度(robustness)的东西。系统增益通过考虑在系统处理中牵涉的块(包括例如数字增益块、回声消除器以及背景噪声衰减块)而被估计，并且特别地使用在回声消除器衰减块中估计的来自回声路径的信息，所述回声消除器衰减块提供关于设备位于其中的房间的信息。谱的形状通常由所估计的回声路径所支配，因为所述回声路径的传递函数包括谐振频率常常发生在的扩音器的传递函数。在图2中，所估计的回声路径由箭头40来表示。
[0028]通过估计来自近端侧的本地系统增益谱贡献，获得关于谱的哪些部分更可能在嘯叫效应的产生中占支配地位的知识是可能的。当两个相似的设备104、114正在呼叫中被使用时，这个半侧信息在当谐振频率在两个设备上将一致时知道所述谱的哪一个部分将占支配的方面能够是非常准确的。此外，在图2中，关于来自远端的关于系统增益的侧信息Gt2连同音频信号一起被接收。在接收侧，所接收到的信息被与本地侧信息结合来获得关于针对远端和近端的结合的(总)系统增益Gtl的知识。这个在系统增益计算块41中被执行。增益信息Gt提供有频率信息，每个增益值与相应的频率相关联。在一个实施例中，与单个频率或频率带相关联的单个增益值被传送。引起较高系统增益的频率能够基于设备的已知特性而被识别。例如，可能明显的是，设备的特定构件(例如，扩音器)具有将引起嘯叫的成问题的谐振频率。
[0029]这个系统增益信息能够被用来预测嘯叫何时将要发生，例如作为在任一侧的AGC中增加增益的结果，并且对策能够被立即采取，以便防止嘯叫将一直加强下去。
[0030]总系统增益Gtl的估计被用来选择性地降低嘯叫。如果确定总系统增益小于1，则没有动作被采取并且像在下面所讨论的那样正被采取的任何步骤被禁用。然而，如果确定总系统增益大于1，则增益降低步骤在信号处理中被实现，如下面在一个实施例中所讨论的那样。在优选实施例中，噪声降低在最临界的频带中被增加，并且作为最后一个手段，应用于远端和近端的数字增益(块26)被略微地降低。供应给噪声衰减块28的系统增益谱的估计被用来修改噪声衰减方法的操作，如在下面所讨论的那样。
[0031]所述估计优选地是由增益计算块41所确定的总系统增益的估计。然而，使用来自本地系统增益块36的本地增益是可能的。
[0032]信号处理在每帧的基础上被执行。各帧在长度上例如可以是在5毫秒与20毫秒之间并且为了噪声抑制的目的其被划分成谱仓(bin)，例如，每帧在64与256个仓之间。每个仓都包含关于在一定频率处或在一定频率带中的信号分量的信息。为了处理宽带信号，从O至8 kHz的频率范围被处理，被划分成相等宽度的64或32个频率带。各频带具有相等宽度不是必要的-它们能够例如被调整成较好地反映人类听觉的临界频带，诸如通过Bark标度实现的。
[0033]理想地，对于语音，每个帧被实时地处理并且每个帧从系统增益块36接收针对每个频率仓的系统增益的更新的估计。因此每个仓使用特定于那个帧和那个仓的频率的系统增益的估计被处理。
[0034]图3图示了根据系统增益降低步骤的一个例子噪声衰减增益因子能够如何被计算以便考虑系统增益的基于频率的估计。
[0035]在以下例子中，实现了通过噪声衰减进行的均衡引起的、同时适于实际条件的系统增益降低的优点。这意味着来自房间的对系统增益谱的任何声学影响被考虑。
[0036]应当理解，图3图示了视情况而定能够被用软件实施的各种功能块。可变最小增益计算块42生成在时间t和频率f处的可变最小增益值min_gain (t, f)。可变最小增益值基于系统增益(或本地增益)system_gain和固定最小增益值min_gain而被生成,如在等式I中那样。
[0037]min_gain(t, f) = min_gain * f ( system_gain(t, f) )
1
[0038]在可变最小计算块中，根据一个例子的系统增益的函数f(.)如等式2中所给出的那样，其中avg_system_gain(t)表示在时间t处的平均系统增益。
[0039]f ( system_gain(t, f) ) = min( m a x ( s y s t e m _gain(t, f) / avg_system_gain (t) , 1.2 5, 5,2 5) - 0.2 5 )2。
[0040]当系统增益在当前频率带中是高的时，这个函数具有降低可变最小增益值main_gain(t, f)的效果。如将从下文中清楚的那样，这在具有最高的本地系统增益的频带中具有更多噪声衰减的效果。
[0041]可变最小增益值被供应给噪声 衰减增益因子计算块44。这个块计算在时间t和频率f处的噪声衰减增益因子Gi^(t，f)。增益因子Gi^(Lf)考虑了噪声水平估计Nest和从话筒接收到的信号X，所述信号X表示从话筒传入的信号加噪声。
[0042]第一噪声衰减增益因子根据等式3被计算。
[0043]Gil 声(t，f) = (( X(t，f)2 - Nest (t，f)2) / X(t，f)2) = (1- (X(t，f)2 /Nest(Lf)2)-1) 3。
[0044]在经典的噪声降低中(诸如例如，如上面在例子中的功率谱减法)，所估计的干净信号在时间t和频率f处的系数Sest (t，f)被计算为噪声衰减增益乘以信号加噪声的平方系数的平方根-也就是说，如在等式4中那样，其中等式3提供噪声衰减增益因子61^。
[0045]Sest(t，f) = s q r t ( G 嘆声(t，f) * X ( t , f ) 2 )4。
[0046]因此，Sest (t，f)表示用于在信号处理之后传输到远端的干净信号的最佳估计的系数。
[0047]噪声衰减增益因子能够如在等式5中那样被限制更低以用于改进感知质量。
[0048]G 嘆声(t，f) = max( 1- (X(t, f)2 / Nest (t, f)2 /Nest，min_gain(t, f) )5。
[0049]也就是说，根据等式3计算的噪声衰减增益因子仅应用于它高于最小增益值min_gain(f, t)的程度。
[0050]在现有的噪声降低技术中，最小增益值被固定在min_gain,并且能够采取例如约.2的恒定值。相比之下，本发明的实施例如已被描述的那样改变最小增益值以便向每个频率带提供单独的最小增益，使得当针对该频带的本地系统增益是高的时最小增益值能够被降低。最小增益值是随着时间的推移而被适配的系统增益谱的函数，使得它跟踪在系统增益谱中可能发生的任何改变。
[0051]通过在噪声降低方法中合并频谱系统增益均衡，提供了在没有语音活动的状态下，留下的噪声通过在其中系统增益是高的频率带中应用更多噪声降低以及从而降低那些频带中的系统增益而被均衡。这个在等式5中被示出，等式5指示噪声衰减增益因子是可变最小增益值和使用信号加噪声对噪声的比计算的值中的最大值。在信号加噪声对噪声的比是低的时，这具有允许更多噪声降低(较低的的效果。然而，当信号加噪声对噪声的比是高的时，例如在近端活动的情况下，可变最小增益因子的效果被噪声衰减因子G^^的常规计算超越(overtaken),这随着信噪比增加而降低噪声衰减。在这样的情况下,近端语音因此在没有任何显著降低或均衡的情况下被留下。
[0052]图4图示了其中最小增益是约.2的恒定值的情况，并且示出了随着信号加噪声对噪声的比增加对增益因子Gi^的影响。随着Gi^接近1，噪声衰减减少直到它随着信号加噪声对噪声的比增加而几乎为零为止。
[0053]图5是示出了最小增益如何作为根据等式2的系统增益的函数而变化的图表。[0054]系统增益降低步骤的另一例子是调整通过块26应用于信号的数字增益。
[0055]在基于总系统增益的确定而确定没有嘯叫被预期的情况下，没有增益降低步骤被实施，并且正被实施的任何步骤被禁用从而使总增益的新分配悬而不决。
[0056]根据本发明的一个实施例，提供了处理从远程发射机传送并且在声学系统的本地接收机处接收的音频信号的方法，所述方法包括在本地接收机处:与音频信号一起接收发射机增益的指示；根据发射机增益和本地接收机增益来确定声学系统的总系统增益；以及如果确定总系统增益超过门限，则选择性地对音频信号应用系统增益降低步骤。
[0057]在所描述的实施例中，确定声学系统的本地增益(近端或远端)被针对所接收到的信号中的多个频率中的每一个来执行。这允许引起较高系统增益的一个或多个频率被识别。
[0058]本地增益能够被估计或者被实际地测量。例如，它能够基于回声路径被估计或者测量。在本文中对“本地增益”的参考包括估计的本地增益和/或测量的本地增益。
[0059]本地增益还能够通过将在系统中被应用的所有增益相乘来估计，所述所有增益包括能够被估计或者预先确定的回声路径中的增益。总系统增益能够通过将近端增益和远端增益相乘来计算。
[0060]系统增益降低增益步骤能够包括:提供噪声衰减因子以用于针对至少一个频率来降低信号中的噪声，针对所述至少一个频率的所述噪声衰减因子基于针对该频率的本地增益或系统增益；以及对信号在该频率处的分量应用所述噪声衰减因子。
[0061]尽管通过对很可能使声学系统易于嘯叫的仅一个频率进行衰减来获得嘯叫中的降低是可能的，但是如果声学系统的相应的本地增益或系统增益针对所接收到的信号中的多个频率中的每一个被计算以及噪声衰减因子针对所述多个频率中的每一个被提供，则这是特别有利的。在那种情况下，每个噪声衰减因子能够被应用于信号在该频率处的相应分量。以这种方式，声学系统的系统增益谱能够被考虑。
[0062]本发明的实施例在所接收到的音频信号是来自用户的语音的情况下是特别有用的。在那种情况下，语音以时间间隔(例如巾贞)被处理，并且相应的系统增益或本地增益以及噪声衰减因子在每帧中针对所述多个频率中的每一个被提供。
[0063]增益降低步骤能够被应用在在近端侧捕获的信号、在通信网络中从远端接收到的供播出的信号上，或者被部分地应用在远端信号上以及部分地应用在在近端处接收(例如，通过在用户设备处的音频输入装置)到的信号上。
[0064]本发明的另外的实施例提供了声学系统中的发射机，所述发射机包括:音频输入装置，其被布置成接收信号；用于提供发射机侧增益的指示的装置，所述发射机侧增益与至少一个频率相关联；信号处理级，其被连接来从音频输入装置接收信号并且被配置成输出已处理的音频信号和发射机侧增益的指示以用于传输。
[0065]所述发射机还可以包括用于针对音频信号中的至少一个频率来估计发射机侧增益的装置。
[0066]本发明的另外的实施例提供了声学系统中的接收机，所述接收机包括:用于与远程发射机增益的指示一起地接收从远程发射机传达的音频信号的输入装置；用于根据远程发射机增益和本地接收机增益来确定声学系统的总系统增益的装置；以及用于如果确定总系统增益超过门限则选择性地对音频信号应用系统增益降低步骤的装置。[0067]本发明的实施例提供包括发射机的用户设备，所述发射机包括:音频输入端，其被布置成接收信号；指示发生器，其用于提供与至少一个频率相关联的发射机增益的指示；以及信号处理级，其被连接来从音频输入端接收信号并且被配置成输出已处理的音频信号和发射机增益的指示以用于传输。
[0068]所述用户设备还可以包括接收机，所述接收机包括:远程侧输入端，其用于与远程发射机增益的指示一起接收从远程发射机传达的音频信号；用于根据远程发射机增益和本地接收机增益来确定声学系统的总系统增益的构件；以及增益降低构件，其用于如果确定总系统增益超过门限则选择性地对在远程侧输入端处接收到的音频信号应用系统增益降低步骤。
[0069]所述音频输入端可以包括话筒。所述用户设备可以进一步包括用于将音频信号提供给用户的扩音器。
[0070]本发明的实施例提供了包括如在上文定义的发射机和接收机的声学系统。
[0071]在本发明的实施例中，音频信号可以从远程发射机通过通信网络被传达到接收机。
[0072]将容易理解的是，在本文中对近端的参考表示能够使用音频输入装置输入信号和/或从远端发射机接收信号的本地用户。类似地，对远端的参考表示跨越通信网络而被定位的设备，其经由网络与近端设备通信。
[0073]在本文中对本地增益的参考表示在近端或远端处的增益。总系统增益是在近端处的本地增益和在远端处的本地增益的组合。
【权利要求】
1.一种处理从远程发射机传送并且在声学系统的本地接收机处接收的音频信号的方法，所述方法包括在所述接收机处: 与所述音频信号一起接收远程发射机增益的指示； 根据所述远程发射机增益和本地接收机增益来确定所述声学系统的总系统增益；以及 如果确定所述总系统增益超过门限，则选择性地对所述音频信号应用系统增益降低步骤。
2.—种声学系统中的接收机，所述接收机包括: 输入装置，用于与远程发射机增益的指示一起接收从远程发射机传达的音频信号；用于根据所述远程发射机增益和本地接收机增益来确定所述声学系统的总系统增益的装置；以及 用于如果确定所述总系统增益超过门限则选择性地对所述音频信号应用系统增益降低步骤的装置。
3.一种声学系统，其包括: 发射机，所述发射机包括: 音频输入端，其被布置成接收信号； 指示发生器，其提供与至少一个频率相关联的发射机增益的指示；以及信号处理级，其被连接来从所述音频输入端接收所述信号并且被配置成输出处理的音频信号和发射机增益的所述指示以用于传输；和接收机，所述接收机包括:` 远程侧输入端，其用于与远程发射机增益的指示一起接收从远程发射机传达的音频信号; 用于根据所述远程发射机增益和接收机增益来确定所述声学系统的总系统增益的构件；以及 系统增益应用构件，其用于如果确定所述总系统增益超过门限则选择性地对所述音频信号应用系统增益降低步骤。
4.根据权利要求1、2或3所述的方法、接收机或声学系统，其中所述系统增益降低步骤包括: 提供噪声降低因子以用于针对至少一个频率来降低所述信号中的噪声，针对所述至少一个频率的所述噪声衰减因子基于针对该频率的所述本地接收机增益；以及对所述信号在该频率处的分量应用所述噪声衰减因子。
5.根据权利要求4所述的方法、接收机或声学系统，包括针对所接收到的信号中的多个频率中的每一个来估计系统增益或本地接收机增益，其中相应的噪声衰减因子针对所述多个频率中的每一个被提供，并且每个噪声衰减因子被应用到所述信号在该频率处的相应分量。
6.根据权利要求1、2或3所述的方法、接收机或声学系统，其中所述系统增益降低步骤包括改变应用于所述音频信号的增益，其中所述增益是数字增益或模拟增益。
7.根据权利要求1、2或3所述的方法、接收机或声学系统，其中，选择性地应用系统增益降低步骤的步骤包括:如果所述总系统增益被确定为不超过所述门限，则禁用所述系统增益降低步骤。
8.根据权利要求1、2或3所述的方法、接收机或声学系统，其中，所述远程发射机增益根据所述发射机中的回声路径或者根据所述发射机的信号处理级中的多个处理块中的每一个中的增益而被估计；并且所述本地接收机增益根据所述接收机中的回声路径而被估计；以及所述系统增益根据所述接收机的信号处理级中的多个处理块中的每一个而被估计。
9.根据权利要求1、2或3所述的方法、接收机或声学系统，其中，所述远程发射机增益和/或所述本地接收机增益被测量。
10.根据权利要求1、2或3所述的方法、接收机或声学系统，其中，所述音频信号从所述远程发射机通过通信网络被传达到所述接收机。
【文档编号】H03G3/30GK103534942SQ201280024420
【公开日】2014年1月22日 申请日期:2012年5月21日 优先权日:2011年5月20日
【发明者】K.V.索伦森, J.贝尔仁黑姆 申请人:斯凯普公司