用于不匹配的听觉传输扩音器系统的增强的虚拟立体声再现的制作方法

本文中描述的主题涉及音频处理，并且更特别地涉及用于不匹配的听觉传输(transaural)扩音器的增强的虚拟立体声再现的配置和操作。

背景技术：

音频信号可以允许收听者感知声场中的空间感。然而，许多非理想配置的立体声呈现系统都采用中度到严重不匹配的驱动器，这些驱动器在频率响应、输出功率、方向性或其任何组合上是失配的。一个这样的常见示例系统可以是能够进行立体声音频回放但仅采用一个“宽带”微型扩音器的移动电话或平板电脑，该“宽带”微型扩音器相对于具有1000hz以下的低频率衰减的带宽有限的听筒驱动器正交地进行发射。当使用不匹配的驱动器来再现音频信号时，声场中的空间感可能会丢失或失真。

技术实现要素：

实施方式涉及为采用在频率响应、输出功率、方向性或其任何组合方面中度到严重不匹配的驱动器的非理想配置的立体声呈现系统提供虚拟立体声音频再现(本文中被称为“vs-x”)。

在一些实施方式中，音频处理系统包括分频网络、高频处理器和低频处理器。分频网络将输入音频信号分离成低频信号和高频信号。高频处理器对高频信号应用子带空间处理和b链处理，以空间地增强输入信号，并且针对不匹配的扬声器调整输入信号。低频处理器对低频信号应用参数带通滤波器和第一增益以生成低频谐振器信号，并且对低频信号应用第二增益以生成低频直通信号。组合器通过将低频输出信号与用于左扬声器的高频输出信号的左声道或用于右扬声器的高频输出信号的右声道中的一个进行组合来生成输出信号。例如，如果左扬声器处理的频率低于右扬声器处理的频率，则将低频输出信号提供给左扬声器。在另一示例中，如果右扬声器处理的频率低于左扬声器处理的频率，则将低频输出信号提供给右扬声器。

一些实施方式包括存储指令的非暂态计算机可读介质，该指令在由处理器执行时将处理器配置成：将输入音频信号分离成低频信号和高频信号；对高频信号应用b链处理，以对左扬声器与右扬声器之间的不对称进行调整来生成高频输出信号；对低频信号应用参数带通滤波器和第一增益，以生成低频谐振器信号；对低频信号应用第二增益以生成低频直通信号；通过将低频谐振器信号与低频直通信号进行组合来生成低频输出信号；以及通过将低频输出信号与用于左扬声器的高频输出信号的左声道或用于右扬声器的高频输出信号的右声道中的一个进行组合来生成输出信号。

一些实施方式包括一种处理输入音频信号的方法。该方法包括通过计算系统进行以下操作：将输入音频信号分离成低频信号和高频信号；对高频信号应用b链处理，以对左扬声器与右扬声器之间的不对称进行调整来生成高频输出信号；对低频信号应用参数带通滤波器和第一增益，以生成低频谐振器信号；对低频信号应用第二增益，以生成低频直通信号；通过将低频谐振器信号与低频直通信号进行组合来生成低频输出信号；以及通过将低频输出信号与用于左扬声器的高频输出信号的左声道或用于右扬声器的高频输出信号的右声道中的一个进行组合来生成输出信号。

附图说明

附图(图)1是根据一些实施方式的具有非理想音频呈现的移动装置的示例。

图2是根据一些实施方式的音频处理系统的示意性框图。

图3是根据一些实施方式的空间增强处理器的示意性框图。

图4是根据一些实施方式的子带空间处理器的示意性框图。

图5是根据一些实施方式的串扰补偿处理器的示意性框图。

图6是根据一些实施方式的串扰消除处理器的示意性框图。

图7是根据一些实施方式的b链处理器的示意性框图。

图8是根据一些实施方式的用于输入音频信号的虚拟立体声音频再现(vs-x)处理的过程的流程图。

图9是根据一些实施方式的在vs-x处理之后的图1所示的移动装置的所感知的声场的示例。

图10是根据一些实施方式的计算机系统的示意性框图。

仅出于说明的目的，附图描绘了并且具体实施方式描述了各种非限制性实施方式。

具体实施方式

现在将详细参考实施方式，其示例在附图中示出。在以下详细的描述中，阐述了许多具体细节以提供对所描述的各种实施方式的透彻理解。然而，可以在没有这些具体细节的情况下实践所描述的实施方式。在其他情况下，未详细描述公知的方法、过程、部件、电路和网络，以免不必要地使实施方式的各方面模糊。

概述

示例实施方式涉及为非理想配置的立体声呈现系统提供虚拟立体声音频再现(本文中被称为“vs-x”)，其中，非理想配置的立体声呈现系统采用在例如频率响应、输出功率、方向性或其任何组合方面中度到严重不匹配的驱动器。vs-x是被设计成恢复和增强这样的非理想配置的立体声呈现系统上感知的空间音场(soundstage)的音频信号处理算法。vs-x系统的主要作用是解决扩音器之间的时间对准不对称和频率响应不对称，使得创建在感知上被定位在收听者头部正前方的理想位置处的稳定的非空间图像(例如，立体声混音中的语音和低音吉他)。vs-x系统还有助于创建稳定且对称的空间图像(例如，立体声混音中的平衡的左/右分量等)。此外，通过校正系统中的以上不对称，vs-x系统提供经由音场增强技术(例如，子带空间处理和串扰消除)应用增加的沉浸感的机会。最佳调谐的vs-x系统的结果是增强的和空间上的沉浸式听觉传输声场，如从理想的收听者“最有效点(sweetspot)”感知到的。

附图(图)1是根据一些实施方式的具有非理想音频呈现的移动装置100的示例。移动装置100包括左扬声器110l(或110l)和右扬声器110r(或110r)。扬声器110l和110r是失配的。例如，扬声器110l可以是具有1000hz以下的显著低频衰减的听筒驱动器。扬声器110r可以是能够呈现550hz至1000hz以下的低频和中频能量的“宽带”微型扩音器。此外，扬声器110r具有比扬声器110l大的输出功率，并且相对于扬声器110l正交地发射。扬声器110l和110r可能在频率响应、输出功率、方向性或其任何组合方面相对于收听者140是失配的。

示例音频处理系统

图2是根据一些示例实施方式的音频处理系统200的示意性框图。音频处理系统200在频率响应、输出功率、方向性或其任何组合方面补偿左扬声器110l与右扬声器110r之间的失配。音频处理系统200接收包括左输入声道xl(或xl)和右输入声道xr(或xr)的输入音频信号x，并生成包括用于左扬声器110l的左输出声道ol(或ol)和用于右扬声器110r的右输出声道or(或or)的输出音频信号o。

音频处理系统200包括耦接至低频处理器204和高频处理器206的分频网络202。分频网络202接收左输入声道xl和右输入声道xr，并创建低频声道和高频声道。例如，分频网络202包括滤波器，该滤波器创建包括左声道lfl(或lfl)和右声道lfr(或lfr)的低频(lf)声道以及包括左声道hfl(或hfl)和右声道hfr(或hfl)的高频(hf)声道。左声道lfl是从左输入声道ol的低频部分生成的，右声道lfr是从右输入声道or的低频部分生成的。左声道lfl和右声道lfr共同形成低频信号208。左声道hfl和右声道hfr共同形成高频信号210。

低频信号208由低频处理器204处理，而高频信号210由高频处理器206处理。这样，音频处理系统200独立于对应的高频信号210并且与对应的高频信号210并行地处理低频信号208。

假设给定立体声音频系统的非理想性质，则收听者140将装置100感知为从“最有效点”的有利情况呈现空间沉浸式声场的能力取决于对中频和高频音频带的处理，其中，在中频和高频音频带可以组合地采用扬声器110l和110r二者。为此目的，高频处理器206对高频信号210执行子带空间增强、b链处理、均衡滤波和放大。

高频处理器206包括空间增强处理器222、b链处理器224、高频(hf)均衡(eq)滤波器226和高频增益228。空间增强处理器222接收左声道hfl和右声道hfr，并处理这些声道以生成包括左空间增强声道al和右空间增强声道ar的空间增强信号a。在一些实施方式中，空间增强处理器222应用子带空间处理，该子带空间处理包括对(包括左声道hfl和右声道hfr的)高频信号208的中间子带分量和侧子带分量的增益调整。空间增强处理器222还可以执行串扰补偿和串扰消除。关于空间增强处理器222的附加细节在下面结合图3、图4、图5和图6讨论。

b链处理器224耦接至空间增强处理器222。如本文使用的，“b链处理”是指对音频信号的以下处理：该处理对至少两个扬声器(例如，左扬声器和左扬声器)在频率响应、输出功率和方向性等方面的失配进行调整。b链处理器224对扬声器110l与110r之间的失配进行调整。此外，b链处理器224可以对扬声器110l和110r与收听者的头部之间的差异之间的总时间延迟、扬声器110l和110r与收听者的头部之间的信号水平(感知的与客观的)差异、以及扬声器110l和110r与收听者的头部之间的频率响应差异进行调整。b链处理器224接收左空间增强声道al和右空间增强声道ar，并且对扬声器110l与110r之间的各种失配进行调整，以生成左声道bl和右声道br。关于b链处理器224的附加细节在下面结合图7讨论。

hfeq滤波器226耦接至b链处理器224。hfeq滤波器226接收左声道bl和右声道br，并调整左声道bl和右声道br的相对水平和频率响应。hfeq滤波器226可以用于在平衡高频信号与低频信号之间的混合方面提供附加的灵活性。在一些实施方式中，省略了hfeq滤波器226。在一些实施方式中，hfeq滤波器226的功能与b链处理器224集成在一起。例如，n频带参数eq702可以被配置成执行hfeq滤波器226的功能。

hf增益228耦接至hfeq滤波器226。hf增益228接收hfeq滤波器226的输出，并且调整高频信号相对于低频信号的总信号水平及其通过低频处理器204的信号路径。在一些实施方式中，由hf增益228将不同的增益应用于高频信号的左声道和右声道。hf增益228的输出表示高频处理器206的输出，并且包括左高频输出声道hfol和右高频输出声道hfor。左声道hfol和右声道hfor表示空间增强听觉传输图像，该空间增强听觉传输图像与由低频处理器204进行处理之后的低频信号208组合。

低频处理器204向所感知的总体声场提供稳定的非空间图像(例如，声像(pan)居中元素)以及足够的冲击和主体(punchandbody)，同时避免可能降低和掩盖空间增强听觉传输图像的效果的过多的低频能量。低频处理器204包括组合器212、低频(lf)提升谐振器214、lf提升增益216、lf直通增益218和组合器220。组合器212耦接至分频网络202并接收左声道lfl和右声道lfr。组合器212还耦接至lf提升谐振器214和lf直通增益218。lf提升谐振器214耦接至lf提升增益216。lf提升增益216和lf直通增益218耦接至组合器220。

组合器212将左声道lfl和右声道lfr组合以生成低频信号208(在图2中又显示为“lfs”)。在一些实施方式中，在由组合器212进行组合之前，可以将诸如极性反转、希尔伯特变换(hilberttransform)或全通滤波器的相位调整应用于左声道lfl和右声道lfr，以补偿由分频网络202中的滤波器引入的任何相移。

在组合之后，低频信号208被分成以下两个并行的低频路径以进行处理：包括lf提升谐振器214和lf提升增益216的谐振器路径，以及包括lf直通增益218的直通路径。lf提升谐振器214可以是参数低频带通滤波器，并且lf提升增益216对lf升压谐振器214的输出应用增益或衰减。谐振器路径将低音增强，使得混音中的低/中频瞬变(transients)(例如，底鼓和低音吉他奏击)或者低/中频频谱的其他目标部分在感知上突出。谐振器路径另外还可以调节低频信号208以适合给定系统的“宽带”微扩音器(例如，扬声器110r)的频率响应特性，以实现最佳性能。谐振器路径产生低频谐振器信号lfr。

在直通路径中，lf直通增益218将整个低频信号带充分衰减以使非增强低频信号208对主要中高频听觉传输声场可能具有的负面影响最小化，同时仍提供足够广泛的低频能量以防止立体声混音听起来“贫乏”(“anemic”)。直通路径产生低频直通信号lfp。

组合器220将低频谐振器信号lfr和低频直通信号lfp组合以生成低频输出信号lfo。例如，组合器220将信号lfr与lfp相加以生成信号lfo。组合器220可以耦接至微型扩音器，以将信号lfo路由至能够再现低频内容的合适的微型扩音器。

再次参照图1，例如，扬声器110l可以是在1000hz以下具有显著低频衰减的听筒驱动器，而扬声器110r是能够呈现直到550hz的低频和中频能量的“宽带”微型扩音器。这里，低频输出信号lfo被路由至微型扩音器110r，而不是听筒扬声器110l。左高频输出声道hfol作为输出声道ol被发送到左扬声器110l。右高频输出声道hfor与低频输出信号lfo组合以生成输出声道or，该输出声道or被发送到右扬声器110r。在与扬声器110r相比扬声器110l处理较低频率的示例中，低频输出信号lfo可以被路由至扬声器110l而不是扬声器110r。

示例空间增强处理器

图3是根据一些实施方式的空间增强处理器222的示意性框图。空间增强处理器222空间地增强输入音频信号，以及对空间增强音频信号执行串扰消除。为此，空间增强处理器222接收包括左高频声道hfl和右高频声道hfr的高频信号210。

空间增强处理器222通过处理输入声道hfl和hfr来生成包括左空间增强声道al和右空间增强声道ar的空间增强信号a。输出音频信号a是高频信号210的经过串扰补偿和串扰消除的空间增强音频信号。尽管图3中未示出，但是空间增强处理器222还可以包括放大器，该放大器放大来自串扰消除处理器360的输出音频信号a，并且将信号a提供给诸如扩音器110l和110r的输出装置，该输出装置将输出声道al和ar转换为声音。

空间增强处理器222包括子带空间处理器305、串扰补偿处理器340、组合器350以及串扰消除处理器360。空间增强处理器222对输入声道hfl和hfr执行串扰补偿和子带空间处理，将子带空间处理的结果与串扰补偿的结果进行组合，并且然后对组合的信号执行串扰消除。

子带空间处理器305包括空间频带划分器310、空间频带处理器320以及空间频带组合器330。空间频带划分器310耦接至输入声道hfl和hfr以及空间频带处理器320。空间频带划分器310接收左输入声道hfl和右输入声道hfr，并且将输入声道处理成空间(或“侧”)分量xs和非空间(或“中间”)分量xm。例如，可以基于左输入声道hfl与右输入声道hfr之间的差异来生成空间分量xs。可以基于左输入声道hfl与右输入声道hfr之和来生成非空间分量xm。空间频带划分器310将空间分量xs和非空间分量xm提供给空间频带处理器320。

空间频带处理器320耦接至空间频带划分器310和空间频带组合器330。空间频带处理器320从空间频带划分器310接收空间分量xs和非空间分量xm，并增强所接收的信号。特别地，空间频带处理器320根据空间分量xs生成增强的空间分量es，并且根据非空间分量xm生成增强的非空间分量em。

例如，空间频带处理器320将子带增益应用于空间分量xs以生成增强的空间分量es，并且将子带增益应用于非空间分量xm以生成增强的非空间分量em。在一些实施方式中，空间频带处理器320附加地或替选地向空间分量xs提供子带延迟以生成增强的空间分量es，并且向非空间分量xm提供子带延迟以生成增强的非空间分量em。对于空间分量xs和非空间分量xm的不同(例如，n个)子带，子带增益和/或延迟可以是不同的，或者(例如对于两个或更多个子带)可以是相同的。空间频带处理器320调整空间分量xs和非空间分量xm的不同子带相对于彼此的增益和/或延迟，以生成增强的空间分量es和增强的非空间分量em。然后，空间频带处理器320将增强的空间分量es和增强的非空间分量em提供给空间频带组合器330。

空间频带组合器330耦接至空间频带处理器320，并且还耦接至组合器350。空间频带组合器330从空间频带处理器320接收增强的空间分量es和增强的非空间分量em，并且将增强的空间分量es和增强的非空间分量em组合成左增强声道el(或el)和右增强声道er(或er)。例如，可以基于增强的空间分量es与增强的非空间分量em之和来生成左增强声道el，并且可以基于增强的非空间分量em与增强的空间分量es之间的差异来生成右增强声道er。空间频带组合器330将左增强声道el和右增强声道er提供给组合器350。

串扰补偿处理器340执行串扰补偿以在串扰消除中对频谱缺陷或伪像(artifact)进行补偿。串扰补偿处理器340接收输入声道hfl和hfr，并执行处理以补偿由串扰消除处理器360执行的对增强的非空间分量em和增强的空间分量es的后续串扰消除中的任何伪像。在一些实施方式中，串扰补偿处理器340可以通过应用滤波器以生成串扰补偿信号z来对非空间分量xm和空间分量xs执行增强，其中串扰补偿信号包括左串扰补偿声道zl(或zl)和右串扰补偿声道zr(或zr)。在其他实施方式中，串扰补偿处理器340可以仅对非空间分量xm执行增强。

组合器350将左增强声道el与左串扰补偿声道zl组合以生成左增强补偿声道tl(或tl)，并且将右增强声道er和右串扰补偿声道zr组合以生成右补偿声道tr(或tr)。组合器350耦接至串扰消除处理器360，并且向串扰消除处理器360提供左增强补偿声道tl和右增强补偿声道tr。

串扰消除处理器360接收左增强补偿声道tl和右增强补偿声道tr，并对声道tl、tr执行串扰消除以生成包括左空间增强声道al(或al)和右空间增强声道ar(或ar)的空间增强信号a。

关于子带空间处理器305的附加细节在下面结合图4进行讨论，关于串扰补偿处理器340的附加细节在下面结合图5进行讨论，以及关于串扰消除处理器360的附加细节在下面结合图6进行讨论。

图4是根据一些实施方式的子带空间处理器305的示意性框图。子带空间处理器305包括空间频带划分器310、空间频带处理器320和空间频带组合器330。空间频带划分器310耦接至空间频带处理器320，并且空间频带处理器320耦接至空间频带组合器330。

空间频带划分器310包括l/r至m/s转换器402，该转换器接收左输入声道hfl和右输入声道hfr，并且将这些输入转换成空间分量xm和非空间分量xs。可以通过将左输入声道xl与右输入声道xr相减来生成空间分量xs。可以通过将左输入声道xl与右输入声道xr相加来生成非空间分量xm。

空间频带处理器320接收非空间分量xm，并应用一组子带滤波器以生成增强的非空间子带分量em。空间频带处理器320还接收空间子带分量xs，并且应用一组子带滤波器以生成增强的非空间子带分量em。子带滤波器可以包括峰值滤波器、陷波滤波器、低通滤波器、高通滤波器、低架(shelf)滤波器、高架滤波器、带通滤波器、带阻滤波器和/或全通滤波器的各种组合。

在一些实施方式中，空间频带处理器320包括用于非空间分量xm的n个频率子带中的每一个的子带滤波器以及用于空间分量xs的n个频率子带中的每一个的子带滤波器。例如，对于n＝4个子带，空间频带处理器320包括用于非空间分量xm的一系列子带滤波器，该一系列子带滤波器包括用于子带(1)的中间均衡(eq)滤波器404(1)、用于子带(2)的中间eq滤波器404(2)、用于子带(3)的中间eq滤波器404(3)以及用于子带(4)的中间eq滤波器404(4)。每个中间eq滤波器404将滤波器应用于非空间分量xm的频率子带部分以生成增强的非空间分量em。

空间频带处理器320还包括用于空间分量xs的频率子带的一系列子带滤波器，该一系列子带滤波器包括用于子带(1)的侧均衡(eq)滤波器406(1)、用于子带(2)的侧eq滤波器406(2)、用于子带(3)的侧eq滤波器406(3)以及用于子带(4)的侧eq滤波器406(4)。每个侧eq滤波器406将滤波器应用于空间分量xs的频率子带部分以生成增强的空间分量es。

非空间分量xm和空间分量xs的n个频率子带中的每一个可以与频率范围相对应。例如，频率子带(1)可以对应于0hz至300hz，频率子带(2)可以对应于300hz至510hz，频率子带(3)可以对应于510hz至2700hz，以及频率子带(4)可以对应于2700hz至奈奎斯特(nyquist)频率。在一些实施方式中，n个频率子带是临界频带的合并集合。可以使用来自各种各样的音乐体裁的音频样本的语音库(corpus)来确定临界频带。根据样本确定在24个bark标度临界频带上中间分量与侧分量的长期平均能量比率。然后，将具有类似长期平均比率的连续频带分组在一起以形成临界频带的集合。频率子带的范围以及频率子带的数目可以是可调整的。

在一些实施方式中，中间eq滤波器404或侧eq滤波器406可以包括双二阶滤波器，该双二阶滤波器具有由等式1定义的传递函数：

其中，z是复变量。滤波器可以使用由等式2所定义的直接形式i拓扑来实现：

其中，x是输入向量，以及y是输出。其他拓扑可能对某些处理器有利——取决于它们的最大字长和饱和行为。

然后，可以使用双二阶的来实现具有实值输入和输出的任何二阶滤波器。为了设计离散时间滤波器，设计连续时间滤波器并且经由双线性变换将其变换为离散时间。此外，可以使用频率弯曲(frequencywraping)来实现对带宽和中心频率的任何产生的转移的补偿。

例如，峰值滤波器可以包括由等式3定义的s平面传递函数：

其中，s是复变量，a是峰值的幅度，以及q是滤波器“质量”(规范地，导出为：)。数字滤波器系数为：

bo＝1+αa

b1＝-2*cos(ωo)

b2＝1-αa

a1＝-2cos(ω0)

其中，ω0是滤波器的以弧度为单位的中心频率，以及

空间频带组合器330接收中间分量和侧分量，将增益应用于分量中的每个分量，并且将中间分量和侧分量转换成左声道和右声道。例如，空间频带组合器330接收增强的非空间分量em和增强的空间分量es，并且在将增强的非空间分量em和增强的空间分量es转换成左空间增强声道el和右空间增强声道er之前执行全局中间增益和全局侧增益。

更具体地，空间频带组合器330包括全局中间增益408、全局侧增益410、以及耦接至全局中间增益322和全局侧增益324的m/s至l/r转换器412。全局中间增益408接收增强的非空间分量em并应用增益，而全局侧增益410接收增强的空间分量es并应用增益。m/s至l/r转换器412从全局中间增益408接收增强的非空间分量em，并且从全局侧增益410接收增强的空间分量es，并且将这些输入转换成左增强声道el和右增强声道er。

图5是根据一些实施方式的串扰补偿处理器340的示意性框图。串扰补偿处理器340接收左输入声道hfl和右输入声道hfr，并且通过对输入声道应用串扰补偿来生成左输出声道和右输出声道。串扰补偿处理器340包括l/r至m/s转换器502、中间分量处理器520、侧分量处理器530、以及m/s至l/r转换器514。

串扰补偿处理器340接收输入声道hfl和hfr，并且执行预处理以生成左串扰补偿声道zl和右串扰补偿声道zr。可以使用声道zl、zr来补偿串扰处理例如串扰消除或模拟中的任何伪像。l/r至m/s转换器502接收左声道hfl和右声道hfr，并且生成输入声道xl、xr的非空间分量xm和空间分量xs。左声道和右声道可以相加以生成左声道和右声道的非空间分量，以及可以减去以生成左声道和右声道的空间分量。

中间分量处理器520包括多个滤波器540，例如，m个中间滤波器540(a)、540(b)至540(m)。这里，m个中间滤波器540中的每个中间滤波器处理非空间分量xm和空间分量xs的m个频带中之一。中间分量处理器520通过处理非空间分量xm来生成中间串扰补偿声道zm。在一些实施方式中，使用通过模拟的经过串扰处理的非空间xm的频率响应图来配置中间滤波器540。另外，通过分析频率响应图，可以估计作为串扰处理的伪像发生的在频率响应图中超过预定阈值(例如，10db)的任何频谱缺陷例如峰或谷。这些伪像主要由串扰处理中的延迟且反相的对侧信号与其对应的同侧信号的总和造成，从而实际上将类梳状滤波器的频率响应引入最终呈现结果。中间串扰补偿声道zm可以由中间分量处理器520生成以补偿估计的峰或谷，其中m个频带中的每个频带与峰或谷对应。具体地，基于串扰处理中应用的特定延迟、滤波频率和增益，峰和谷在频率响应中上下转移，从而引起频谱的特定区域中的能量的可变放大和/或衰减。中间滤波器540中的每个中间滤波器可以被配置成对峰和谷中的一个或更多个进行调整。

侧分量处理器530包括多个滤波器550，例如，m个侧滤波器550(a)、550(b)至550(m)。侧分量处理器530通过处理空间分量xs来生成侧串扰补偿声道zs。在一些实施方式中，可以通过模拟获得经过串扰处理的空间xs的频率响应图。通过分析频率响应图，可以估计作为串扰处理的伪像发生的在频率响应图中超过预定阈值(例如，10db)的任何谱缺陷例如峰或谷。侧串扰补偿声道zs可以由侧分量处理器530生成以补偿估计的峰或谷。具体地，基于串扰处理中应用的特定延迟、滤波频率和增益，峰和谷在频率响应中上下转移，从而引起频谱的特定区域中的能量的可变放大和/或衰减。每个侧滤波器550可以被配置成对峰和谷中的一个或更多个进行调整。在一些实施方式中，中间分量处理器520和侧分量处理器530可以包括不同数目的滤波器。

在一些实施方式中，中间滤波器540和侧滤波器550可以包括双二阶滤波器，其具有由等式4定义的传递函数：

其中，z是复变量，以及a0、a1、a2、b0、b1和b2是数字滤波器系数。实现这样的滤波器的一种方式是由等式5定义的直接形式i拓扑：

其中，x是输入向量，以及y是输出。可以使用其他拓扑——取决于它们的最大字长和饱和行为。

然后，可以使用双二阶的来实现具有实值输入和输出的二阶滤波器。为了设计离散时间滤波器，设计连续时间滤波器，并且然后经由双线性变换将其变换为离散时间。此外，可以使用频率弯曲来补偿中心频率和带宽产生的转移。

例如，峰化滤波器可以具有由等式6定义的s平面传递函数：

其中，s是复变量，a是峰的幅度，q是滤波器“质量”，以及数字滤波器系数由下式定义：

b0＝1+αa

b1＝-2*cos(ω0)

b2＝1-αa

a1＝-2cos(ω0)

其中，ω0是滤波器的以弧度为单位的中心频率，以及

此外，滤波器质量q可以由等式7定义：

其中，δf是带宽以及fc是中心频率。

m/s至l/r转换器514接收中间串扰补偿声道zm(或)zm和侧串扰补偿声道zs(或zs)，并且生成左串扰补偿声道zl(或zl)和右串扰补偿声道zr(或zr)。通常，中间声道和侧声道可以相加以生成中间分量和侧分量的左声道，并且中间声道和侧声道可以相减以生成中间分量和侧分量的右声道。

图6是根据一些实施方式的串扰消除处理器360的示意性框图。串扰消除处理器360从组合器350接收左增强补偿声道tl(或tl)和右增强补偿声道tr(或tr)，并且对声道tl、tr执行串扰消除以生成左输出声道al(或al)和右输出声道ar(或ar)。

串扰消除处理器360包括带内带外划分器610、反相器620和622、对侧估计器630和640、组合器650和652、以及带内带外组合器660。这些部件一起操作以将输入声道tl、tr划分成带内分量和带外分量，并且对带内分量执行串扰消除以生成输出声道al、ar。

通过将输入音频信号t划分成不同的频带分量并且通过对选择性分量(例如，带内分量)执行串扰消除，可以针对特定频带执行串扰消除，同时避免其他频带中的劣化。如果在不将输入音频信号t划分成不同频带的情况下执行串扰消除，则在这样的串扰消除之后的音频信号可能在低频率(例如，350hz以下)、较高频率(例如，12000hz以上)或者在这二者处呈现出非空间分量和空间分量的显著衰减或放大。通过选择性地针对带内分量(例如，在250hz与14000hz之间)——绝大多数有效的空间线索(cue)存在于该带内分量处——执行串扰消除，可以保持跨混音中频谱的平衡总能量，特别是非空间分量中的平衡总能量。

带内带外划分器610将输入声道tl、tr分别分离成带内声道tl,in、tr,in(或tl,in、tr,in)和带外声道tl,out、tr,out(或tl,out、tr,out)。特别地，带内带外划分器610将左增强补偿声道tl划分为左带内声道tl,in和左带外声道tl,out。类似地，带内带外划分器610将右增强补偿声道tr分离成右带内声道tr,in和右带外声道tr,out。每个带内声道可以包含相应输入声道的与包括例如250hz至14khz的频率范围对应的部分。频带范围可以是例如根据扬声器参数可调整的。

反相器620和对侧估计器630一起操作来生成左对侧消除分量sl以补偿由于左带内声道tl,in而引起的对侧声音分量。类似地，反相器622和对侧估计器640一起操作来生成右对侧消除分量sr以补偿由于右带内声道tr,in而引起的对侧声音分量。

在一种方法中，反相器620接收带内声道tl,in，并且使接收的带内声道tl,in的极性反转以生成反相带内声道tl,in’。对侧估计器630接收反相带内声道tl,in’(或tl,in’)，并且通过滤波提取反相带内声道tl,in’的与对侧声音分量对应的部分。由于滤波是针对反相带内声道tl,in’执行的，因此由对侧估计器630提取的部分变为带内声道tl,in的促成对侧声音分量的部分的反转(inverse)。因此，由对侧估计器630提取的部分变为左对侧消除分量sl，该左对侧消除分量可以被添加到对应的带内声道tr,in以减少由于带内声道tl,in而引起的对侧声音分量。在一些实施方式中，反相器620和对侧估计器630以不同次序实现。

反相器622和对侧估计器640执行相对于带内声道tr,in的类似的操作以生成右对侧消除分量sr。因此，为了简洁起见，本文省略对其的详细描述。

在一个示例实现方式中，对侧估计器630包括滤波器632、放大器634和延迟单元636。滤波器632接收反相输入声道tl,in’，并且通过滤波函数提取反相带内声道tl,in’的与对侧声音分量对应的部分。示例滤波器实现方式是具有从5000hz与10000hz之间选择的中心频率和从0.5与1.0之间选择的q的陷波滤波器或高架滤波器。以分贝(gdb)为单位的增益可以从等式8导出：

gdb＝-3.0-log1.333(d)等式(8)

其中，d是样延迟单元636例如以48khz的采样率在样本中引起的延迟量。替选实现方式是具有从5000hz与10000hz之间选择的转角频率和从0.5与1.0之间选择的q的低通滤波器。此外，放大器634通过对应的增益系数gl,in放大提取的部分，并且延迟单元636根据延迟函数d延迟来自放大器634的放大的输出以生成左对侧消除分量sl。对侧估计器640包括滤波器642、放大器644和延迟单元646，其对反相带内声道tr,in’执行类似的操作以生成右对侧消除分量sr。在一个示例中，对侧估计器630、640根据以下等式生成左对侧消除分量sl、sr：

sl＝s[gl，in*f[tl，in’]]等式(9)

sr＝s[gr，in*f[tr，in’]]等式(10)

其中，f[]是滤波器函数，以及d[]是延迟函数。

串扰消除的配置可以由扬声器参数确定。在一个示例中，可以根据两个扬声器110l与扬声器110r之间相对于收听者形成的角度来确定滤波器中心频率、延迟量、放大器增益和滤波器增益。在一些实施方式中，扬声器角度之间的值用于内插其他值。

组合器650将右对侧消除分量sr组合到左带内声道tl,in以生成左带内补偿声道ul，并且组合器652将左对侧消除分量sl组合到右带内声道tr,in以生成右带内补偿声道ur。带内带外组合器660将左带内补偿声道ul与带外声道tl,out组合以生成左输出声道al，并且将右带内补偿声道ur与带外声道tr,out组合以生成右输出声道ar。

因此，左输出声道al包括与带内声道tr,in的促成对侧声音的部分的反转对应的右对侧消除分量sr，并且右输出声道ar包括与带内声道tl,in的促成对侧声音的部分的反转对应的左对侧消除分量sl。在该配置中，由扬声器110r根据到达右耳的右输出声道ar输出的同侧声音分量的波前可以消除由扩音器110l根据左输出声道al输出的对侧声音分量的波前。类似地，由扬声器110l根据到达左耳的左输出声道al输出的同侧声音分量的波前可以消除由扬声器110r根据右输出声道ar输出的对侧声音分量的波前。因此，可以减少对侧声音分量以增强空间可检测性。

b链处理器

图7是根据一些实施方式的b链处理器224的示意性框图。b链处理器224包括扬声器匹配处理器250以及延迟和增益处理器260。扬声器匹配处理器250包括耦接至左放大器704和右放大器706的n带均衡器(eq)702。延迟和增益处理器260包括耦接至左放大器712的左延迟708以及耦接至右放大器714的右延迟710。

参照图1，假设收听者140的取向朝向由扬声器110l和110r生成的理想空间图像的中心(例如，在给定对称、匹配且等距扩音器的情况下，音场的虚拟横向中心)保持固定，理想呈现的空间图像与真实呈现的空间图像之间的变换关系可以基于以下来描述：(a)一个扬声器与收听者140之间的总体时间延迟不同于另一扬声器的总体时间延迟；(b)一个扬声器与收听者140之间的(感知的和客观的)信号水平不同于另一扬声器的信号水平；以及(c)一个扬声器与收听者140之间的频率响应不同于另一扬声器的频率响应。

b链处理器224校正延迟、信号水平和频率响应的上述相对差异，从而产生还原的接近理想的空间图像，就像收听者140(例如，头部位置)和/或呈现系统被理想地配置一样。

返回到图7，b链处理器224从空间增强处理器222接收包括左增强声道al和右增强声道ar的音频信号a作为输入。如果音频信号a没有空间不对称，并且如果系统中不存在其他不规则性，则空间增强处理器205为收听者140提供显著增强的音场。然而，如果系统中确实存在不对称，如图1中的不匹配的扬声器110l和110r所示，则可以应用b链处理器224以在非理想条件下保持增强的音场。

然而理想的收听者/扬声器配置包括具有匹配的左扬声器到头部距离和右扬声器到头部距离的成对扩音器，但是许多现实世界的设置不满足这些标准，导致折衷的立体声收听体验。例如，移动装置可以包括具有有限带宽(例如，1000hz至8000hz频率响应)的面向前的听筒扩音器，以及正交(向下或侧向)面向的微型扩音器(例如，200hz至20000hz频率响应)。这里，扬声器系统以双重方式不匹配：音频驱动器性能特性(例如，信号水平、频率响应等)不同；以及由于扬声器的非平行取向，相对于“理想”收听者位置的时间对准不匹配。另一个示例是使用立体声桌面扩音器系统的收听者未以理想配置来安排扩音器或他们自己。因此，b链处理器224提供了对每个声道的特性的调谐，解决了相关联系统特定的不对称，从而产生在感知上更具吸引力的听觉传输音场。

在空间增强处理或一些其他处理已经被应用于根据理想配置的系统(即，处于最有效点的收听者，匹配的、对称放置的扩音器等)的假设被调谐的立体声输入信号x之后，扬声器匹配处理器740为如在绝大多数移动装置的情况下那样未提供匹配的扬声器对的装置提供实际的扩音器平衡。扬声器匹配处理器740的n频带参数eq702接收左增强声道al和右增强声道ar，并且向声道al和ar中的每个声道应用均衡。

在一些实施方式中，n频带eq702提供各种eq滤波器类型，例如低架和高架滤波器、带通滤波器、带阻滤波器以及峰值陷波滤波器，或者低通和高通滤波器。例如，如果立体声对中的一个扩音器成角度离开理想的收听者最有效点，则该扩音器将从收听者最有效点表现出明显高频衰减。n频带eq702的一个或更多个频带可以应用于该扩音器声道，以便在从最有效点观察时恢复高频能量(例如，经由高架过滤器)，从而实现与另一前向扩音器的特性的近似匹配。在另一情形中，如果两个扩音器都是前向的，但是它们中的一个具有截然不同的频率响应，则eq调谐可以被应用于左声道和右声道两者，以达到两者之间的频谱平衡。应用这样的调谐可以等效于“旋转”感兴趣的扩音器以匹配另一前向的扩音器的取向。在一些实施方式中，n频带eq702包括用于被独立处理的n个频带中的每个频带的滤波器。频带的数量可以变化。在一些实施方式中，频带的数量与子带空间处理的子带相对应。

在一些实施方式中，可以针对特定的扬声器组预定义扬声器不对称，其中，已知的不对称用作选择n频带eq702的参数的基础。在另一示例中，可以基于对扬声器的测试来确定扬声器不对称，例如，通过使用测试音频信号、记录由扬声器根据信号生成的声音、以及分析所记录的声音。

左放大器704耦接至n频带eq702以接收左声道，并且右放大器706耦接至n频带eq702以接收右声道。放大器704和706通过调整一个或两个声道上的输出增益解决扩音器响度和动态范围能力的不对称。这对于平衡距收听位置的扩音器距离的任何响度偏移以及对于平衡具有截然不同的声压级(spl)输出特性的不匹配的扩音器对尤其有用。

延迟和增益处理器750接收扬声器匹配处理器740的左输出声道和右输出声道，并且将时间延迟和增益或衰减应用于声道中的一个或更多个声道。为此，延迟和增益处理器750包括接收来自扬声器匹配处理器740的左声道输出并应用时间延迟的左延迟708，以及向左声道应用增益或衰减以生成左输出声道bl的左放大器712。延迟和增益处理器750还包括接收来自扬声器匹配处理器740的右声道输出并应用时间延迟的右延迟710，以及向右声道应用增益或衰减以生成右输出声道br的右放大器714。如上所述，扬声器匹配处理器740根据理想的收听者“最有效点”的有利情况在感知上平衡左/右空间图像，集中于从该位置为每个驱动器提供平衡的spl和频率响应，并且忽略实际配置中存在的基于时间的不对称。在实现了该扬声器匹配之后，考虑到呈现/收听系统中的实际物理不对称(例如，偏离中心的头部位置和/或不相等的扩音器到头部距离)，延迟和增益处理器750进行时间对准并且进一步在感知上平衡来自特定的收听者头部位置的空间图像。

可以设置由延迟和增益处理器750应用的延迟和增益值，以解决静态系统配置，例如采用正交定向的扩音器的移动电话，或者解决距扬声器(例如家庭影院音箱)前面的理想收听最有效点的收听者横向偏移。

也可以基于收听者的头部与扩音器之间的变化的空间关系——如在采用身体移动作为游戏玩法的组成部分(例如，使用例如用于游戏或人工现实系统的深度相机的位置跟踪)的游戏场景中可能发生的——来动态调整由延迟和增益处理器750应用的延迟和增益值。在一些实施方式中，音频处理系统包括摄像装置、光传感器、接近传感器或用于确定收听者的头部相对于扬声器的位置的一些其他合适的装置。所确定的用户头部的位置可以用于确定延迟和增益处理器750的延迟和增益值。

音频分析例程可以提供用于配置b链处理器224的适当的扬声器间延迟和增益，从而产生时间对准的并且感知上平衡的左/右立体图像。在一些实施方式中，在缺乏来自这样的分析方法的可测量数据的情况下，可以使用如由以下等式11和12定义的映射来实现直观的手动用户控制或经由计算机视觉或其他传感器输入的自动控制：

其中，延迟增量(delaydelta)和延迟以毫秒为单位，增益以分贝为单位。延迟和增益列向量假定它们的第一个分量涉及左声道，而第二个分量涉及右声道。因此，延迟增量≥0指示左扬声器延迟大于或等于右扬声器延迟，并且延迟增量＜0指示左扬声器小于右扬声器延迟。

在一些实施方式中，不是对声道应用衰减，而是可以对相反的声道应用等量的增益，或者对一个声道应用增益而对另一声道应用衰减的组合。例如，可以对左声道应用增益而不是对左声道应用衰减。对于如在移动、台式pc和控制台游戏以及家庭影院场景中发生的近场收听，收听者位置与每个扩音器之间的距离增量足够小，并且因此收听者位置与每个扩音器之间的spl增量足够小，使得与理想的收听者/扬声器配置相比，以上映射中的任何映射都将用于成功地恢复听觉传输空间图像，同时维持整体可接受的大声音场。

示例音频系统处理

最佳调谐音频处理系统200(也称为“vs-x系统”)的结果是如从理想的收听者“最有效点”所感知的增强的且空间上沉浸式的听觉传输声场，其主要包含500hz至1000hz以上的空间能量，但是具有经由“宽带”微型扩音器呈现的足够的低频能量，以便提供全频带音乐(或电影等)收听体验的感知。

使用包括子带空间处理(或其他空间增强处理)的vs-x，并且假设两个扬声器都有适当的放大，具有不匹配和非理想地成角度的扬声器的移动装置可以从传统的单声道回放装置转换为感知的正面发射的沉浸式立体声装置。

图8是根据一些实施方式的用于输入音频信号的虚拟立体声音频再现(vs-x)处理的过程800的流程图。过程800被讨论为由音频处理系统200执行，但是可以使用其他类型的计算装置或电路。过程800可以包括更少的或额外的步骤，并且步骤可以以不同顺序执行。

音频处理系统200(例如，分频网络202)将输入音频信号分离805为低频信号和高频信号。

音频处理系统200(例如，高频处理器206)对高频信号应用810子带空间处理。应用子带空间处理可以包括对高频信号的中间子带分量和侧子带分量进行增益调整以生成高频输出信号。子带空间处理增强了高频信号的声场的空间感。子带空间处理还可以包括串扰补偿和串扰消除。

音频处理系统200(例如，高频处理器206)对高频信号应用815b链处理，以对扬声器110l与110r之间的不对称进行调整。b链处理校正扬声器110l与110r之间的在延迟、信号水平或频率响应方面的相对差异，从而产生具有恢复的接近理想的空间图像的高频输出信号，就像收听者140(例如，头部位置)和/或呈现系统被理想地配置一样。在一些实施方式中，音频处理系统200确定对于收听位置左扬声器与右扬声器之间在频率响应、时间对准和信号水平方面的不对称。音频处理系统200通过以下操作生成高频输出信号的左声道和高频输出信号的右声道：对高频信号应用n频带均衡以对频率响应的不对称进行调整，对高频信号应用延迟以对时间对准的不对称进行调整，以及对高频信号应用增益以对信号水平的不对称进行调整。

音频处理系统200(例如，高频处理器204)应用820均衡滤波器以相对于高频信号的右声道调整高频信号的左声道，并且将增益应用820于高频信号以相对于低频信号调整高频信号。例如，hfeq滤波器226应用于均衡滤波器，而hf增益228应用于增益。

音频处理系统200(例如，低频处理器204)将参数带通滤波器和增益应用825于低频信号。例如，lf升压谐振器214可以包括参数带通滤波器。滤波器可以增强中/低频谱中的一个或更多个目标部分。滤波器还可以基于要接收经处理的低频信号的“宽带”微型扩音器的频率响应来调整低频信号。此外，lf升压增益216将增益应用于滤波器的输出以生成低频谐振器信号。

音频处理系统200(例如，低频处理器204)向低频信号应用830增益以生成低频直通信号。例如，lf直通增益218使整个低频信号频带衰减。

音频处理系统(例如，低频处理器204)将低频谐振器信号与低频直通信号组合835以生成低频输出信号。

音频处理系统200将低频输出信号与高频输出信号的左声道或高频输出信号的右声道中的一者组合840。例如，低频输出信号被提供给失配的扬声器系统中的更有能力处理低频再现的扬声器，例如装置100的“宽带”微型扩音器110r。此外，低频输出信号不被提供给不太能够处理低频再现的另一扬声器，例如装置100的听筒扬声器110l。

这样，音频处理系统生成包括左输出声道和右输出声道的输出信号。左输出声道包括高频输出信号的左声道，而右输出声道包括高频输出信号的右声道。此外，左输出声道或右输出声道中的一者包括用于失配的扬声器系统中的更有能力处理较低频率的扬声器的低频输出信号。

可以以各种顺序执行步骤过程800。例如，用于处理高频信号的步骤810、815和820可以与用于处理低频信号的步骤825、830和835并行执行。此外，可以针对低频信号并行地执行步骤825和830。

图9是根据一些实施方式的在vs-x处理之后的图1所示的移动装置100的感知声场的示例。来自音频处理系统200的左输出声道ol已经被提供给左扬声器110l，而来自音频处理系统200的右输出声道or已经被提供给右扬声器110r。收听者140将来自失配的左扬声器110l和右扬声器110r的最终声场感知为源自匹配的虚拟扬声器120l和120r。

示例计算系统

注意，本文描述的系统和过程可以在嵌入式电子电路或电子系统中实施。系统和过程还可以在以下计算系统中实施：该计算系统包括一个或更多个处理系统(例如，数字信号处理器)以及存储器(例如，编程的只读存储器或可编程固态存储器)，或一些其他电路，例如专用集成电路(asic)或现场可编程门阵列(fpga)电路。

图10示出了根据一个实施方式的计算机系统1000的示例。音频处理系统200可以在系统1000上实现。示出了耦接至芯片组1004的至少一个处理器1002。芯片组1004包括存储器控制器集线器1020以及输入/输出(i/o)控制器集线器1022。存储器1006和图形适配器1012耦接至存储器控制器集线器1020，并且显示装置1018耦接至图形适配器1012。存储装置1008、键盘1010、定点装置1014和网络适配器1016耦接至i/o控制器集线器1022。计算机1000的其他实施方式具有不同的架构。例如，在一些实施方式中，存储器1006直接耦接至处理器1002。

存储装置1008包括一个或更多个非暂态计算机可读存储介质，诸如硬盘驱动器、光盘只读存储器(cd-rom)、dvd或固态存储器装置。存储器1006保持处理器1002使用的程序代码(或软件)和数据。程序代码可以是可由处理器1002执行的一个或更多个指令。例如，存储器1006可以存储以下指令，该指令在由处理器1002执行时，使处理器1002执行或将处理器1002配置成执行本文所讨论的功能，例如过程800。定点装置1014与键盘1010结合使用，以将数据输入到计算机系统1000中。图形适配器1012在显示装置1018上显示图像和其他信息。在一些实施方式中，显示装置1018包括用于接收用户输入和选择的触摸屏能力。网络适配器1016将计算机系统1000耦接至网络。计算机1000的一些实施方式具有与图10所示的部件不同的部件和/或除图10所示的部件之外的其他部件。例如，计算机系统1000可能是缺乏显示装置、键盘和其他部件的服务器，或者可能使用其他类型的输入装置。

其他考虑

所公开的配置可以包括许多益处和/或优点。例如，输入信号可以被输出到不匹配的扩音器，同时保留或增强声场的空间感。即使当扬声器不匹配时或者当收听者相对于扬声器未处于理想的收听位置时，也可以实现高质量的收听体验。

在阅读本公开内容后，本领域的技术人员还将认识到本文中所公开的原理另外的替选实施方式。因此，尽管已经示出和描述了特定的实施方式和应用，但是应当理解，所公开的实施方式不限于本文所公开的精确构造和部件。在不脱离本文所描述的范围的情况下，可以对本文所公开的方法和设备的布置、操作和细节进行对本领域技术人员而言将是明显的各种修改、改变和变化。

本文描述的任何步骤、操作或过程可以使用一个或更多个硬件或软件模块单独地或与其他装置组合地进行执行或实现。在一个实施方式中，软件模块使用包括含计算机程序代码的计算机可读介质(例如，非暂态计算机可读介质)的计算机程序产品来实现，其中计算机程序代码可以由计算机处理器执行以执行所描述的任何或全部步骤、操作或过程。