专利名称：：使用频率分离的鲁棒音频空间定位系统和方法
技术领域：
：实施例涉及对与显示器相关联的音频内容进行频率分离和传输的系统和设备以及方法。
背景技术：
：频率分离(frequencyseparation)已应用于以有区别地增强(boost)频带。使用软件或硬件均衡器的图形均衡器通常用于实现频带增强和/或衰减。图形均衡器典型地包括多个滑块，可以对滑块进行单独控制以实现对原始声音的不同频率范围的增强或衰减，并且彼此不同地来进行上述操作。图形均衡器所实现的频率分离允许针对消费者偏好进行音频调谐。在一些情况下，消费者可以利用图形均衡器来增强或衰减特定频带，以适合他们个人的品味。例如，一些消费者更喜欢低音增强。在其他情况下，音乐创作者可以使用均衡器来有区别地改变频带，以创建多种效果。例如，通常使用均衡来操纵乐器的音色。在以下非专利文献中描述了这种传统技术“T.L.R.Mooney，AnalysisandDesignofaIO-BandGraphicEqualizer,WSCON1995'\"D.R.Bohn,OperatorAdjustableEqualizersAndOverview,AESConference:6thIntl,ConferenceonSoundReinforcement,1998，，、以及"F.Kerendian,AdaptiveRoomResponseEqualiser,WSCON1994”。
发明内容提供了音频内容的频率分离和传输的系统和设备以及方法，例如包括以下步骤的方法(a)对流内容进行滤波；以及(b)经由至少一个或多个扬声器声道来传输滤波后的流内容，其中多个扬声器声道中的至少一个扬声器声道包括基于显示位置集合(displaypositionset)(例如，基于显示器的显示区内相关联的视听(AV)窗口的显示)的幅度增益。方法实施例还可以包括(c)产生反转的滤波后流内容；(d)将反转的滤波后流内容与流内容相组合；以及(e)传输反转的滤波后流内容与流内容的组合。一些实施例可以包括以下步骤接收、读取和/或访问源音频流内容。在一些实施例中，所述方法可以包括传输滤波后流内容的步骤，其中，流内容包括音频内容，传输的滤波后流内容包括高频流内容。可选地，可以将高频流内容传输至与视频显示接近的一个或多个扬声器，其中，向多个扬声器传输高频流内容可以基于视频显示的状态，例如，基于显示区上关联的AV窗口相对于扬声器的位置。可选地，所传输的反转的滤波后流内容和流内容的组合是流内容的低频流内容。在其他实施例中，可以将低频流内容传输至扬声器，并且可选地传输至全向扬声器。在另一实施例中，一个或多个输出声道可以被存储成定制文件格式(customfileformat)。计算设备实施例可以包括(a)处理器，以及(b)存储器，包括可与显示位置集合相关联的幅度增益集合；其中，处理器被配置为(a)对流内容进行滤波；以及(b)经由多个扬声器声道来传输滤波后的流内容，其中多个扬声器声道中的至少一个扬声器声道包括基于显示位置集合的幅度增益；并且所述处理器可选地可以被配置为(C)产生反转的滤波后流内容；(d)将反转的滤波后流内容与流内容相组合；以及(e)传输反转的滤波后流内容与流内容的组合。在一些实施例中，所述设备可以被配置为执行以下步骤中的至少一个接收、读取和/或访问源音频流内容。在一些实施例中，所述设备还可以被配置为执行传输滤波后流内容的步骤，其中，流内容包括音频内容，传输的滤波后流内容包括高频流内容。可选地，可以将高频流内容传输至与视频显示接近多个扬声器，其中，向多个扬声器传输高频流内容可以基于视频显示的状态，例如，基于与高频流内容(是高频音频内容)相关联的AV窗口的位置，即，显示区中AV窗口的相对位置，具体地是相对于扬声器的位置。可选地，所传输的反转的滤波后流内容和流内容的组合是流内容的低频流内容。在其他实施例中，可以将低频流内容传输至扬声器，和/或可选地传输至全向扬声器。在另一实施例中，一个或多个输出声道可以被存储成定制文件格式。计算机可读非易失介质实施例其上可以存储有计算机可执行指令，所述计算机可执行指令由计算机执行时将计算机配置为(a)对流内容进行滤波；以及(b)经由多个扬声器声道来传输滤波后的流内容，其中多个扬声器声道中的至少一个扬声器声道包括基于显示位置集合的幅度增益；并且所述计算机可执行指令可选地可以将计算机配置为(c)产生反转的滤波后流内容；(d)将反转的滤波后流内容与流内容相组合；以及(e)传输反转的滤波后流内容与流内容的组合的输出。如上所述，本发明描述了一种使用音频源内容的频率分离并且有区别地对不同频道进行空间定位(spatialize)的系统和方法。本发明的主要独有方面是(1)内容创建级，采用原始数目为X的输入音频声道，并且将这些输入音频声道分离成原始输入声道数目的二倍，从而产生2X个音频输出声道。这可以通过以下操作来实现将每个单独的输入音频声道分离成实质上仅由低音频率分量组成的音频声道和实质上由剩余的非低音频率分量组成的音频声道。(2)可选地，将2X个输出声道存储成定制文件格式，分离地作为音频文件(例如，定制WAV文件)存储，或与视频一起作为视频文件(例如，定制AVI/MP4文件)的一部分存储。(3)有区别地对音频输出声道进行空间定位。具体地，对包含低音频率的声道进行全向垂直空间定位，以及基于显示器上内容的窗口位置对包含非低音频率的声道进行空间定位。该方法相对于现有技术的主要区别在于，现有技术的频率分离(例如，均衡)出于对传输介质的频率响应进行补偿的目的或者出于美感的目的，对音频源进行操作。相反，该方法涉及执行频率分离、对频率分离后的音频声道的定制存储、以及然后针对频率分离后的音频声道，有区别地对针对AV窗口的音频进行空间定位，以创建对音频内容的更精确空间定位，以及对于用户位置而言鲁棒的定位。现有技术的频率分离方法不具有任何AV窗口概念，并且不会针对显示器上(on-diSplay)AV窗口的音频空间定位来执行频率分离。实施例通过示例来示意，并不受限于附图，在附图中图1是示出了单声道频率分离_内容产生级的示例过程的功能框图；图2示出了本发明的计算设备实施例的示例高层功能框图；图3是示出了使用频率分离的音频空间定位系统或设备的示例过程的流程图；图4A是示出了基于关联的AV窗口定位的显示器上音频空间定位的示例过程的功能框图；图4B示出了示例的显示器上AV窗口，被定位为使得多个扬声器可以利用基于增益控制的虚拟声音定位；图4C是示出了另一示例的显示器上AV窗口被定位为使得多个扬声器可以利用基于增益控制的虚拟声音定位；图5是示出了多声道频率分离_内容产生级和下混频器的示例功能框图；图6A是示出了使用内容存储的多声道频率分离-内容空间定位系统的示例功能框图；图6B是示出了使用内容存储和下混频器的多声道频率分离_内容空间定位系统的示例功能框图；图7是示出了使用频率分离和内容存储的空间定位系统或空间定位设备的示例过程的流程图；图8是示出了使用频率分离的空间定位系统或空间定位设备的示例过程的流程图；图9是示出了两个示例低音分离滤波器的频率响应的图；图10示出了具有两个音频声道(左声道和右声道)的原始立体声内容的幅度图；图11示出了音频声道内容的低音频率的幅度图；图12示出了音频声道内容的非低音频率的幅度图；以及图13示出了根据原始立体声流内容的定制WAV文件，其中，文件包含原始内容文件的音轨数目二倍的音轨。具体实施例方式图1是示出了频率分离和音频内容空间定位系统100的实施例的示例功能框图。频率分离级105的实施例可以实时或接近实时地执行，并且可以从原始音频源110接收、读取或访问音频源。频率分离级105可以接收原始音频源110作为流内容，例如音频文件，并且可选地可以将原始音频源110复制成多个音频流内容，例如，第一流内容111和第二流内容112。第一流内容111可以通过用于产生滤波后的流内容121的高通滤波器120，或者经过高通滤波。滤波后的流内容121可以被复制为或引用作为第二滤波后的流内容122。可以将第一滤波后的流内容121从频率分离级105向多个扬声器传输，并且可以根据显示器上视频160的状态来发出第一滤波后的流内容121，例如，声道增益可以基于关联的AV窗口相对于显示器周边的位置和/或基于与显示器相关联的两个或多个扬声器的位置而改变。所示的第二滤波后的流内容122通过用于产生第二滤波后的流内容131的负符号版本的反转器，使用加法器140将所示的负符号版本与第二流内容112相加，以产生低频流内容132(通过使第二流内容的高频内容无效(nullify))。然后将低频流内容132传输133至扬声器，并且从源点150全向地发出。在实施例中，流内容可以是音频流、视频流、或音频和视频流内容的组合中的至少一个。在一些实施例中，当流内容通过高通滤波器时，可以完全去除低音频率，而在其他实施例中，可以基本上去除低音频率。高通滤波器通常对低于滤波器截止频率的频率进行衰减，并且示例实施例包括250Hz和/或400Hz范围内针对低音滤波器的截止频率。在高通滤波器的实施例中，滤波器具有存储器。具有存储器的滤波器可以消除对通过该滤波器的音频流内容进行复制的需要。在滤波对于输入而言是破坏性的实施例中，可选地可以在滤波器外部执行对流内容的复制或存储。滤波器可以执行，但不限于，使用时域数字滤波器或频域滤波器，例如，离散傅里叶变换的快速傅里叶变换(FFT)滤波器、带宽去除步骤，以及随后的针对离散傅里叶逆变换的逆FFT。示例音频采样反转运算的反转器将音频采样的符号翻转，同时保持幅度相同。可以使用减法方法，或者可选地通过取反，来实现反转。图1中的反转运算可以表示为fori=1NSj(i)=-Sj(i)end其中，S」(i)是针对第i个采样(其中，i=1，…，N)第j个音频声道的音频采样幅度。加法器将两个输入相加，以产生最终输出。可选地，可以将信号限幅器(signalclipper)136应用于输出。利用信号限幅器136的加法器操作可以表示为fori=1NSj(0=CLIP(S)(0+S2j(i))end其中，对(0和与(0是针对第i个采样(其中，i=1，"·，Ν)与第j个音频声道有关的两个输入音频幅度，并且CLIP(_)表示可选的信号限幅器136的限幅操作。可选的限幅可以应用于已经将噪声引入到流内容中的实施例。例如，在利用内容存储的实施例中，在存储的同时对数据进行压缩可能引入误差，例如，量化或取整误差，并因此可以进行限幅以解决上溢。图2是示例计算机200的功能框图，示例计算机200具有处理器224(例如，中央处理单元(CPU))、可经由数据总线228寻址的可寻址存储器227、外部设备接口226(例如，可选的通用串行总线(USB)端口及其相关处理、和/或以太网端口及其相关处理)、用户接口229、以及扬声器系统驱动器接口221。处理器224可以被配置为经由操作系统(例如，实时操作系统)执行所编程的步骤，其中包括应用222在内的步骤可以包括音频频率分离操作和空间定位、存储音频频率、以及将空间定位且全向的声音传输至扬声器系统驱动器221。图3示出了音频空间定位和频率分离系统的示例过程300的流程图。可选地通过接收、读取和/或访问原始音频内容，将所示的源音频流内容提供给系统或设备(步骤310)。音频流内容可以通过高通滤波器(步骤320)，或者经过高通滤波或低频衰减。例如，低音去除滤波器通过(允许通过)高频流内容。接收显示位置集合(步骤330)，例如，与滤波后的音频流内容相关联的视听(AV)窗口的位置。基于显示位置集合，确定至少一个扬声器声道(在一些实施例中多个扬声器声道中的每一个)的幅度增益(步骤340)。然后经由多个扬声器声道中的每一个传输基于幅度增益的高频流内容(步骤350)。图4A是示出了基于关联的AV窗口位置400的高频流内容的显示器上空间定位(on-displayspatialization)的示例实施例的示例功能框图。该实施例示出为应用基于增益控制405的虚拟声音定位，其中，从原始视听源410或独立源414接收、读取或访问显示位置集合。所示的视听源410(例如，视听文件)具有流内容411，并且可选地具有显示位置集合内容413。第一流内容411可以通过高通滤波器420，或者经过高频滤波，以产生可以包括音频流内容的滤波后流内容421。在提供显示位置集合信息416的实施例中，可以将信息提供给虚拟声音定位模块460。所示的虚拟声音定位模块146接收滤波后流内容416，然后基于显示位置集合415，模块460为至少一个滤波后流内容声道(并且在一些实施例中，为每个滤波后流内容声道)确定或改变增益。由一个或多个可变增益462、463组成的集合表示针对基于显示位置集合415的针对每个声道的增益控制，并且实现正在传输的单耳声音的变化的音量强度。使用变量K1,K2,…Kn，将每个声道上的幅度1-n控制为，相应扬声器声道472、474将基于显示位置集合415中的显示位置471(例如，显示中包含的信息)来接收流内容464、465。在该实施例中，所示的第二滤波后流内容422通过反转器430，使用加法器将反转器430的输出与第二流内容412相加，以产生低频流内容432，这在该实例中是通过将第二滤波后流内容422的高频内容取反来实现的。然后将单耳低频流内容432传输至扬声器476，或者可选地，然后传输单耳低频流内容432，以定向地或全向地从两个或多个扬声器的集合发出。图4B是示出了具有两个扬声器(例如，左扬声器481和右扬声器482)的经空间定位的系统480的示例实施例。在该实施例中，显示器485上的AV窗口484被示出为定位在轴上距离X1486和X2488处。基于AV窗口484位置的显示器上空间定位可以控制扬声器的增益，使得左扬声器481发出正在传输给扬声器的单耳声音的较高强度音量。例如，最接近AV窗口的左扬声器481相比于远离的右扬声器482而言具有较高强度音量。在该实施例中，基于AV窗口484位置从多个扬声器481、482中发出声音，其中该空间定位经由幅度增益控制有效地分配声音。图4C是示出了具有4个扬声器(例如，左上部扬声器491、左下部扬声器492、右上部扬声器493和右下部扬声器494)的经空间定位的系统490的示例实施例的图。在该实施例中，显示器495上的AV窗口定位在一个轴上的距离X1496和X2498处以及在另一轴上的距离1497和&499处。基于AV窗口494位置的显示器上空间定位可以控制扬声器的增益，使得左上部扬声器491和左下部扬声器492比右上部扬声器493和右下部扬声器494发出正传输给扬声器的单耳声音的更高强度音量。即，相比于所示远离AV窗口494的右扬声器493、494，所示最接近AV窗口494的左扬声器491、492具有较高强度音量。左上部扬声器491最接近AV窗口494，从而左上部扬声器491可以具有比左下部扬声器492更高的增益。在该实施例中，可以基于AV窗口484位置从多个扬声器491-494中发出声音，其中通过经由幅度增益控制来有效地分配声音，来进行空间定位。可以使用多个扬声器来示例这种设置。图5示出了多声道(例如，左声道和右声道)、频率分离-内容产生和下混频级500的示例功能框图。在多个不同的音频声道混合在一起情况下，可以包括下混频器，以产生较少数目的声道。可以按照多种比值(例如，按照21比值)来执行下混频。频率分离-内容产生级505可以接收、读取或访问原始音频源输入510，然后复制左和右音频内容声道，以产生多个音频内容声道511-516。示出了多个高通滤波器(例如，可选地，第一高通滤波器520和第二高通滤波器525)对来自原始音频源内容声道511、512、515、516的低音频率进行滤波或衰减。可选地，从第一高通滤波器520产生的高频流内容声道521、522可以被通过下混频器546(例如，被配置为21比值的下混频器)，来经由下混频级544而被下混频，从而产生下混频流内容547。然后，使用基于视频显示状态的显示器上空间定位560来传输所产生的下混频流内容547。所示的第二高通滤波器525对原始音频内容声道515、516进行操作，产生高频流声道526、527。然后，将高频流声道526、527通过反转器530，然后将反转的流内容声道531、532与原始音频流内容513、514相加535、540，产生低频流内容声道541、542。可选地，低频流内容声道541、542在传输550至扬声器之前也可以通过产生下混频流内容549的21下混频器548。图6A示出了多声道(例如，左声道和右声道)、频率分离-内容存储级600的示例功能框图。频率分离级605可以接收、读取或访问原始音频源输入610。所示的频率分离级被配置为复制音频内容声道，以产生多个流声道611-616。可选地，两个或多个高通滤波器(例如，第一高通滤波器620和第二高通滤波器625)可以执行对来自原始音频源内容声道611、612、615和616的低音频率的滤波或衰减。所示的第一高通滤波器620对原始音频内容声道611、612进行操作，从而产生高频流声道621、622。以类似的方式，所示的第二高通滤波器625对原始音频内容声道615、616进行操作，从而产生高频流声道626、627。然后高频流声道626、627可以通过反转器630。反转的流内容声道631、632然后可以与原始音频流内容613、614相加635、640，产生低频流内容声道641、642。可选地，可以将从第一高通滤波器620产生的高频流内容声道621、622与低频流内容声道641、642—起存储，作为离线预处理级643，其中存储多个音轨，例如，音轨1-4。在一个实施例中，可以应用定制存储格式(例如，WAV文件格式)来独立于视频帧而存储频率分离后的音频内容声道。在另一实施例中，可以应用定制存储格式(例如，AVI/MP4文件格式)将针对内容的频率分离后的音频内容声道连同视频帧存储在一起。在图6B中，示例功能框图示为存储后频率分离_内容存储级601的实施例。可选地，从第一高通滤波器620(图6A)产生的高频流内容声道621、622可以被通过下混频器646(例如，按照21比值)在下混频器级644处被下混频，从而产生下混频的流内容647。可以使用基于视频显示状态的显示器上空间定位660来传输下混频的流内容。可选地，低频流内容声道641、642可以被通过下混频器648(例如，按照21比值)，从而在被传输来创建全向空间定位650之前创建下混频流内容649。图7是音频空间定位和频率分离系统或设备的示例过程700的流程图，还包括存储内容流。可选地，通过接收、读取或访问原始音频输入将源音频流内容提供给系统或设备(步骤710)。可以复制音频流内容(步骤720)。可以将音频流内容通过高通滤波器，或者经过高通滤波和/或低频衰减(步骤730)，例如，使高频流内容通过的低音去除滤波器。如果内容存储是可用的(测试740)，则可以存储输出(步骤750)。随后可以在非实时空间定位步骤期间从存储器中读取输出。然后接收所示包含显示位置集合的信息，例如，AV窗口位置信息(步骤760)。针对至少一个扬声器声道，确定基于显示位置集合的幅度增益(步骤770)。在该示例实施例中，可以应用频率分离级作为离线预处理级。然后基于关联的AV窗口位置将滤波后流内容传输至至少一个扬声器或多个扬声器(步骤780)。如果内容存储不可用，或者排除了对内容存储的使用，则可以将输出直接传输至多个扬声器。图8是示出了音频空间定位和频率分离系统或设备的示例过程800的流程图。可选地，可以通过接收、读取或访问原始音频输入，将源音频流内容提供给系统(步骤810)。相应地，可以复制音频流内容(步骤820)，从而具有多个相同的流内容。所示的音频流内容通过高通滤波器(步骤830)，或者经过高通滤波和/或低频衰减，例如，可以使高频系统内容通过的低音去除滤波器。然后可以复制作为高频流内容的滤波后流内容(步骤840)。对于该示例，对滤波后高频流内容进行反转(步骤850)并且与复制的流内容相加(步骤860)，以创建低频流内容的补充(complement)。然后可以将反转的滤波后流内容和复制的流内容(低频内容)的组合传输至扬声器(步骤870)。图9示出了使用两个不同的低音去除滤波器的示例系统900的频率响应，其中，滤波器可以类似地应用于去除或衰减低音频率。分离滤波器1示出了近似250Hz的截止频率。分离滤波器2示出了如图9的截止频率范围内的近似200-400HZ的截止频率。图10示出了具有两个音频声道(对于该示例，例如左声道1010和右声道1020)的示例原始立体声内容的幅度与时间图1000。图11示出了音频内容(对于该示例，例如左低音声道1110和右低音声道1120)的低音频率的示例幅度与时间图1100。所示的频率分离级的输出利用图9中的低音去除滤波器，具体地，对于该示例，低音分离滤波器2，该输出是示例的幅度图。图12示出了音频内容(对于该示例，例如左非低音1210和右非低音1220)的仅非低音频率的示例幅度与时间图1200。图13示出了从示例频率分离级产生的4个输出音频声道的示例1300。包括两个非低音频率声道(例如，左非低音，右非低音1320)和两个低音频率声道(例如，左低音1330和右低音1340)，全部以定制文件格式存储，例如，以WAV文件格式存储。可以设想，可以实现上述实施例的特定特征和方面的各种组合和/或子组合，并仍落在本发明的范围内。相应地，应当理解，所公开的实施例的不同特征和方面可以彼此组合或替换，以便形成本发明的变化模式。此外，本发明的范围在这里意在通过示例公开，并不应限于上述具体公开的实施例。权利要求1.一种方法，包括对流内容进行滤波；以及经由多个扬声器声道来传输滤波后的流内容，其中所述多个扬声器声道中的至少一个扬声器声道包括基于显示位置集合的幅度增益。2.根据权利要求1所述的方法，还包括以下操作中的至少一个接收、读取和访问源流内容。3.根据权利要求1所述的方法，其中，所述流内容包括音频内容。4.根据权利要求1所述的方法，其中，所传输的滤波后流内容包括高频流内容。5.根据权利要求4所述的方法，其中，将所述高频流内容传输至与视频显示器接近的多个扬声器。6.根据权利要求1所述的方法，还包括产生反转的滤波后流内容；将反转的滤波后流内容与所述流内容相组合；以及传输反转的滤波后流内容与流内容的组合。7.根据权利要求6所述的方法，其中，所述多个扬声器声道中的至少一个扬声器声道的滤波后流内容以定制文件格式存储。8.根据权利要求6所述的方法，其中，所传输的反转的滤波后流内容和流内容的组合包括低频流内容。9.根据权利要求8所述的方法，其中，将低频流内容传输至扬声器。10.根据权利要求8所述的方法，其中，将低频流内容传输至全向扬声器。11.一种计算设备，包括处理器，以及存储器，包括与显示位置集合可关联的一个或多个幅度增益构成的集合；其中，处理器被配置为对流内容进行滤波；以及经由多个扬声器声道来传输滤波后的流内容，其中所述多个扬声器声道中的至少一个扬声器声道包括基于显示位置集合的所述一个或多个幅度增益构成的集合之中的幅度增益。12.根据权利要求11所述计算设备，其中，处理器还被配置为执行以下操作中的至少一个接收、读取和访问源流内容。13.根据权利要求11所述的计算设备，其中，流内容包括音频内容。14.根据权利要求11所述的计算设备，其中，所传输的滤波后流内容包括高频流内容。15.根据权利要求14所述的计算设备，还被配置为，分别经由所述多个扬声器声道中的扬声器声道，将高频流内容传输至与视频显示器接近的多个扬声器。16.根据权利要求11所述的计算设备，其中，处理还被配置为产生反转的滤波后流内容；将反转的滤波后流内容与所述流内容相组合；以及传输反转的滤波后流内容与流内容的组合。17.根据权利要求16所述的计算设备，其中，所述多个扬声器声道中的至少一个扬声器声道以定制文件格式存储。18.根据权利要求17所述的计算设备，其中，所传输的反转的滤波后流内容和流内容的组合包括低频流内容。19.根据权利要求18所述的计算设备，还被配置为，将低频流内容传输至扬声器。20.根据权利要求18所述的计算设备，还被配置为，将低频流内容传输至全向扬声器。全文摘要用于音频内容的频率分离和空间定位的系统和设备以及方法(a)对流内容进行滤波；以及(b)经由至少一个或多个扬声器声道来传输滤波后的流内容，其中多个扬声器声道中的至少一个扬声器声道包括基于显示位置集合的幅度增益；以及可选地(c)产生反转的滤波后流内容；(d)将反转的滤波后流内容与流内容相组合，以产生音频内容的低频分量。文档编号H04R3/00GK102348149SQ20111020529公开日2012年2月8日申请日期2011年7月21日优先权日2010年7月23日发明者斯科特·J·达利,萨钦·G·德什潘德申请人:夏普株式会社