专利名称：再现虚拟声音的设备和方法
技术领域：
本发明总的发明构思涉及一种音频再现系统，更具体地说，涉及一种能够动态控制最佳听音点(sweet spot)和串音消除的再现2声道虚拟声音的设备和方法。
背景技术：
通常，虚拟声音再现系统提供与5.1声道系统相似的环绕声音效果，但只使用两个扬声器。
涉及虚拟声音再现系统的技术被公开在WO 99/49574(PCT/AU99/00002在1999年1月6日申请，名称为音频信号处理方法和设备(AUDIO SIGNALPROCESSING METHOD AND APPARATUS))和WO97/30566(PCT/GB97/00415在1997年2月14日申请，名称为音频记录和再现系统(SOUND RECORD AND REPRODUCTION SYSTEM))。
在传统的虚拟声音再现系统中，使用远场头部相关传递函数(HRTF)。多声道音频信号被降混音成2声道音频信号。使用被应用了串音消除算法的左耳和右耳传递函数H1(z)和H2(z)，该2声道音频信号被数字滤波。被滤波的音频信号被数模转换器(DAC)转换成模拟音频信号。该模拟音频信号被放大器放大并输出到左声道和右声道，即2声道扬声器。由于2声道音频信号具有3维(3D)音频数据，所以聆听者能感受到环绕效果。
然而，传统的使用远场HRTF再现2声道虚拟声音的技术使用在距离头部中心至少1m的位置上测量的HRTF。因此，传统的虚拟声音技术提供确切的声音信息到声源所在的位置，然而，它不能识别从声源移开的位置的声音信息。此外，由于传统的再现2声道虚拟声音的技术是在每一个扬声器具有平坦的频率响应的假设下开发的，所以当不具有平滑的频率响应的变坏的扬声器被使用时，或当扬声器的频率响应由于安装扬声器的室内音响装置而不平坦时，虚拟声音质量显著地下降。此外，在传统的再现2声道虚拟声音的技术中，即使聆听者从位于两个扬声器的中心的最佳听音点区域向旁边仅仅移动一点，虚拟声音质量就显著地下降。此外，在传统的再现2声道虚拟声音的技术中，由于串音消除算法仅对预定的扬声器排列适合，所以在其它的扬声器排列中的串音消除显著地下降。
发明内容
因此，本发明总的发明构思提供一种虚拟声音再现设备和方法以通过将用于补偿聆听位置的声音质量的空间补偿技术和2声道虚拟声音技术结合来动态地控制最佳听音点和串音消除。
本发明总的发明构思的另外方面和优点将部分地在下面的描述中阐明，并且，一部分将从描述中很清楚或可以通过本发明总的发明构思的实践中获悉。
本发明总的发明构思的前述和/或其它方面和优点通过提供一种音频系统的虚拟声音再现方法来实现，该方法包含接收宽频带信号，根据频带的响应特性设置补偿滤波器系数，并根据频谱分析设置立体声传递函数；通过将在近场和远场测量的头部相关传递函数相加到输入多声道信号来将该输入多声道信号降混音成两声道信号；在使用设置的立体声传递函数计算的补偿滤波器系数的基础上消除降混音的信号的串音；并在设置的每一频带的补偿滤波器系数的基础上补偿串音消除的信号的电平和相位。
本发明总的发明构思的前述的和/或其它方面和优点也可以通过提供一种虚拟声音再现设备来实现，该设备包含降混音单元，用于通过将HRTF相加到输入多声道信号来将该输入多声道信号降混音成两声道音频信号；串音消除单元，用于通过使用反映声传递函数的透听觉(transaural)滤波器系数将由降混音单元降混音的两声道音频信号串音滤波；和空间补偿器，用于接收宽频带信号，根据每个频带的响应特性生成补偿滤波器系数，并根据频谱分析生成声传递函数，并通过使用补偿滤波器系数补偿从串音消除单元输出的两声道音频信号的空间频率质量。
本发明总的发明构思的前述的和/或其它方面也可以通过提供一种音频再现系统实现，该系统包含虚拟声音再现设备，用于接收宽频带信号，根据每一频带的响应特性设置补偿滤波器系数并根据频谱分析设置立体声传递函数，通过将在近场和远场测量的HRTF相加到输入多声道信号来将该输入多声道信号降混音成两声道信号，在反映设置的立体声传递函数的补偿滤波器系数的基础上消除降混音信号间的串音，并在设置的根据频带的补偿滤波器系数的基础上补偿串音消除的信号的电平和相位；和放大器，用于以预定的量级放大被数字信号处理器补偿的音频信号。
通过下面结合附图对实施例进行的描述，本发明总的发明构思的这些和/或其他方面和优点将会变得清楚和更易于理解，其中图1示出根据本发明总的发明构思的实施例的声音再现系统；图2示出图1的降混音单元；图3示出实现图1的串音消除单元的透听觉滤波器的方法；图4示出图1的空间补偿器；图5示出由图4的空间补偿单元执行的空间补偿的方法；图6示出在根据本发明总的发明构思的实施例的音频再现系统中的再现虚拟声音的方法；图7示出根据打开/关闭室内均衡器的频率质量；和图8示出不同的扬声器排列。
具体实施例方式
现在对本发明总的发明构思实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同部件。下面通过参照附图对实施例进行描述以解释本发明总的发明构思。
图1是示出根据本发明总的发明构思实施例的音频再现系统的框图。
参照图1，音频再现系统可以包括虚拟声音再现设备100、左右放大器170和175、左右扬声器180和185、以及左右麦克风190和195。虚拟声音再现设备100可以包括杜比定向逻辑解码器110、音频解码器120、降混音单元130、串音消除单元140、空间补偿器150和数模转换器(DAC)160。
杜比定向逻辑解码器110能将输入2声道杜比定向逻辑音频信号解码成5.1声道数字音频信号(左-前声道、右-前声道、中-前声道、左环绕声道、右环绕声道、和低频效果声道)。
音频解码器120能将输入多声道音频比特流解码成5.1声道数字音频信号(左-前声道、右-前声道、中-前声道、左环绕声道、右环绕声道、和低频效果声道)。
降混音单元130通过将使用HRTF的方向信息添加到从杜比定向逻辑解码器110或音频解码器120输出的5.1声道数字音频信号来将该5.1声道数字音频信号降混音成两声道音频信号。这里，方向信息是在近场和远场测量的HRTF的结合。参考图2，5.1声道音频信号被输入到降混音单元130。5.1声道可以是左-前声道2、右-前声道、中-前声道、左环绕声道、右环绕声道、和低频效果声道13。左和右脉冲响应函数能分别地在5.1声道上被执行。因此，从左-前声道2，左-前左(LFL)脉冲响应函数4可被在步骤6与左-前信号3卷积。左-前左(LFL)脉冲响应函数4可以是从放置在理想位置的左前声道扬声器输出以被左耳接收的脉冲响应，并且是在近场和远场测量的HRTF的混合。这里，近场和远场HRTF可以分别是在距离头部中心不到1m的位置测量的传递函数和在距离头部中心超过1m的位置测量的传递函数。步骤6可以生成将被添加到用于左声道的左声道信号10的输出信号7。同样地，从放置在理想位置的左-前声道扬声器输出以被右耳接收的左-前右(LFR)脉冲响应函数5，可被在步骤8与左-前信号3卷积以生成与用于右声道的右声道信号相加的输出信号9。剩余的5.1声道音频信号的声道可以同样地被卷积并输出到左和右声道信号10和11。因此，在降混音单元130中对于5.1声道信号可需要12个卷积步骤。因此，即使通过将5.1声道信号和在近场和远场测量的HRTF混合和降混音来使得5.1声道信号被再现成2声道信号，与当5.1声道信号被再现成多声道信号时相似的环绕效果也能被生成。
串音消除单元140可以通过采用使用透听觉滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)的串音消除算法，将降混音的2声道音频信号数字滤波。在串音消除算法中，透听觉滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)能使用声传递系数C11(Z)、C21(Z)、C12(Z)和C22(Z)为串音消除而设置，其中上述声传递系数是通过在空间补偿器150中使用频谱分析产生的。
空间补偿器150可以经由左和右麦克风190和195接收从左和右扬声器180和185输出的宽频带信号，使用频谱分析生成按频带表示频率特性的透听觉滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)和声传递系数C11(Z)、C21(Z)、C12(Z)和C22(Z)，并使用补偿滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)补偿从串音消除单元140输出的2声道音频信号的频率特性，例如分别在左和右扬声器180和185与聆听者之间的信号电平和信号延迟。这里，无限脉冲响应(IIR)滤波器或有限脉冲响应(FIR)滤波器可以被用作补偿滤波器。
DAC 160将空间补偿的左和右音频信号转换成模拟音频信号。
左和右放大器170和175分别将被DAC 160转换的模拟音频信号放大，并将这些信号输出到左和右扬声器180和185。
图3表示实现图1中的串音消除单元的透听觉滤波器310的方法。
参考图3，声音值y1(n)和y2(n)可以经由两个扬声器分别在聆听者的左耳和右耳被再现。声音值s1(n)和s2(n)可以被输入到两个扬声器。声传递系数C11(Z)、C21(Z)、C12(Z)和C22(Z)可以通过在宽频带信号上执行的频谱分析来计算。
当聆听者听声音值y1(n)和y2(n)时，聆听者感觉到虚拟立体声音。由于在两个扬声器和双耳之间存在4个声学空间，所以当两个扬声器分别地再现声音值y1(n)和y2(n)时，除原始声音值y1(n)和y2(n)以外的声音值实际上到达双耳。因此应当执行串音消除以使聆听者不能经由右耳(或左耳)听到在左扬声器(或右扬声器)再现的信号。
立体声再现系统320能使用经由两个麦克风接收的信号计算在两个扬声器和聆听者的双耳之间的声传递函数C11(Z)、C21(Z)、C12(Z)和C22(Z)。在透听觉滤波器310中，透听觉滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)在声传递函数C11(Z)、C21(Z)、C12(Z)和C22(Z)的基础上被设置。
在串音消除算法中，声音值y1(n)和y2(n)能通过等式1得出并且声音值s1(n)和s2(n)能通过下面的等式2得出。
y1(n)＝C11(Z)s1(n)+C12(Z)s2(n)y2(n)＝C21(Z)s1(n)+C22(Z)s2(n)[等式2]s1(n)＝H11(Z)x1(n)+H12(Z)x2(n)s2(n)＝H21(Z)x1(n)+H22(Z)x2(n)如果透听觉滤波器310的由下面等式4给出的矩阵H(Z)是在两个扬声器和双耳之间的声传递函数的由下面等式3给出的矩阵C(Z)的逆矩阵，则声音值y1(n)和y2(n)分别是输入声音值x1(n)和x2(n)。因此，如果用输入声音值x1(n)和x2(n)替换声音值y1(n)和y2(n)，则输入到两个扬声器的声音值s1(n)和s2(n)如等式2中所示，并且聆听者听到声音值y1(n)和y2(n)。
y1y2=C11C12C21C22S1S2]]>[等式4]s1s2=C11C12C21C22-1S1S2]]>图4是表示图1的空间补偿器150的方框图。
参考图4，噪声生成器412能生成宽频带信号和脉冲信号。带通滤波器434、436和438能对从左和右扬声器180和185输出的并经由左和右麦克风190和195接收的宽频带信号在N个频带中执行带通滤波。电平和相位补偿器424、426和428能生成补偿滤波器系数以补偿被带通滤波器434、436和438在频带N带通滤波的信号的电平和相位。提升滤波器(boost filter)414、416、…、和418可以通过将由电平和相位补偿器424、426和428生成的频带补偿滤波器系数应用到输入音频信号来补偿该输入音频信号的频率质量以得到平坦的频率响应。此外，频谱分析仪440可以分析从左和右扬声器180和185输出的并经由左和右麦克风190和195接收的宽频带信号的频谱，并可以为立体声再现系统计算在两个扬声器180和185与聆听者两耳之间的传递函数C11(Z)、C21(Z)、C12(Z)和C22(Z)。
图5是表示图4中的空间补偿器150的空间补偿方法的流程图。
在操作步骤510中，扬声器响应特性可以使用宽频带信号和脉冲信号来测量。
在操作步骤520中，左和右扬声器脉冲响应特性可以被测量。
在操作步骤530中，为N个频带中的每一个的宽频带扬声器响应特性的带通滤波能被执行。
在操作步骤540中，每一个频带的平均能级能被计算。
在操作步骤550中，每一个频带的补偿电平能使用计算出的平均能级被计算。
在操作步骤560中，每一个频带的提升滤波器系数能使用计算出的频带补偿电平被设置。
在操作步骤570中，提升滤波器414、416和418能使用设置的频带提升滤波器系数被应用到扬声器脉冲响应。
在操作步骤580中，左和右声道之间的延迟能使用扬声器脉冲响应特性被测量。
在操作步骤590中，相位补偿系数能使用左和右声道之间的延迟被设置。也就是，由左和右扬声器之间的时间差引起的延迟能通过控制左和右声道之间的延迟被补偿。
图6是表示在音频再现系统中再现虚拟声音的方法的流程图。
在操作步骤610中，宽频带信号和脉冲信号能被左和右扬声器，也就是图4的180和185生成，宽频带信号和脉冲信号能经由左和右麦克风，也就是190和195接收，声压电平和左和右扬声器180和185之间的信号延迟能被控制，并且用于产生平坦频率响应的数字滤波器系数能使用声压电平和信号延迟被设置。此外，用于串音消除的最佳透听觉滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)能通过使用经由麦克风，也就是190和195接收的信号计算扬声器，也就是180和185与聆听者双耳之间的立体声传递函数来设置。
在操作步骤620中，使用近场和远场HRTF，多声道音频信号被降混音成2声道音频信号。
在操作步骤630中，降混音的音频信号可以在用于串音消除的最佳透听觉滤波器系数H11(Z)、H21(Z)、H12(Z)和H22(Z)的基础上，被数字滤波。
在操作步骤640中，串音消除的音频信号可以通过反映电平和相位补偿滤波器系数被空间补偿。
最后，使用串音消除和空间补偿，2声道音频信号在聆听者当前位置提供最佳环绕声音效果。
图7是表示当图4中的空间补偿器150工作时，左和右扬声器180和185的频率质量的图表。参照图7，当室内均衡器被打开时，扬声器的频率响应是平坦的。
本发明总的发明构思也能被实现为在计算机可读记录介质上的计算机可读代码。计算机可读记录介质可以是能存储其后能被计算机系统读出的数据的任何数据存储装置。计算机可读记录介质的例子可以包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波(例如通过互联网的数据传输)。计算机可读记录介质也能被分布在网络联接的计算机系统上以便计算机可读代码能以分布的方式被存储和执行。
如上所述，在传统的技术中，虽然通过两个5.1声道扬声器提供的环绕效果在最佳听青点区是最佳的，但是虚拟环绕效果在除了最佳听音点区以外的任何地方显著下降。然而，由于最佳听音点的位置能被动态地控制，所以无论聆听者位于何处，最佳的2声道虚拟声音环绕效果能被提供给聆听者。此外，通过空间补偿，虚拟声音效果可以通过具有如图7中显示的平坦频率响应而变为更好。此外，如图8中所示，通过使用两个麦克风，也就是190和195的串音消除显著地补偿扬声器排列和聆听者位置的改变，虚拟声音效果能被改进。
尽管本发明总的发明构思的一些实施例被显示和描述，但本领域的技术人员应当理解，可以对这些实施例进行改变而不脱离本发明总的发明构思的原则和精神，本发明的范围由所附权利要求及其等同物限定。
权利要求
1.一种音频系统的虚拟声音再现方法，该方法包含接收宽频带信号，根据频带的响应特性设置补偿滤波器系数，并根据频谱分析设置立体声传递函数；通过将在近场和远场测量的头部相关传递函数(HRTF)相加到输入多声道信号来将该输入多声道信号降混音成两声道信号；在使用设置的立体声传递函数计算的补偿滤波器系数的基础上消除降混音的信号的串音；和在设置的每一频带的补偿滤波器系数的基础上补偿串音消除的信号的电平和相位。
2.如权利要求1所述的方法，其中，补偿滤波器系数的设置包含在宽频带信号和脉冲信号的基础上测量扬声器响应特性；将测量的宽频带扬声器响应特性带通滤波到N频带；计算带通滤波的频带频率的平均能级；使用计算的平均能级为每一频带计算补偿电平；使用计算的频带补偿电平为每一频带设置电平补偿滤波器系数。
3.如权利要求1所述的方法，其中，设置补偿滤波器系数包含测量左和右扬声器脉冲响应特性；测量左和右声道间的延迟；在测量的左和右声道间的延迟的基础上设置相位补偿滤波器系数。
4.如权利要求1所述的方法，其中，设置立体声传递函数包含在经由两个麦克风接收的信号的基础上设置在扬声器和聆听者的双耳之间的立体声传递函数。
5.如权利要求1所述的方法，其中，补偿滤波器系数是FIR滤波器系数。
6.如权利要求1所述的方法，其中，降混音包含将在近场和远场测量的HRTF混合。
7.如权利要求1所述的方法，其中，补偿滤波器系数的矩阵是在两个扬声器和双耳之间的声传递函数的矩阵的逆矩阵。
8.如权利要求1所述的方法，其中，补偿串音消除的信号的电平和相位包含在每一频带的补偿滤波器系数的基础上补偿信号的电平和相位。
9.一种虚拟声音再现设备，包含降混音单元，用于通过将HRTF相加到输入多声道信号来将该输入多声道信号降混音成两声道音频信号；串音消除单元，用于使用反映声传递函数的透听觉滤波器系数将由降混音单元降混音的两声道音频信号串音滤波；和空间补偿器，用于接收宽频带信号，根据响应特性为每一频带生成补偿滤波器系数并根据频谱分析生成声传递函数，和使用补偿滤波器系数补偿从串音消除单元输出的两声道音频信号的空间频率质量。
10.如权利要求9所述的设备，其中，串音消除单元包含立体声系数生成器，用于在经由两个麦克风接收的信号的基础上生成在扬声器和聆听者双耳之间的声传递函数；和滤波器单元，用于在由立体声系数生成器生成的声传递函数的基础上设置补偿滤波器系数并将降混音的两声道音频信号滤波。
11.如权利要求9所述的设备，其中，空间补偿器包含带通滤波器，用于根据频带将从左和右扬声器输出的并经由左和右麦克风接收的宽频信号带通滤波；补偿器，用于根据频带补偿被带通滤波器带通滤波的信号的电平和相位；和提升滤波器，用于通过将由补偿器生成的频带补偿滤波器系数应用到输入音频信号来补偿该输入音频信号的频率质量以具有平坦的频率响应。
12.如权利要求9所述的设备，其中，空间补偿器包含频谱单元，用于分析从左和右扬声器输出并经由左和右麦克风接收的宽频带信号的频谱并计算扬声器和聆听者双耳之间的立体声传递函数。
13.如权利要求9所述的设备，其中，串音消除单元的透听觉滤波器是IIR滤波器和FIR滤波器之一。
14.如权利要求9所述的设备，其中，空间补偿器的补偿滤波器是IIR滤波器和FIR滤波器之一。
15.如权利要求9所述的设备，还包含杜比定向逻辑解码器，用于将输入两声道信号解码成输入多声道信号；音频解码器，用于将输入音频比特流解码成输入多声道信号；和数模转换器，用于将从空间补偿器输出的信号转换成模拟音频信号。
16.一种音频再现系统，包含虚拟声音再现设备，用于接收宽频带信号，根据响应特性为每一频带设置补偿滤波器系数，根据频谱分析设置立体声传递函数，通过将在近场和远场测量的HRTF相加到输入多声道信号中来将该输入多声道信号降混音成两声道信号，在反映设置的立体声传递函数的补偿滤波器系数的基础上消除降混音的信号间的串音，并根据频带在设置的补偿滤波器系数的基础上补偿串音消除的信号的电平和相位；和放大器，用于以预定的量级放大被数字信号处理器补偿的音频信号。
17.如权利要求16所述的系统，其中，输入多声道信号来自左-前声道、右-前声道、中-前声道、左环绕声道、右环绕声道和低频效果声道。
18.如权利要求16所述的系统，还包含左和右扬声器，用于输出宽频带信号；和左和右麦克风，用于接收从左和右扬声器输出的宽频带信号，并将该宽频带信号输出到虚拟声音再现设备。
19.一种含有提供被音频系统使用的虚拟声音再现方法的代码的计算机可读记录介质，该方法包含下述操作步骤接收宽频带信号，根据频带的响应特性设置补偿滤波器系数，并根据频谱分析设置立体声传递函数；通过将在近场和远场测量的头部相关传递函数(HRTF)相加到输入多声道信号来将该输入多声道信号降混音成两声道信号；在使用设置的立体声传递函数计算的补偿滤波器系数的基础上消除降混音的信号的串音；和在设置的每一频带的补偿滤波器系数的基础上补偿串音消除的信号的电平和相位。
20.如权利要求19所述的计算机可读记录介质，其中，设置补偿滤波器系数的操作步骤包含在宽频带信号和脉冲信号的基础上测量扬声器响应特性；将测量的宽频带扬声器响应特性带通滤波到N个频带；计算带通滤波的频带频率的平均能级；使用计算的平均能级为每一频带计算补偿电平；使用计算的频带补偿电平为每一频带设置电平补偿滤波器系数。
21.如权利要求19所述的计算机可读记录介质，其中，设置补偿滤波器系数的操作步骤包含测量左和右扬声器脉冲响应特性；测量左和右声道间的延迟；在测量的左和右声道间的延迟的基础上设置相位补偿滤波器系数。
22.如权利要求19所述的计算机可读记录介质，其中，设置立体声传递函数的操作步骤包含在经由两个麦克风接收的信号的基础上设置扬声器和聆听者双耳之间的立体声传递函数。
23.如权利要求19所述的计算机可读记录介质，其中，补偿滤波器系数是FIR滤波器系数。
24.如权利要求19所述的计算机可读记录介质，其中，降混音操作步骤包含将在近场和远场测量的HRTF混合。
25.如权利要求19所述的计算机可读记录介质，其中，补偿滤波器系数的矩阵是在两个扬声器和双耳之间的声传递函数矩阵的逆矩阵。
26.如权利要求19所述的计算机可读记录介质，其中，补偿串音消除的信号的电平和相位的操作步骤包含在每一频带的补偿滤波器系数的基础上补偿信号的电平和相位。
全文摘要
一种在动态控制最佳听音点和串音消除时再现2声道虚拟声音的设备和方法被公开。该方法包括接收宽频带信号，根据频带的响应特性设置补偿滤波器系数并根据频谱分析设置立体声传递函数；通过将在近场和远场测量的头部相关传递函数(HRTF)相加到输入多声道信号来将该输入多声道信号降混音成两声道信号，在使用设置的立体声传递函数计算的补偿滤波器系数的基础上消除降混音的信号的串音，并在为每一频带设置的补偿滤波器系数的基础上补偿串音消除的信号的电平和相位。
文档编号H04S3/00GK1630434SQ200410098819
公开日2005年6月22日 申请日期2004年12月17日 优先权日2003年12月17日
发明者李俊弦, 张成哲 申请人:三星电子株式会社