专利名称：生成立体音响的装置以及方法
技术领域：
本发明涉及在再现声源文件时产生立体音响效果的处理方法以及装置。
背景技术：
一般携带用终端(手机、PDA、MP3机等)都是小型，因此即使安装立体声扬声器，也只能使用输出弱的小扬声器，且由于立体声扬声器之间的距离窄，因此与在用头戴耳机再现音响或者使用一般的扬声器再现音响时完全不同，通过安装在这些携带用终端设备上的立体声扬声器很难再现立体音响。
为解决这些问题，采用以下方法，即，即使是能够再现立体音响的手机也不是通过声源实时地再现立体音响，而是事先将制作成能表现出立体声效果的声源安装到内部，并用安装在手机上的立体声扬声器进行再现。
但是在该方法中，声源自身事先被制作成能够在扬声器再现环境中再现立体声效果，因此对于没有制作成立体音响的一般声源，无法用头戴耳机进行立体声再现，而且在用头戴耳机听取这样的扬声器再现用声源时，立体感也会下降。
其结果，在如上所述的以往技术中，目前还没有不管是用头戴耳机听取的情况下还是在用扬声器听取的情况下都能提供立体音响的方法。
尤其是为生成立体音响，需要扩散过程，但在以往技术中是在不区分单声道声源和立体声声源的情况下处理扩散过程，从而导致对单声道声源扩散感下降。
为了在任意的三维空间中定位声像，使用将人的对声音位置进行判别的原理进行函数化的HRTF(Head Related Transfer Function)DB。HRTF DB是对从以人为中心的三维中间中的多个点发出的声音传递到人的耳膜或者耳朵入口、或者人的听觉的一部分的传递体系进行数据库化的产物，而如果用HRTF DB处理没有方向性的声源，则在耳机再现环境中能够赋予使人觉得声音是从特定位置产生的位置感(声像定位)。
但是一般来说携带用终端(手机、PDA、MP3机等)中没有将声音定位于使用者指定的三维空间中的方法，且声源文件自身没有三维位置信息，因此在携带用终端的声音再现过程中，无法与使用者的位置指定、或者游戏/图形中的位置及移动路径的指定连动地、以在特定位置存在声音客体的方式三维式再现、或者以声音客体沿特定移动路径移动的方式再现，而只能单纯再现源音或者仅进行简单效果处理后进行再现。
从而，在支持立体声的携带用终端环境中，即使使用者或者游戏/图形中要求产生声音客体以三维式定位或者移动的效果音的情况下，也不能对其进行处理。
发明内容
本发明为解决如上所述的以往技术中的问题，提供一种不仅是携带用终端中的头戴耳机中的再现，而且在扬声器再现时也能实时地进行立体音响再现，且对单声道输入和立体声输入都能进行声像扩散的方法以及为实施该方法的装置。
此外，在本发明的另一个实施例中提供了一种不仅是在携带用终端中头戴耳机的再现，而且在扬声器再现中也能实时地进行立体音响再现，且对单声道输入和立体声输入都能进行声像扩散的同时，还能够通过使用者或者从游戏/图形信息中提取的三维位置以及移动路径的输入进行声像定位的方法以及为实施该方法的装置。
本发明提供一种立体音响形成装置，其特征在于，包括判别装置1，其输入声源文件后，对是单声道还是立体声进行判别；单声道声像扩散装置2，其在所述判别装置1中判别为单声道时，将声源变换为虚拟立体声并进行声像扩散；立体声声像扩散装置3，其在所述判别装置1中判别为立体声时，对声源进行声像扩散；选择装置6，其接收来自所述单声道声像扩散装置2或者立体声声像扩散装置3的输出，根据是扬声器再现还是头戴耳机再现的选择结果，是头戴耳机再现的情况下，将所述输出传递给头戴耳机8；立体音响加速器7，其在所述选择装置6中的选择结果是扬声器再现的情况下，消除用扬声器再现所述输出时产生的串扰，并用扬声器9进行输出。
图1是表示本发明的立体音响装置的构成图。
图2是表示对单声道或者立体声声源进行声像扩散处理后的声音范围的图。
图3是表示在用扬声器进行再现时的基于是否使用立体音响加速器的声音范围的图。
图4是表示本发明的MEX滤波器的频率特性的图。
图5、6、7是表示本发明的M1、M2、M3滤波器的频率特性的图。
图8是表示本发明的MEX12滤波器的频率特性的图。
图9是表示适用使用于本发明的声像定位装置的结构图。
图10是表示使用于本发明的声像定位方法的图。
图11是表示根据本发明，将图1的立体音响装置与图9的声像定位装置结合的装置的图。
图中1-判别器，2-单声道扩散系统，3-立体声声像扩散系统，6、15-选择器，7、16-立体音响加速器，12、13-位置信息，14-三维声音合成器。
具体实施例方式
下面参照图1，对本发明的为形成立体音响处理过程以及动作进行说明。
首先，在判别器1中判别是单声道文件还是立体声文件。判别结果如果是单声道文件，则经由单声道声像扩散系统2后变换为三维形态并扩散音域，而如果是立体声文件，则经由立体声声像扩散系统3扩散音域。在图2中表示了经过声像扩散系统的声音的音域扩散的过程。
在是立体声文件的情况下，通过立体声声像扩散系统3生成音域被扩散的信号并通过立体声增益系统4，而另一方面，考虑到使用者为忠实于源音而不愿扩散声像的情况，不通过立体声声像扩散系统3的旁路信号通过立体声增益系统5。换言之，如果仅再现立体声源音所具备的扩散音域，则将立体声增益系统5的增益设为“1”，同时将立体声增益系统4的增益设为“0”，而如果要再现经过立体声声像扩散系统3后扩散的信号，则将立体声增益系统4的增益设为“1”，同时将立体声增益系统5的增益设为“0”。
下面简单说明再现过程。
在再现方法中根据扬声器再现和头戴耳机的再现的不同，也进行不一样的处理，而关于是扬声器再现还是头戴耳机再现的选择(再现模式的选择)，由选择器6进行。选择器6根据使用者通过对携带用音响设备的外部开关的选择或者画面上的菜单选择等而选择出的再现模式，是在由头戴耳机8进行再现的情况下，不进行其他附加处理而直接再现，而是在由扬声器9进行再现的情况下，则要经过进行特殊信号处理的装置(以下将要说明的扬声器用立体音响加速器7)之后再经扬声器9再现。
换言之，由于从立体声声像扩散系统3输出音响是以头戴耳机的再现用的方式制成的，因此能够用头戴耳机8感受到立体音响，但如果将该输出不经过追加处理过程而直接向扬声器9输出，则由从扬声器9向人的耳朵传递的信号中的串扰的影响，音响像如图3中的上端所示的那样仅在头部和两个扬声器之间形成，导致扬声器再现环境中的立体音响的品质下降。从而，为了消除向扬声器9输出时引起串扰的信号，可以向两个扬声器输出中结合能够将串扰相消的信号之后输出，而经过该过程后，即使像如图3所示的下端所示的那样使用扬声器9听取，也能欣赏到立体音响。
以上所述的判别器1、单声道声像扩散系统2、立体声声像扩散系统3、扬声器用立体音响加速器7，可以通过本领域的技术人员所公知的各种方法使用。但是，为提供具备更优秀的功能，下面对本申请人发明的判别器1、单声道声像扩散系统2、立体声声像扩散系统3、扬声器用立体音响加速器7进行具体说明。
在判别器1的内部具备单声道/立体声检测器(mono/stereo detector)，因此当由单声道/立体声检测器(mono/stereo detector)判定为单声道数据的情况下，由于仅在中央形成声像，因此在预处理器(preprocessor)中进行如下述的数学式5那样的处理，以便使信号在频域中分散进而使得声像在左右形成。此后，未在处理中使用的频域的数据在后处理器(postprocessor)中，在保证以下的MEX处理中产生的延时(delay)的前提下进行混频。
下面，对立体声声像扩散系统3进行说明。
一般来说，立体声的左右两个声道的数据之间的相关系数的绝对值越接近0，扩散感也越大。其中，相关系数意味着在两个数据之间存在共用部分的程度，如果该值是1则表示是完全相同的数据、如果是-1则表示绝对值相同但符号不同的数据、而如果是0则表示完全不同的数据。
立体声声像扩散是考虑到这样的人的对音响扩散感的听觉认知现象，在音频信号上适用合适的滤波器，从而减少两个声道之间的相关关系的处理过程。但是，在完成控制的音频信号中经过另外的音频滤波器之后，有可能损坏原制作者的意图，因此还要包括用于调节扩散强度的方法。
作为调节源音保存程度的方法，在本发明的扩散过程(以下称为“MEX”)中，不是使所有输入数据通过立体声声像扩散滤波器(以下称为“MEX滤波器”)，而是采用以下方法，即，仅对相关系数的绝对值进行加运算即在两个数据之间仅刻画不同的部分。该方法具体如下。
L＝((L+R)+(L-R))/2R＝((L+R)-(L-R))/2在上述数学式1中，L、R分别表示左声道和右声道的输入数据，(L+R)表示两个数据之和，(L-R)表示两个数据之差。
为进行以L和R信号作为输入、以L_processed、R_processed作为输出的扩散处理，可使用一般形式的数学式2。在这里，Mp()是适用于L+R信号的MEX滤波器、Mm()是适用于L-R信号的MEX滤波器。在数学式2中可将当增益变大时的听众的感受整理为如下。
如果G_orig变大，则忠实于对源音进行控制的意图。
如果G_plus变大，则在正面增强声像。
如果G_minus变大，则扩散感增大。
L_processed＝G_orig*L+G_p1us*Mp(L+R)+G_minus*Mm(L-R)R_processed＝G_orig*R+G_plus*Mp(L+R)-G_minus*Mm(L-R)在数学式2中可知，(L+R)是两个声道之间的相关系数为1的部分、(L-R)是两个声道之间的相关系数为-1的部分。(L+R)是两个声道共同具备的部分，而对该数据进行操作会起到增大两个声道之间的相关关系的作用，因此为强调扩散效果，可首先考虑仅在(L-R)部分适用MEX滤波器。
此外，仅通过对共用部分和刻画扩散的部分进行组合，可能影响原来的立体声控制的意图，因此对原信号进行合成。就这样，通过在可能范围内仅对少部分的数据进行滤波器处理，能够调节源音的保存量。根据该方法的MEX的数据处理方式是没有对数学式2中的L+R的进行处理的形态，且该数学式3如下。
L_processed＝G_orig*L+G_plus*(L+R)+G_minus*M(L-R)R_processed＝G_orig*R+G_plus*(L+R)-G_minus*M(L-R)在这里，L_processed、R_processed是完成MEX处理的数据，且G表示增益、M()表示适用了MEX滤波器。
MEX滤波器需要具有以下特性，即，在两个声道之间刻画差异点且不给收听人带去不适感的同时提供作为目标的扩散感，此外，根据本申请人的实验结果，最好具备如图4所示的频率特性，但由于音响是需要由人来接收，根据人的不同其最佳程度也不同，因此MEX的设计人需要通过多次实验，确定适当的特性曲线。由该MEX滤波器的作用，可以使两个声道数据之间的差异点极大化。
另一方面，基于上述数学式3的MEX过程，在仅强调差成分的情况下有可能使两个声道之间的差异在听觉上感到是散乱程度过大的声音，而且由于仅强调高音区域，因此有破坏对整个频带的音乐平衡的忧虑。
为解决该问题，通过使用下述的数学式4，可获得以下效果，即，将如从数学式2到数学式3中那样的用于合成份的滤波器M1和M2分配在高频域和低频域中，并同时执行高频域扩散和低频域扩散，从而在听觉上能进行高频域、低频域扩散的同时，获得音量平衡。
L_processed＝G_orig*L+(G_plus1*M1(L+R)+G_p1us2*M2(L+R)+G_static1*(L+R))+(G_minus*M3(L-R)+G_static2*(L-R))R_processed＝G_orig*R+(G_plus1*M1(L+R)+G_plus2*M2(L+R)+G_staticl*(L+R))-(G_minus*M3(L-R)+G_static2*(L-R))在这里，L_processed、R_processed是完成了MEX的数据、G_orig、G_plus1、G_plus2、G_staticl、G_minus、G_static2表示增益、M1()、M2()表示已适用L+R信号用MEX滤波器、M3()表示已适用L-R信号用MEX滤波器。
此时，根据本申请人的实验结果，滤波器M1、M2、M3最好具备如图5、图6、图7所示的频率特性，但如上述一样，由于音响是需要由人来接收从而根据人的不同其最佳程度也不同，因此MEX的设计人需要通过多次实验，确定适当的特性曲线。
下面，对单声道声像扩散系统2进行说明。
当由判别器1的单声道/立体声检测器(mono/stereo detector)判定为单声道数据的情况下，需要在单声道声像扩散系统2中将单声道变换为虚拟立体声(pseudo stereo)并进行扩散处理。
生成虚拟扩散立体声的方法已知的有很多种，但存在着带给收听人不适感、或者声像左右移动、或者效果少等缺点。本发明的单声道声像扩散用滤波器(MEX12)被设计成能弥补上述缺点的同时获得强扩散感。
根据本申请人的实验结果，过滤器M12最好具备如图8所示的频率特性，但由于音响是需要由人来接收从而根据人的不同其最佳程度也不同，因此MEX12的设计人需要通过多次实验，确定适当的特性曲线。将具有如图8所示的频率特性的MEX12滤波器适用于单声道源音，并将一部分频带加强且此外的频带衰减的数据使用为右侧声道。然后，从源音的常数倍中，为补正由MEX12滤波器引起的延时而减掉右侧数据后，将此作为左侧数据。若整理这些，就如数学式5所示。
Pseudo_R＝M12(Mono)Pseudo_L＝Mono*Km-Pseudo_R在这里，M12()表示适用了MEX12滤波器、Mono表示源音、Km表示常数。
最后，对立体音响加速器7进行说明。
如上说明的那样，当用扬声器9再现音响(在图1中通过单声道声像扩散系统2的声像、通过立体声声像扩散系统3的音响、或者旁通立体声声像扩散系统3的音响)的情况下，需要在立体音响加速器7中进行消除串扰的处理过程(以下称为“eXTX”)。以下，为方便说明，对扬声器具有L、R两个声道的情况进行说明。
eXTX中适用的滤波器Q是双输入双输出，且可通过以下方式得出。三维音响源X通过扬声器输出，最终由耳朵中的声压d为收听人所感知。在这里，扬声器中的声压和在耳朵中的声压的关系如数学式6所表示。
在以下的数学式6中，Hv是转听觉的(Transaural)系统中的扬声器输出，其可视为与耳朵中的声压d相同，此外，A是扬声器和人的两个耳朵中近的距离的信号特性、S是远的距离、即交叉的信号特性。
d=Hv=ASSAVLVR]]>在用头戴耳机听取时，输入三维音响和由耳朵听取的音响之间的关系如数学式7所示。
dLdR=xLxR]]>
其中，x是头戴耳机用信号，是在耳朵中的声压。
此外，当用扬声器听取时，输入扬声器的三维音响和由耳朵听取的音响之间的关系如数学式8所示。
VLVR=xLxR,]]>dLdR=ASSAVLVR]]>其结果，为了在用扬声器听取时也获得与头戴耳机相同的结果，由以下的数学式9表示为消除串扰而由转听觉的(Transaural)系统的逆函数构成的eXTX的滤波器Q。
Q=ASSA-1]]>eXTX中的Q的体现是，利用左右扬声器之间的距离(spkD)和扬声器与收听人耳朵轴中央之间的距离体现。利用HRTF(Head Related TransferFunction)模型，求出扬声器和耳朵之间的、从左侧扬声器射入到左侧耳朵/从右侧扬声器射入到右侧耳朵的信号即直接路径(Direct path)、和从左侧扬声器射入到右侧耳朵/从右侧扬声器射入到左侧耳朵的信号即交叉路径(Cross path)的距离之后，适用从HRTF中提取的参数a和b，进行信号处理，而此时的数学式在特定频率下表现为如下。
yLyR=11-g·a2·z-2bALa·z-ba·z-bARxLxR]]>在上述数学式10中，a是直接路径和交叉路径的增益比率、b是直接路径和交叉路径之间的延迟(delay)、AL、AR分别是对于从左侧扬声器到左侧耳朵、从右侧扬声器到右侧耳朵的直接路径的补正过滤器。
利用如上的本发明方法，不仅在头戴耳机的再现中，而且在扬声器再现时也能实时地进行立体音响的再现，且对于单声道输入和立体声输入都能进行声像扩散。
下面，参照图9～11，对于能够适用如上所述的本发明的立体音响形成方法，而实现被声像定位的立体音响的音响装置，进行说明。
首先参照图9，对为实现声像定位的方法进行说明。
为了将声音定位于期望的位置(声像定位)，利用使用者输入的三维位置信息12或者与游戏或图形中对应的位置信息13，通过三维声音合成器14，最终将源音11合成为位于三维空间的声音。
在三维声音合成器14中具有如图10所示的三维坐标信息，且以声音位于三维空间中的方式合成声音。图10表示了以使声音处于三维空间内的方式合成声音的方法，在这里，当输入未具备任何位置信息的一般声源时，由声音位置信息方框中的使用者的输入或者从三维坐标信息，换算出能够从HRTF DB中找到对应的位置信息的数据的水平角、高度角的坐标值，并通过其值从HRTF DB获得的对应位置的数据以及源音进行卷积运算，则如同合成的声音的位置方框中一样，能够在声音位置信息方框的指定位置形成声像。
图11中表示了将通过如上的方式形成的声像定位装置适用于立体音响装置上的例子。将源音由位置信息12、13在三维声音合成器14中进行声像定位，在判别器1中进行是单声道/立体声音响中哪一个的判别后，如同图1～图8中的相关的详细说明进行立体音响化，则可以同时实现声像定位和立体音响。
以上对本发明的最佳实施例进行了说明，但要注意以下这一点，即，本发明并不限定于该实施例，而是在不超出本发明宗旨的范围内进行各种变更。
例如，以上对将本发明使用于携带用终端的情况进行了记载，但本发明还可以使用于包括音响设备(音频、小型元件、盒式磁带等)和影像设备(TV、摄像放像一体机等)的多样的媒体装置的音响处理部中。
利用以上所述的本发明的方法，不仅是头戴耳机中的再现，而且在扬声器再现时也能实时地进行立体音响再现，且对单声道输入和立体声输入都能进行声像扩散。
此外，利用以上所述的本发明的方法，不仅是在头戴耳机的再现，而且在扬声器再现中也能实时地进行立体音响再现，且对单声道输入和立体声输入都能进行声像扩散的同时，还能够通过使用者或者从游戏/图形信息中提取的三维位置以及移动路径的输入进行声像定位。
权利要求
1.一种立体音响形成装置，其特征在于，包括判别装置(1)，其输入声源文件后，对是单声道还是立体声进行判别；单声道声像扩散装置(2)，其在所述判别装置(1)中判别为单声道时，将声源变换为虚拟立体声并进行声像扩散；立体声声像扩散装置(3)，其在所述判别装置(1)中判别为立体声时，对声源进行声像扩散；选择装置(6)，其接收来自所述单声道声像扩散装置(2)或者立体声声像扩散装置(3)的输出，根据是扬声器再现还是头戴耳机再现的选择结果，是在头戴耳机再现的情况下，将所述输出传递给头戴耳机(8)；立体音响加速器(7)，其在所述选择装置(6)中的选择结果是扬声器再现的情况下，接收来自所述选择装置(6)的输出，消除用扬声器再现所述输出时产生的串扰，并用扬声器(9)进行输出。
2.根据权利要求1所述的立体音响形成装置，其特征在于所述立体声声像扩散装置(3)能调节扩散强度。
3.根据权利要求2所述的立体音响形成装置，其特征在于所述扩散强度的调节仅在2声道的差(L-R)部分适用特定的滤波器(MEX)。
4.根据权利要求1所述的立体音响形成装置，其特征在于在所述单声道声像扩散装置(2)中，使用具备增益随频率振动且如果频率增加则所述增益也增加的特性的滤波器(MEX12)。
5.根据权利要求1所述的立体音响形成装置，其特征在于，还包括位置信息接收装置(12、13)，其在其中输入用于将源音(11)定位于期望的位置的位置信息；三维声音合成器(4)，其利用所述源音(11)和从所述位置信息接收装置(12、13)输入的位置信息以及HRTF DB，以使声像在期望的位置形成的方式进行变换。
6.根据权利要求5所述的立体音响形成装置，其特征在于所述输入的位置是经时间变化的移动路径上的位置。
7.根据权利要求5所述的立体音响形成装置，其特征在于所述输入的位置是由使用者输入。
8.根据权利要求1所述的立体音响形成装置，其特征在于所述立体音响形成装置使用于携带用终端的音响处理部中。
9.一种立体音响形成方法，其特征在于，包括输入声源文件后，对是单声道还是立体声进行判别的步骤；当在所述判别步骤中判别为单声道时，将声源变换为虚拟立体声并进行声像扩散的单声道声像扩散步骤；当在所述判别步骤中判别为立体声时，对声源进行声像扩散的立体声声像扩散步骤；接收来自所述单声道声像扩散步骤或者立体声声像扩散步骤的输出，根据是扬声器再现还是头戴耳机再现的选择结果，在头戴耳机再现的情况下，将所述输出传递给头戴耳机的选择步骤；在所述选择阶段中如果选择结果是扬声器再现，则消除当用扬声器再现所述输出时产生的串扰并用扬声器(9)进行输出的立体音响加速步骤。
10.根据权利要求9所述的立体音响形成方法，其特征在于，还包括位置信息接收步骤，其输入用于将源音定位于期望的位置的位置信息；三维声音合成步骤，其利用所述源音和从所述位置信息接收步骤输入的位置信息以及HRTF DB，以使声像在期望的位置形成的方式进行变换。
11.根据权利要求10所述的立体音响形成方法，其特征在于所述输入的位置是经时间变化的移动路径上的位置。
12.根据权利要求10所述的立体音响形成方法，其特征在于所述输入的位置是由使用者输入。
13.根据权利要求10所述的立体音响形成方法，其特征在于所述输入的位置是由游戏的图形信息进行输入。
14.根据权利要求10所述的立体音响形成方法，其特征在于所述立体音响形成方法使用于携带用终端的音响处理部中。
全文摘要
提供立体音响形成装置及方法，所述装置的特征在于，包括判别装置，其输入声源文件后，对是单声道还是立体声进行判别；单声道声像扩散装置，其在所述判别装置中判别为单声道时，将声源变换为虚拟立体声并进行声像扩散；立体声声像扩散装置，其在所述判别装置中判别为立体声时，对声源进行声像扩散；选择装置，其接收来自所述单声道声像扩散装置或者立体声声像扩散装置的输出，根据是扬声器再现还是头戴耳机再现的选择结果，是在头戴耳机再现的情况下，将所述输出传递给头戴耳机；立体音响加速器，其在所述选择装置中的选择结果是扬声器再现的情况下，接收来自所述选择装置的输出，消除用扬声器再现所述输出时产生的串扰，并用扬声器进行输出。
文档编号H04R5/00GK1722914SQ20051008355
公开日2006年1月18日 申请日期2005年7月11日 优先权日2004年7月9日
发明者金丰民, 金玄锡, 金镇彧, 李东雨, 李仁鰝, 崔容硕, 具玎谋, 李明哲, 申东鲜, 金钟佑 申请人:新兴系统株式会社