直达声与背景声提取方法、扬声器系统及其声重放方法与流程

本发明涉及立体声双通道信号转换为多通道信号的方法，具体涉及一种基于频域空间分解的直达声与背景声提取方法、扬声器系统及其声重放方法。

背景技术

目前大多数的音源仍然是立体声的，包括cd、mp3、广播信号等都是双通道输出，仅有左右通道(l、r)，所有的特征信息，比如直达声信号、混响声信号、声源位置、声场空间大小等都包含在两个通道内。当采用多个扬声器重放立体声音源时，如果直接将左右通道信号馈给各个扬声器，会造成空间声场的混乱。因此，需要采用数字信号处理技术将立体声信号转换为多通道信号，通过多个扬声器系统进行重放，以构建真实的空间声场。

传统处理方法一般采用时域逐点计算的方法，在分离直达声和背景声信号时，由于相关系数是采用逐点计算的方法，容易引入误差，导致直达声与背景声不能很好的区分。

如美国专利us6496584b2和中国专利zl01802081.x公开的基于主成分分析(pca)的方法，采用最小均方误差法计算左右通道的加权因子，分离出语言声与背景声，通过计算左右通道间的相关系数，确定在三维坐标下声信号的矢量关系，然后根据能量守恒原则将语言声与背景声分为左、中、右和环绕四个信号，再通过去相关滤波器把环绕信号分为左后和右后环绕，实现双通道到5通道的转换。这种方法从时域上进行计算，方法简单，运算速度快，但是通过pca分析只能分离出一个环绕信号，而利用去相关滤波器分离左后和右后环绕的方法会产生一定的误差。

技术实现要素：

针对上述问题，本发明旨在提出一种直达声与背景声提取方法，能够较好地区分直达声与背景声。本发明还旨在提出一种基于该直达声与背景声提取方法进行声重放的扬声器系统及其声重放方法。

根据本发明的第一个方面，本发明采用的技术方案为：

一种直达声与背景声提取方法，包括如下步骤：

s1、分别将左声道信号xl(n)和右声道信号xr(n)进行短时傅里叶变换得到分别对应左声道信号和右声道信号的xl(m，k)和xr(m，k)，其中n表示时域采样点，m和k分别表示离散时间和离散频率；

s2、引入空间因子，将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号，并分别对xl(m，k)和xr(m，k)进行能量估计，得出左右声道的能量pl(m，k)和pr(m，k)；

s3、设定空间因子的值，进行信号分离得出时频域的直达声信号的估计左声道背景声信号的估计和右声道背景声信号的估计

s4、经过逆傅里叶变换得到直达声信号左声道背景声信号和右声道背景声信号

在一实施例，步骤s1中，

其中，j表示空间中存在的直达声源的个数，sj(n)表示某个时刻的直达声信号，分别表示直达声信号分配给左右通道信号的系数，nl(n)和nr(n)分别表示左右通道的背景信号；

其中，sj(m，k)表示时频域的直达声信号，分别表示直达声信号分配给左右通道信号的系数的时频域表达式，nl(m，k)和nr(m，k)分别表示左右通道的背景信号的时频域表达式。

在一实施例中，步骤s2具体包括：

s21、在某一时间m和某一频段k，只存在一个声源si，则

其中，al、ar分别表示直达声信号分配给左右通道信号的系数；

s22、引入空间因子bl(m，k)和br(m，k)，得出如下表达式，nl(m，k)＝bl(m，k)n(m，k)，nr(m，k)＝br(m，k)n(m，k)，

其中，n(m，k)表示时频域的背景信号，bl(m，k)、br(m，k)分别表示左右通道空间因子的幅度，分别表示左右通道空间因子的相位；

则，xl(m，k)和xr(m，k)分别简化为：

xl(m，k)＝al(m，k)s(m，k)+bl(m，k)n(m，k)

xr(m，k)＝ar(m，k)s(m，k)+br(m，k)n(m，k)

左右声道信号之间的相关系数

其中，e{}表示信号的期望；

s23、从能量角度可以得出左右声道的能量pl(m，k)和pr(m，k)分别为：

优选地，步骤s3具体包括：设定空间因子的值，得到ps(m，k)，pn(m，k)，al(m，k)，ar(m，k)的解析解，计算出下式(1)和(2)

将空间因子bl(m，k)和br(m，k)分别代入式(2)中，得到和

更优选地，设定空间因子的值bl(m，k)＝br(m，k)＝1，

根据本发明的第二个方面，本发明采用的技术方案为：

一种扬声器系统的声重放方法，采用如上所述的直达声与背景声提取方法分离出直达声信号和背景声信号，将直达声信号和背景声信号分配给扬声器系统的各个扬声器，以进行声重放。

具体地，根据立体声信号中声像的方位及所述扬声器系统的扬声器数量和位置，将直达声信号和背景声信号分配给扬声器系统的各个扬声器。

根据本发明的第三个方面，本发明采用的技术方案为：

一种扬声器系统，包括多个扬声器，其特征在于，所述扬声器系统还包括用于执行如上所述的直达声与背景声提取方法的提取装置。

具体地，所述提取装置包括包括依次连接的stft模块、能量估计模块、信号分离模块及istft模块，

所述stft模块的输入为左声道信号xl(n)和右声道信号xr(n)，用于进行短时傅里叶变换后输出对应左声道信号和右声道信号的xl(m，k)和xr(m，k)；

所述能量估计模块，用于接收stft模块输出的xl(m，k)和xr(m，k)，并引入空间因子，将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号，并分别对xl(m，k)和xr(m，k)进行能量估计，得出左右声道的能量pl(m，k)和pr(m，k)并输出至所述信号分离模块；

所述信号分离模块，用于设定空间因子的值，进行信号分离得出科并输出至所述istft模块；

所述istft模块，用于进行逆傅里叶变换，输出直达声信号左声道背景声信号和右声道背景声信号

本发明采用以上方案，相比现有技术具有如下优点：

通过定义左右声道信号之间的空间因子变量，以表征背景声信号在声传播过程中由于房间混响、空间大小等因素引起的左右通道之间的差异；可以分离出左右通道的背景声信号，而传统方法只能分离出一个背景信号。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的直达声与背景声提取方法的信号处理流程图；

图2示出了左右声道信号；

图3示出了左右声道信号在某个时刻的相关系数；

图4a、4b、4c分别示出了分离后的直达声信号、左声道背景声信号、右声道背景声信号。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域的技术人员理解。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。

本实施例提供一种直达声与背景声提取方法，参照图1所示的信号流程图，该提取方法包括如下步骤：

s1、分别将左声道信号xl(n)和右声道信号xr(n)进行短时傅里叶变换(stft)得到分别对应左声道信号和右声道信号的xl(m，k)和xr(m，k)，其中n表示时域采样点，m和k分别表示离散时间和离散频率；

s2、引入空间因子，将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号，并分别对xl(m，k)和xr(m，k)进行能量估计，得出左右声道的能量pl(m，k)和pr(m，k)；

s3、设定空间因子的值，进行信号分离得出时频域的直达声信号的估计左声道背景声信号的估计和右声道背景声信号的估计

s4、经过逆傅里叶变换(istft)得到时域的直达声信号左声道背景声信号和右声道背景声信号

具体地，如图2所示，左、右声道信号分别为：

其中，sj(n)表示某个时刻的直达声信号，表示直达声信号分配给左右通道信号的系数，nl(n)和nr(n)表示左右通道的背景信号。

s1、经过短时傅里叶变换后(stft)，得到

其中，m和k分别表示时间和频率。

s2、有两个假设：

s21、在某个时间m和某个频段k，只存在一个声源si，即因此

s22、引入空间因子b，将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号，类似于直达声信号的表达方式，即nl(m，k)＝bl(m，k)n(m，k)，nr(m，k)＝br(m，k)n(m，k)

这样，上述公式可以简化为

xl(m，k)＝al(m，k)s(m，k)+bl(m，k)n(m，k)

xr(m，k)＝ar(m，k)s(m，k)+br(m，k)n(m，k)

左右声道信号之间的相关系数(如图3所示)定义为

s23、从能量角度可以得出左右通道的能量分别为：

s3、一般情况下，背景声能量小于直达声能量，并且所以传统做法是忽略pn(m，k)，即

在这里，假设空间因子的值为bl＝br＝1，没有忽略pn(m，k)的贡献，这样就得到ps(m，k)，pn(m，k)，al(m，k)，ar(m，k)的解析解。

于是，可以计算出s(m，k)，n(m，k)

再将空间因子bl(m，k)和br(m，k)代入其中，可以得到nl(m，k)，nr(m，k)。

s4、最后经过逆傅里叶变换得到分别如图4a、4b、4c所示的直达声信号背景声信号和

该提取方法中，(1)通过定义左右声道信号之间的空间因子变量，以表征背景声信号在声传播过程中由于房间混响、空间大小等因素引起的左右通道之间的差异；(2)可以分离出左右通道的背景声信号，而传统方法只能分离出一个背景信号；(3)加入空间因子后的计算过程比较简单，可以得到直达声与背景声的解析解。

本实施例还提供一种扬声器系统的声重放方法，该扬声器系统包括多个扬声器，各扬声器分别布放在不同位置。该声重放方法是一种立体声转换多通道声信号的方法，具体包括：采用如上所述的直达声与背景声提取方法分离出直达声信号和背景声信号，根据立体声信号中声像的方位及所述扬声器系统的扬声器数量和位置，将直达声信号和背景声信号分配给扬声器系统的各个扬声器，从而完成声重放。

本实施例还提供一种扬声器系统，包括多个扬声器，所述扬声器系统还包括用于执行如上所述的直达声与背景声提取方法的提取装置。结合图1所示，该提取装置具体包括依次连接的stft模块、能量估计模块、信号分离模块及istft模块。其中，stft模块的输入为左声道信号xl(n)和右声道信号xr(n)，进行短时傅里叶变换后输出对应左声道信号和右声道信号的xl(m，k)和xr(m，k)；能量估计模块接收stft模块输出的xl(m，k)和xr(m，k)，并引入空间因子，将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号，并分别对xl(m，k)和xr(m，k)进行能量估计，得出左右声道的能量pl(m，k)和pr(m，k)以及al、ar并输出至信号分离模块；信号分离模块还设定空间因子的值，进行信号分离得出科并输出至istft模块；istft模块分别进行逆傅里叶变换，输出直达声信号左声道背景声信号和右声道背景声信号

上述实施例只为说明本发明的技术构思及特点，是一种优选的实施例，其目的在于熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限定本发明的保护范围。