专利名称：从立体声音乐中提取伴奏、人声的方法及其装置的制作方法
技术领域：
本发明涉及音频处理技术领域，特别是涉及一种从立体声音乐中提取伴奏的方法及其装置、一种从立体声音乐中提取人声的方法及其装置。
背景技术：
目前，一些音频播放软件或者是音频处理软件已经具备从歌曲中提取伴奏音乐的功能。例如，用户想录制自己演唱的歌曲，但是又找不到这首歌曲的伴奏音乐，就可以利用上述功能，从原唱歌曲中把伴奏音乐分离并提取出来。现有的提取伴奏方法，往往利用大多数歌曲中人声在左右两个声道中基本相同的特点，采用将两个声道中的信号直接对减的方法来消除人声。如图1所示，为现有技术提取伴奏的方法示意图。从图中可以看出，用左声道的音频信号减去右声道的音频信号，由于两个声道中相同的人声部分被消除，因此得到的信号为左声道的伴奏，用右声道的音频信号减去左声道的音频信号，同样的，相同的人声部分被消除，得到的信号作新右声道的伴奏， 然后将两路信号重新合成，即得到伴奏音乐。进一步，从立体声音乐中减去伴奏音乐可以得到人声。上述方法具有如下缺点有些歌曲中，人声在左右两个声道中并没有准确对齐，直接将左右两声道的音频信号对减，往往不能有效的消除人声，会有部分人声残余；此外，如果伴奏音乐在左右两个声道中出现相同部分时，通过对减也会消除部分伴奏，使得提取的伴奏音乐准确度较低，从而引起伴奏音乐的音质下降。由于提取的伴奏的音质效果不好，因此从立体声中通过消除伴奏音乐所得到的人声，质量也较差。总之，需要本领域技术人员迫切解决的一个技术问题就是如何能够提供一种人声与伴奏的分离技术，能够有效的提取出人声和伴奏，并且提高音质效果。
发明内容
本发明所要解决的技术问题是提供一种从立体声音乐中提取伴奏、人声的方法及其装置，能够有效的提取出人声和伴奏，并且提高音质效果。为了解决上述问题，本发明公开了一种从立体声音乐中提取伴奏的方法，包括分别将左声道信号和右声道信号由时域信号转换为频域信号；依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；分别对左声道信号和右声道信号的相应频点对加权伴奏增益；其中，所述伴奏增益与当前频点对的归一化互相关值成反比例取值；将加权伴奏增益后的左声道信号和右声道信号由频域信号转换为时域信号，分别提取出左声道伴奏和右声道伴奏。优选的，所述将左声道信号和右声道信号由时域信号转换为频域信号包括分别将时域的左声道信号和右声道信号经过分析窗加权；通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。
优选的，所述将左声道信号和右声道信号由频域信号转换为时域信号包括通过傅立叶逆变换分别将左声道信号和右声道信号由频域信号转换为时域信号； 分别将时域的左声道信号和右声道信号经过综合窗加权。优选的，对左声道信号和右声道信号的相应频点对加权伴奏增益之前，还包括采用平滑窗对所述归一化互相关值进行频域平滑处理；采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。优选的，所述伴奏增益取值为一减去当前频点对的归一化互相关值。此外，本发明还公开了一种从立体声音乐中提取人声的方法，包括分别将左声道信号和右声道信号由时域信号转换为频域信号；依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；对左声道信号和右声道信号相应频点对的均值信号加权人声增益；其中，所述人声增益与当前频点对的归一化互相关值成正比例取值；将加权人声增益后的左声道和右声道的均值信号由频域信号转换为时域信号，提取出人声。优选的，所述将左声道信号和右声道信号由时域信号转换为频域信号包括分别将时域的左声道信号和右声道信号经过分析窗加权；通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。优选的，所述将左声道和右声道的均值信号由频域信号转换为时域信号包括通过傅立叶逆变换分别将左声道和右声道的均值信号由频域信号转换为时域信号；将时域的左声道和右声道的均值信号经过综合窗加权。优选的，对左声道信号和右声道信号相应频点对的均值信号加权人声增益之前， 还包括采用平滑窗对所述归一化互相关值进行频域平滑处理；采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。优选的，所述人声增益取值为当前频点对的归一化互相关值。相应的，本发明还提出了一种从立体声音乐中提取伴奏的装置，包括第一频域信号转换模块，用于分别将左声道信号和右声道信号由时域信号转换为频域信号；第一互相关值计算模块，用于依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；伴奏增益加权模块，用于分别对左声道信号和右声道信号的相应频点对加权伴奏增益；其中，所述伴奏增益与当前频点对的归一化互相关值成反比例取值；第一时域信号转换模块，用于将加权伴奏增益后的左声道信号和右声道信号由频域信号转换为时域信号，分别提取出左声道伴奏和右声道伴奏。优选的，所述第一频域信号转换模块包括第一分析窗加权子模块，用于分别将时域的左声道信号和右声道信号经过分析窗加权；第一傅立叶变换子模块，用于通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。
优选的，所述第一时域信号转换模块包括第一傅立叶逆变换子模块，用于通过傅立叶逆变换分别将左声道信号和右声道信号由频域信号转换为时域信号；第一综合窗加权子模块，用于分别将时域的左声道信号和右声道信号经过综合窗加权。优选的，所述装置还包括第一时频平滑处理模块，用于采用平滑窗对所述归一化互相关值进行频域平滑处理；以及采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。优选的，所述伴奏增益取值为一减去当前频点对的归一化互相关值。相应的，本发明还提出了一种从立体声音乐中提取人声的装置，包括第二频域信号转换模块，用于分别将左声道信号和右声道信号由时域信号转换为频域信号；第二互相关值计算模块，用于依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；人声增益加权模块，用于对左声道信号和右声道信号相应频点对的均值信号加权人声增益；其中，所述人声增益与当前频点对的归一化互相关值成正比例取值；第二时域信号转换模块，用于将加权人声增益后的左声道和右声道的均值信号由频域信号转换为时域信号，提取出人声。优选的，所述第二频域信号转换模块包括第二分析窗加权子模块，用于分别将时域的左声道信号和右声道信号经过分析窗加权；第二傅立叶变换子模块，用于通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。优选的，所述第二时域信号转换模块包括第二傅立叶逆变换子模块，用于通过傅立叶逆变换分别将左声道和右声道的均值信号由频域信号转换为时域信号；第二综合窗加权子模块，用于将时域的左声道和右声道的均值信号经过综合窗加权。优选的，所述装置还包括第二时频平滑处理模块，用于采用平滑窗对所述归一化互相关值进行频域平滑处理；以及采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。优选的，所述人声增益取值为当前频点对的归一化互相关值。与现有技术相比，本发明具有以下优点本发明利用立体声音乐的特点人声往往在声场的中央，在左右声道差异较小，而乐器所演奏的伴奏在左右声道差异较大，创造性地提出了一种提取伴奏和人声的方法。具体的，将左右两个声道的信号由时域转换到频域，然后分析两路信号在各个频段的互相关性，将互相关性弱的频段给与较高增益，将互相关性强的频段给与较低增益，最后将频域信号恢复为时域信号，从而消弱了人声，提取了伴奏；同时，保留了伴奏音乐在左右两个声道中各自的特点，保持了立体声音乐的特性。
相反地，通过分析两路信号在各个频段的互相关性，将互相关性弱的频段给予较低增益，将互相关性强的频段给予较高增益，最后将频域信号恢复为时域信号。从而消弱了伴奏，提取了人声，从而达到分离伴奏和人声的目的，并且提高了音质效果。
图1是本发明一种从立体声音乐中提取伴奏的方法实施例的流程图；图2是本发明一种从立体声音乐中提取人声的方法实施例的流程图；图3是本发明一种从立体声音乐中提取伴奏的装置实施例的结构图；图4是本发明一种从立体声音乐中提取人声的装置实施例的结构图；图5是本发明一种伴奏、人声相分离的系统实施例的原理示意图；图6是本发明一种频域互相关伴奏、人声分离单元实施例的原理示意图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。参照图1，示出了本发明一种从立体声音乐中提取伴奏的方法实施例的流程图，包括步骤101，分别将左声道信号和右声道信号由时域信号转换为频域信号；人声往往在声场的中央，在左右声道差异较小；而乐器所演奏的伴奏在左右声道差异较大。并且，人声的频率范围和伴奏的频率范围几乎不同。因此，本发明实施例将音频信号由时域转换到频域进行处理。具体的，所述步骤101包括如下子步骤子步骤1011，分别将时域的左声道信号和右声道信号经过分析窗加权；为了对音频信号进行频域处理，一般采用截取函数对信号进行截断，分帧处理。截断函数称为窗函数，简称为窗。左右声道的信号分别经过分析窗加权，分析窗一般采用正弦窗，设置50%的叠加，叠加目的是使处理后信号的帧与帧之间能够平滑连接。假设表示左声道时域信号、χΕ(η)表示右声道时域信号，xLff(n)表示左声道加窗后的时域信号、xM(η)表示右声道加窗后的时域信号，w(n)表示窗函数，窗长为N，则
γ π /、 .冗.(《 + 0.5) _ .T .w{n) = sin----,η = 0,···,Ν
NxLff(η) = xL(η) · w(η), xEff(η) = χΕ(η) · w(n), η = 0, ".,Ν-1。子步骤1012，通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。针对加窗后的时域信号，通过傅立叶变换FFT分别将左声道时域信号xM(n)和右声道时域信号xM(n)从时域转换到频域。由于傅立叶变换由时域转换为频域的技术实现为本领域内的公知技术，本发明实施例在此不再赘述。步骤102，依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；本步骤对左、右声道的频域信号进行归一化互相关处理。假设左声道信号第i个频点的实部为Re_L(i)，虚部为Im_L(i)；右声道信号第i个频点的实部为Re_R(i)，虚部为 Im_lUi)；其中，i = 0，. . .，N-I,即FFT的频点数为N。由于时域的相关等价于频域的共轭相乘，因此可以得出，左声道信号第i个频点与右声道信号第i个频点的互相关为CorrLR (i) = Re_L(i)*Re_R(i)+Im_L(i)*Im_R(i)；左声道信号第i个频点的自相关为CorrLL (i) = Re_L (i) *Re_L (i)+Im_L (i) *Im_L (i)；右声道信号第i个频点的自相关为CorrRR (i) = Re_R(i) *Re_R(i)+Im_R(i) *Im_R(i)；则左声道信号和右声道信号的第i个频点对的归一化互相关值为
Τ ,.、CorrLR(i)_COrrLR(1)=VCorrLL ⑴ ^rrRR ⑴。需要说明的是，对于实信号而言，做N点FFT，生成N点频域样本，其中后半部分 (N/2+1，....，N-1)和前半部分(N/2-1，....，1)样本值互为共轭复数，即实部相等，虚部相反。因此，只需要计算出所有i = O N/2的左右声道信号的频点对的互相关值。在本发明的一个优选是实施例中，所述方法还包括采用平滑窗对所述归一化互相关值进行频域平滑处理；以及采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。为了保证频域互相关值的平滑性，需要做频域平滑，即用某频点及其周围若干频点的值进行加权平均，所得值作为该点的替代值以滤去小扰动的方法。针对帧内频点进行处理，平滑窗可以使用长度为S的正弦窗，窗函数为ws(m) = l/C*sin7l(m^Q'5),m = 0,---,S-l则频域平滑处理后的归一化互相关值为
S-IcorrLR—S(i) = ^ corrLR(i - S / 2 + m) · w s (m), i = O,…，N / 2。
m=0采用上述正弦窗对corrLR(i)做频域平滑。即得到了频域平滑后的归一化互相关 corrLR_S(i)，本发明实施例中可选取S = 11，C = 7。为了保证时域互相关值的平滑性，还需要作时域平滑，即用某时刻及其前后若干时刻的值进行加权平均，所得值作为该时刻的替代值以滤去小扰动的方法，针对帧间频点进行处理。使用一个一阶低通滤波处理即可corrLR_T (i) = corrLR_Told (i) * α +corrLR_S (i) * (1- α )；其中，α为平滑因子，corrLR_T。1(^i)为前一帧的corrLR_T(i)，本发明实施例中采用α =0. 5。步骤103，分别对左声道信号和右声道信号的相应频点对加权伴奏增益；其中，所述伴奏增益与当前频点对的归一化互相关值成反比例取值；由于人声往往在声场中央，在左右声道差异较小；而乐器的伴奏音频往往左右声道差异较大。因此，伴奏在左右两个声道中的频点相关性较低，人声在左右两个声道中的频点相关性较强。为了提取出伴奏，对互相关性弱的频点加权较高增益，从而增强伴奏，对互相关性强的频点加权较低增益，从而消减人声。具体的，加权的伴奏增益与当前频点对的归一化互相关值成反比例取值，则当归一化互相关值较小时，说明左右声道频点对的相关性较低，加权的增益值较大；当归一化互相关值较大时，说明左右声道频点对的相关性较高，加权的增益较小。在本发明的一个优选实施例中，所述伴奏增益取值为一减去当前频点对的归一化互相关值。由于通过频域和时域平滑处理后，得到的归一化互相关值COrrLR_T(i)是一个0 和1之间的数，当相关性强时，接近1 ；当相关性弱时，接近0。因此，本发明优选实施例中， 根据COrrLR_T(i)的值选取伴奏增益的值。设左、右声道信号第i个频点对的伴奏增益为 gain_M(i)，则gain_M(i) = l_corrLR_T(i)。然后用求得的伴奏增益加权左、右声道的频域信号。假设左声道伴奏第i个频点的实部为Re_LM(i)，虚部为Im_LM(i)；右声道伴奏第i个频点的实部为Re_RM(i)，虚部为 Im_RM(i) ο 则有Re_LM(i) = Re_L(i)*gain_M(i)；Im_LM(i) = Im_L(i)*gain_M(i)；Re_RM(i) = Re_R(i) *gain_M(i)；Im_RM(i) = Im_R(i) *gain_M(i)。通过对左右声道各个频点进行不同增益加权，就可以提取出了伴奏的频域信号。步骤104，将加权伴奏增益后的左声道信号和右声道信号由频域信号转换为时域信号，分别提取出左声道伴奏和右声道伴奏。具体的，所述步骤104包括如下子步骤子步骤1041，通过傅立叶逆变换分别将左声道信号和右声道信号由频域信号转换为时域信号；针对加权伴奏增益后的频域信号，通过傅立叶逆变换IFFT分别将左、右声道的频域信号从频域转换到时域。具体的，将提取出的左声道的伴奏频域信号由频域转换到时域， 获得左声道伴奏时域信号；将提取出的右声道的伴奏频域信号由频域转换到时域，获得右声道伴奏时域信号。子步骤1042，分别将时域的左声道信号和右声道信号经过综合窗加权。由于信号由时域转频域时进行了分析窗加权，因此，信号由频域转时域之后需要加权综合窗，以去除分析窗函数对信号的影响。同前面分析窗一样，对加综合窗后的时域信号也有50%叠加，以恢复出正确的时域信号。假设χ' L(n)表示IFFT变换后的左声道时域信号、χ' E(n)表示右声道时域信号， X' M(n)表示左声道加窗后的时域信号、X' KW(n)表示右声道加窗后的时域信号，W(n)表示窗函数，窗长为N，则χ' LW(n) = χ' L(η) ‘ w(n) ；χ' Eff(n) = χ' Ε (η) · w(η)，η = 0，...，Ν_1。通过频域转时域，并加综合窗后，最终提取出左声道的伴奏信号和右声道的伴奏信号。本发明实施例将左右两个通道的信号分别由时域转换到频域，然后分析两路信号在各个频段的互相关性，对互相关性弱的频段加权较高增益，对互相关性强的频段加权较低增益，最后将频域信号恢复为时域信号。从而消弱了人声，提取了伴奏，同时保留两个通道的立体声特性。参照图2，示出了本发明一种从立体声音乐中提取人声的方法实施例的流程图，包括步骤201，分别将左声道信号和右声道信号由时域信号转换为频域信号；具体的，所述步骤101包括如下子步骤子步骤2011，分别将时域的左声道信号和右声道信号经过分析窗加权；子步骤2012，通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。上述步骤的处理过程与从立体声音乐中提取伴奏的方法类似，具体可参见提取伴奏方法实施例的步骤101。步骤202，依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；与伴奏提取方法相同，左声道信号和右声道信号的第i个频点对的归一化互相关值为
权利要求
1.一种从立体声音乐中提取伴奏的方法，其特征在于，包括 分别将左声道信号和右声道信号由时域信号转换为频域信号； 依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；分别对左声道信号和右声道信号的相应频点对加权伴奏增益；其中，所述伴奏增益与当前频点对的归一化互相关值成反比例取值；将加权伴奏增益后的左声道信号和右声道信号由频域信号转换为时域信号，分别提取出左声道伴奏和右声道伴奏。
2.如权利要求1所述的方法，其特征在于，所述将左声道信号和右声道信号由时域信号转换为频域信号包括分别将时域的左声道信号和右声道信号经过分析窗加权； 通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。
3.如权利要求1所述的方法，其特征在于，所述将左声道信号和右声道信号由频域信号转换为时域信号包括通过傅立叶逆变换分别将左声道信号和右声道信号由频域信号转换为时域信号； 分别将时域的左声道信号和右声道信号经过综合窗加权。
4.如权利要求1所述的方法，其特征在于，对左声道信号和右声道信号的相应频点对加权伴奏增益之前，还包括采用平滑窗对所述归一化互相关值进行频域平滑处理； 采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。
5.如权利要求4所述的方法，其特征在于，所述伴奏增益取值为一减去当前频点对的归一化互相关值。
6.一种从立体声音乐中提取人声的方法，其特征在于，包括 分别将左声道信号和右声道信号由时域信号转换为频域信号； 依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；对左声道信号和右声道信号相应频点对的均值信号加权人声增益；其中，所述人声增益与当前频点对的归一化互相关值成正比例取值；将加权人声增益后的左声道和右声道的均值信号由频域信号转换为时域信号，提取出人声。
7.如权利要求6所述的方法，其特征在于，所述将左声道信号和右声道信号由时域信号转换为频域信号包括分别将时域的左声道信号和右声道信号经过分析窗加权； 通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。
8.如权利要求6所述的方法，其特征在于，所述将左声道和右声道的均值信号由频域信号转换为时域信号包括通过傅立叶逆变换分别将左声道和右声道的均值信号由频域信号转换为时域信号； 将时域的左声道和右声道的均值信号经过综合窗加权。
9.如权利要求6所述的方法，其特征在于，对左声道信号和右声道信号相应频点对的均值信号加权人声增益之前，还包括采用平滑窗对所述归一化互相关值进行频域平滑处理；采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。
10.如权利要求9所述的方法，其特征在于，所述人声增益取值为当前频点对的归一化互相关值。
11.一种从立体声音乐中提取伴奏的装置，其特征在于，包括第一频域信号转换模块，用于分别将左声道信号和右声道信号由时域信号转换为频域信号；第一互相关值计算模块，用于依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；伴奏增益加权模块，用于分别对左声道信号和右声道信号的相应频点对加权伴奏增益；其中，所述伴奏增益与当前频点对的归一化互相关值成反比例取值；第一时域信号转换模块，用于将加权伴奏增益后的左声道信号和右声道信号由频域信号转换为时域信号，分别提取出左声道伴奏和右声道伴奏。
12.如权利要求11所述的装置，其特征在于，所述第一频域信号转换模块包括 第一分析窗加权子模块，用于分别将时域的左声道信号和右声道信号经过分析窗加权；第一傅立叶变换子模块，用于通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。
13.如权利要求11所述的装置，其特征在于，所述第一时域信号转换模块包括第一傅立叶逆变换子模块，用于通过傅立叶逆变换分别将左声道信号和右声道信号由频域信号转换为时域信号；第一综合窗加权子模块，用于分别将时域的左声道信号和右声道信号经过综合窗加权。
14.如权利要求11所述的装置，其特征在于，所述装置还包括第一时频平滑处理模块，用于采用平滑窗对所述归一化互相关值进行频域平滑处理； 以及采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。
15.如权利要求14所述的装置，其特征在于，所述伴奏增益取值为一减去当前频点对的归一化互相关值。
16.一种从立体声音乐中提取人声的装置，其特征在于，包括第二频域信号转换模块，用于分别将左声道信号和右声道信号由时域信号转换为频域信号；第二互相关值计算模块，用于依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；人声增益加权模块，用于对左声道信号和右声道信号相应频点对的均值信号加权人声增益；其中，所述人声增益与当前频点对的归一化互相关值成正比例取值；第二时域信号转换模块，用于将加权人声增益后的左声道和右声道的均值信号由频域信号转换为时域信号，提取出人声。
17.如权利要求16所述的装置，其特征在于，所述第二频域信号转换模块包括 第二分析窗加权子模块，用于分别将时域的左声道信号和右声道信号经过分析窗加权；第二傅立叶变换子模块，用于通过傅立叶变换分别将左声道信号和右声道信号由时域信号转换为频域信号。
18.如权利要求16所述的装置，其特征在于，所述第二时域信号转换模块包括第二傅立叶逆变换子模块，用于通过傅立叶逆变换分别将左声道和右声道的均值信号由频域信号转换为时域信号；第二综合窗加权子模块，用于将时域的左声道和右声道的均值信号经过综合窗加权。
19.如权利要求16所述的装置，其特征在于，所述装置还包括第二时频平滑处理模块，用于采用平滑窗对所述归一化互相关值进行频域平滑处理； 以及采用一阶低通滤波对所述归一化互相关值进行时域平滑处理。
20.如权利要求19所述的装置，其特征在于， 所述人声增益取值为当前频点对的归一化互相关值。
全文摘要
本发明提供了一种从立体声音乐中提取伴奏、人声的方法及其装置，提取伴奏的方法包括分别将左右声道信号由时域转换为频域；计算左右声道信号的相应频点对的归一化互相关值；分别对左右声道信号的相应频点对加权伴奏增益，伴奏增益与当前频点对的归一化互相关值成反比例取值；将加权伴奏增益后的左声道和右声道信号由频域转换为时域，分别提取出左声道和右声道伴奏。提取人声的方法包括对左右声道信号相应频点对的均值信号加权人声增益，人声增益与当前频点对的归一化互相关值成正比例取值；将加权人声增益后的左声道和右声道的均值信号由频域转换为时域提取出人声。本发明可以有效的提取出人声和伴奏，并且提高音质效果。
文档编号H04S1/00GK102402977SQ20101028270
公开日2012年4月4日 申请日期2010年9月14日 优先权日2010年9月14日
发明者冯宇红, 张晨 申请人:无锡中星微电子有限公司