专利名称：基于语音信号分离模型的立体声回波消除方法及其系统的制作方法
技术领域：
本发明涉及封闭语音环境中的回波消除技术，具体是指一种基于语音信号分离模型的立体声回波消除方法及其系统。
背景技术：
随着多媒体通信技术的发展，电视电话会议和车载免提无线电话系统已日益普及。在这类由扬声器、房间和麦克风构成的闭合语音环境中存在声学回波影响通信的正常进行，因此需要设置回波消除器来减少回波的干扰。而随着人们对保真度要求的提高，为了增强与会者身临其境的感觉，采用立体声是必不可少的，但是，由于扬声器和麦克风的数目的增多，由此产生多路回波消除问题。与单路回波消除相比，以立体声情况为代表的多路回波消除因为输入信号之间的强相关性而存在回波消除器的解不唯一，失调很大，即无法唯一辨识近端房间的脉冲响应的本质问题，不能很好地满足应用要求。现有的回波消除专利技术许多都是针对单路回波消除，运用传统的自适应滤波器已经取得了比较好的效果，但是直接将单路的情况扩展到多路的传统方法并不能满足实际的应用需求。申请号为200610034214.6的中国发明专利申请公开了一种“基于SIMO信道盲辨识的多路回波消除系统”，这是一项针对多路回波消除的技术，该技术的主要思想是将盲信号分离技术应用于多路回波消除模型；但这项技术难以克服盲信号分离技术本身的运算量巨大、运算速度较慢的缺陷，在该技术中需要用到的初始构造矩阵、后续构造矩阵等均占用极大的存储空间，也会导致硬件成本较高。
发明内容
本发明的目的在于克服上述现有技术的缺点和不足，提供一种结构简单、运算量小、实时性强、易于硬件的实现、收敛速度快、失调小、残余回波少、话音通信质量好的基于语音信号分离模型的立体声回波消除系统。
本发明的另一目的在于提供一种基于语音信号分离模型的立体声回波消除方法。
本发明的目的通过下述技术方案实现一种基于语音信号分离模型的立体声回波消除系统，包括回波消除器、麦克风、扬声器；近端麦克风与远端扬声器一对一连接成对，而远端麦克风也与近端扬声器一对一连成对，每一对麦克风、扬声器之间连接一个回波消除器；其特征在于所述回波消除器包括周期功率检测模块、脉冲响应差异测量模块、语音信号分离模块、对讲检测模块、回波路径估计模块、加法器，所述周期功率检测模块与脉冲响应差异测量模块、语音信号分离模块、加法器依次连接，对讲检测模块通过输入端与近端扬声器和麦克风相连，通过输出端分别与语音信号分离模块和回波路径估计模块连接，所述语音信号分离模块通过输入端与近端麦克风连接，通过输出端也与加法器相连，所述加法器通过输出端与相应的远端扬声器连接。
所述周期功率检测模块与脉冲响应差异测量模块相连，前者输出触发信号给后者。所述脉冲响应差异测量模块包括一个声脉冲发生器，如EHSY Lab提供的猝发音发生器L520279；声脉冲发生器与两个近端扬声器其中一个相连接；两个近端麦克风之间通过频域自适应滤波器及加法器相连接。声脉冲发生器发出声脉冲信号给相连扬声器，测量该扬声器所在点到两个麦克风之间的声学路径的脉冲响应差异系数。当声脉冲发生器与另一扬声器相连时，则测量另一扬声器所在点到两个麦克风之间的声学路径的脉冲响应差异系数。所述频域自适应滤波器可由频域最小均方算法实现，稳态时滤波器的值即脉冲响应差异系数的值，输出给语音信号分离模块。
所述语音信号分离模块包括两个傅立叶变换模块、四个乘法器、两个加法器和两个反傅立叶变换模块；一个傅立叶变换模块连接一个乘法器，再分开两路，其中一路与第一个加法器相连，再连接到一个反傅立叶变化模块；另一路与下一个乘法器相连，再与第二个加法器相连；该结构的另一半也是类似的另一个傅立叶变化也与一个乘法器相连，同样分开两路，一路与第二个加法器相连，再连接到一个反傅立叶变化模块；另一路与一个乘法器相连，再与第一个加法器相连。上面所提到的四个乘法器都与脉冲响应差异检测模块相连接。
所述回波路径估计模块可由时域自适应滤波器实现，具体可采用归一化的最小均方算法。
一种由上述系统实现的基于语音信号分离模型的立体声回波消除方法，包括下述步骤(1)首先脉冲响应差异检测模块由周期时间触发，在检测到房间中的声功率低于门限值时，进行脉冲响应差异参数的测量。
(2)脉冲响应差异系数作为输出被送入语音信号分离模块，为下一步计算准备；近端麦克风的接收信号即混叠后的回波也被作为语音信号分离模块的输入，从而分离出单条回波路径所产生的回波；经此步骤多路回波被转化成单路回波。
(3)远端房间麦克风接收信号被送入回波路径估计模块，同时单条回波路径所产生的回波也被作为输入送入，经自适应滤波器处理后完成单路回波的消除。
(4)如存在双方对讲，即近端和远端房间均存在讲话人，则此时语音信号分离模块和回波路径估计模块的运算会暂时停止双方对讲检测模块由周期时间触发，通过检测近端房间的扬声器输出信号(即远端房间麦克风接收信号)和近端房间麦克风的接收信号之间的相关性来判断是否有双方对讲的发生。若有双方对讲的发生则输出指令给语音信号分离模块停止运算。
(5)脉冲响应差异测量模块中的脉冲响应差异系数包括ΔH12、ΔH21和F参数，ΔH12和ΔH21由频域自适应滤波器直接测量得到，F参数由ΔH12和ΔH21计算得到。ΔH12、ΔH21和F参数都被送入语音信号分离模块。近端麦克风的接收信号即混叠后的回波为y1和y2，如图1所示，其对应的傅立叶变换为Y1和Y2，分离后的单路回波频域的表示为 和 经反傅立叶变换对应时域的y11和y22。对讲检测模块由单位周期时间触发，完成对讲判断的工作。因为双方对讲即近端和远端同时有人讲话时，近端扬声器信号和麦克风接收信号之间的相关性会降低，所以可以通过估计二者之间的相关性来判断是否有双方对讲的发生，相关性的量化可用相关系数来表示。
所述频域自适应滤波器、时域自适应滤波器、傅立叶变换模块和反傅立叶变换模块、对讲检测模块、加法器、乘法器、周期功率检测模块、回波路径估计模块等均可由通用的DSP芯片实现，如Ti(德州仪器公司)的TMS320lf2407和TMS320C55x，摩托罗拉公司的DSP56000和DSP96000等。
本发明的作用原理是将语音信号分离模块应用于多路回波消除，主要包括三个过程(1)由脉冲响应差异检测模块测量获得近端房间脉冲响应差异系数；在没有双方对讲的情况下，估计或更新近端房间回波路径脉冲响应；(2)语音信号分离模块在已知近端房间脉冲响应差异系数的基础上，从多路回波中将单路回波分离出来；(3)结合远端房间麦克风接收后传到近端的源信号，从而分别得到回波路径脉冲响应的估计，进而得到分离出来的单路回波的估计；分离出的单路回波减去其估计值，从而实现回波消除。
本说明书中的信号皆为数字信号，为简化起见，以时刻n为自变量的变量将不再专门标明自变量。
过程1中房间脉冲响应的差异是基于同一个声源到两个麦克风的脉冲响应之间有如下的关系h12＝Δh12*h11(1)h21＝Δh21*h22(2)Δhij表示hii和hij这两个脉冲响应之间的测量差异(i，j＝1，2；i≠j)。
如图1所示，麦克风接收信号由下面的式子表示y1＝h11*x1+h21*x2(3)y2＝h12*x1+h22*x2(4)为方便，可以记y11＝h11*x1(5)y22＝h22*x2(6)y11、y22可以认为是y1、y2中分别由回波路径h11和h22产生的回波分量。
由公式(1)～(6)，可推导出以下的关系Y11Y22=F1-ΔH12-ΔH211Y1Y2---(7)]]>其中F=11-ΔH12ΔH21.---(8)]]>Y11和Y22对应y11和y22的傅立叶变化。
过程2由语音信号分离模块执行。首先对麦克风接收信号y1和y2进行傅立叶变换，分别得到Y1和Y2，并完成公式(7)的工作公式(8)的计算将放在脉冲响应差异测量模块中进行。
过程3由回波路径估计模块执行，利用归一化的最小均方算法，该算法已普遍应用于实际的单通路回波消除的硬件实现，算法如下 其中i＝1，2， 为hii(n)的估计值， 为 的矢量表示。
对讲判断的工作步骤是(1)由周期时间中断触发，对讲检测模块计算近端扬声器信号和麦克风接收信号之间的相关系数ξ(x，y)；(2)判断相关系数ξ与阀值c1的大小关系，如果|ξ(x，y)|＞c1，认为没有双方对讲；否则认为存在双方对讲。
周期功率检测模块的工作步骤是(1)由周期时间触发，周期功率检测模块计算麦克风接收信号的功率。
(2)判断系数与阀值c2的大小关系，如果Q＜c2，则认为此时，可以进行新的脉冲响应差异检测。
从根本上说，对于放置在同一个房间里的两个麦克风，同一个声源到其中一个的脉冲响应可以用到另一个麦克风的脉冲响应和二者之间的差异的卷积来表示，这个关系被用于语音信号分离模块从而可以对已经混合的回波信号进行分离，从中分离出单条路径所产生的回波，从而将立体声回波消除问题转化为单路的回波消除问题，单路的回波消除问题较之多路回波消除问题具有本质的区别，且简单很多，单路回波消除器技术经过多年的发展已较为成熟，在现实中已经得到很好的应用。
本发明相对于现有技术具有如下的优点及效果(1)回波消除效果好；利用本发明可从根本上避免了传统的立体声(多路)回波消除器中的滤波器失调大、回波干扰多等的问题，较之传统的立体声回波消除器，本发明可降低失调5～8dB，具有较好的语音通信质量。
(2)实现容易；本发明运算量小，实时性强，无需占用较大的存储空间，易于利用硬件实现，应用成本较低；而且具有收敛速度快、失调小、残余回波少的优点，实际应用效果理想。
(3)适用范围广；因为多于两路的多路回波消除与立体声回波消除并没有本质的区别，所以本发明立体声回波消除技术也极容易推广到多于两路的情况，应用比较方便。
图1是利用本发明基于语音信号分离模型的立体声回波消除系统作用的原理示意图。
图2是本发明基于语音信号分离模型的立体声回波消除系统的结构示意图。
图3图2所示脉冲响应差异检测模块的内部结构示意图。
图4图2所示语音信号分离模块的内部结构示意图。
图5是本发明方法的工作流程图。
具体实施例方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施例图1～图4示出了本发明的具体结构，如图1所示，本基于语音信号分离模型的立体声回波消除系统包括回波消除器、麦克风、扬声器，近端麦克风与远端扬声器一对一连接成对，而远端麦克风也与近端扬声器一对一连成对。每一对麦克风、扬声器之间连接一个回波消除器。
如图2所示，所述回波消除器包括周期功率检测模块、脉冲响应差异检测模块、语音信号分离模块、对讲检测模块、回波路径估计模块、加法器。所述周期功率检测模块与脉冲响应差异检测模块相连接，后者与语音信号分离模块连接。对讲检测模块通过并行输入端与两个近端扬声器和两个近端麦克风相连，再通过两个并行输出端分别与语音信号分离模块和回波路径估计模块相连。两个近端扬声器也通过输出端与回波路径估计模块连接。语音信号分离模块、回波路径估计模块、加法器依次相连，语音信号分离模块也通过两个并行输出端分别与两个加法器相连。两个加法器通过输出端分别与远端两个扬声器相连。
图3示出了所述脉冲响应差异检测模块的结构；如图3所示，脉冲响应差异测量模块包括一个声脉冲发生器，如EHSY Lab提供的猝发音发生器L520279；声脉冲发生器与两个近端扬声器其中一个相连接；两个近端麦克风之间通过频域自适应滤波器及加法器相连接。
图4示出了所述语音信号分离模块的结构；如图4所示，本语音信号分离模块包括两个傅立叶变换模块、四个乘法器、两个加法器和两个反傅立叶变换模块；一个傅立叶变换模块连接一个乘法器，再分开两路，其中一路与第一个加法器相连，再连接到一个反傅立叶变化模块；另一路与下一个乘法器相连，再与第二个加法器相连；该结构的另一半也是类似的另一个傅立叶变化也与一个乘法器相连，同样分开两路，一路与第二个加法器相连，再连接到一个反傅立叶变化模块；另一路与一个乘法器相连，再与第一个加法器相连。上面所提到的四个乘法器的都与脉冲响应差异检测模块相连接。
图3所示脉冲响应差异检测模块完成对频域Δhij的测量，Δhij表示hii和hij这两个脉冲响应之间的测量差异(i，j＝1，2；i≠j)，其意义如公式(1)(2)表示h12＝Δh12*h11(1)h21＝Δh21*h22(2)在启动回波消除系统之前，首先运用频域自适应滤波器，采用声脉冲信号触发，分别测量得到ΔH12和ΔH21，并完成以下的计算F=11-ΔH12ΔH21.---(8)]]>该模块的输出为ΔH12，ΔH21和F，它们分别被置入参数对应的存储单元。
图4所示语音信号分离模块首先对麦克风接收信号y1和y2进行傅立叶变换，分别得到Y1和Y2，并主要完成公式(7)的工作Y11Y22=F1-ΔH12-ΔH211Y1Y2---(7)]]>在回波路径估计模块中，主要完成公式(9)和(10)的工作 公式(10)中μ是设定的迭代步长。回波路径估计模块中 的意义是回波路径hii的特性估计， 为 对应的矢量表示。该模块采用自适应滤波方法估计和更新 其更新迭代公式是上述公式(10)。公式(9)中ei(n)是消除了回波后回波消除的最终输出。
对讲检测模块是检测远端房间和近端房间说话者是否对讲，其输入是远端源信号x1、x2的组合变量x和和分离出来的单路回波信号y1、y2的组合变量y，输出是判断的结果。
如图4所示，语音信号分离模块首先对y1和y2运用傅立叶变换模块FFT处理得到Y1和Y2，Y2和Y1和F相乘，再分别和ΔH12、ΔH21相乘，并取负后，再分别加上F×Y1和F×Y2，则分别得到Y11和Y22。最后将Y11和Y22通过反傅立叶变换模块进行反傅立叶变化，从而可以得到它们在时域对应的y11和y22。
其中h11，h12，h21和h22分别近端房间中表示四条回波路径对应的单位脉冲响应向量，y1＝h11*x1+h21*x2，y2＝h12*x1+h22*x2分别表示近端房间中的传声器M1和M2所检拾到的混合信号。y11＝h11*x1，y22＝h22*x2可以认为是y1、y2中分别由单条回波路径h11和h22产生的回波分量。
基于语音信号分离模型的立体声回波消除系统的方法的工作流程如图5所示，包括参数更新与回波分离和消除，参数更新与回波消除并行进行，参数更新是指在没有双方对讲的情况下，估计或更新近端房间同一个麦克风接收到的脉冲响应的差异即ΔH12、ΔH21和F参数，以及单通路自适应回波消除模块中的近端回波路径脉冲响应即h11和h22，若双方存在对讲，则不更新；所述回波消除是指在已知近端房间脉冲响应差异即Δh12和Δh21参数以及F参数的基础上，从多路回波中先将单路回波分离出来，结合远端房间过来的源信号x1和x2，采用自适应滤波算法分别估计出回波路径脉冲响应的估计 和 进而分别得到近端房间麦克风的接收信号中的y11和y22，近端房间麦克风的接收信号经过分离处理后剩下的y11和y22分别减去回波信号的估计 和 从而实现回波消除。
回波消除的工作过程为(1)对脉冲差异检测模块中的ΔH12、ΔH21和F参数进行初始化，并对回波路径估计模块中自适应回波信道的脉冲响应的估计 和 进行初始化；(2)将ΔH12、ΔH21和F参数送入语音信号分离模块，同时远端房间麦克风接收信号x1和x2也被输入回波路径估计模块和对讲检测模块，语音信号分离模块处理得出单路的回波y11和y22，并将y11和y22传送给回波路径估计模块；(3)回波路径估计模块接收到x1、x2后，将x1、x2与 卷积，得到y11和y22的估计信号 和 (4) 取反后被送往加法器，分别与输入加法器的单路回波信号y11和y22相加，得到相应的e1、e2为回波消除之后的干净信号，实现回波消除；(5)返回步骤(2)，继续进行回波消除。
参数更新的步骤包括(6)根据远端麦克风接收信号(即近端扬声器输出信号)x1、x2和近端麦克风接收信号y1、y2，对讲检测模块周期时间中断触发进行对讲判断，并输出判断的结果给语音信号分离模块，如果存在双方对讲，则不更新各参数，并置入下一次中断时间，如果不存在双方对讲，则触发步骤(7)和步骤(8)，并置入下一次中断时间；(7)受到对讲检测模块的更新触发，语音信号分离模块对输入的y1和y2进行处理，处理结果传送给更新计算模块；(8)受到对讲检测模块的更新触发，回波路径估计模块对其中 和 进行更新。
(9)受到周期功率检测模块的触发，脉冲响应差异检测模块对其中ΔH12、ΔH21和F参数进行更新。
对讲判断的工作步骤是(1)由周期时间中断触发，对讲检测模块计算x＝[x1(n)，x1(n-1)，...，x1(n-m+1)，x2(n)，x2(n-1)，...，x2(n-m+1)]和y＝[y1(n)，y1(n-1)，...，y1(n-m+1)y2(n)，y2(n-1)，...，y2(n-m+1)]之间的相关系数ξ(x，y)；(2)判断相关系数ξ与阀值c1的大小关系，其中c1为正数，取c1＝0.2～0.5，如果|ξ(x，y)|＞c1，认为没有双方对讲；否则认为存在双方对讲。
周期功率检测模块的工作步骤是(1)由周期时间触发，周期功率检测模块计算麦克风接收信号的功率Q=1p-1Σi=0p-1(x1(n-i)2+x2(n-i)2),]]>p对应50ms的语音长度所对应的采样点数。
(2)判断系数与阀值c2的大小关系，其中c2为正数，取c1＝0.1～0.3，如果Q＜c1，则认为此时，可以进行新的脉冲响应差异检测。
如果想消除近端房间的回波干扰，由于远、近端是相对的，故其结构同理。
如上所述，便可较好地实现本发明。
权利要求
1.一种基于语音信号分离模型的立体声回波消除系统，包括回波消除器、麦克风、扬声器；近端麦克风与远端扬声器一对一连接成对，而远端麦克风也与近端扬声器一对一连成对，每一对麦克风、扬声器之间连接一个回波消除器；其特征在于所述回波消除器包括周期功率检测模块、脉冲响应差异测量模块、语音信号分离模块、对讲检测模块、回波路径估计模块、加法器，所述周期功率检测模块与脉冲响应差异测量模块相连接，所述脉冲响应差异测量模块、语音信号分离模块、加法器依次连接，对讲检测模块与语音信号分离模块连接，所述语音信号分离模块通过并行输入端分别与近端麦克风连接，所述加法器、回波路径估计模块通过输入端与语音信号分离模块连接，通过输出端与相应的远端扬声器连接。
2.根据权利要求1所述的基于语音信号分离模型的立体声回波消除系统，其特征在于所述脉冲响应差异测量模块包括一个声脉冲发生器，声脉冲发生器与两个近端扬声器其中一个相连接；两个近端麦克风之间通过频域自适应滤波器及加法器相连接。
3.根据权利要求1所述的基于语音信号分离模型的立体声回波消除系统，其特征在于所述语音信号分离模块包括两个傅立叶变换模块、四个乘法器、两个加法器和两个反傅立叶变换模块；一个傅立叶变换模块连接一个乘法器，再分开两路，其中一路与第一个加法器相连，再连接到一个反傅立叶变化模块；另一路与下一个乘法器相连，再与第二个加法器相连；另一个傅立叶变化也与一个乘法器相连，同样分开两路，一路与第二个加法器相连，再连接到一个反傅立叶变化模块；另一路与一个乘法器相连，再与第一个加法器相连；所述四个乘法器都与脉冲响应差异检测模块相连接。
4.根据权利要求1所述的基于语音信号分离模型的立体声回波消除系统，其特征在于所述回波路径估计模块为时域自适应滤波器。
5.一种由权利要求1～4所述系统实现的基于语音信号分离模型的立体声回波消除方法，包括下述步骤(1)由脉冲响应差异检测模块测量获得近端房间脉冲响应差异系数；在没有双方对讲的情况下，估计或更新近端房间回波路径脉冲响应；(2)语音信号分离模块在已知近端房间脉冲响应差异系数的基础上，从多路回波中将单路回波分离出来；(3)结合远端房间过来的源信号，从而分别得到回波路径脉冲响应的估计，进而得到分离出来的单路回波的估计；分离出的单路回波减去其估计值，从而实现回波消除。
6.根据权利要求5所述的基于语音信号分离模型的立体声回波消除方法，其特征在于(1)首先脉冲响应差异检测模块由周期时间触发，在检测到房间中的声功率低于门限值时，进行脉冲响应差异参数的测量；(2)脉冲差异系数作为输出被送入语音信号分离模块，为下一步计算准备；近端麦克风的接收信号也被作为语音信号分离模块的输入，从而分离出单条回波路径所产生的回波；经此步骤多路回波被转化成单路回波；(3)远端房间麦克风接收信号被送入回波路径估计模块，同时单条回波路径所产生的回波也被作为输入送入，经自适应滤波器处理后完成单路回波的消除。
7.根据权利要求6所述的基于语音信号分离模型的立体声回波消除方法，其特征在于在步骤(2)中，所述脉冲响应差异系数包括ΔH12、ΔH21和F参数，ΔH12和ΔH21由频域自适应滤波器直接测量得到，F参数由ΔH12和ΔH21计算得到。ΔH12、ΔH21和F参数都被送入语音信号分离模块。
8.根据权利要求7所述的基于语音信号分离模型的立体声回波消除方法，其特征在于(1)对脉冲响应差异检测模块中的脉冲响应差异系数ΔH12、ΔH21和F参数进行初始化，并对回波路径估计模块中自适应回波信道的脉冲响应的估计 和 进行初始化；(2)将ΔH12、ΔH21和F参数送入语音信号分离模块，同时远端房间麦克风接收信号x1和x2也被输入回波路径估计模块和对讲检测模块，语音信号分离模块处理得出单路的回波y11和y22，并将y11和y22传送给回波路径估计模块；(3)回波路径估计模块接收到x1、x2后，将x1、x2相应与 卷积，得到近端房间麦克风的接收信号进行分离处理后的信号的估计 (4) 取反后被送往加法器，分别与输入加法器的单路回波信号y11和y22相加，得到相应的e1、e2为回波消除之后的干净信号，实现回波消除。
全文摘要
本发明提供一种基于语音信号分离的立体声回波消除系统，包括回波消除器、麦克风、扬声器，所述回波消除器包括周期功率检测模块、脉冲响应差异测量模块、语音信号分离模块、对讲检测模块、回波路径估计模块、加法器；一种利用上述系统实现的回波消除方法，包括下述步骤没有双方对讲时，估计或更新近端房间脉冲响应的差异和回波路径脉冲响应；从多路回波中将单路回波分离出来；结合远端房间过来的源信号，分别得到回波路径脉冲响应的估计，进而得到分离出来的单路回波的估计；近端房间麦克风的接收信号经过分离处理后剩下的单路回波分别减去对应的估计值，从而实现回波消除。本发明结构简单，运算量小，实时性强，易于硬件实现，话音通信质量好。
文档编号H04M1/19GK1946105SQ20061012305
公开日2007年4月11日 申请日期2006年10月27日 优先权日2006年10月27日
发明者王杰, 谢胜利, 傅予力, 邓毅华 申请人:华南理工大学