专利名称：回声消除器、回声消除方法及其双端通话检测系统的制作方法
技术领域：
本发明涉及一种通信网络中的回声消除系统、回声消除方法及其双端通话检测系统，特别涉及一种将双端通话检测器(Doubletalk Detector，DTD)与线性预测编码(LPC)声码器结合的回声消除器、回声消除方法及其双端通话检测系统。
背景技术：
近几年来，由于互联网的发展推动了网络电话和视频会议等VoIP(Voice overInternet Protocol)技术的广泛应用，使得回声消除成为语音通信中一种不可缺少的重要模块。如图1所示，目前解决这一问题最有效的方法是采用自适应滤波器来构造声学回声抵消器，通过自适应滤波的调整来模拟回声路径，使其冲激响应与实际回声路径相逼近，从而得到回声预测信号，再将预测信号从近端采样的语音信号中减去，即可实现回声抵消。
当近端语音不存在，并且环境噪声可以忽略时，自适应滤波器可以很快地收敛，逼近真实回声路径，回声被很好地消除。当近端语音和远端语音同时存在时，也就是“双端通话”(Double-talk，DT)情况时，近端语音相对于自适应滤波器来说，是一个不相关的噪声，使得自适应滤波器变得发散。回声不能被完全消除，而发送至远端，使得通话质量恶化。因此，当近端语音存在时，滤波器的自适应过程应该变缓或停止系数更新，而这正是双端通话检测器(DTD)所起的作用。
由于声学环境的特殊性以及不定性，DTD的性能也受到很大影响。当回声路径发生改变时，DTD容易将其误判为双端通话的情况，而停止系数更新，使得滤波器不能快速地跟踪回声路径的变化，而趋于更加发散。另外，当背景噪声相对较大时，DTD也容易将其误判为近端语音。因此，一个好的DTD不仅要有较低的误报概率和漏报概率，而且应该能正确区分双端通话和回声路径改变两种情况。在实际中，回声消除以及DT检测方法都是应用在存储空间以及功耗有限的数字信号处理器上。当DT检测方法的计算复杂度太高或者消耗存储空间过大时，不仅带来资源的占用和功耗的增加，而且引起方法的显著延迟，不利于实时处理。
DT检测在回声消除中具有至关重要的作用，现有的各种DT检测方法总的可分为三类基于能量的检测、基于相关性的检测和基于回声路径的检测。基于能量的检测，如Geigel方法、短时能量比较法等此类方法计算简单，但误判率较高；基于相关性的检测，如互相关方法、迭代最大长度相关(IMLC)等此类方法判别较为准确，但计算复杂度高，并且阈值的选取与实验条件密切相关；基于回声路径的检测，如估计喇叭冲激响应(LIME)、可变冲激响应(VIRE)等此类方法计算量有所降低，但在回声路径改变时性能变差，当近端语音功率较小时，漏报概率大。上述方法中，归一化互相关(Normalized Cross-correlation)方法对回声路径变化不敏感，判别较为准确，但其计算量太大。
目前语音压缩编码主要是基于线性预测编码(linear prediction coding，LPC)原理。LPC是最基本的参数编码方式，并由此衍生出了MELP(混合激励LPC)、CELP(码本激励LPC)、VSELP(矢量和激励LPC)、MBE-LPC(多带激励LPC)、MPE-LPC(多脉冲激励LPC)及RPE-LPC(规则脉冲激励LPC)等混合编码模型。因此，VoIP常用的语音编解码器大多基于LPC原理。如ITU-T G.729、G.723.1、GSM-EFR，GSM-AMR、TDMA95、CDMA97等都是基于ACELP(代数激励CELP)；G.728基于LD-CELP(短时延激励CELP)；GSM-FR基于RPE-LTP(长期预测RPE-LPC)；CDMA93基于QCELP(QualComm CELP)；GSM-HR、TDMA90基于VSELP；iLBC基于BELPC(Block-Extracted LPC)等。基于LPC的各种声码器只是激励源的生成方法不同，但语音合成模型都是一样的，图2是基于LPC的声码器解码端的语音合成模型。
发明内容
为了解决现有技术的DT检测的计算复杂度高并且存储空间消耗大的技术问题，本发明提供了一种与LPC声码器结合的DT检测器，进而降低检测方法的计算复杂度和存储空间消耗，提高检测的准确度和可靠性。本发明的DT检测器可应用于基于LPC声码器的通信终端、VoIP语音通信网络和移动通信等多种应用场合。
本发明解决现有技术的DT检测的计算复杂度高并且存储空间消耗大的技术问题所采用的技术方案是提供一种回声消除器，该回声消除器包括用于将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数的线性预测解码器；用于接收线性预测编码系数和残差信号并根据线性预测编码系数对残差信号进行去相关处理以产生去相关残差信号的去相关滤波器；用于对短时激励信号和去相关残差信号进行归一化互相关处理以产生归一化互相关检测变量的双端通话检测器；用于接收远端语音信号以及归一化互相关检测变量并生成估计回声信号的自适应滤波器；用于接收麦克风输入信号和估计回声信号并从麦克风输入信号中减去估计回声信号以生成残差信号的减法器。
根据本发明的一优选实施例，麦克风输入信号包括远端语音信号经实际回声路径产生的实际回声和近端语音。
根据本发明的一优选实施例，麦克风输入信号进一步包括背景噪音。
根据本发明的一优选实施例，自适应滤波器根据归一化互相关检测变量对自适应滤波系数进行选择性更新。
本发明解决现有技术的DT检测的计算复杂度高并且存储空间消耗大的技术问题所采用的另一技术方案是提供一种回声消除方法，该回声消除方法包括a.利用线性预测解码器将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数；b.利用去相关滤波器根据线性预测编码系数对残差信号进行去相关处理以产生去相关残差信号；c.利用双端通话检测器对短时激励信号和去相关残差信号进行归一化互相关处理以产生归一化互相关检测变量；d.根据归一化互相关检测变量选择性更新自适应滤波器的自适应滤波系数并利用自适应滤波器将远端语音信号转换成估计回声信号；e.利用减法器从麦克风输入信号中减去估计回声信号以生成残差信号。
根据本发明的一优选实施例，麦克风输入信号包括远端语音信号经实际回声路径产生的实际回声和近端语音。
根据本发明的一优选实施例，麦克风输入信号进一步包括背景噪音。
根据本发明的一优选实施例，步骤d包括当归一化互相关检测变量小于预定阈值时停止自适应滤波系数的更新。
根据本发明的一优选实施例，步骤d包括自适应滤波器根据残差信号对自适应滤波系数进行更新。
本发明解决现有技术的DT检测的计算复杂度高并且存储空间消耗大的技术问题所采用的另一技术方案是提供一种双端通话检测系统，其包括双端通话检测器；用于将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数的线性预测解码器；以及用于接收所述线性预测编码系数和残差信号并根据所述线性预测编码系数对所述残差信号进行去相关处理以产生去相关残差信号的去相关滤波器；其中所述双端通话检测器将所述短时激励信号和所述去相关残差信号进行归一化互相关处理，以产生归一化互相关检测变量。
本发明的技术方案是通过对远端语音信号和残差信号进行去相关后再进行归一化互相关处理来检测双端通话情况的存在，显著降低了双端通话检测的计算复杂度并且存储空间消耗。
图1是现有技术中声学回声消除器的示意框图； 图2是现有技术中基于LPC的声码器解码端的语音合成模型； 图3是本发明的回声消除器的示意框图； 图4是仿真测试过程所使用的回声路径冲激响应的示意图； 图5是各双端通话检测方法的性能曲线对比图； 图6是近端和远端语音样本的示意图； 图7是双端通话和回声路径改变时检测性能对比图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明基于归一化互相关原理，为了降低其计算复杂度，通过与声码器的结合，增加了去相关处理的功能。
如图1所示，在传统的声学回声消除器中，远端语音x(n)通过回声路径H产生实际回声y(n)，与近端语音v(n)和环境噪声n(n)相叠加后成为麦克风输入信号d(n)。自适应滤波器不断地调整自适应滤波系数w(n)，产生估计回声信号路径
将估计回声信号
从近端信号d(n)中减去，得到残差信号e(n)。e(n)被发送至远端，同时用来更新自适应滤波器的系数。
假定实际回声路径H为N阶冲激响应。输入信号向量X(n)，N阶估计回声信号路径
相应定义如下 H＝[h0，h1，........，hN]T(1) X(n)＝[x(n)，x(n-1)，.......，x(n-N+1)]T(2) 实际回声y(n)＝HTX(n) (4) 估计回声信号 近端信号d(n)＝HTX(n)+v(n)+n(n)(6) 将估计回声信号
从近端信号d(n)中减去，得到残差信号e(n)。令则 由图2可知 将(8)式变换可得 其中，p(0)＝1，p(i)＝-a(i)，为LP合成滤波器系数。M为阶数，一般为10。
参见图3，是本发明的回声消除器的示意框图。在本实施例中，解码器接收来自网络端的数据流，然后解码成远端信号x(n)。同时，从解码的过程中可以直接提取短时激励信号u(n)和用于对残差信号进行去相关的LP系数a(i)。短时激励信号u(n)作为x(n)的去相关信号，利用去相关滤波器根据去相关的LP系数a(i)对残差信号e(n)进行去相关处理，其结果ef(n)为去相关残差信号，去相关残差信号ef(n)与短时激励信号u(n)输入到DTD进行归一化互相关处理，产生归一化互相关检测变量，并与阈值进行比较，以判断DT情况的存在，控制自适应滤波器的更新，即当归一化互相关检测变量小于预定阈值时，则认为存在“双端通话”，此时停止自适应滤波器的更新。
其具体分析过程如下 假定背景噪声n(n)忽略不计，由(7)式有 计算X(n)和e(n)之间的互相关向量， rxe＝E[X(n)e(n)]＝E[X(n)XT(n)Δh+X(n)v(n)]＝RXXΔh(11) 其中RXX＝E[X(n)XT(n)]为自相关矩阵，v(n)与X(n)不相关。
e(n)方差 当近端语音v(n)＝0时， (13) 以(11)式代入(13)式，可得 以σr2/σe2并取其平方根，可得传统方法中的归一化互相关检测变量， 代入(12)，(13)式，可得 可以看出，当v(n)＝0时，ξ(n)对回声路径的变化Δh不敏感。
当X(n)为白化(去相关)的信号时，有I为对角阵。因此，通过对x(n)和e(n)自适应去相关，可以显著的降低归一化互相关方法的计算量。
采用L阶FIR滤波器对x(n)和e(n)进行去相关，f(i)为去相关滤波器系数。
对比可知(17)(18)式与(9)式具有相同的形式。因此，通过与LPC声码器的结合，短时激励信号u(n)正好为所需的去相关信号xf(n)，p(i)正好是所需要的去相关系数f(i)。
因此，xf(n)＝u(n)， 由(15)式，检测变量可以简化为 当v(n)＝0时，ξ(n)＞T，v(n)≠0时，ξ(n)＜T，T为0到1之间的常数阈值。
对于互相关向量rxfef，方差σxf2，σef2通常可用加窗平均来估计，K为窗口长度 为了降低其计算复杂度，如rxfef的直接计算是不允许的，可采用递归的方法 或采用加遗忘因子λ，λ∈(0.9，1)。
在计算复杂度上，未进行去相关处理时，归一化互相关方法(15)式，当采用遗忘值计算时，RXX-1的计算至少需2N2次乘法，再加上rxe的N次乘法，以及检测变量ξ(n)的N2+N次乘法，共需3N2+2N次乘法。而采用加窗递归的方法时，则需4N2+3N次乘法。N为自适应滤波器阶数，一般为几百，可见其计算量是相当惊人的。当采用去相关的方法后，由于去相关的远端信号xf(n)和LP系数p(i)可直接从滤波器中取得，对残差信号e(n)去相关需M次乘法。采用遗忘值计算时，rxfef需N次乘法，ξ(n)需N次乘法，计算复杂度为2N+M。而采用加窗递归的方法时，rxfef需2N次乘法，ξ(n)需N次乘法，计算复杂度为3N+M。可以看出，通过与LPC声码器的结合，归一化互相关方法的计算复杂度明显降低。
在存储消耗上，当采用遗忘值计算时，归一化互相关方法至少需要2N2+2N个内存空间，采用加窗递归的方法时，则需3N2+4N+2K个内存空间，K为估计窗口长度，一般为几百。当采用去相关的方法后，用遗忘值计算时，至少需要2N个内存空间，采用加窗递归的方法时，则需4N+2K+M个内存空间。可以看出，通过与LPC声码器的结合，归一化互相关方法的所消耗的存储空间也明显降低。
仿真测试结合ITU-T G.729声码器。仿真使用如图4所示的室内冲激响应H1、H2，采样率fs＝8000，长度N＝512。在自适应滤波器为收敛的情况下，模拟DT检测方法的性能，滤波器失调值设为-30dB。背景噪声为功率-60dB的高斯白噪声。估计窗口长度K＝1200，遗忘因子λ＝0.9995。检测保持时间为30ms。衡量性能的参数如下 误报概率Pf＝P(ξ(n)＜T|Γ0) 漏报概率Pm＝1-P(ξ(n)＜T|Г1)(32) 其中，T为阈值，Г0表示近端语音不存在时，Г1表示近端语音存在。一个好的DT检测方法应使Pf、Pm值同时达到最小，而实际上这是互相矛盾的。因此，选取在Pf为0.1时，使Pm达到最小为评价标准。仿真结果与以下两种方法进行比较 1、基于远端信号和近端信号的归一化互相关DT检测方法 2、对远端信号和近端信号去相关后的归一化互相关DT检测方法 图5为误报概率Pf＝0.1时各DT检测方法的Pm性能曲线对比，Pm值随着近端语音与远端语音的功率比NFR(σv/σx)在一定范围内变化。其中本文提出的方法命名为PwNCR-xe，(15)式的方法命名为NCR-xe，(34)式的方法命名为PwNCR-xy，(33)式的方法命名为NCR-xy。从图中可以看出，本文提出的方法在NFR变化的较大范围内检测性能均优于上述各种方法。
图6为时长6.1秒的远端和近端语音样本，其中在第3秒时回声路径由H1变为H2。图7为相应的DT检测图，其中‘1’表示有DT发生，‘0’表示不发生，仿真所结合的自适应方法为去相关的NLMS方法。从图中可以看出，本文提出的方法PwNCR-xe对回声路径的变化不敏感，具备较好的DT检测性能。
本发明提出的双端通话检测器方法和结构具有较低的计算复杂度和存储空间消耗，在误报概率和漏报概率方面与其它双端通话检测方法相比都有显著的提高和改善，对于回声路径改变和双端通话两种情况能正确地进行区分和判断，具有良好的检测性能。由于其与基于LPC原理的声码器相结合，具有较广的应用范围，适用于目前广泛使用的采用LPC声码器的网络通信系统和终端。
权利要求
1.一种回声消除器，所述回声消除器包括
用于将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数的线性预测解码器；
用于接收所述线性预测编码系数和残差信号并根据所述线性预测编码系数对所述残差信号进行去相关处理以产生去相关残差信号的去相关滤波器；
用于对所述短时激励信号和所述去相关残差信号进行归一化互相关处理以产生归一化互相关检测变量的双端通话检测器；
用于接收所述远端语音信号以及所述归一化互相关检测变量并生成估计回声信号的自适应滤波器；
用于接收麦克风输入信号和所述估计回声信号并从所述麦克风输入信号中减去所述估计回声信号以生成所述残差信号的减法器。
2.根据权利要求1所述的回声消除器，其特征在于所述麦克风输入信号包括所述远端语音信号经实际回声路径产生的实际回声和近端语音。
3.根据权利要求2所述的回声消除器，其特征在于所述麦克风输入信号进一步包括背景噪音。
4.根据权利要求1所述的回声消除器，其特征在于所述自适应滤波器根据所述归一化互相关检测变量对自适应滤波系数进行选择性更新。
5.一种回声消除方法，所述回声消除方法包括
a.利用线性预测解码器将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数；
b.利用去相关滤波器根据所述线性预测编码系数对残差信号进行去相关处理以产生去相关残差信号；
c.利用双端通话检测器对所述短时激励信号和所述去相关残差信号进行归一化互相关处理以产生归一化互相关检测变量；
d.根据所述归一化互相关检测变量选择性更新自适应滤波器的自适应滤波系数并利用所述自适应滤波器将所述远端语音信号转换成估计回声信号；
e.利用减法器从麦克风输入信号中减去所述估计回声信号以生成所述残差信号。
6.根据权利要求5所述的回声消除方法，其特征在于所述麦克风输入信号包括所述远端语音信号经实际回声路径产生的实际回声和近端语音。
7.根据权利要求6所述的回声消除方法，其特征在于所述麦克风输入信号进一步包括背景噪音。
8.根据权利要求5所述的回声消除方法，其特征在于所述步骤d包括当所述归一化互相关检测变量小于预定阈值时停止所述自适应滤波系数的更新。
9.根据权利要求6所述的回声消除方法，其特征在于所述步骤d包括所述自适应滤波器根据所述残差信号对所述自适应滤波系数进行更新。
10.一种双端通话检测系统，包括双端通话检测器，其特征在于进一步包括用于将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数的线性预测解码器；以及用于接收所述线性预测编码系数和残差信号并根据所述线性预测编码系数对所述残差信号进行去相关处理以产生去相关残差信号的去相关滤波器；其中，所述双端通话检测器将所述短时激励信号和所述去相关残差信号进行归一化互相关处理，以产生归一化互相关检测变量。
全文摘要
本发明涉及一种回声消除器、回声消除方法及其双端通话检测系统，其中回声消除器利用线性预测解码器将来自网络端的数据流解码成远端语音信号并提取短时激励信号以及线性预测编码系数，根据线性预测编码系数利用去相关滤波器对残差信号进行去相关处理，并利用双端通话检测器对短时激励信号和去相关残差信号进行归一化互相关处理以产生归一化互相关检测变量，由此检测双端通话的存在情况，进而控制自适应滤波器的更新。本发明通过对远端语音信号和残差信号进行去相关后再进行归一化互相关处理来检测双端通话情况的存在，显著降低了双端通话检测的计算复杂度以及存储空间消耗。
文档编号H04B3/23GK101106405SQ200610061678
公开日2008年1月16日 申请日期2006年7月12日 优先权日2006年7月12日
发明者胡海军, 林茫茫, 挥 李, 张军生, 张志军, 陈慕羿, 伟 何, 王智韬, 张政操, 马建设 申请人:北京大学深圳研究生院