回声抑制方法及设备的制作方法

专利名称：回声抑制方法及设备的制作方法
技术领域：
本发明涉及一种回声抑制方法及设备，用于对在扬声器生成音频、 同时麦克风拾取声音时产生的回声进行抑制。
背景技术：
图1是示出了现有技术第一示例的回声抑制设备的配置的框图。 图I示出了用于抑制免提电话中产生的回声的回声抑制设备的示 例配置。
在图1中，扬声器2将输入输入端子10的、来自远端扬声器的音 频信号(以下称为远端信号)转换成远端音频。另一方面，麦克风1 拾取例如近端扬声器的语音(以下称为近端音频)，还接收到由扬声器 2生成的多余的远端音频。将从扬声器2输入麦克风1的声音称为回 声。将对声音相关信号(范围包括从远端信号到麦克风1的输出信号) 进行处理的声音传递系统称为回声路径。声音传递系统包括扬声器2 和麦克风1。
只希望输出近端音频，作为来自输出端子9的近端信号，并希望 去除近端信号中包含的多余的远端音频。具体而言，当近端信号包含 较大的远端音频信号分量时，延迟的远端音频对于远端扬声器可作为 回声而听到，因此难以进行对话。为了解决该问题，在现有技术采用 的一种方法中，使用线性回声抵消器从近端信号中去除回声。例如， 在非专利文献1 (Eberhard HANSLER, "The hands-free telephone problem: an annotated bibliography update", annals of telecommunications 1994, 360-367页)中描述了一种线性回声抵消器。
线性回声抵消器3估计回声路径的传递函数(回声路径估计)，并 基于估计的传递函数，使用输入扬声器2的信号(远端信号)来生成 输入麦克风1的回声的仿真信号(回声复制信号)。向减法器4输入在线性回声抵消器3中生成的回声复制信号，减 法器4从麦克风1的输出信号中减去回声复制信号，以提取近端音频 信号分量。
语音检测器5接收麦克风1的输出信号、线性回声抵消器3的输 出信号、减法器4的输出信号和远端信号，使用这些信号检测麦克风
1的输出信号是否包含近端音频，并将检测结果输出至线性回声抵消器3。
为了控制线性回声抵消器3的操作，语音检测器5在麦克风1的 输出信号中检测到近端音频时，输出"O"或非常小的值作为语音检测 结果，而在检测到没有近端音频时，输出较大的值。
图2是示出了图所示线性回声抵消器的示例配置的框图。
如图2所示，线性回声抵消器3包括自适应滤波器30 (是线性滤 波器)和乘法器35。自适应滤波器30的示例包括多种类型的滤波器， 例如FIR型、IIR型和格型。
自适应滤波器30对输入至端子31的远端信号进行滤波，并从端 子32向减法器4输出处理结果。自适应滤波器30使用预定的相关运 算对滤波系数进行更新，以使输入至端子33的减法器4的输出信号最 小化。为此，自适应滤波器30进行运算，以使减法器4的输出信号中 与远端信号相关的分量最小化。即，从减法器4的输出信号中去除回 声(远端音频)。
当麦克风1的输出信号包含近端音频，并且在这种状态下更新滤 波系数时，所导致的滤波系数的变化可能降低自适应滤波器30的回声
去除能力。
乘法器35被提供用于控制自适应滤波器30执行的滤波系数更新 操作。乘法器35将减法器4的输出信号与语音检测器5的输出信号相 乘，并将计算结果输出至自适应滤波器30。当麦克风l的输出信号包 含近端音频时，如上所述，语音检测器5的输出信号是O或非常小的 值，以抑制自适应滤波器30执行的滤波系数更新操作，因此滤波系数 的改变较小。由此，回声去除能力不会下降太多。所以，现有技术第一示例的回声抑制设备使用自适应滤波器来去 除远端信号的回声。
接下来，描述现有技术第二示例的回声抑制设备。 现有技术第二示例的回声抑制设备根据折叠式移动电话中铰合部 的角度，对用于抑制回声的伪回声(回声复制信号)进行修改。例如，
在日本专利公开No.8-9005中描述了这种配置。
现有技术第二示例的回声抑制设备包括控制信号产生器，其检 测铰合部的角度，并根据该角度输出控制信号；以及回声控制器，其 基于控制信号，抑制回声。
回声控制器包括系数选择电路，其保存多个预设回声路径跟踪 系数，以生成与根据铰合部角度而变化的回声路径相对应的伪回声， 并使用从控制信号产生器输出的控制信号作为地址信号，来选择回声 路径跟踪系数；自适应控制电路，其基于在系数选择电路中选择的回 声路径跟踪系数来输出伪回声修改信号，以修改伪回声；伪回声产生 电路，其基于伪回声修改信号，产生伪回声；以及减法电路，其从音 频输入单元(麦克风)的输出信号中减去生成的伪回声。
接下来，描述现有技术第三示例的回声抑制设备。
现有技术第三示例的回声抑制设备基于例如日本专利公开 No.2004-056453中描述的技术。现有技术第三示例的回声抑制设备使 用麦克风(声音拾取装置)的输出信号，或者使用从声音拾取装置的 输出信号中减去回声抵消器的输出信号而得到的信号，作为第一信号， 并使用回声抵消器的输出信号作为第二信号。然后，回声抑制设备估 计第二信号(远端信号，回声)泄漏到第一信号(近端信号)中的串 扰量，并基于估计结果校正第一信号。
回声串扰量的估计值是根据在未检测到近端音频期间第二信号的 幅度或功率的量与根据第一信号的幅度或功率的量之间的比率。在现 有技术第三示例的回声抑制设备中，针对第一和第二信号中的每个频 率分量，使用第一和第二信号计算估计的回声串扰量，并基于所计算 的估计值来校正第一信号。上述现有技术第一和第二示例的回声抑制设备在非线性元素(例 如回声路径中产生的失真)较小时可以充分抑制回声。但是，在实际 设备中，例如扬声器具有较大的非线性元素。包含失真的回声路径的 传递函数是非线性的，因此线性回声抵消器3无法仿真回声路径的准 确传递函数。具体而言，当移动电话等中使用的小型扬声器生成音量 等级较高的声音时，声音中包含的大量失真将回声抑制限制到大约
20dB。在这种情况下，回声作为近端信号传输并对于远端扬声器是可
听到的，从而难以进行对话。
相反，在现有技术的第三示例中，即使回声路径产生大量失真， 也能充分抑制回声。但是，由于估计回声串扰量的过程很复杂，所以 现有技术第三示例的回声抑制设备需要很大的计算量。具体而言，需 要大量的除法运算。此外，因为现有技术第三示例的回声抑制设备使 用对麦克风的输出信号是否包含近端音频进行指示的语音检测结果， 所以错误的语音检测结果会增加所估计的回声串扰量的误差，导致基 于估计结果而校正的校正后第一信号质量降低。即，无法充分抑制回 声，或者近端音频将包含大量失真。特别当在近端音频连同高电平噪 声(近端噪声)一起输入回声抑制设备的环境中使用该设备时，语音 检测结果中的误差很可能增大，从而无法充分抑制回声，或者近端音 频将包含大量失真。

发明内容
因此，本发明的目的是提供一种回声抑制方法和设备，其能够在 即使回声路径产生大量失真时也容易并充分地抑制回声。
本发明的另一目的是提供一种回声抑制方法和设备，其能够在不 受近端噪声的影响的情况下抑制回声。
为了实现上述目的，在本发明中，使用声音拾取装置的输出信号， 或者使用从声音拾取装置的输出信号中减去回声抵消器的输出信号而 得到的信号，作为第一信号，使用回声抵消器的输出信号作为第二信
号。然后，使用串扰系数来校正第一信号，串扰系数是预定值，并用 于计算泄漏到第一信号中的第二信号的串扰量。
当回声抵消器是线性回声抵消器时，远端信号中包含的谐波分量 几乎直接出现在回声抵消器的输出中。即使在回声抵消器是非线性回 声抵消器时，回声抵消器的输出也包含若干包含在远端信号中的谐波
另一方面，由于声音拾取装置与扬声器之间的声耦合以及声失真， 声音拾取装置(麦克风)的输出信号包含远端信号的回声产生的谐波 分量。谐波分量的比例，即指示回声串扰量的值，落入语音呼叫等有 限应用中的固定范围内。
因此，可以通过将用于计算回声串扰量的串扰系数设定为常数， 使用串扰系数和第二信号来估计第一信号中包含的回声量，并从第一 信号中减去估计值，从第一信号中去除回声。备选地，可以通过使用 串扰系数、第一信号和第二信号来估计第一信号中包含的近端信号的 比例，并用估计的比例乘以第一信号，来去除回声。
在本发明中，串扰系数是常数。所以，即使当近端信号包含高电 平噪声时，也可以充分抑制具有从回声路径产生的大量失真的回声。 此外，与现有技术第三示例中所示的回声串扰量的估计不同，不需要 复杂的计算，从而可以减小计算量。因此，可以容易地抑制回声，而 不会受到近端噪声的影响。


图1是示出了现有技术第一示例的回声抑制设备的配置的框图。
图2是示出了图1所示线性回声抵消器的示例配置的框图。 图3是示出了根据本发明的回声抑制设备的示例配置的框图。 图4是示出了图3所示转换器的示例配置的框图。 图5是示出了实验结果的图，该实验用于研究回声复制信号谱与
残余回声谱之间的相关。
图6是示出了包括多个扬声器和麦克风的移动电话的示例配置的视图。
图7是示出了可以充分抑制回声的串扰系数与线性回声抵消器的 输出信号功率之间的关系的图。
图8是示出了根据本发明的回声抑制设备的第一示例实施例的配 置的框图。
图9是示出了图8所示系数产生器的示例配置的框图。
图10是示出了图8所示系数产生器的另一示例配置的框图。
图11是示出了图8所示谱减法器的示例配置的框图。
图12是示出了图11所示傅立叶系数减法器的第一示例配置的框图。
图13是示出了根据本发明的回声抑制设备的第二示例实施例的 配置的框图。
图14是示出了根据本发明的回声抑制设备的第三示例实施例的 配置的框图。
图15是示出了图14所示谱抑制器的示例配置的框图。
图16是示出了图15所示傅立叶系数乘法器的第一示例配置的框图。
图17是示出了图16所示平滑单元的示例配置的框图。
图18是示出了图16所示平滑单元的另一示例配置的框图。
图19是示出了图15所示傅立叶系数乘法器的第二示例配置的框图。
图20是示出了图15所示傅立叶系数乘法器的第三示例配置的框图。
图21是示出了根据本发明的回声抑制设备的第四示例实施例的 配置的框图。
图22是示出了根据本发明的回声抑制设备的第五示例实施例的 配置的框图。
图23是示出了图22所示回声抵消器的示例配置的框图。 图24是示出了图22所示谱减法器的示例配置的框图。 图25是示出了根据本发明的回声抑制设备的第六示例实施例的 配置的框图。
图26是示出了根据本发明的回声抑制设备的第七示例实施例的 配置的框图。
具体实施例方式
下面，参照附图描述本发明。
图3是示出了根据本发明的回声抑制设备的示例配置的框图。 如图3所示，本发明的回声抑制设备是将图1所示现有技术第一 示例的回声抑制设备与系数产生器200和转换器100组合而成的设备， 系数产生器200产生用于计算泄漏到近端信号中的远端信号(回声) 串扰量的系数(以下称为串扰系数)，其中串扰是由于麦克风1与扬声 器2之间的声耦合而发生的，转换器IOO使用麦克风1的输出信号或 减法器4的输出信号作为第一信号，使用线性回声抵消器3的输出信 号作为第二信号，基于由系数产生器200产生的串扰系数和第二信号 来校正第一信号，并输出通过从第一信号中去除回声而得到的近端信 号。从端子10输入向扬声器2输入的远端信号，并从端子9输出近端 信号。
线性回声抵消器3可以是非线性回声抵消器。
将第一和第二信号分为预定频率范围的信号，系数产生器200产 生与各个频率范围相对应的串扰系数。然后，针对每个频率范围，转 换器IOO使用相应的串扰系数来校正第一信号。此外，优选地，系数 产生器200根据预定的使用条件在串扰系数之间进行切换。
图4是示出了图3所示转换器的示例配置的框图。
如图4所示，转换器IOO包括频率划分器160和161、 M个校正 器166m (m=l到M)和频率合成器164。
频率划分器160将通过端子162输入的第一信号划分成各个预定 频率范围的M个信号，并将这些信号输出至对应于各个频率范围的校 正器166m。频率划分器161将通过端子163输入的第二信号划分成 各个预定频率范围的M个信号，并将这些信号输出至对应于各个频率 范围的校正器166m。校正器166m使用由系数产生器200产生并经由 端子167输入的串扰系数以及第二信号来校正第一信号，并将校正信 号输出至频率合成器164。在频率合成器164中对校正器166m的输 出信号进行频率合成，并从端子165输出合成信号。 校正器166m使用串扰系数和第二信号来估计第一信号中包含的 回声的大小，并从第一信号中减去所估计的回声大小，以校正第一信 号。备选地，校正器166m可以基于串扰系数、第一信号和第二信号 来估计第一信号中包含的近端信号的比例，并用估计的近端信号比例 乘以第一信号，以校正第一信号。
频率划分器160和161使用任意线性变换，例如傅立叶变换、余 弦变换、子带分析滤波器组等，来执行频率划分。频率合成器164使 用对应于频率划分器160和161中使用的线性变换的傅立叶逆变换、 余弦逆变换和子带合成滤波器组，来执行频率合成。
本发明的回声抑制设备与适当地使用第一和第二信号来计算回声 串扰量的现有技术第三示例的不同之处在于，串扰系数是常数。在现 有技术的第三示例中，认为常数串扰系数不合适，因为回声串扰量依 赖于远端信号的频谱分布。但是，本发明人通过实验证实了只要目的 是进行语音对话，女性和男性语音之间的频谱分布差别程度就能允许 使用常数作为串扰系数，并能够充分抑制回声。下面详细描述该结论。
图5是示出了实验结果的图，该实验用于研究回声复制信号谱与 残余回声谱之间的相关。图5所示每幅图的横轴表示回声复制信号的 幅度(线性回声抵消器3的输出幅度)，纵轴表示残余回声的幅度(第 一信号中包含的回声分量)。
该相关的斜率(残余回声幅度/回声复制幅度)表示回声失真的大 小。斜率越大，失真越大。即，该相关的斜率对应于串扰系数。
图5示出了即使是根据同一女性语音导出的相关斜率也会随频率 而改变。对于男性语音，这也成立。但是，对于同一频率，女性语音 的相关斜率与男性语音的相关斜率基本上相同。虽然图5未示出，但 是当远端信号是诸如音乐等在谱分布上与人类语音差别很大的声音 时，即使在图5曲线所示的那些相同频率(1250Hz和3125Hz)上， 相关斜率也完全不同于人类语音。这是因为包含有较低频率分量的音 乐等包含比人类语音更多的产生谐波的频率分量，而这些谐波导致残 余回声。
如上所述，已证实了回声复制信号与残余回声之间的相关的斜率
依赖于远端信号的频谱分布，但是对于每一频率，女性和男性语音之 间的频谱分布差别程度不会显著改变相关斜率，而女性和男性语音的 相关斜率彼此相似。该结果证明了只要目的是进行语音对话，就可以 使用相同的串扰系数。
但是，如图5所示，回声复制信号与残余回声之间的相关的斜率 随频率而改变。因此，通过在系数产生器200中针对第一信号的频率 范围产生不同的串扰系数，并在转换器100中根据每个频率范围而使 用串扰系数来校正第一信号，可以充分地抑制回声。
认为并未受到线性回声抵消器3充分抑制的失真回声声音广义地 划分成扬声器2自身中生成的失真声音、以及在放置麦克风1和扬声 器2的外壳振动时生成的失真声音。此外，这些失真声音根据施加有 回声抑制的设备的使用条件而改变。因此，系数产生器200根据施加 有回声抑制的设备的使用条件，如所希望地在串扰系数之间切换，并 输出选择的串扰系数。
下面，参照根据例如移动电话的使用条件来切换串扰系数的情况， 进行描述。
在扬声器2自身中生成的失真声音源自非线性扬声器特性。因此， 如图6所示，在移动电话中，其中适当地在特性彼此不同的多个扬声 器301和303之间进行切换，失真回声声音依赖于使用哪个扬声器。 在这种使用条件下，可以检测正在使用的扬声器，并根据检测到的扬 声器来切换串扰系数。
在只配备有一个扬声器2的移动电话中，当扬声器2和麦克风1 之间的位置关系改变时，从扬声器2达到麦克风1的失真声音的大小 发生变化，从而回声的失真也发生变化。在这种使用条件下，可以检 测扬声器2相对于麦克风1的位置，并根据检测到的相对位置来切换 串扰系数。例如，在图6所示的折叠式移动电话300中，因为铰合部 321的角度确定了扬声器2和麦克风1之间的位置关系，所以可以捡 测铰合部321的角度，并根据该角度来切换串扰系数。
在图6所示的折叠式移动电话300中，当适当地切换并使用多个 麦克风311和312时，相对于扬声器2的位置关系依据使用哪个麦克
风而改变。在这种使用条件下，可以检测正在使用的麦克风，并可以 根据检测到的麦克风的位置，将串扰系数切换到预定的系数。
另一方面，由外壳振动产生的失真声音主要是在连接各个部分的 接合处生成的。例如，当从扬声器2输出的声音引起外壳振动，并且 从连接各个部分的接合处产生失真声音时，失真声音输入至麦克风1， 作为回声的失真。因此，当扬声器2的声级改变时，从扬声器2传输 至外壳的声能改变，在连接各个部分的接合处产生的失真声音也改变。 在这种使用条件下，可以检测扬声器2已设定要产生的声级，并可以 根据设定的声级来切换串扰系数。
在图6所示的折叠式移动电话300中，外壳振动量依据移动电话 是否完全折叠而发生变化，在连接各个部分的接合处产生的失真声音 也改变。在这种使用条件下，可以执行检测以确定移动电话300是否 完全折叠，并可以根据检测结果来切换串扰系数。
在图6所示的折叠式移动电话300中，扬声器的位置随折叠角度 而改变，由此从扬声器2传输的声能(即使是在外壳中的相同位置处 测量的)随铰合部321的角度而改变，从而在连接各个部分的接合处 产生的失真声音也改变。在这种使用条件下，可以检测铰合部321的 角度，并可以根据该角度来切换串扰系数。
在滑盖式移动电话中，可以执行检测来确定是否发生了滑动操作 或者来确定滑动量，并可以根据检测结果来切换串扰系数。在包括滑 动和折叠机构的移动电话中，可以执行检测，以确定铰合部的角度、 移动电话是否折叠、是否发生滑动操作、或者滑动量，并可以根据检 测结果来切换串扰系数。在不是滑盖式或折叠式的移动电话中，可以 执行检测，以确定会改变向连接外壳中各个部分的接合处传输的声能 的因素、或者确定对回声声级的变化产生影响的因素，并可以根据检
测结果来切换串扰系数。
此外，本发明人通过实验证实了从线性回声抵消器3中输出的信
号的功率或幅度增加会改变回声路径的非线性。即，当在麦克风l的 输出信号不包含近端信号的条件下生成失真回声时，执行研究，以确 定可以充分抑制回声的串扰系数与线性回声抵消器3的输出信号的功率之间的关系，并提供了如图7所示的结果。图7示出了以1875Hz 为中心的频带上线性回声抵消器3的输出信号与相应串扰系数之间的 关系。图7所示图的横轴表示线性回声抵消器3的输出信号的功率， 纵轴表示可以充分抑制回声的串扰系数。
从图7所示的标绘点的分布可见，可以充分抑制回声的串扰系数 在线性回声抵消器3的输出信号的功率达到2000000时突然改变。认 为原因在于由非线性扬声器特性造成的回声失真突然增大，这是因为， 当线性回声抵消器3的输出信号的功率较大时，表示输入至线性回声 抵消器3的信号的功率(即，输入扬声器2的远端信号)也较大。
所以，在本发明的回声抑制设备中，检测从线性回声抵消器3输 出的信号的功率或幅度，作为使用条件，并根据检测值切换串扰系数。 在该方法中，可以用远端信号的功率或幅度，或者用远端信号中包含 的特定频率分量的功率或幅度，来替换线性回声抵消器3的输出信号 的功率或幅度。
基于线性回声抵消器3的输出信号在串扰系数之间切换的方法与 基于扬声器2设定产生的声级在串扰系数之间切换的方法相似。但是， 在后一方法中，即使在没有远端信号，从而不需要回声抑制时，也选 择根据声级设置的串扰系数。另一方面，前一方法优于后一方法的原 因在于，不会选择这种错误串扰系数。
在上述用于在串扰系数之间切换的方法中，不必检测上述所有使 用条件在串扰系数之间切换，而是可以检测一种或更多种使用条件， 以在串扰系数之间切换。
例如，在使用配备有多个摄像机的移动电话来进行呼叫，同时双 方交换视频(所谓的TV电话)的情况下，以及在根据移动电话中正 在使用的摄像机来自动切换麦克风和扬声器的情况下，可以基于摄像 机捕获的图像信息来检测正在使用的麦克风或扬声器，而不是直接检 测正在使用的麦克风或扬声器。
当确定了在串扰系数之间切换时使用的使用条件时，通过实验或 计算机仿真来确定对应于该使用条件的最优串扰系数，并在系数产生 器200中保存串扰系数以及相应的使用条件。
可以检测可由设置在回声抑制设备外部的传感器等检测的使用条 件，例如铰合部角度、扬声器设定要产生的声级和正在使用的扬声器 等，并将检测结果输入系数产生器200。可以在回声抑制设备中检测 其他使用条件，例如远端信号的功率或幅度、线性回声抵消器3的输 出信号的功率或幅度、以及远端信号中包含的特定频率分量的功率或 幅度，并将检测结果输入系数产生器200。
根据本发明的回声抑制设备，通过设定常数串扰系数，即使在输 入高电平噪声作为近端音频的环境中，也可以充分抑制与回声路径相 关联地产生的回声，这是因为常数串扰系数不受噪声影响。此外，因 为不需要现有技术第三示例所示的对回声串扰量的估计等复杂计算， 可以减小计算量。因此，可以在不受近端噪声影响的情况下容易地抑 制回声。
具体而言，通过根据使用条件来选择最优串扰系数，可以令人满 意地抑制与失真声音相关联地产生的回声。
下面，参照附图，描述根据本发明的回声抑制设备的示例实施例。
图8是示出了根据本发明的回声抑制设备的第一示例实施例的配
置的框图。
在第一示例实施例的回声抑制设备中，使用谱减法器6作为图3 所示的转换器100。
第一示例实施例中的系数产生器200产生串扰系数，该串扰系数 指示了上述由于麦克风1和扬声器2之间的声耦合而发生的回声串扰 的量。
谱减法器6接收减法器4的输出信号、线性回声抵消器3的输出 信号、在系数产生器200中产生的串扰系数和来自语音检测器5的语 音检测结果。
谱减法器6将减法器4的输出信号和线性回声抵消器3的输出信 号分成各个预定频率范围上的信号，并从划分的频率范围中的信号分 量中去除回声。
<系数产生器200>
图9是示出了图8所示系数产生器的示例配置的框图。
图9所示系数产生器200包括系数存储器201，系数存储器201
保存适合从频带1到频带M的频率范围的串扰系数。
系数产生器200读取系数存储器201中存储的每个频率范围(频
带)的串扰系数，并将其输出至谱减法器6。这种串扰系数对应于例
如图5所示的频率1250Hz上的相关斜率和频率3125Hz上的相关斜率。
图IO是示出了图8所示系数产生器的另一示例配置的框图。
图10所示系数产生器200包括系数存储器202，其保存适合从 频带1到频带M的频率范围的一组串扰系数；以及使用条件检测器 203，其检测包括有本发明的回声抑制设备的系统的多种使用条件。
图10所示系数产生器200从对应于每个频率范围的串扰系数组中 读取串扰系数，并将读取的串扰系数输出至谱减法器6，这里，要读 取的串扰系数与在使用条件检测器203中检测到的使用条件相对应。
在图IO所示的配置中，对应于每个频率范围的串扰系数组包括针 对使用条件l的串扰系数、针对使用条件2的串扰系数，...，针对使 用条件N的串扰系数，N是至少为2的任意值。
作为使用条件的示例，为了检测扬声器2设定要产生的声级，使 用条件检测器203包括传感器，其检测扬声器2设定要产生的声级； 以及鉴别器，其将检测到的设定的声级与预定阈值相比较，并将比较 结果转换为表示至少两个值的数字值。
作为使用条件的另一示例，检测折叠式移动电话中铰合部的角度。 在这种情况下，使用条件检测器203包括传感器(未示出)，其检测 铰合部的角度；以及鉴别器(未示出)，其将检测到的角度与预定阈值 相比较，并将比较结果转换为表示至少两个值的数字值。
作为使用条件的另一示例，为了对配备有多个扬声器的移动电话 中正在使用的扬声器进行检测，使用条件检测器203包括判断单元(未
示出)，其判断正在使用哪个扬声器，并使用表示至少两个值的数字值来输出判断结果。
作为使用条件的另一示例，为了对配备有多个麦克风的移动电话 中正在使用的麦克风进行检测，使用条件检测器203包括判断单元(未 示出)，其判断正在使用哪个麦克风，并使用表示至少两个值的数字值 来输出判断结果。
作为使用条件的另一示例，为了检测线性回声抵消器3的输出信 号的功率或幅度，使用条件检测器203包括检测器(未示出)，其检 测线性回声抵消器3的输出信号的功率或幅度；以及鉴别器(未示出)， 其将检测到的功率或幅度与阈值相比较，并将比较结果转换为表示至 少两个值的数字值。例如，当包括本发明的回声抑制设备的系统的特
征如图5所示时，当线性回声抵消器3的输出功率达到2000000时， 必要的串扰系数突然从1改变到20。因此，可以将阈值设定为2000000， 并在输出功率小于或等于2000000时输出"0"，而在输出功率大于 2000000时输出"1"。
除了上述使用条件之外，还可以使用任何使用条件，只要该使用 条件会影响回声串扰量。也可以使用多种使用条件的组合。
系数存储器202从对应于频率范围而预先寄存(preregister)的多 个串扰系数中选择与使用条件检测器203的输出信号相对应的一个串 扰系数，并将选择的串扰系数输出至谱减法器6。
例如，当将线性回声抵消器3的输出信号的功率特性用作使用条 件时，使用图7中实线指示的两个串扰系数"1"和"20"。这两个串 扰系数对应于以1875Hz为中心的频率范围。当使用条件检测器203 输出"0"时，输出串扰系数"l"，而当使用条件检测器203输出"1" 时，输出串扰系数"20"。
<谱减法器6>
图11是示出了图8所示谱减法器的示例配置的框图。 如图ll所示，谱减法器6包括傅立叶变换器60和61、傅立叶系 数减法器66m (m4到M)以及傅立叶逆变换器64。
傅立叶变换器60对减法器4的输出信号执行M点傅立叶变换，
并向对应于各个频率范围的傅立叶系数减法器66m (m=l到M)输出 处理结果(幅度和相位)，作为第一傅立叶系数。
傅立叶变换器61对线性回声抵消器3输出的回声复制信号执行 M点傅立叶变换，并向对应于各个频率范围的傅立叶系数减法器66m 输出处理结果(幅度和相位)，作为第二傅立叶系数。
每个傅立叶系数减法器66m接收从傅立叶变换器60输出的第一 傅立叶系数、从傅立叶变换器61输出的第二傅立叶系数以及从图8 所示的系数产生器200输出的串扰系数，使用所接收系数的幅度分量 执行减法运算，以计算傅立叶系数，并将计算结果(幅度和相位)输 出至傅立叶逆变换器64。
傅立叶逆变换器64对从傅立叶系数减法器661到66M输出的傅 立叶系数组执行傅立叶逆变换，并将处理结果的实部输出。
参照图12描述图11所示的傅立叶系数减法器66m(m4到M)。
图12是示出了图11所示傅立叶系数减法器之一的第一示例配置 的框图。
通过端子700向减法器706提供从图11所示傅立叶变换器60中 输出的、针对每个频率范围的第一傅立叶系数。
通过端子703向乘法器707提供从图11所示傅立叶变换器61中 输出的第二傅立叶系数。通过端子167向乘法器707提供系数产生器 20中产生的串扰系数。
乘法器707将串扰系数乘以第二傅立叶系数，并向减法器706输 出乘法结果。减法器706从第一傅立叶系数中减去乘法器707的输出 值，并输出计算结果。减法器706的计算结果输出至图11所示的傅立 叶逆变换器64。
通过将串扰系数与根据线性回声抵消器3的输出信号计算的第二 傅立叶系数相乘，乘法器707提供了从第一傅立叶系数中剩余的回声 得到的傅立叶系数的估计值。通过使用减法器706从第一傅立叶系数 中减去根据回声得到的傅立叶系数的估计值，提供了回声分量被抑制 的近端信号的傅立叶系数的估计值。
图11所示的傅立叶逆变换器64合成针对各个频率范围的估计值，并输出合成值作为近端信号。由此，合成的近端信号成为回声被抑制 的信号。
参照方程来描述上述傅立叶系数减法器66m的操作。 设S是近端信号的傅立叶系数，A是近端信号中包含的近端音频 信号分量，E是回声分量，N是噪声分量。这些参数满足如下关系 S-A+E+N…(1)
设R是回声复制信号的傅立叶系数，P1是串扰系数。P1是远端 信号R中泄漏到近端信号中成为回声的那部分的近似值，并对应于回 声路径中回声的增益。在现有技术第三示例的回声抑制设备中，P1
表示为如下方程
P1=Av[S/R〗=Av[(E+N)/R] (2) 其中Av[，]表示平滑过程。
所以，串扰系数P1乘以回声复制信号的傅立叶系数R得到值P2 (对应于乘法器707的输出信号)，P2是回声分量的估计值。 P2=P1xR
=Ex[E] (3)
其中Ex[]表示估计值。
从S中减去P2得到值P3 (对应于减法器706的输出信号近 端信号)。 P3=S-P2 =S-P1XR =A+E+N-Ex[E]
=Ex[A+N] (4)
艮口，减法器706的输出是已去除了回声分量E的近端音频的傅立 叶系数分量A与噪声分量N之和的估计值。
下面描述当失真是在回声路径中的扬声器等中产生时，图8所示 第一示例实施例的回声抑制设备的操作。
当失真是在回声路径中产生的时，第一示例实施例的回声抑制设 备在谱减法器6中执行针对频率范围的非线性运算，以去除回声中的
失真分量。通过使用线性回声抵消器3来调整对于频率范围的非线性 运算比较重要的信号分量的时间变化，第一示例实施例的回声抑制设 备有效去除回声中包含的失真分量。
麦克风1的输出信号不仅包含远端信号，还包含与远端信号的失 真相关联地产生的回声。可以认为与失真相关联地产生的回声是远端 信号的谐波分量。
为了简化以下描述，考虑回声分量E只包含由失真引起的谐波分 量的情况。
从上述方程(3)中可见，原理上，只要远端信号的傅立叶变换系
数R不为0，谱减法器6就可以去除回声分量E。为去除回声分量E， 对应于回声路径中回声的增益的串扰系数Pl的精确性非常重要。
在现有技术第三示例的回声抑制设备中，根据未在麦克风的输出 信号中检测到近端音频时的语音检测结果来估计回声串扰量，从而很 难在存在高电平近端噪声的环境中准确检测音频。当语音检测结果错 误时，串扰系数P1非常大，因此，基于该错误串扰系数P1计算的近 端信号P3的准确性下降。SP，无法充分抑制近端信号P3中包含的回 声，从而近端音频失真较大。为了克服该问题，可以进行控制，不更 新串扰系数P1。但是，在这种情况下，当回声串扰量改变时，串扰系 数P1的误差增大，因此，基于该错误串扰系数P1计算的近端信号P3 的准确性下降。
例如，当使用折叠式免提移动电话时，或者当可以切换要使用的 扬声器时，回声串扰量依据折叠铰合部的角度或正在使用的扬声器而 改变。在存在高电平近端噪声的环境中，通话者常常改变使用条件， 以便更清楚地听见语音。例如，通话者改变铰合部角度或将正在使用 的扬声器切换为另一个。在这种情况下，校正的第一信号的质量下降。
另一方面，在本示例实施例中，串扰系数Pl是根据使用条件而 预先设定的常数。因此，通过检测铰合部的角度或正在使用的扬声器， 提供串扰系数P1，而不会受到近端信号中包含的噪声的影响。
本申请发明人使用移动电话进行的实验表明了，当将根据使用条 件而预先设定的常数用作串扰系数P1，而不是将误差较大的估计值用作串扰系数Pl时，更加令人满意地去除了近端音频中的回声和失真 声音。
第一示例实施例的回声抑制设备的另一优点在于，即使图8所示 的线性回声抵消器3执行的回声路径估计发生错误时，也可以去除残 余回声。
在以上描述中，回声分量E只包含由失真引起的谐波分量。第一 示例实施例的回声抑制设备也能够抑制远端信号中包含但不是由失真 引起的回声分量，即，己被去除了谐波分量的回声分量。
例如，当线性回声抵消器3执行的回声路径估计发生错误时，图
8所示减法器4无法去除回声，反而会不利地添加回声。即使在这种 情况下，谱减法器6也可去除远端信号分量，从而可以充分抑制回声。
此外，在本示例实施例的回声抑制设备中，提供谱减法器6的回 声抑制效果可以减少线性回声抵消器3的抽头数目(自适应滤波器的 抽头数目)，从而减小计算量。
在图1所示现有技术第一示例的回声抑制设备中，只提供了线性 回声抵消器3。因此，减少线性回声抵消器3中自适应滤波器的抽头 数目会降低回声去除性能。但是，在图8所示第一示例实施例的回声 抑制设备中，即使减少自适应滤波器的抽头数目，提供谱减法器6也 补偿了该回声去除性能的下降。因此，回声抑制设备具有足够的回声 去除性能。
第一示例实施例的回声抑制设备具有线性回声抵消器3和在谱减 法器6中执行的针对频率范围的非线性运算，两者彼此补偿，提供了 充分去除回声的能力。
艮口，即使在线性回声抵消器3独自无法充分抑制回声时，例如， 在回声路径产生失真或由线性回声抵消器3执行的回声路径估计发生 错误时，谱减法器6也能抑制回声。
此外，通过使用线性回声抵消器3的输出信号来校正麦克风的输 出信号，可以抑制引起失真的谐波分量，无需考虑由谱减法器6执行 的针对频率范围的非线性运算无法独自处理的时移，而是使用只用幅 度值的简单估计。
此外，通过将谱减法器6中使用的串扰系数Pl设定为根据使用 条件预先设定的常数，即使在使用条件发生改变，例如，在存在高电 平近端噪声的环境中，以及在近端音频具有较少失真的环境中，都可 以充分抑制回声。
此外，不同于现有技术第三示例的回声抑制设备，因为第一示例 实施例的回声抑制设备不需要进行复杂计算来估计回声串扰量，所以 减少了计算量。
图13是示出了根据本发明的回声抑制设备的第二示例实施例的 配置框图。
第二示例实施例的回声抑制设备与第一示例实施例的回声抑制设 备的不同之处在于，谱减法器6接收麦克风1的输出信号，而不是减 法器4的输出信号。
在第一示例实施例的回声抑制设备中，线性回声抵消器3去除回 声的主分量，而在第二示例实施例的回声抑制设备中，谱减法器6去
除回声的主分量。除了上述配置和操作之外，第二示例实施例与第一 示例实施例相同，如第一示例实施例中一样，有利地去除了由于失真 产生的回声。
所以，在第二示例实施例的回声抑制设备中，即使在线性回声抵
消器3独自无法充分抑制回声时，例如在声传递系统产生失真时，或 者在线性回声抵消器3执行的回声路径估计发生错误时，谱减法器6 也可以充分抑制回声，与第一示例实施例一样。
此外，通过将谱减法器6中使用的估计串扰值P1设定为根据使 用条件预先设定的常数，即使在使用条件改变时，例如，在存在高电 平近端噪声的环境中以及提供了失真较少的近端音频的环境中，也可 以充分抑制回声。
谱减法器6不一定如第一和第二示例实施例中所示地配置，而可 以使用例如非专禾U文献2(X旧ojian l_u and Benoit Champagne, "Acoustical Echo Cancellation Over A Non-Linear Channel", International Workshop on Acoustic Echo and Noise Control 2001〉 中描述的谱减法运算或非专利文献3(A. Alvarez等，"A Speech Enhancement System Based On Negative Beamforming And Spectral Subtraction", International Workshop on Acoustic Echo and Noise Control 2001)中描述的谱减法运算。
图14是示出了根据本发明的回声抑制设备的第三示例实施例的 配置框图。
第三示例实施例的回声抑制设备与第一示例实施例的回声抑制设 备的不同之处在于，用谱抑制器7替换了图8所示的谱减法器6。除 了上述配置和操作之外，第三示例实施例与第一示例实施例相同。省 略对共同部分的详细描述。
下面参照附图，描述图14所示的谱抑制器7。 图15是示出了图14所示谱抑制器的示例配置的框图。 如图15所示，谱抑制器7包括傅立叶变换器70和71、傅立叶 系数乘法器76m (m=1到M)和傅立叶逆变换器74。
傅立叶变换器70对通过端子72输入的、图14所示减法器4的 输出信号执行M点傅立叶变换，将处理结果(幅度和相位)作为第一 傅立叶系数，输出至对应于各个频率范围的傅立叶系数乘法器76m (m=1到M)。
傅立叶变换器71对通过端子73输入的、图14所示线性回声抵 消器3的输出信号(回声复制信号)执行M点傅立叶变换，将处理结 果(幅度和相位)作为第二傅立叶系数，输出至对应于各个频率范围 的傅立叶系数乘法器76m (m=1到M)。
每个傅立叶系数乘法器76m接收从傅立叶变换器70输出的第一 傅立叶系数、从傅立叶变换器71输出的第二傅立叶系数、以及从图 14所示系数产生器200输出并通过端子67输入的串扰系数，使用接 收系数的幅度分量来执行乘法运算，计算傅立叶系数，并将计算结果 (幅度和相位)输出至傅立叶逆变换器74。
傅立叶逆变换器74对从傅立叶系数乘法器76m (m=1到M)输 出的傅立叶系数组进行傅立叶逆变换，并从端子75输出处理结果的 实部。在图15所示的配置中，由傅立叶系数乘法器76m(mM到M) 得到回声分量受到抑制的近端信号。
参照图16，描述每个傅立叶系数乘法器76m (m=1到M)的配 置和操作。
图16是示出了图15所示傅立叶系数乘法器之一的第一示例配置 的框图。
如图16所示，第一示例配置的傅立叶系数乘法器76m包括绝对 值计算器731、绝对值计算器734、乘法器737、除法器745、乘法 器746、平滑单元747和减法器744。
通过端子730向绝对值计算器731和乘法器737输出从图15所 示傅立叶变换器70输出的各个频率范围的第一傅立叶系数。通过端 子733向绝对值计算器734输出从图15所示傅立叶变换器71输出 的第二傅立叶系数。
绝对值计算器731计算第一傅立叶系数的绝对值，并向除法器 745输出计算结果。绝对值计算器734计算第二傅立叶系数的绝对值， 并向除法器745输出计算结果。除法器745用来自绝对值计算器734 的计算结果除以来自绝对值计算器731的计算结果，并向乘法器746 输出计算结果。
乘法器746用除法器745的输出信号乘以输入端子167的、系数 产生器200中产生的串扰系数，并向平滑单元747输出计算结果。平 滑单元747对乘法器746的输出信号进行平滑，并向减法器744输出 平滑信号。
减法器744从值"1.0"中减去平滑单元747的输出值，并向乘 法器737输出计算结果。乘法器737用傅立叶变换器70输出的第一 傅立叶系数乘以减法器744的输出值，并输出乘法结果。通过端子789 将乘法器737的输出信号输出至图15所示的傅立叶逆变换器74。 图17是示出了图16所示平滑单元的示例配置的框图。 图17所示平滑单元747包括减法器801、乘法器802、加法器803、
限幅器807和延迟单元804。
通过端子800向减法器801提供至平滑单元747的输入信号(乘 法器746的输出信号)。减法器801从输入信号中减去延迟单元804 的输出信号(平滑单元的输出信号)，并将计算结果输出至乘法器802。 这里，延迟单元804将平滑单元的输出信号延迟一个采样时间。
乘法器802用通过端子806输入的平滑系数乘以减法器801的输 出信号，并向加法器803输出计算结果。计算器803将乘法器802的 输出信号与延迟单元804的输出信号相加，并向限幅器807输出计算 结果。限幅器807限制加法器803的输出信号的幅度，以使幅度在预 定上限和下限范围内，并将限幅后的信号输出至输出端子899和延迟 单元804。延迟单元804将限幅器807的输出信号延迟一个采样时间， 将延迟的信号输出至减法器801和加法器803。
图17所示的平滑单元747是所谓的泄漏积分器或一阶IIR型低通 滤波器。在图17所示平滑单元747中，输入平滑系数与平滑过程的时 间常数成反比。平滑单元747不一定如图17所示而配置，而可以采用 具有平滑效果的任何配置，例如高阶IIR型滤波器。
图18是示出了图16所示平滑单元的另一示例配置的框图。
图18所示平滑单元747类似于图17所示的平滑单元，除了添加 了用于产生平滑系数的平滑系数确定单元810之外。平滑系数确定单 元810使用减法器801的输出信号来产生平滑系数，并输出至乘法器 802。在这种配置中，平滑单元747的输出信号的上升速率和下降速率
可以设定为彼此不同。
当减法器801的输出信号为正时，即当减法器801的输出信号增 加时，平滑系数确定单元810输出相对较小的系数，例如0.001，而 当减法器801的输出信号为负时，即当减法器801的输出信号减小时， 平滑系数确定单元810输出相对较大的系数，例如O.Ol。
通过这样设定平滑系数，平滑单元747的输出信号增大的速率(即 上升速率)下降，而平滑单元747的输出信号减小的速率(即下降速 率)提高。因此，图16所示减法器744的输出信号的上升速率增大， 而下降速率减小。注意，减法器744的输出信号是近端信号中包含的
近端音频和近端噪声的比例的估计值。
一般而言，幅度变化(即音频或音乐的包络特性)的特征在于， 在许多情况下，上升速率较大而下降速率较小。图18所示的平滑单元 可以提供这种包络特性，以便更加准确地估计近端信号中包含的近端 音频和近端噪声的比例。
参照方程描述图16所示减法器744的操作。
上述方程(4)的第二行除以S是平滑值P4，由下面方程(5)表 示。方程(5)的右边对应于图16所示减法器744的输出值。 P4=Av[P3/S]
=Av[ 1 -{(R/S )x Av[(E+N )/R〗}] =1-Av[{(R/S)xAv[(E+N)/R]}]…(5)
备选地，方程(4)的第三行除以S是平滑值P4，由下面方程表
不
P4=Av[{(A+E+N)-Ex[E+N]}/S]
=Av[Ex[A]/S] =Ex[A/S] ...(6)
方程(6)和方程(5)的比较表明了减法器744的输出值P4是 近端信号中包含的近端音频的比例的估计值。
因此，图16所示乘法器737用于将减法器744的输出值乘以图 14所示减法器4的输出信号，以提供近端信号中包含的非回声信号的 傅立叶系数的估计值，即，回声被抑制的近端音频。图15所示的傅立 叶逆变换器74在频率上将估计值合成，提供回声被抑制的近端信号。
下面，描述当扬声器2等在回声路径中产生失真时第三示例实施
例的回声抑制设备的操作。
如方程(5)和(6)所示，图16所示减法器744的输出值P4是
近端信号中包含的近端音频的比例的估计值。
如方程(5)所示，使用第一示例实施例中的P3来计算值P4。如
第一示例实施例中所述，P3是近端音频的傅立叶系数分量的估计值， 是通过去除回声分量、噪声分量以及失真导致的谐波分量相关回声而 得到的。因此，P4是己去除了失真导致的谐波分量相关回声的值，通
过乘以P4得到的傅立叶系数的失真相关回声分量被抑制。
如上所述，麦克风1的输出信号不仅包含远端信号(回声分量)，
还包含由远端信号的失真导致的回声。可以认为失真导致的回声是远
端信号的谐波分量。
根据第三示例实施例的、包括谱抑制器7的回声抑制设备，可以
使用远端信号中包含的谐波分量来抑制与远端信号的失真相关联地产
生的回声。
艮口，在第三示例实施例的回声抑制设备中，即使在线性回声抵消 器3独自无法充分抑制回声时，例如，在回声路径产生失真或由线性
回声抵消器3执行的回声路径估计发生错误时，谱抑制器7也能充分
抑制回声。
此外，通过将串扰系数设定为根据使用条件预先设定的常数，即 使在使用条件改变时，例如，在存在高电平近端噪声的环境中以及提 供了失真较少的近端音频的环境中，也可以充分抑制回声。
图19是示出了图15所示傅立叶系数乘法器的第二示例配置的框图。
第二示例配置的傅立叶系数乘法器76m与图16所示第一示例配 置的傅立叶系数乘法器的不同之处在于，在从绝对值计算器731到除 法器745的信号路径中插入了平滑单元740，在从绝对值计算器734 到除法器745的信号路径中插入了平滑单元741。
平滑单元740和741可以类似于平滑单元747而配置，除了它们 使用不同的平滑系数之外。因此，省略了对平滑单元740和741的详 细描述。
在图19所示的傅立叶系数乘法器76m中，平滑单元740和741 对除法器745的输入值进行平滑，从而也对从除法器745通过乘法器 746提供至平滑单元747的值进行平滑。因此，平滑单元747提供的 输出值比图16所示第一示例配置的傅立叶系数乘法器76m的输出值 更加稳定。
第一和第二示例配置的傅立叶系数乘法器76m的构思的相同之 处在于，减法器744提供近端信号中包含的近端音频比例的估计值。
因此，当使用图19所示第二示例配置的傅立叶系数乘法器76m 时，也提供了在使用图16所示第一示例配置的傅立叶系数乘法器76m 时提供的上述本发明优点。
图20是示出了图15所示傅立叶系数乘法器的第三示例配置的框图。
第三示例配置的傅立叶系数乘法器76m与图19所示第二示例配 置的傅立叶系数乘法器的不同之处在于，在从平滑单元740和741至 乘法器737的级中执行处理的顺序不同。
在第三示例配置的傅立叶系数乘法器76m中，平滑单元740的输 出值输出至减法器744和除法器745，平滑单元741的输出值输出至 乘法器746。
乘法器746将平滑单元741的输出值乘以系数产生器200中产生 的串扰系数，并向减法器744输出计算结果。减法器744从平滑单元 740的输出值中减去乘法器746的输出值，并向除法器745输出计算 结果。除法器745用减法器744的输出值除以平滑单元740的输出值， 并向平滑单元748输出计算结果。平滑单元748对除法器745的输出 值进行平滑，并向乘法器737输出处理结果。
平滑单元748可以类似于平滑单元747而配置，除了它们使用不
同的平滑系数之外。
如果如图18所示配置，平滑单元748可以提供上升速率较大而下 降速率较小的包络特性，从而可以更加准确地估计近端信号中包含的 近端音频和近端噪声的比例。
平滑单元748的输出值P5由如下方程(7)表示
P5=Av[(Av[S]-P1xAv[R](S)/Av[S〗)]
=Av[(Av[((A+E+N)S-Ex[E]))/Av[S]]
=Av[Ex[A+N/Av[S]] =Ex[(A+N)/S]…(7)
方程(7)表明了与上述P4的情况一样，平滑单元748的输出值 P5是近端信号中包含的近端音频的比例的估计值。
因此，图20所示第三示例配置的傅立叶系数乘法器76m具有与 图19所示第二示例配置的傅立叶系数乘法器76m相同的功能，因此 提供了在使用图16所示第一示例配置的傅立叶系数乘法器76m时提 供的上述本发明优点。
图21是示出了根据本发明的回声抑制设备的第四示例实施例的 配置的框图。
第四示例实施例的回声抑制设备与图14所示第三示例实施例的 回声抑制设备的不同之处在于，谱抑制器7接收麦克风1的输出信号， 而不是减法器4的输出信号。
因此，在第三示例实施例的回声抑制设备中，线性回声抵消器3 去除回声的主分量，而在第四示例实施例的回声抑制设备中，谱抑制 器7去除回声的主分量。
除了上述配置和操作之外，第四示例实施例与第三示例实施例相 同，如第三示例实施例中一样有利地去除了由失真导致的回声。
因此，在第四示例实施例的回声抑制设备中，即使在线性回声抵 消器3独自无法充分抑制回声时，例如在声传递系统产生失真时，或 者在线性回声抵消器3执行的回声路径估计发生错误时，谱抑制器7 也可以充分抑制回声，与第三示例实施例一样。
此外，通过将谱抑制器7中使用的串扰系数设定为根据使用条件 预先设定的值，即使在使用条件改变时，例如，在存在高电平近端噪 声的环境中以及提供了失真较少的近端音频的环境中，也可以充分抑 制回声。
虽然描述了本发明的示例实施例，但是本发明不限于上述第一到 第四示例实施例，而可以进行如下多种改变。
例如，在有关技术的第一到第四示例中，虽然参照谱减法器6和 谱抑制器7针对每个预定采样周期而执行傅立叶变换的情况进行了描 述，但是不一定是针对每个预定采样周期来执行傅立叶变换，而可以 基于固定间隔的帧来进行。
此外，可以采用帧彼此交叠的方式来执行傅立叶变换。在这种情
况下，可以通过使用交叠保存方法或交叠添加方法来减小计算量。例
如，在非专禾ij文献4(John丄Shynk, "Frequency-Domain and Multirate Adaptive Filtering", IEEE Signal Processing Magazine, January 1992,页数14-37)中描述了交叠保存方法和交叠添加方法。
此外，在有关技术的第一到第四示例中，虽然参照谱减法器6和 谱抑制器7执行傅立叶变换的情况进行了描述，但是可用其他线性变 换方法，例如余弦变换和滤波器组，来替换傅立叶变换，甚至可以在 子带域变换之后执行该过程。在这种情况下，可以改变针对傅立叶系 数的减法器和乘法器，以对应于所使用的线性变换。例如，当使用余 弦变换时，可以使用针对余弦系数的减法器和针对余弦系数的乘法器。 这些计算装置的运算与上述有关技术的第一到第四示例中用作线性变 换的傅立叶变换的运算相同。
虽然在第一到第四示例实施例中使用线性回声抵消器3作为示 例，但是可以使用变换域回声抵消器来抑制回声。在这种情况下，将 变换域回声抵消器的变换域设定为与上述减法器6或谱抑制器7的变
换域相同，可以减小整个回声抑制设备的计算量，并缩短与计算相关 的延迟时间。
这里的变换域回声抵消器是指在使用线性变换而扩展的变换域中 抑制回声、并使用线性逆变换在原始域中执行重新合成的回声抵消器。 关于变换域回声抵消器，下面参照例如非专利文献4中描述的傅
立叶变换域回声抵消器来进行描述。
图22是示出了根据本发明的回声抑制设备的第五示例实施例的 配置的框图。
第五示例实施例的回声抑制设备配置为回声抵消器13和谱减法 器16在傅立叶变换域中执行处理。回声抵消器13向谱减法器16输 出变换域信号组1和变换域信号组2。
图23是示出了图22所示回声抵消器的示例配置的框图。
图23所示回声抵消器13包括傅立叶变换器35、自适应滤波器
组38、傅立叶逆变换器36、傅立叶变换器37和乘法器39m (m=1 到M)。
傅立叶变换器35在傅立叶变换域中对输入至端子31的远端信号 进行扩展，针对各个频率范围的扩展信号输出至自适应滤波器组38。 傅立叶变换器37在傅立叶变换域中对通过端子33从图22所示减法 器4中输入的减法结果进行扩展，针对各个频率范围的扩展信号输出 至乘法器39m (m=1到M)。
乘法器39m (m=1到M)将从傅立叶变换器37接收的信号与通 过端子34接收的语音检测结果相乘，将计算结果输出至自适应滤波 器组38。
自适应滤波器组38包括M个自适应滤波器，接收从傅立叶变换 器35输出的信号组2以及从乘法器39m (m=1到M)输出的信号组 1，对彼此对应的信号执行自适应滤波。自适应滤波得到的滤波输出 被输出至傅立叶逆变换器36。
傅立叶逆变换器36对从自适应滤波器组38获得的滤波输出执行 傅立叶逆变换，并将处理结果从端子32输出。从端子32输出的信号
是回声抵消器的输出信号。
回声抵消器13也从矢量输出端子41输出傅立叶变换器37的输 出信号，作为变换域信号组1。回声抵消器13也从矢量输出端子42 输出自适应滤波器组38的输出信号，作为变换域信号组2。在谱减法 器16中使用变换域信号组1和变换域信号组2。
可以认为变换域信号组1是通过对图22所示减法器4的输出信 号执行傅立叶变换而得到的信号，可以认为变换域信号组2是通过对 图22所示从回声抵消器13向减法器4输出的信号执行傅立叶变换而
得到的信号。
参照附图，描述图22所示谱减法器16的配置和操作。 图24是示出了图22所示谱减法器的示例配置的框图。 图24所示的谱减法器16与第一示例实施例的回声抑制设备中使 用的谱减法器6的不同之处在于，去除了图11所示的傅立叶变换器 60和61，并输入了变换域信号组1和变换域信号组2。如上所述，可以认为变换域信号组1是通过对图22所示减法器4 的输出信号执行傅立叶变换而得到的信号，可以认为变换域信号组2
是通过对图22所示从回声抵消器13向减法器4输出的信号执行傅立 叶变换而得到的信号。这些信号组与输入至图11所示减法器6中的 傅立叶系数减法器66m (m=1到M)的两个信号相同。所以，图24 所示谱减法器16输出的信号与从图11所示谱减法器6中输出的信号 相同。所以，图22所示的第五示例实施例的回声抑制设备提供的优 点与根据本发明第一示例实施例的回声抑制设备所提供的优点相同。
在第五示例实施例的回声抑制设备中，通过向谱减法器16提供 从回声抵消器13中输出的变换域信号组1和变换域信号组2，可以减 小谱减法器16执行的傅立叶变换的量。
这种配置适用于第二到第四示例实施例中所示的回声抑制设备。 此外，例如，可以用余弦变换域替换傅立叶变换域。
虽然在第一到第四示例实施例中使用线性回声抵消器3作为示 例，但是可以使用例如非专利文献4中描述的子带域回声抵消器来抑 制回声。在这种情况下，通过在子带域中执行谱减法器6或谱抑制器 7中的处理过程，可以省略针对子带域变换的滤波器。
图25是示出了根据本发明的回声抑制设备的第六示例实施例的 配置的框图。
在第六示例实施例的回声抑制设备中，回声抵消器和谱减法器在 子带域中执行处理过程。
如图25所示，在第六示例实施例的回声抑制设备中，子带分析 滤波器组91将麦克风1的输出信号扩展到N个频带中，子带分析滤 波器组92将远端信号扩展到N个频带中。
提供回声抵消器93n、减法器94n、语音检测器95n和谱减法器 96n (n=1到N)，对应于由子带分析滤波器组91和92扩展的频带。
在子带合成滤波器组99中对谱减法器96n的输出信号执行逆变 换，并输出原始信号域中的变换信号，作为近端信号。
减法器94n、语音检测器95n和谱减法器96n (n=1至ij N)以类
似于图8所示第一示例实施例的回声抑制设备中的那些装置的方式， 在每个频带中进行操作，除了回声抵消器的抽头数量不同以及谱减法 器的傅立叶变换器的规模不同之外。所以，省略了对上述每个装置的 配置和操作的描述。
在第六示例实施例的回声抑制设备中，因为所有处理过程是在子 带域扩展之后执行的，所以可以省略线性回声抵消器3中的合成滤波 器组和谱减法器中的子带分析滤波器组。因此，可以减小对应于子带 分析滤波器组和子带合成滤波器组的计算量，并可以缩短对应于这种 计算的延迟时间。
图25所示第六示例实施例的配置适用于第二到第四示例实施例 中所示的回声抑制设备。此外，例如可以用余弦变换域替换傅立叶变 换域。
图26是示出了根据本发明的回声抑制设备的第七示例实施例的 配置的框图。
在第七示例实施例的回声抑制设备中，回声抵消器和谱减法器在 傅立叶变换域中执行处理过程。
如图26所示，在第七示例实施例的回声抑制设备中，傅立叶变 换器191将麦克风1的输出信号扩展到M个频带中，傅立叶变换器 192将远端信号扩展到M个频带中。
提供回声抵消器193m、减法器194m、语音检测器195m和傅立 叶系数减法器66m (m=1到M)，对应于由傅立叶变换器191和192 扩展的频带。
在傅立叶逆变换器199中对针对各个频带的傅立叶系数减法器 66m的输出信号执行逆变换，并输出原始信号域中的变换信号，作为 近端信号。
减法器194m和语音检测器195m以类似于图8所示第一示例实 施例的回声抑制设备中的那些装置的方式，在每个频带中进行操作，
除了回声抵消器的抽头数量不同之外。所以，省略了对上述每个装置 的配置和操作的描述。
与第六示例实施例一样，第七示例实施例的回声抑制设备在变换 域中执行回声抵消器和谱减法器中的处理过程，但是与第六示例实施 例的回声抑制设备的不同之处在于，频带数目M大于第六示例实施例 中的频带数目，这是因为处理过程在傅立叶变换域中执行，并用傅立
叶系数减法器66m替换了谱减法器。
在第七示例实施例的回声抑制设备中，因为处理过程是在傅立叶 变换域扩展之后执行的，所以谱减法运算不需要傅立叶变换。因此， 在第七示例实施例中，不需要谱减法器中的傅立叶变换和傅立叶逆变
换，只通过傅立叶系数减法器66m来执行谱减法运算所必需的运算。 在第七示例实施例的回声抑制设备中，可以减小对应于省略的傅
立叶变换和傅立叶逆变换的计算量。
图26所示第七示例实施例的配置适用于第二到第四示例实施例
中所示的回声抑制设备。此外，例如可以用余弦变换域替换傅立叶变换域。
在第七示例实施例中，虽然使用线性回声抵消器作为示例，但是 可以使用非线性回声抵消器来抑制回声。在这种情况下，通过在傅立 叶变换域中执行谱减法器或谱抑制器中的处理过程，可以提供上述相 同的优点。
虽然参照免提电话描述了本发明的回声抑制设备，但是本发明适 用于多种设备，其中扬声器生成音频，同时麦克风拾取声音，例如在 扬声器正生成音乐时拾取声音的设备，或者来自手持设备中的接收机 的回声会引起问题的设备。
权利要求
1.一种回声抑制方法，用于抑制由声音拾取装置与扬声器之间的声耦合产生的回声，所述方法包括使用所述声音拾取装置的输出信号，或者使用从所述声音拾取装置的输出信号中减去回声抵消器的输出信号而得到的信号，作为第一信号，并使用所述回声抵消器的输出信号作为第二信号；以及使用串扰系数来校正所述第一信号，其中所述串扰系数是预定值，用于计算所述第二信号泄漏到所述第一信号中的串扰量。
2. 根据权利要求1所述的回声抑制方法，还包括 将所述第一信号划分成预定频率范围中的信号；以及 使用对应于每个频率范围的所述串扰系数，来校正所述第一信号。
3. 根据权利要求1或2所述的回声抑制方法， 其中根据预定使用条件，从多个预设串扰系数中选择用于校正所述第一信号的串扰系数。
4. 根据权利要求3所述的回声抑制方法，其中所述使用条件是以下之中的一个或更多个所述回声抵消器 的输出信号的功率或幅度、远端信号的功率或幅度、以及所述远端信 号的特定频率分量的功率或幅度。
5. 根据权利要求3所述的回声抑制方法，其中所述使用条件是所述扬声器设定用于产生的声级。
6. 根据权利要求3所述的回声抑制方法，其中所述使用条件是所述声音拾取装置与所述扬声器之间的相对 位置关系。
7. 根据权利要求3所述的回声抑制方法，其中在提供了多个所述声音拾取装置和/或多个所述扬声器时，所 述使用条件是正在使用的声音拾取装置或扬声器。
8. 根据权利要求1至7中任一项所述的回声抑制方法，还包括使用所述系数和所述第二信号来估计所述第一信号中包含的回声从所述第一信号中减去所估计的回声量，以校正所述第一信号。
9. 根据权利要求1至7中任一项所述的回声抑制方法，还包括: 使用所述串扰系数、所述第一信号和所述第二信号来估计所述第一信号中包含的近端音频的比例；以及将所述第一信号与所估计的比例相乘，以校正所述第一信号。
10. —种回声抑制设备，用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声，所述设备包括回声抵消器，产生对所述回声进行仿真的回声复制信号； 系数产生器，使用所述声音拾取装置的输出信号，或者使用从所 述声音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到 的信号，作为第一信号，使用所述回声抵消器的输出信号作为第二信 号，并产生串扰系数，所述串扰系数是预定值，用于计算所述第二信 号泄漏到所述第一信号中的串扰量；以及校正器，使用在所述系数产生器中产生的串扰系数来校正所述第 一信号。
11. 一种回声抑制设备，用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声，所述设备包括回声抵消器，产生对所述回声进行仿真的回声复制信号；频率划分器，使用所述声音拾取装置的输出信号，或者使用从所 述声音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到 的信号，作为第一信号，使用所述回声抵消器的输出信号作为第二信号，并将所述第一信号划分成预定频率范围中的信号；系数产生器，针对所划分的第一信号的每个频率范围，产生串扰系数，所述串扰系数是预定值，用于计算所述第二信号泄漏到所述第一信号中的串扰量；校正器，针对所述第一信号的每个频率范围，使用在所述系数产生器中产生的串扰系数来校正所述第一信号；以及频率合成器，合成针对各个频率范围而校正的所述第一信号。
12. —种回声抑制设备，用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声，所述设备包括-变换域回声抵消器，产生对所述回声进行仿真的回声复制信号； 系数产生器，划分通过从所述声音拾取装置的输出信号中减去所 述变换域回声抵消器的输出信号而得到的信号，使用所划分的信号作 为第一信号组，使用所述变换域回声抵消器中的线性逆变换之前的各 个预定频率域中的信号，作为第二信号组，并产生串扰系数，其中所 述划分是在所述变换域回声抵消器中针对每个预定频率范围而执行 的，每个串扰系数是预定值，用于针对所述第一信号组的各个频率范 围，计算所述第二信号组泄漏到所述第一信号组中的串扰量；校正器，针对各个频率范围，使用在系数产生器中产生的针对各 个频率范围的所述串扰系数来校正所述第一信号组；以及频率合成器，合成针对各个频率范围而校正的所述第一信号组。
13. —种回声抑制设备，用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声，所述设备包括回声抵消器，产生对所述回声进行仿真的回声复制信号； 子带分析滤波器，针对每个预定频率范围，分别对所述声音拾取 装置的输出信号和所述扬声器的输出信号进行扩展；系数产生器，使用已针对各个频率范围而扩展的所述声音拾取装 置的输出信号，或者使用通过从已针对各个频率范围而扩展的所述声 音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到的信 号，作为第一信号组，使用所述回声抵消器的输出信号作为第二信号， 并针对所述第一信号组的每个频率范围，产生串扰系数，每个串扰系 数是预定值，用于计算所述第二信号泄漏到相应的第一信号中的串扰对应于各个频率范围的多个校正器，所述校正器针对各个频率范 围，使用在所述系数产生器中产生的针对各个频率范围的所述串扰系 数来校正所述第一信号组；以及子带合成器，合成在所述校正器中校正的第一信号组。
14. 一种回声抑制设备，用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声，所述设备包括-回声抵消器，产生对所述回声进行仿真的回声复制信号； 傅立叶变换器，针对每个预定频率范围，分别对所述声音拾取装 置的输出信号和所述扬声器的输出信号进行扩展；系数产生器，使用已针对各个频率范围而扩展的所述声音拾取装 置的输出信号，或者使用通过从已针对各个频率范围而扩展的所述声 音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到的信 号，作为第一信号组，使用所述回声抵消器的输出信号作为第二信号， 并针对所述第一信号组的每个频率范围，产生串扰系数，每个串扰系 数是预定值，用于计算所述第二信号泄漏到相应的第一信号中的串扰对应于各个频率范围的多个校正器，所述校正器针对各个频率范 围，使用在所述系数产生器中产生的针对各个频率范围的所述串扰系 数来校正所述第一信号组；以及傅立叶逆变换器，合成在所述校正器中校正的第一信号组。
15. 根据权利要求10至14中任一项所述的回声抑制设备， 其中所述系数产生器根据预定使用条件，从多个预设串扰系数中选择用于校正所述第一信号的串扰系数。
16. 根据权利要求10至14中任一项所述的回声抑制设备， 其中所述系数产生器包括检测器，检测预定使用条件；以及存储装置，不仅针对所述第一信号的各个频率范围而且对应于使 用条件来保存多个预设串扰系数，并针对每个频率范围，输出与检测 器检测到的使用条件相对应的串扰系数。
17. 根据权利要求15或16所述的回声抑制设备，其中所述使用条件是以下之中的一个或更多个所述回声抵消器 的输出信号的功率或幅度、远端信号的功率或幅度、以及所述远端信 号的特定频率分量的功率或幅度。
18. 根据权利要求15或16所述的回声抑制设备，其中所述使用条件是所述扬声器设定用于产生的声级。
19. 根据权利要求15或16所述的回声抑制设备， 其中所述使用条件是所述声音拾取装置与所述扬声器之间的相对 位置关系。
20. 根据权利要求15或16所述的回声抑制设备， 其中在提供了多个所述声音拾取装置和/或多个所述扬声器时，所述使用条件是正在使用的声音拾取装置或扬声器。
21. 根据权利要求10至20中任一项所述的回声抑制设备，其中 所述校正器使用所述系数和所述第二信号来估计所述第一信号中包含的回声量，并从所述第一信号中减去所估计的回声量，以校正所 述第一信号。
22. 根据权利要求10至20中任一项所述的回声抑制设备，其中 所述校正器使用所述串扰系数、所述第一信号和所述第二信号来估计所述第一信号中包含的近端音频的比例，并将所述第一信号与所 估计的比例相乘，以校正所述第一信号。
23. 根据权利要求22所述的回声抑制设备，其中 所述校正器包括第一平滑单元，对与所述第一信号的幅度或功率相对应的量进行 平滑；第二平滑单元，对与所述第二信号的幅度或功率相对应的量进行 平滑；第一乘法器，用所述串扰系数乘以在所述第二平滑单元中平滑的减法器，从所述第一平滑单元中平滑的量中减去从所述第一乘法 器得到的乘法结果；除法器，用从所述减法器得到的减法结果除以在所述第一平滑单 元中平滑的量；第三平滑单元，对从所述除法器得到的除法结果进行平滑；以及 第二乘法器，用在所述第三平滑单元中平滑的量乘以所述第一信号。
全文摘要
系数产生器200产生串扰系数，串扰系数是预定值，用于计算回声串扰量。转换器100使用声音拾取装置的输出信号，或者使用从声音拾取装置的输出信号中减去回声抵消器的输出信号而得到的信号，作为第一信号，根据系数产生器200中产生的串扰系数来校正第一信号，并产生从第一信号中去除回声而得到的近端信号。
文档编号H04M1/60GK101346895SQ20068004881
公开日2009年1月14日 申请日期2006年10月25日 优先权日2005年10月26日
发明者宝珠山治 申请人:日本电气株式会社