回声抑制方法及设备的制作方法

文档序号:7641726阅读:314来源:国知局
专利名称:回声抑制方法及设备的制作方法
技术领域
本发明涉及一种回声抑制方法及设备,用于对在扬声器生成音频、 同时麦克风拾取声音时产生的回声进行抑制。
背景技术
图1是示出了现有技术第一示例的回声抑制设备的配置的框图。 图1示出了用于抑制免提电话中产生的回声的回声抑制设备的示 例配置。
在图1中,扬声器2将输入输入端子10的、来自远端扬声器的音 频信号(以下称为远端信号)转换成远端音频。另一方面,麦克风1 拾取例如近端扬声器的语音(以下称为近端音频),还接收到由扬声器 2生成的多余的远端音频。将扬声器2输入麦克风1的声音称为回声。 将对声音相关信号(范围包括从远端信号到麦克风1的输出信号)进 行处理的声音传递系统称为回声路径。声音传递系统包括扬声器2和 麦克风1。
只希望输出近端音频,作为来自回声抑制设备的输出端子9的近 端信号,并希望去除近端信号中包含的多余的远端音频。具体而言, 当近端信号包含较大的远端音频信号分量时,延迟的远端音频对于远 端扬声器可作为回声而听到,因此难以进行对话。为了解决该问题, 在现有技术采用的一种方法中,使用线性回声抵消器从近端信号中去 除回声。例如,在非专利文献1 (EberhardHANSLER, "The hands-free telephone problem: an annotated bibliography update", annals of telecommunications 1994, 360-367页)中描述了一种线性回声抵消器。
线性回声抵消器3估计回声路径的传递函数(回声路径估计),并 基于估计的传递函数,使用输入扬声器2的信号(远端信号)来生成 输入麦克风1的回声的仿真信号(回声复制信号)。
向减法器4输入在线性回声抵消器3中生成的回声复制信号,减 法器4从麦克风1的输出信号中减去回声复制信号,以输出近端信号。
语音检测器5接收麦克风1的输出信号、线性回声抵消器3的输 出信号、减法器4的输出信号和远端信号,使用这些信号检测麦克风 1的输出信号是否包含近端音频,并将检测结果输出至线性回声抵消 器3。
为了控制线性回声抵消器3的操作,语音检测器5在麦克风1的 输出信号中检测到近端音频时,输出"O"或非常小的值作为语音检测 结果,而在检测到没有近端音频时,输出较大的值。
图2是示出了图1所示线性回声抵消器的示例配置的框图。
如图2所示,线性回声抵消器3包括自适应滤波器30 (是线性滤 波器)和乘法器35。自适应滤波器30的示例包括多种类型的滤波器, 例如FIR型、IIR型和格型。
自适应滤波器30对输入至端子31的远端信号进行滤波,并从端 子32向减法器4输出处理结果。自适应滤波器30使用预定的相关运 算对滤波系数进行更新,以使输入至端子33的减法器4的输出信号最 小化。为此,自适应滤波器30进行运算,以使减法器4的输出信号中 与远端信号相关的分量最小化。即,从减法器4的输出信号中去除回 声(远端音频)。
当麦克风1的输出信号包含近端音频,并且在这种状态下更新滤 波系数时,所导致的滤波系数的变化可能降低自适应滤波器30的回声
去除能力。
乘法器35被提供用于控制自适应滤波器30执行的滤波系数更新 操作。乘法器35将减法器4的输出信号与语音检测器5的输出信号相 乘,并将计算结果输出至自适应滤波器30。当麦克风l的输出信号包 含近端音频时,如上所述,语音检测器5的输出信号是O或非常小的 值,以抑制自适应滤波器30执行的滤波系数更新操作,因此滤波系数 的改变较小。由此,回声去除能力不会下降太多。
所以,现有技术第一示例的回声抑制设备使用自适应滤波器来去 除远端信号的回声。
接下来,描述现有技术第二示例的回声抑制设备。 现有技术第二示例的回声抑制设备根据折叠式移动电话中铰合部 的角度,对用于抑制回声的伪回声(回声复制信号)进行修改。例如,
在日本专利公幵No.8-9005中描述了这种配置。
现有技术第二示例的回声抑制设备包括控制信号产生器,其检 测铰合部的角度,并根据该角度输出控制信号;以及回声控制器,其 基于控制信号,抑制回声。
回声控制器包括系数选择电路,其保存多个预设回声路径跟踪 系数,以生成与根据铰合部角度而变化的回声路径相对应的伪回声, 并使用从控制信号产生器输出的控制信号作为地址信号,来选择回声 路径跟踪系数;自适应控制电路,其基于在系数选择电路中选择的回 声路径跟踪系数来输出伪回声修改信号,以修改伪回声;伪回声产生 电路,其基于伪回声修改信号,产生伪回声;以及减法电路,其从音 频输入单元(麦克风)的输出信号中减去生成的伪回声。
接下来,描述现有技术第三示例的回声抑制设备。
现有技术第三示例的回声抑制设备配置为例如日本专利公开 No.9-116469中所述。
现有技术第三示例的回声抑制设备基于远端信号功率和环境噪声 功率的估计值,确定增益系数,从麦克风的输出信号中减去回声复制 信号,并用增益系数乘以减法得到的信号,从而对自适应滤波器独自 无法消除的回声和环境噪声的影响进行抑制。
接下来,描述现有技术第四示例的回声抑制设备。
现有技术第四示例的回声抑制设备基于例如日本专利公开 No.2004-056453中描述的技术。现有技术第四示例的回声抑制设备使 用麦克风(声音拾取装置)的输出信号,或者使用从声音拾取装置的 输出信号中减去回声抵消器的输出信号而得到的信号,作为第一信号, 并使用回声抵消器的输出信号作为第二信号。然后,回声抑制设备估 计第二信号(远端信号,回声)泄漏到第一信号(近端信号)中的串
扰量,并基于估计结果校正第一信号。
回声串扰量的估计值是根据在未检测到近端音频期间第二信号的 幅度或功率的量与根据第一信号的幅度或功率的量之间的比率。在现 有技术第四示例的回声抑制设备中,针对第一和第二信号中的每个频 率分量,使用第一和第二信号计算估计的回声串扰量,并基于所计算 的估计值来校正第一信号。
虽然不是对声音拾取装置与扬声器之间的声耦合所产生的回声进
行抑制的技术,但是例如日本专利公开No.2004-12884中描述了一种 用于去除输入信号中包含的噪声的技术(以下称作现有技术第五示 例)。
在现有技术第五示例中,使用输入音频谱来估计每个预定频率范 围的噪声谱,并从输入音频谱中减去所估计的噪声谱。但是,设定了 已知的向下取整(flooring)系数P,以使减去的量不会过大,艮口,限
制了减去的量,以使减法结果不小于或等于"px输入音频谱"。
上述现有技术第一和第二示例的回声抑制设备在非线性元素(例 如回声路径中产生的失真)较小时可以充分抑制回声。但是,在实际 设备中,例如扬声器具有较大的非线性元素。包含失真的回声路径的 传递函数是非线性的,因此线性回声抵消器30无法仿真回声路径的准 确传递函数。具体而言,当移动电话等中使用的小型扬声器生成音量 等级较高的声音时,声音中包含的大量失真将回声抑制限制到大约 20dB。在这种情况下,回声作为近端信号传输并对于远端扬声器是可 听到的,从而难以进行对话。
相反,根据现有技术的第三和第四示例,特别是现有技术第四示 例,即使回声路径中产生的失真较大,也能充分抑制回声。但是,在 现有技术第四示例的回声抑制设备中,当由于近端噪声等的影响而无 法准确估计回声串扰量时,基于估计的回声串扰量而校正的校正后第 一信号质量降低。即,无法充分抑制回声,或者近端信号中产生了大 量失真(近端音频+近端噪声)。当产生失真时,近端信号的声音失真, 就好像是通过远端信号调制了一样。具体而言,只有在远端信号的幅 度较大时,近端信号才成为减弱的(muffled)声音。例如,当近端信 号是听起来像"zhaa"的稳态噪声时,稳态噪声失真,听起来像"zow
ZOW",就好像是通过远端信号调制了一样。另一方面,当近端信号是 音频时,只有在远端信号的幅度较大时,近端信号才成为减弱的声音。 在后一种情况下,因为近端音频本身改变量较大,所以通过远端(干 扰音)调制的声音掩埋在近端音频中,从而不容易听到。但是,在前 一种情况下,稳态噪声通过远端信号调制并转换成了干扰音。具体地, 在现有技术第四示例中,当在将近端音频连同高电平噪声一起输入回 声抑制设备的环境中使用该设备时,语音检测结果中的误差很可能增 大,因此回声串扰量的估计准确度降低,导致更大干扰音。

发明内容
因此,本发明的目的是提供一种回声抑制方法和设备,其能够在 即使回声路径产生大量失真时也充分抑制回声,并减小由远端信号引 起的近端信号的干扰调制声音。
在本发明中,上述目的实现如下使用声音拾取装置的输出信号,
或者使用从声音拾取装置的输出信号中减去回声抵消器的输出信号而 得到的信号,作为第一信号,使用回声抵消器的输出信号作为第二信
号,使用对第二信号的串扰量的估计值进行指示的估计串扰值来校正 第一信号,并将校正的第一信号限制为不小于所估计的近端噪声的估 计值,其中第二信号的串扰量是泄漏到第一信号中的回声。
当回声抵消器是线性回声抵消器时,远端信号中包含的谐波分量 几乎直接出现在回声抵消器的输出中。即使在回声抵消器是非线性回 声抵消器时,回声抵消器的输出也包含若干包含在远端信号中的谐波
另一方面,声音拾取装置(麦克风)的输出信号包含由近端噪声、 声音拾取装置与扬声器之间的声耦合产生的远端信号回声以及声失真 产生的谐波分量。通过使用谐波分量的比例的估计值(即,由非线性 分量导致的回声串扰量)和第二信号来估计第一信号中包含的回声量, 并从第一信号中减去估计量,或者通过使用估计的串扰值、第一信号 和第二信号来估计第一信号中包含的近端信号的比例,并用估计的比
例乘以第一信号,可以从第一信号中去除回声中的非线性分量。然后,
通过使用估计的串扰值将校正的第一信号限制为不小于估计的近端噪 声,可以减小由远端信号引起的、并与使用错误估计的串扰值来去除 回声中的非线性分量相关联地产生的近端信号的干扰调制声音。
根据本发明,通过使用估计的串扰值来校正第一信号,即使在回 声路径产生大量失真时,也可以充分抑制回声。此外,通过将校正的 第一信号限制为不小于估计的近端噪声,可以减小由远端信号引起的 近端信号的干扰调制声音。


图1是示出了现有技术第一示例的回声抑制设备的配置框图。
图2是示出了图1所示线性回声抵消器的示例配置的框图。 图3是示出了根据本发明的回声抑制设备的示例配置的框图。 图4是示出了图3所示转换器的示例配置的框图。 图5是示出了实验结果的图,该实验用于研究回声复制信号谱与
残余回声谱之间的相关。
图6是示出了包括多个扬声器和麦克风的移动电话的示例配置的视图。
图7是示出了可以充分抑制回声的串扰系数与线性回声抵消器的 输出信号功率之间的关系的图。
图8是示出了根据本发明的回声抑制设备的第一示例实施例的配 置的框图。
图9是示出了图8所示系数产生器的示例配置的框图。 图IO是示出了图8所示系数产生器的另一示例配置的框图。 图11是示出了图8所示谱减法器的示例配置的框图。 图12是示出了图11所示傅立叶系数减法器的示例配置的框图。 图13是示出了图12所示谱估计器的示例配置的框图。 图14是示出了图12所示噪声估计器的示例配置的框图。 图15是示出了根据本发明的回声抑制设备的第二示例实施例的 配置的框图。
图16是示出了根据本发明的回声抑制设备的第三示例实施例的 配置的框图。
图17是示出了图16所示谱抑制器的示例配置的框图。
图18是示出了图17所示傅立叶系数乘法器的第一示例配置的框图。
图19是示出了图18所示增益转换器的示例配置的框图。 图20是示出了图18所示谱估计器的第二示例配置的框图。 图21是示出了图20所示幅度提取器的示例配置的框图。 图22是示出了图20所示幅度提取器的另一示例配置的框图。 图23是示出了根据本发明的回声抑制设备的第四示例实施例的 配置的框图。
图24是示出了根据本发明的回声抑制设备的第五示例实施例的 配置的框图。
图25是示出了图24所示回声抵消器的示例配置的框图。 图26是示出了图24所示谱减法器的示例配置的框图。 图27是示出了根据本发明的回声抑制设备的第六示例实施例的 配置的框图。
图28是示出了根据本发明的回声抑制设备的第七示例实施例的 配置的框图。
具体实施例方式
图3是示出了根据本发明的回声抑制设备的示例配置的框图。 如图3所示,本发明的回声抑制设备是将图1所示现有技术第一 示例的回声抑制设备与系数产生器200和转换器100组合而成的设备, 系数产生器200产生用于计算泄漏到近端信号中的远端信号(回声) 串扰量的系数(以下称为串扰系数),其中串扰是由于麦克风1与扬声 器2之间的声耦合而发生的,转换器100使用麦克风1的输出信号或 减法器4的输出信号作为第一信号,使用线性回声抵消器3的输出信 号作为第二信号,基于由系数产生器200产生的串扰系数和第二信号 来校正第一信号,并输出通过从第一信号中去除回声而得到的近端信
号。从端子10输入向扬声器2输入的远端信号,并从端子9输出近端 信号。线性回声抵消器3可以是非线性回声抵消器。
转换器ioo使用第一信号和第二信号来估计回声串扰量,并基于
估计值(以下称为估计串扰值)校正第一信号。备选地,将在系数产
生器200中产生的串扰系数用作估计串扰值来校正第一信号。在该操
作中,将使用估计串扰值校正的校正后的第一信号(绝对值)限制为 不小于已单独估计的估计近端噪声(绝对值)。在将第一和第二信号划 分成预定频率范围中的信号之后,针对每个频率范围,执行上述过程。
优选地,系数产生器200根据预先设定的预定使用条件,在串扰系数 之间切换。
图4是示出了图3所示转换器的示例配置的框图。
如图4所示,转换器IOO包括频率划分器160和161、 M个校正 器166m (m=l到M)和频率合成器164。
频率划分器160将通过端子162输入的第一信号划分成各个预定 频率范围的M个信号,并将这些信号输出至对应于各个频率范围的校 正器166m。频率划分器161将通过端子163输入的第二信号划分成 各个预定频率范围的M个信号,并将这些信号输出至对应于各个频率 范围的校正器166m。
校正器166m使用经由端子167从语音检测器5输入的语音检测 结果、使用相应频率范围的第一和第二信号计算的估计串扰值以及第 二信号来校正第一信号,并将校正信号输出至频率合成器164。备选 地,校正器166m使用通过端子167输入的、系数产生器200中产生 的串扰系数作为估计串扰值,使用该估计值和第二信号来校正第一信 号,并将校正信号输出至频率合成器164。在频率合成器164中对校 正器166m的输出信号进行频率合成,并从端子165输出合成信号。
可以只使用串扰系数和根据第一和第二信号计算的值之中的一个 作为估计串扰值,或者可以针对使用而适当地切换这两个值。在这两 种类型的估计串扰值之间切换的方法中,例如,当近端音频大于预定 阈值时,根据第一和第二信号计算估计串扰值,而当近端音频小于预 定阈值时,使用串扰系数作为估计串扰值。校正器166m使用估计串扰值来校正第一信号,并将校正信号限
制为不小于针对每个频率范围而估计的近端噪声的估计值。具体而言,
校正器166m使用估计串扰值和第二信号来估计第一信号中包含的回 声量,从第一信号中减去估计的回声量,并将该减法所得的信号限制 为不小于近端噪声的估计值。
备选地,可以使用估计串扰值和第二信号来估计第一信号中包含 的回声量,并从第一信号中减去估计的回声量。将该减法所得的信号 限制为不小于近端噪声的估计值,并将其用作第三信号。然后,使用 第三信号和第一信号来估计第一信号中包含的近端信号的比例,并用 估计的比例乘以第一信号。
频率划分器160和161使用任意线性变换,例如傅立叶变换、余 弦变换、子带分析滤波器组等,来执行频率划分。频率合成器164使 用响应于频率划分器160和161中使用的线性变换的傅立叶逆变换、 余弦逆变换和子带合成滤波器组,来执行频率合成。
本发明的回声抑制设备与现有技术第四示例的回声抑制设备的不 同之处在于,使用估计串扰值来校正第一信号,并将校正信号限制为 不小于估计的近端噪声。根据本发明的回声抑制设备,因为校正的第 一信号不会小于近端噪声,所以即使估计串扰值错误时,也可以减小 由远端信号引起的近端信号的干扰调制声音。
此外,本发明的回声抑制设备与适当地使用第一和第二信号来计 算回声串扰量的现有技术第四示例的不同之处在于,串扰系数是常数。 在现有技术的第四示例中,认为常数串扰系数不合适,因为回声串扰 量依赖于远端信号的频谱分布。但是,本发明人通过实验证实了只要 目的是进行语音对话,女性和男性语音之间的频谱分布差别程度就能 允许使用常数作为串扰系数,并能够充分抑制回声。下面详细地描述 该结论。
图5是示出了实验结果的图,该实验用于研究回声复制信号谱与 残余回声谱之间的相关。图5所示每幅图的横轴表示回声复制信号的 幅度(线性回声抵消器3的输出幅度),纵轴表示残余回声的幅度(第 一信号中包含的回声分量)。
该相关的斜率(残余回声幅度/回声复制幅度)表示回声失真的大 小。斜率越大,失真越大。即,该相关的斜率对应于串扰系数。
图5示出了即使是根据同一女性语音导出的相关斜率也会随频率 而改变。对于男性语音,这也成立。但是,对于同一频率,女性语音 的相关斜率与男性语音的相关斜率基本上相同。虽然图5未示出,但 是当远端信号是诸如音乐等在谱分布上与人类语音差别很大的声音
时,即使在图5曲线所示的那些相同频率(1250Hz和3125Hz)上, 相关斜率也完全不同于人类语音。这是因为包含有较低频率分量的音 乐等包含比人类语音更多的产生谐波的频率分量,而这些谐波导致残 余回声。
如上所述,已证实了回声复制信号与残余回声之间的相关的斜率 依赖于远端信号的频谱分布,但是对于每一频率,女性和男性语音之 间的频谱分布差别程度不会显著改变相关斜率,而女性和男性语音的 相关斜率彼此相似。该结果证明了只要目的是进行语音对话,就可以 使用相同的串扰系数。
但是,如图5所示,回声复制信号与残余回声之间的相关的斜率 随频率而改变。因此,通过在系数产生器200中针对第一信号的频率 范围产生不同的串扰系数,并在转换器100中根据每个频率范围而使 用串扰系数来校正第一信号,可以充分地抑制回声。
认为并未受到线性回声抵消器3充分抑制的失真回声声音广义地 划分成扬声器2自身中生成的失真声音、以及在放置麦克风l和扬声 器2的外壳振动时生成的失真声音。此外,这些失真声音根据施加有 回声抑制的设备的使用条件而改变。因此,系数产生器200根据施加 有回声抑制的设备的使用条件,如所希望地在串扰系数之间切换,并 输出选择的串扰系数。
下面,参照根据例如移动电话的使用条件来切换串扰系数的情况, 进行描述。
在扬声器2自身中生成的失真声音源自非线性扬声器特性。因此, 如图6所示,在移动电话中,其中适当地在特性彼此不同的多个扬声 器301和303之间进行切换,失真回声声音依赖于使用哪个扬声器。
在这种使用条件下,可以检测正在使用的扬声器,并根据检测到的扬 声器来切换串扰系数。
在只配备有一个扬声器2的移动电话中,当扬声器2和麦克风1 之间的位置关系改变时,从扬声器2达到麦克风1的失真声音的大小 发生变化,从而回声的失真也发生变化。在这种使用条件下,可以检 测扬声器2相对于麦克风1的位置,并根据检测到的相对位置来切换
串扰系数。例如,在图6所示的折叠式移动电话300中,因为铰合部 321的角度确定了扬声器2和麦克风1之间的位置关系,所以可以检 测铰合部321的角度,并根据该角度来切换串扰系数。
在图6所示的折叠式移动电话300中,当适当地切换并使用多个 麦克风311和312时,相对于扬声器2的位置关系依据使用哪个麦克 风而改变。在这种使用条件下,可以检测正在使用的麦克风,并可以 根据检测到的麦克风的位置,将串扰系数切换到预定的系数。
另一方面,由外壳振动产生的失真声音主要是在连接各个部分的 接合处生成的。例如,当从扬声器2输出的声音引起外壳振动,并且 从连接各个部分的接合处产生失真声音时,失真声音输入至麦克风1, 作为回声的失真。因此,当扬声器2的声级改变时,从扬声器2传输 至外壳的声能改变,在连接各个部分的接合处产生的失真声音也改变。 在这种使用条件下,可以检测扬声器2已设定要产生的声级,并可以
根据设定的声级来切换串扰系数。
在图6所示的折叠式移动电话300中,外壳振动量依据移动电话
是否完全折叠而发生变化,在连接各个部分的接合处产生的失真声音 也改变。在这种使用条件下,可以执行检测以确定移动电话300是否 完全折叠,并可以根据检测结果来切换串扰系数。
在图6所示的折叠式移动电话300中,扬声器的位置随折叠角度 而改变,由此从扬声器2传输的声能(即使是在外壳中的相同位置处 测量的)随铰合部321的角度而改变,从而在连接各个部分的接合处 产生的失真声音也改变。在这种使用条件下,可以检测铰合部321的 角度,并可以根据该角度来切换串扰系数。
在滑盖式移动电话中,可以执行检测来确定是否发生了滑动操作
或者来确定滑动量,并可以根据检测结果来切换串扰系数。在包括滑 动和折叠机构的移动电话中,可以执行检测,以确定铰合部的角度、 移动电话是否折叠、是否发生滑动操作、或者滑动量,并可以根据检 测结果来切换串扰系数。在不是滑盖式或折叠式的移动电话中,可以 执行检测,以确定会改变向连接外壳中各个部分的接合处传输的声能 的因素、或者确定对回声声级的变化产生影响的因素,并可以根据检 测结果来切换串扰系数。
此外,本发明人通过实验证实了从线性回声抵消器3中输出的信 号的功率或幅度增加会改变回声路径的非线性。即,当在麦克风l的 输出信号不包含近端信号的条件下生成失真回声时,执行研究,以确 定可以充分抑制回声的串扰系数与线性回声抵消器3的输出信号的功
率之间的关系,并提供了如图7所示的结果。图7示出了以1875Hz 为中心的频带上线性回声抵消器3的输出信号与相应串扰系数之间的 关系。图7所示图的横轴表示线性回声抵消器3的输出信号的功率, 纵轴表示可以充分抑制回声的串扰系数。
从图7所示的标绘点分布可见,可以充分抑制回声的串扰系数在 线性回声抵消器3的输出信号的功率达到2000000时突然改变。认为 原因在于由非线性扬声器特性造成的回声失真突然增大,这是因为, 当线性回声抵消器3的输出信号的功率较大时,表示输入至线性回声 抵消器3的信号的功率(即,输入扬声器2的远端信号)也较大。
所以,在本发明的回声抑制设备中,检测从线性回声抵消器3输 出的信号的功率或幅度,作为使用条件,并根据检测值切换串扰系数。 在该方法中,可以用远端信号的功率或幅度,或者用远端信号中包含 的特定频率分量的功率或幅度,来替换线性回声抵消器3的输出信号 的功率或幅度。
基于线性回声抵消器3的输出信号在串扰系数之间切换的方法与 基于扬声器2设定产生的声级在串扰系数之间切换的方法相似。但是, 在后一方法中,即使在没有远端信号,从而不需要回声抑制时,也选 择根据声级设置的串扰系数。另一方面,前一方法优于后一方法的原 因在于,不会选择这种错误串扰系数。在上述用于在串扰系数之间切换的方法中,不必检测上述所有使 用条件在串扰系数之间切换,而是可以检测一种或更多种使用条件, 以在串扰系数之间切换。
例如,在使用配备有多个摄像机的移动电话来进行呼叫,同时双 方交换视频(所谓的TV电话)的情况下,以及在根据移动电话中正 在使用的摄像机来自动切换麦克风和扬声器的情况下,可以基于摄像 机捕获的图像信息来检测正在使用的麦克风或扬声器,而不是直接检 测正在使用的麦克风或扬声器。
当确定了在串扰系数之间切换时使用的使用条件时,通过实验或 计算机仿真来确定对应于该使用条件的最优串扰系数,并在系数产生
器200中保存串扰系数以及相应的使用条件。
可以检测可由设置在回声抑制设备外部的传感器等检测的使用条 件,例如铰合部角度、扬声器设定要产生的声级和正在使用的扬声器
等,并将检测结果输入系数产生器200。可以在回声抑制设备中检测 其他使用条件,例如远端信号的功率或幅度、线性回声抵消器3的输 出信号的功率或幅度、以及远端信号中包含的特定频率分量的功率或 幅度,并将检测结果输入系数产生器200。
根据本发明的回声抑制设备,因为使用估计串扰值来校正第一信 号,并将校正信号限制为不小于近端噪声的估计值,即使所计算的估 计串扰值错误时,也可以减小由远端信号引起的近端信号的干扰调制 声音。此外,通过使用根据预定使用条件而预先设定的常数串扰系数, 作为估计串扰值,即使在输入高电平噪声作为近端音频的环境中,也 可以充分抑制与回声路径相关联地产生的回声,这是因为常数串扰系 数不受噪声影响。
下面,参照附图,描述根据本发明的回声抑制设备的示例实施例。
图8是示出了根据本发明的回声抑制设备的第一示例实施例的配 置的框图。
在第一示例实施例的回声抑制设备中,使用谱减法器6作为图3
所示的转换器100。
第一示例实施例中的系数产生器200产生串扰系数,该串扰系数 指示了上述由于麦克风1和扬声器2之间的声耦合而发生的回声串扰
谱减法器6接收减法器4的输出信号、线性回声抵消器3的输出 信号、在系数产生器200中产生的串扰系数和来自语音检测器5的语 音检测结果。
谱减法器6将减法器4的输出信号和线性回声抵消器3的输出信 号分成各个预定频率范围上的信号,并从划分的频率范围中的信号分 量中去除回声。
<系数产生器200>
图9是示出了图8所示系数产生器的示例配置的框图。 图9所示系数产生器200包括系数存储器201,系数存储器201 保存适合从频带1到频带M的频率范围的串扰系数。
系数产生器200读取系数存储器201中存储的每个频率范围(频 带)的串扰系数,并将其输出至谱减法器6。这种串扰系数对应于例 如图5所示的频率1250Hz上的相关斜率和频率3125Hz上的相关斜率。
图IO是示出了图8所示系数产生器的另一示例配置的框图。
图10所示系数产生器200包括系数存储器202,其保存适合从 频带1到频带M的频率范围的一组串扰系数;以及使用条件检测器 203,其检测包括有本发明的回声抑制设备的系统的多种使用条件。
图10所示系数产生器200从对应于每个频率范围的串扰系数组中 读取串扰系数,并将读取的串扰系数输出至谱减法器6,这里,要读 取的串扰系数与在使用条件检测器203中检测到的使用条件相对应。
在图IO所示的配置中,对应于每个频率范围的串扰系数组包括针 对使用条件l的串扰系数、针对使用条件2的串扰系数,...,针对使 用条件N的串扰系数,N是至少为2的任意值。
作为使用条件的示例,为了检测扬声器2设定要产生的声级,使
用条件检测器203包括传感器,其检测扬声器2设定要产生的声级; 以及鉴别器,其将检测到的设定的声级与预定阈值相比较,并将比较 结果转换为表示至少两个值的数字值。
作为使用条件的另一示例,为了检测折叠式移动电话中铰合部的 角度。在这种情况下,使用条件检测器203包括传感器(未示出), 其检测铰合部的角度;以及鉴别器(未示出),其将检测到的角度与预
定阈值相比较,并将比较结果转换为表示至少两个值的数字值。 作为使用条件的另一示例,为了对配备有多个扬声器的移动电话
中正在使用的扬声器进行检测,使用条件检测器203包括判断单元(未 示出),其判断正在使用哪个扬声器,并使用表示至少两个值的数字值 来输出判断结果。
作为使用条件的另一示例,为了对配备有多个麦克风的移动电话 中正在使用的麦克风进行检测,使用条件检测器203包括判断单元(未 示出),其判断正在使用哪个麦克风,并使用表示至少两个值的数字值 来输出判断结果。
作为使用条件的另一示例,为了检测线性回声抵消器3的输出信 号的功率或幅度,使用条件检测器203包括检测器(未示出),其检 测线性回声抵消器3的输出信号的功率或幅度;以及鉴别器(未示出), 其将检测到的功率或幅度与阈值相比较,并将比较结果转换为表示至 少两个值的数字值。例如,当包括本发明的回声抑制设备的系统的特 征如图5所示时,当线性回声抵消器3的输出功率达到2000000时, 必要的串扰系数突然从1改变到20。因此,可以将阈值设定为2000000, 并在输出功率小于或等于2000000时输出"0",而在输出功率大于 2000000时输出"1"。
除了上述使用条件之外,还可以使用任何使用条件,只要该使用 条件会影响回声串扰量。也可以使用多种使用条件的组合。
系数存储器202从对应于频率范围而预先寄存(preregister)的多 个串扰系数中选择与使用条件检测器203的输出信号相对应的一个串 扰系数,并将选择的串扰系数输出至谱减法器6。
例如,当将线性回声抵消器3的输出信号的功率特性用作使用条
件时,使用图7中实线指示的两个串扰系数"1"和"20"。这两个串
扰系数对应于以1875Hz为中心的频率范围。当使用条件检测器203 输出"0"时,输出串扰系数"l",而当使用条件检测器203输出"1" 时,输出串扰系数"20"。
<谱减法器6>
图11是示出了图8所示谱减法器的示例配置的框图。
如图11所示,谱减法器6包括傅立叶变换器60和61、傅立叶系 数减法器66m (m=l到M)以及傅立叶逆变换器64。
傅立叶变换器60对减法器4的输出信号执行M点傅立叶变换, 并向对应于各个频率范围的傅立叶系数减法器66m (m-l到M)输出 处理结果(幅度和相位),作为第一傅立叶系数。
傅立叶变换器61对线性回声抵消器3输出的回声复制信号执行 M点傅立叶变换,并向对应于各个频率范围的傅立叶系数减法器66m 输出处理结果(幅度和相位),作为第二傅立叶系数。
每个傅立叶系数减法器66m接收从傅立叶变换器60输出的第一 傅立叶系数和从傅立叶变换器61输出的第二傅立叶系数、以及从系数 产生器200输出的串扰系数和从图8所示的语音检测器5输出的语音 检测结果,使用接收信号的幅度分量执行减法运算,以计算傅立叶系 数,并将计算结果(幅度和相位)输出至傅立叶逆变换器64。
傅立叶逆变换器64对从傅立叶系数减法器661到66M输出的傅 立叶系数组执行傅立叶逆变换,并将处理结果的实部从端子65输出。
参照图12描述图11所示的傅立叶系数减法器66m (m=l到M)。
图12是示出了图11所示傅立叶系数减法器之一的示例配置的框图。
如图12所示,傅立叶系数减法器66m包括谱估计器771、噪声 估计器778和限幅器772。
通过端子700向谱估计器771和噪声估计器778提供从图11所示 傅立叶变换器60中输出的、针对每个频率范围的第一傅立叶系数。
通过端子703向谱估计器771提供从图11所示傅立叶变换器61
中输出的第二傅立叶系数。通过端子67向谱估计器771输出系数产生 器20中产生的串扰系数,并通过端子167向谱估计器771输出从语音 检测器5输出的语音检测结果。
谱估计器771去除通过端子700提供的第一傅立叶系数中的回声 分量,并将计算结果输出至限幅器772。噪声估计器778使用通过端 子700提供的第一傅立叶系数来估计近端噪声的值,并将估计结果输 出至限幅器772。
限幅器772使用从噪声估计器778接收的近端噪声的估计值来设 定从谱估计器771接收的信号的上限和下限。通过端子799向图9所 示的傅立叶逆变换器64输出限幅器772的输出信号。
接下来,参照图13描述图12所示的谱估计器771。
图13是示出了图12所示的谱估计器的示例配置的框图。
如图13所示,谱估计器771包括选择器791、估计器792、减法 器706和乘法器707。
向减法器706和估计器792提供通过图12所示的端子700输入的 第一傅立叶系数。向乘法器707和估计器792提供通过图12所示的端 子703输入的第二傅立叶系数。
估计器792使用通过端子167输入的语音检测结果、第一傅立叶
系数和通过端子703输入的第二傅立叶系数,计算回声的估计串扰值,
并向选择器791输出计算的估计串扰值。
为了计算回声的估计串扰值,例如可以使用在现有技术第三示例
中描述的方法。即,估计串扰值可以是在麦克风的输出信号中未检测 到近端音频的时段上、对应于第一信号的幅度或功率的值与对应于第 二信号的幅度或功率的比率。备选地,估计串扰值可以是该比率的平 滑后的值。
备选地,可以在麦克风的输出信号中未检测到近端音频的时段上, 通过计算对对应于第一信号的幅度或功率的值进行平滑而得到的值与 对对应于第二信号的幅度或功率的值进行平滑而得到的值之间的比 率,并进一步对该比率进行平滑,来得到估计串扰值。
可以控制针对与第一和第二信号中每一个的幅度或功率相对应的
值的平滑过程的时间常数,以使针对增加的第一和第二信号的时间常 数小于针对减少的第一和第二信号的时间常数。
优选地,控制该比率的平滑过程的时间常数,以使时间常数在检 测到近端音频时较大或无限大,否则时间常数较小。备选地,可以控 制时间常数,以使在检测到近端音频时的时间常数比未检测到近端音 频时的时间常数大得多,同时,在未检测到近端音频时,时间常数较 小,或者在比率增大时的时间常数比在比率减小时的时间常数小。
选择器791选择通过端子67输入的串扰系数或者估计器792中计 算的值,并将选择的值作为回声的估计串扰值输出至乘法器707。
选择器791可以只选择上述两个输入之一,或者可以在两个输入 之间进行切换并输出选择的那个输入。作为选择器791中选择估计串 扰值的方法,例如,当近端音频或近端噪声(如果存在)大于或等于 预定阈值时,选择估计器792中计算的值,否则选择通过端子67输入 的串扰系数。
乘法器707将通过端子703输入的第二傅立叶系数的幅度与从选 择器791输出的估计串扰值相乘,并向减法器706输出计算结果,作 为回声的估计值。
减法器706从通过端子700输入的第一傅立叶系数中减去从乘法 器707输出的回声的估计值,并通过端子798输出计算结果,作为针 对回声受到抑制的信号的傅立叶系数的估计值。向图IO所示的限幅器 772输出通过端子798输出的傅立叶系数的估计值。
接下来,参照图14描述图12所示的噪声估计器778。
图14是示出了图12所示的噪声估计器的示例配置的框图。
如图14所示,噪声估计器778包括减法器801、乘法器802、加 法器803、延迟器804、限幅器807和平滑系数确定单元810。
如图14所示,噪声估计器778通过端子800接收从傅立叶变换器 60输出的第一傅立叶系数。
减法器810从第一傅立叶系数中减去延迟器804的输出信号(噪 声估计器778的输出信号),将计算结果输出至平滑系数确定单元810 和乘法器802。乘法器802将减法器801的输出信号与平滑系数确定
单元810的输出信号相乘,并将计算结果输出至加法器803。加法器 803将乘法器802的输出信号与延迟器804的输出信号相加,并将计 算结果输出至限幅器807。限幅器807设定加法器803的输出信号的 上限和下限,以使输出信号不超过预定设定的预定范围,并将限幅信 号输出至输入端子899和延迟器804。延迟器804将限幅器807的输 出信号延迟一个采样时间,并将延迟的输出信号输出至减法器801和 加法器803。
图14所示的噪声估计器778具有的配置称为泄漏积分器或一阶 IIR型低通滤波器。但是,在图14所示的噪声估计器778中,确定估 计器778的时间常数的系数不是常数,而是从平滑系数确定单元810 提供的变量。平滑系数与平滑过程的时间常数成反比例。当减法器801 的输出信号为正时,即当减法器801的输出信号增加时,平滑系数确 定单元810输出相对较小的系数,例如O.Ol,而当减法器801的输出 信号为负时,即当减法器801的输出信号减小时,平滑系数确定单元 810输出相对较大的系数,例如0.5。
通过这样控制平滑系数,噪声估计器778的输出信号增大的速率 (即,上升速率)减小,而噪声估计器778的输出信号减小的速率(即, 下降速率)增大。因此,在输入至噪声估计器778的信号之中,将具 有低信号电平的稳态信号分量的幅度值输出。稳态分量即是近端噪声, 可以认为噪声估计器778的输出信号是近端噪声的估计值(幅度值)。
图12所示的限幅器772将例如针对回声受到抑制的信号的傅立叶 系数估计值(从谱估计器771输出的)与近端噪声的傅立叶系数估计 值(从噪声估计器778输出的)相比较,并输出这两个值中较大的那 个。稍后将描述限幅器772的其他配置示例。
使用方程来描述图12所示的傅立叶系数减法器66m的操作。
首先,针对使用估计器792中计算的值作为估计串扰值的情况, 描述该操作。
设S是近端信号的傅立叶系数,A是近端信号中包含的近端音频 信号分量,E是回声分量,N是噪声分量。这些参数满足如下关系 S=A+E+N…(1)
设R是远端信号的傅立叶系数。可以认为R的相位与回声分量E 的相位基本相同,因为两者的时间轴彼此符合。
当不存在近端音频信号分量A时,即,当没有近端音频时,近端 信号S等于E+N, E+N是应该一起去除的信号。考虑在存在近端音 频时,使用远端信号的傅立叶系数R来估计信号E+N,并从近端信号 中减去E+N。当没有近端音频时,使用语音检测结果对S/R进行平滑, 并如下得到P1:
P1=Av[S/R]=Av[(E+N)/R] (2)
其中Av[,表示平滑过程。
P1表示远端信号R中泄漏到近端信号中成为回声的那部分的近 似值,并对应于回声路径中回声的增益。
所以,P1乘以R得到值P2 (对应于乘法器707的输出信号), P2是回声分量和噪声分量的估计值。 P2-P1xR =RxAv[(E+N)/R]
=Ex[E+N] (3)
其中Ex卜]表示估计值。
从S中减去P2得到值P3 (对应于减法器706的输出信号)。 P3-S-P2
=S-(RxAv[(E+N)/R])
=(A+E+N)-Ex[E+N
=Ex[A] (4)
艮P,减法器706的输出信号P3是针对已去除了回声分量E和噪 声分量N的近端音频的傅立叶系数分量A。
接下来,在使用系数产生器200中产生的串扰系数作为回声的估 计串扰值的情况下,描述傅立叶系数减法器66m的操作。
如上所述,设S是近端信号的傅立叶系数,A是近端信号中包含 的近端音频信号分量,E是回声分量,N是噪声分量。这些值满足上 述方程(1)。
设R是远端信号的傅立叶系数,P1是串扰系数的值。串扰系数
P1是远端信号R中泄漏到近端信号中成为回声的那部分的近似值, 并对应于回声路径中回声的增益。
所以,P1乘以R得到值P2 (对应于乘法器707的输出信号), P2是回声分量的估计值。
P2=P1xR
-Ex[E
(3')
从S中减去P2得到值P3 (对应于减法器706的输出信号)。
P3=S-P2
=S-P1xR
=(A+E+N)-Ex[E]
=Ex[A+N] (4')
即,减法器706的输出信号P3是针对已去除了回声分量E的近 端音频的傅立叶系数分量A与噪声分量N之和音频。
如上所述,在理想条件下,可以使用估计器792中计算的估计串 扰值来去除回声分量E和噪声分量N,否则可以使用系数产生器200 中产生的串扰系数来去除回声分量E。
但是,在实际应用中,例如,由于错误的语音检测结果,估计器 792中的估计串扰值可能不正确。类似地,例如,由于错误选择了使 用条件,系数产生器200中产生的串扰系数可能是错误的。在这种情 况下,无法充分抑制回声,并且在近端信号中产生大量失真(近端音 频+近端噪声),导致近端信号受到远端信号调制的现象。特别是使用 估计器792中计算的估计串扰值,本来是试图也抑制噪声分量N,但 是导致了近端信号受到远端信号的调制更严重的现象。如下所述,可 以使用限幅器772来缓解这种现象。
例如,当没有图12所示的限幅器772,并且上述P1XR对回声 分量E的近似不足时,A+N中产生失真。该失真作为噪声分量N的 调制声音是可听到的,产生了干扰声音。
在这种情况下,在与方程(4')的第三行等效的方程 P3:A+N+(E-Ex[E])中,当近端音频A较小,(E-Ex[E])可与噪声分量N 相比较时,P3的值在一些情况下比噪声分量N的值小得多,噪声分
量N就像经过调制一样被感知到。
另一方面,当存在限幅器772时,限幅器772的输出值P4可以 表示如下.-
P4=Max(A+N+E-Ex[E]' Ex[N])^Ex[N] ,,.(5)
其中Max(a, b)表示选择了 a和b中较大者的运算。
如方程(5)所示,限幅器772的输出值P4总是大于Ex[N]。因 此,限幅器772的输出值P4不会小于噪声分量N,从而减小了噪声 分量N的调制声音。
第一示例实施例的回声抑制设备具有线性回声抵消器3以及在谱 减法器6中执行的针对频率范围的非线性运算,这两者彼此补充,从 而提供了充分去除回声的能力。
艮P,例如在回声路径产生失真时,或者在线性回声抵消器3执行 的回声路径估计发生错误时,即使线性回声抵消器3独自无法充分抑 制回声,谱减法器6也可以抑制回声。
此外,通过使用线性回声抵消器3的输出信号来校正麦克风的输 出信号,可以抑制引起了失真的谐波分量,无需考虑由谱减法器6执 行的频率范围上的非线性运算无法独立处理的时移,而是使用只采用 幅度值的简单估计。
此外,通过使用限幅器807来限制近端噪声的估计值Ex[N],可
以减小近端噪声的调制声音。
此外,通过将谱减法器6中使用的串扰系数P1设定为根据使用 条件预先设定的常数,即使在使用条件改变时,例如,在存在高电平 近端噪声的环境中以及提供了失真较少的近端音频的环境中,也可以 充分抑制回声。
图15是示出了根据本发明的回声抑制设备的第二示例实施例的 配置框图。
第二示例实施例的回声抑制设备与第一示例实施例的回声抑制设 备的不同之处在于,谱减法器6接收麦克风1的输出信号,而不是减
法器4的输出信号。
在第一示例实施例的回声抑制设备中,线性回声抵消器3去除回 声的主分量,而在第二示例实施例的回声抑制设备中,谱减法器6去 除回声的主分量。除了上述配置和操作之外,第二示例实施例与第一 示例实施例相同,如第一示例实施例中一样,有利地去除了由于失真 产生的回声。
所以,在第二示例实施例的回声抑制设备中,即使在线性回声抵 消器3独自无法充分抑制回声时,例如在声传递系统产生失真时,或
者在线性回声抵消器3执行的回声路径估计发生错误时,谱减法器6
也可以充分抑制回声,与第一示例实施例一样。此外,通过将谱减法
器6中使用的估计串扰值P1设定为根据使用条件预先设定的常数,
即使在使用条件改变时,例如,在存在高电平近端噪声的环境中以及 提供了失真较少的近端音频的环境中,也可以充分抑制回声。此外, 可以减小近端噪声的调制声音。
谱减法器6不一定如第一和第二示例实施例中所示地配置,而可 以使用例如非专禾U文献2(Xiaojian Lu and Benoit Champagne, "Acoustical Echo Cancellation Over A Non-Linear Channel", International Workshop on Acoustic Echo and Noise Control 2001) 中描述的谱减法运算或非专利文献3(A. Alvarez等,"A Speech Enhancement System Based On Negative Beamforming And Spectral Subtraction", International Workshop on Acoustic Echo and Noise Control 2001)中描述的谱减法运算。
图16是示出了根据本发明的回声抑制设备的第三示例实施例的 配置框图。
第三示例实施例的回声抑制设备与第一示例实施例的回声抑制设 备的不同之处在于,用谱抑制器7替换了图8所示的谱减法器6。除
了上述配置和操作之外,第三示例实施例与第一示例实施例相同。省
略对共同部分的详细描述。
下面参照附图,描述图16所示的谱抑制器7。
图17是示出了图化所示谱抑制器的示例配置的框图。
如图17所示,谱抑制器7包括傅立叶变换器70和71、傅立叶 系数乘法器76m (m=1到M)和傅立叶逆变换器74。
傅立叶变换器70对通过端子72输入的、图16所示减法器4的 输出信号执行M点傅立叶变换,将处理结果(幅度和相位)作为第 一傅立叶系数,输出至对应于各个频率范围的傅立叶系数乘法器76m (m=1到M)。
傅立叶变换器71对通过端子73输入的、图16所示线性回声抵 消器3的输出信号(回声复制信号)执行M点傅立叶变换,将处理 结果(幅度和相位)作为第二傅立叶系数,输出至对应于各个频率范 围的傅立叶系数乘法器76m。
每个傅立叶系数乘法器76m接收从傅立叶变换器70输出的第一 傅立叶系数、从傅立叶变换器71输出的第二傅立叶系数、从图16所 示系数产生器200输出并通过端子67输入的串扰系数、以及从图16 所示语音检测器5输出并通过端子167输入的语音检测结果,使用接 收信号的幅度分量来执行乘法运算,计算傅立叶系数,并将计算结果 (幅度和相位)输出至傅立叶逆变换器74。
傅立叶逆变换器74对从傅立叶系数乘法器76m (m=1到M)输 出的傅立叶系数组进行傅立叶逆变换,并从端子75输出处理结果的 实部。在图17所示的配置中,由傅立叶系数乘法器76m(m-1到M)
得到回声分量受到抑制的近端信号。
参照图18,描述每个傅立叶系数乘法器76m (m=1到M)的配
置和操作。
图18是示出了图17所示傅立叶系数乘法器之一的第一示例配置 的框图。
如图18所示,具有第一示例配置的傅立叶系数乘法器76m包括 谱估计器771、噪声估计器778、限幅器772、增益转换器773和乘 法器774。
通过端子700向谱估计器771和噪声估计器778输出从图17所
示傅立叶变换器70中输出的相应频率范围的第一傅立叶系数。
通过端子703向谱估计器771提供从图17所示傅立叶变换器71 中输出的第二傅立叶系数。通过端子67向谱估计器771提供在系数 产生器20中产生的串扰系数,通过端子167向谱估计器771提供从 语音检测器5中输出的语音检测结果。
谱估计器771去除通过端子700提供的第一傅立叶系数中的回声 分量,并将计算结果输出至限幅器772。噪声估计器778使用通过端 子700提供的第一傅立叶系数来估计近端噪声的值,并将估计结果输 出至限幅器772。
限幅器772使用从噪声估计器778接收的近端噪声的估计值来设 定从谱估计器771接收的信号的下限。将限幅器772的输出信号输出 至增益转换器773。
限幅器772的输出信号(回声抑制之后近端音频和近端噪声的估 计值)中的误差一般称作音乐噪声。提供了增益转换器773,以通过 例如平滑限幅器的输出信号来减小音乐噪声。
乘法器774将增益转换器773的输出信号与通过端子700输入的 第一傅立叶系数相乘,通过端子798输出计算结果。
参照附图描述图18所示的增益转换器773。
图19是示出了图18所示增益转换器的示例配置的框图。
如图19所示,增益转换器773包括幅度提取器7733和7734、 乘法器7735和平滑单元7736。
图18所示限幅器772的输出信号通过端子7731输入到幅度提取 器7733。图化所示通过端子7732输入的第一傅立叶系数通过端子 7732输入到幅度提取器7734。
幅度提取器7733和7734中每一个检测输入信号的幅度值,将检 测结果输出至除法器7735。乘法器7735用幅度提取器7733的输出 信号除以幅度提取器7734的输出信号,并将计算结果输出至平滑单 元7736。平滑单元7736对除法器7735的输出信号进行平滑,并通 过端子7739将平滑信号输出至图18所示的乘法器774。平滑单元 7736可以配置为类似于图14所示的噪声估计器778,除了例如平滑
系数驱动单元810中产生的平滑系数不同之外。
如果如图14配置,平滑单元7736可以使用平滑系数的值来减小 平滑单元7736的输出信号增大的速率(即,上升速率),并增大平滑 单元7736的输出信号减小的速率(即,下降速率)。
一般而言,幅度改变(即音频或音乐的包络特性)的特征在于, 在多数情况下,上升速率较大,下降速率较小。使用图14所示配置 允许提供这种包络特性,以便可以更加准确地估计近端信号中包含的 近端音频和近端噪声的比例。
使用方程来描述平滑单元7736的输出值。
以上对傅立叶系数加法器66m的描述中使用的方程(4')的整个 第二行除以S,得到由如下方程(6)表示的平滑值P5。方程(6)第 —行的右边对应于图19所示平滑单元7736的输出值。
P5:Av[Max((S-P1xR)/Av[S], Ex[N]/Av[S)](6)
其中Max(a, b)表示选择了 a和b中较大者的运算。
当图18所示限幅器772不进行操作时,在方程(6)的选择运算 中选择左边项。因此,P5表示如下 P5=Av[(S-P1xR)/Av[S])] =Av[(A+E+N)-Ex[E])/Av[S]]
=Av[Ex[A+N]/Av[S]] =Ex[(A+N)/S]…(7)
方程(7)表明了平滑单元7736的输出值P5是近端信号中包含
的近端音频和近端噪声的比例的估计值。
所以,图17所示谱抑制器7提供了回声受到抑制的近端音频和
近端噪声。
另一方面,当图化所示限幅器772进行操作时,在方程(6)的 选择运算中选择右边项。因此,P5表示如下
P5-Av[Ex[N/Av[S)j =Ex[N/S]…(8)
方程(8)表明了平滑单元7736的输出值P5是近端信号中包含 的近端噪声的比例的估计值。
所以,图17所示谱抑制器7同样提供了回声受到抑制的近端音 频和近端噪声。
图20是示出了图18所示谱估计器的第二示例实施例的框图。
图20所示谱估计器771包括估计器792、系数产生器791、幅 度提取器793和794、减法器706和乘法器707。
图20所示谱估计器771与图13所示谱估计器的不同之处在于, 将幅度提取器793插入到从端子700到减法器706的路径中,并将幅 度提取器794插入到从端子703到乘法器707的路径中。
幅度提取器793检测输入信号的幅度,并输出检测值。幅度提取 器793可以配置为如图21和22所示。
图21是示出了图20所示幅度提取器的示例配置的框图,图22 是示出了图20所示幅度提取器的另一示例配置的框图。
图21所示幅度提取器793包括绝对值计算器7310,其计算输 入信号的绝对值;以及平滑单元7400,其对绝对值计算器7310的输 出信号进行平滑,并输出平滑值。另一方面,图22所示幅度提取器 包括平方计算器7320,其计算输入信号的平方;平滑单元7400, 其对平方计算器7320的输出信号进行平滑;以及平方根计算器7420, 其计算平滑单元7400的输出信号的平方根,并输出计算结果。幅度 提取器794的配置与幅度提取器793相同。
在这种配置中,平滑单元7736的输出值P6表示如下
P6=Av[Max((Av[S]-P1xAv[R])/Av[S], Ex[N]/Av[S])]…(9)
所以,当图化所示限幅器772不进行操作时,P6表示如下
P6=Av[(Av[S]-P1 xAv[R])/Av问)]
=Av[(Av[(A+E+N)-Ex[E])/Av[S]]
=Av[Ex[A+N]/Av[S]j =Ex[(A+N)/S]…(10)
方程(10)表明了平滑单元7736的输出值P6与方程(7)中所 示P5 —样,是近端信号中包含的近端音频和近端噪声的比例的估计 值。所以,即使在谱估计器771如图20所示配置时,图17所示谱抑 制器7也提供了回声受到抑制的近端音频和近端噪声。
图23是示出了根据本发明的回声抑制设备的第四示例实施例的
配置的框图。
第四示例实施例的回声抑制设备与图16所示第三示例实施例的 回声抑制设备的不同之处在于,谱抑制器7接收麦克风1的输出信号, 而不是减法器4的输出信号。
因此,在第三示例实施例的回声抑制设备中,线性回声抵消器3 去除回声的主分量,而在第四示例实施例的回声抑制设备中,谱抑制 器7去除回声的主分量。
除了上述配置和操作之外,第四示例实施例与第三示例实施例相 同,如第三示例实施例中一样提供了相同的优点。
虽然描述了本发明的示例实施例,但是本发明不限于上述第一到 第四示例实施例,而可以迸行如下多种改变。
在有关技术的第一到第四示例中,作为示例,图12和18所示的 每个限幅器772均具有简单配置,在该配置中选择两个输入值中的较 大者。但是,只要限幅器772的信号输出不小于近端噪声的估计值, 限幅器772可以配置成其他任何形式。例如,当上述P3大于近端噪 声的估计值Ex[N]时,限幅器772可以配置如下使用输出随着P3 接近近端噪声的估计值而增大的函数来进行选择。
此外,在有关技术的第一到第四示例中,虽然参照谱减法器6和 谱抑制器7针对每个预定采样周期而执行傅立叶变换的情况进行了描 述,但是不一定是针对每个预定采样周期来执行傅立叶变换,而可以 基于固定间隔的帧来进行。
此外,可以釆用帧彼此交叠的方式来执行傅立叶变换。在这种情 况下,可以通过使用交叠保存方法或交叠添加方法来减小计算量。例 如,在非专禾U文献4(John丄Shynk, "Frequency-Domain and Multirate Adaptive Filtering", IEEE Signal Processing Magazine, January 1992,页数14-37)中描述了交叠保存方法和交叠添加方法。
此外,在有关技术的第一到第四示例中,虽然参照谱减法器6和
谱抑制器7执行傅立叶变换的情况进行了描述,但是可用其他线性变 换方法,例如余弦变换和滤波器组,来替换傅立叶变换,甚至可以在 子带域变换之后执行该过程。在这种情况下,可以改变针对傅立叶系 数的减法器和乘法器,以对应于所使用的线性变换。例如,当使用余 弦变换时,可以使用针对余弦系数的减法器和针对余弦系数的乘法器。 这些计算装置的运算与上述有关技术的第一到第四示例中用作线性变 换的傅立叶变换的运算相同。
虽然在第一到第四示例实施例中使用线性回声抵消器3作为示 例,但是可以使用变换域回声抵消器来抑制回声。在这种情况下,将 变换域回声抵消器的变换域设定为与上述减法器6或谱抑制器7的变 换域相同,可以减小整个回声抑制设备的计算量,并缩短与计算相关 的延迟时间。
这里的变换域回声抵消器是指在使用线性变换而扩展的变换域中 抑制回声、并使用线性逆变换在原始域中执行重新合成的回声抵消器。
关于变换域回声抵消器,下面参照例如非专利文献4中描述的傅
立叶变换域回声抵消器来进行描述。
图24是示出了根据本发明的回声抑制设备的第五示例实施例的
配置的框图。
第五示例实施例的回声抑制设备配置为回声抵消器13和谱减法
器16在傅立叶变换域中执行处理。回声抵消器13向谱减法器16输
出变换域信号组1和变换域信号组2。
图25是示出了图24所示回声抵消器的示例配置的框图。
图25所示回声抵消器13包括傅立叶变换器35、自适应滤波器
组38、傅立叶逆变换器36、傅立叶变换器37和乘法器39m (m=1
到M)。
傅立叶变换器35在傅立叶变换域中对输入至端子31的远端信号 年扩展,针对各个频率范围的扩展信号输出至自适应滤波器组38。傅 立叶变换器37在傅立叶变换域中对通过端子33从图24所示减法器4中输入的减法结果迸行扩展,针对各个频率范围的扩展信号输出至
乘法器39m (m=1到M)。
乘法器39m (m=1到M)将从傅立叶变换器37接收的信号与通 过端子34接收的语音检测结果相乘,将计算结果输出至自适应滤波 器组38。
自适应滤波器组38包括M个自适应滤波器,接收从傅立叶变换 器35输出的信号组2以及从乘法器39m (m=1到M)输出的信号组 1,对彼此对应的信号执行自适应滤波。自适应滤波得到的滤波输出 被输出至傅立叶逆变换器36。
傅立叶逆变换器36对从自适应滤波器组38获得的滤波输出执行 傅立叶逆变换,并将处理结果从端子32输出。从端子32输出的信号 是回声抵消器的输出信号。
回声抵消器13也从矢量输出端子41输出傅立叶变换器37的输 出信号,作为变换域信号组1。回声抵消器13也从矢量输出端子42 输出自适应滤波器组38的输出信号,作为变换域信号组2。在谱减法 器16中使用变换域信号组1和变换域信号组2。
可以认为变换域信号组1是通过对图24所示减法器4的输出信 号执行傅立叶变换而得到的信号,可以认为变换域信号组2是通过对 图24所示从回声抵消器13向减法器4输出的信号执行傅立叶变换而 得到的信号。
参照附图,描述图24所示谱减法器16的配置和操作。 图26是示出了图24所示谱减法器的示例配置的框图。 图26所示的谱减法器16与第一示例实施例的回声抑制设备中使 用的谱减法器6的不同之处在于,去除了图11所示的傅立叶变换器 60和61,并输入了变换域信号组1和变换域信号组2。
如上所述,可以认为变换域信号组1是通过对图24所示减法器4 的输出信号执行傅立叶变换而得到的信号,可以认为变换域信号组2 是通过对图24所示从回声抵消器13向减法器4输出的信号执行傅立 叶变换而得到的信号。这些信号组与输入至图11所示剖减法器6中 的傅立叶系数减法器66m (m=1到M)的两个信号相同。所以,图
26所示谱减法器16输出的信号与从图11所示谱减法器6中输出的 信号相同。所以,图24所示的第五示例实施例的回声抑制设备提供 的优点与根据本发明第一示例实施例的回声抑制设备所提供的优点相 同。
在第五示例实施例的回声抑制设备中,通过向谱减法器16提供 从回声抵消器13中输出的变换域信号组1和变换域信号组2,可以减 小谱减法器16执行的傅立叶变换的量。
这种配置适用于第二到第四示例实施例中所示的回声抑制设备。 此外,例如,可以用余弦变换域替换傅立叶变换域。
虽然在第一到第四示例实施例中使用线性回声抵消器3作为示 例,但是可以使用例如非专利文献4中描述的子带域回声抵消器来抑 制回声。在这种情况下,通过在子带域中执行谱减法器6或谱抑制器 7中的处理过程,可以省略针对子带域变换的滤波器。
图27是示出了根据本发明的回声抑制设备的第六示例实施例的 配置的框图。
在第六示例实施例的回声抑制设备中,回声抵消器和谱减法器在 子带域中执行处理过程。
如图27所示,在第六示例实施例的回声抑制设备中,子带分析 滤波器组91将麦克风1的输出信号扩展到N个频带中,子带分析滤 波器组92将远端信号扩展到N个频带中。
提供回声抵消器93n、减法器94n、语音检测器95n和谱减法器 96n (n-1到N),对应于由子带分析滤波器组91和92扩展的频带。
在子带合成滤波器组99中对谱减法器96n的输出信号执行逆变 换,并输出原始信号域中的变换信号,作为近端信号。
减法器94n、语音检测器95n和谱减法器96n (n-1到N)以类 似于图8所示第一示例实施例的回声抑制设备中的那些装置的方式, 在每个频带中进行操作,除了回声抵消器的抽头数量不同以及谱减法 器中的傅立叶变换器的规模不同之外。所以,省略了对上述每个装置
的配置和操作的描述。
在第六示例实施例的回声抑制设备中,因为所有处理过程是在子 带域扩展之后执行的,所以可以省略线性回声抵消器3中的合成滤波 器组和谱减法器中的子带分析滤波器组。因此,可以减小对应于子带 分析滤波器组和子带合成滤波器组的计算量,并可以缩短对应于这种 计算的延迟时间。
图27所示第六示例实施例的配置适用于第二到第四示例实施例 中所示的回声抑制设备。此外,例如可以用余弦变换域替换傅立叶变 换域。
[第七示例实施例J
图28是示出了根据本发明的回声抑制设备的第七示例实施例的
配置框图。
在第七示例实施例的回声抑制设备中,回声抵消器和谱减法器在 傅立叶变换域中执行处理过程。
如图28所示,在第七示例实施例的回声抑制设备中,傅立叶变 换器191将麦克风1的输出信号扩展到M个频带中,傅立叶变换器 192将远端信号扩展到M个频带中。
提供回声抵消器193m、减法器194m、语音检测器195m和傅立 叶系数减法器66m (m=1到M),对应于由傅立叶变换器191和192 扩展的频带。
在傅立叶逆变换器199中对针对各个频带的傅立叶系数减法器 66m的输出信号执行逆变换,并输出原始信号域中的变换信号,作为 近端信号。
减法器194m和语音检测器195m以类似于图8所示第一示例实 施例的回声抑制设备中的那些装置的方式,在每个频带中进行操作, 除了回声抵消器的抽头数量不同之外。所以,省略了对上述每个装置 的配置和操作的描述。
与第六示例实施例一样,第七示例实施例的回声抑制设备在变换 域中执行回声抵消器和谱减法器中的处理过程,但是与第六示例实施
例的回声抑制设备的不同之处在于,频带数目M大于第六示例实施例 中的频带数目,这是因为处理过程在傅立叶变换域中执行,并用傅立
叶系数减法器66m替换了谱减法器。
在第七示例实施例的回声抑制设备中,因为处理过程是在傅立叶 变换域扩展之后执行的,所以谱减法运算不需要傅立叶变换。因此, 在第七示例实施例中,不需要谱减法器中的傅立叶变换和傅立叶逆变
换,只通过傅立叶系数减法器66m来执行谱减法运算所必需的运算。 在第七示例实施例的回声抑制设备中,可以减小对应于省略的傅
立叶变换和傅立叶逆变换的计算量。
图28所示第七示例实施例的配置适用于第二到第四示例实施例
中所示的回声抑制设备。此外,例如可以用余弦变换域替换傅立叶变换域。
在第七示例实施例中,虽然使用线性回声抵消器作为示例,但是 可以使用非线性回声抵消器来抑制回声。在这种情况下,通过在傅立 叶变换域中执行谱减法器或谱抑制器中的处理过程,可以提供上述相 同的优点。
虽然参照免提电话描述了本发明的回声抑制设备,但是本发明适 用于多种设备,其中扬声器生成音频,同时麦克风拾取声音,例如在 扬声器正生成音乐时拾取声音的设备,或者来自手持设备中的接收机 的回声会引起问题的设备。
权利要求
1.一种回声抑制方法,用于抑制由声音拾取装置与扬声器之间的声耦合产生的回声,所述方法包括使用所述声音拾取装置的输出信号,或者使用从所述声音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到的信号,作为第一信号;使用所述回声抵消器的输出信号作为第二信号;使用对所述第二信号的串扰量的估计值进行指示的估计串扰值来校正所述第一信号,其中所述第二信号的串扰量是泄漏到所述第一信号中的所述回声;以及将校正信号限制为不小于已估计的近端噪声的估计值。
2. 根据权利要求1所述的回声抑制方法,还包括 将所述第一信号划分成预定频率范围中的信号; 使用对应于所述频率范围的所述估计串扰值,对所述第一信号进行校正;以及将所述校正信号限制为不小于已针对所述频率范围估计的近端噪 声的估计值。
3. 根据权利要求1或2所述的回声抑制方法,还包括-使用所述估计串扰值和所述第二信号来估计所述第一信号中包含的回声量;从所述第一信号中减去所估计的回声量;以及 将由减法运算得到的信号限制为不小于近端噪声的估计值。
4. 根据权利要求1或2所述的回声抑制方法,还包括使用所述估计串扰值和所述第二信号来估计所述第一信号中包含 的回声量;从所述第一信号中减去所估计的回声量;以及 使用通过将减法运算得到的信号限制为不小于所述近端噪声估计 值而得到的信号,作为第三信号;以及使用所述第三信号和所述第一信号来估计所述第一信号中包含的 近端信号的比例;以及将所述第一信号与所估计的比例相乘。
5. 根据权利要求1到4中任一项所述的回声抑制方法,还包括:使所述第一信号通过平滑电路,以估计所述近端噪声, 其中配置所述平滑电路,以使在输出信号大于输入信号时,平滑过程的时间常数较大,而在输入信号小于输出信号时,平滑过程的时间常数较小。
6. 根据权利要求1到4中任一项所述的回声抑制方法, 其中所述估计串扰值是作为预定值并用于计算泄漏到所述第一信号中的所述回声的串扰量的串扰系数。
7. 根据权利要求6所述的回声抑制方法,其中根据预定使用条件,从多个预设串扰系数中选择用于校正所 述第一信号的串扰系数。
8. 根据权利要求7所述的回声抑制方法,其中所述使用条件是以下之中的一个或更多个所述回声抵消器 的输出信号的功率或幅度、远端信号的功率或幅度、以及所述远端信 号的特定频率分量的功率或幅度。
9. 根据权利要求7所述的回声抑制方法,其中所述使用条件是所述扬声器设定用于产生的声级。
10. 根据权利要求7所述的回声抑制方法,其中所述使用条件是所述声音拾取装置与所述扬声器之间的相对 位置关系。
11. 根据权利要求7所述的回声抑制方法,其中在提供了多个所述声音拾取装置和/或多个所述扬声器时,所 述使用条件是正在使用的声音拾取装置或扬声器。
12. 根据权利要求1到4中任一项所述的回声抑制方法, 其中使用所述第一和第二信号来计算所述估计串扰值。
13. —种回声抑制设备,用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声,所述设备包括回声抵消器,产生对所述回声进行仿真的回声复制信号;噪声估计器,使用所述声音拾取装置的输出信号,或者使用从所 述声音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到 的信号,作为第一信号,并估计近端噪声值;校正器,使用对所述第二信号的串扰量的估计值进行指示的估计 串扰值来校正所述第一信号,其中所述第二信号的串扰量是泄漏到所 述第一信号中的所述回声;以及限幅器,将校正的第一信号限制为不小于所估计的近端噪声。
14. 一种回声抑制设备,用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声,所述设备包括-回声抵消器,产生对所述回声进行仿真的回声复制信号;频率划分器,使用所述声音拾取装置的输出信号,或者使用从所 述声音拾取装置的输出信号中减去所述回声抵消器的输出信号而得到 的信号,作为第一信号,并将所述第一信号划分成预定频率范围中的信号;噪声估计器,针对所划分的第一信号的每个频率范围,估计近端 噪声值;针对所述第一信号的每个频率范围的校正器,所述校正器使用对所述第二信号的串扰量的估计值进行指示的估计串扰值来校正所述第 一信号,其中所述第二信号的串扰量是泄漏到所述第一信号中的所述回声;以及限幅器,将校正的第一信号限制为不小于针对每个所述频率范围 而估计的近端噪声的估计值;以及频率合成器,合成针对各个频率范围而校正的并从所述限幅器输 出的校正的第一信号。
15. —种回声抑制设备,用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声,所述设备包括变换域回声抵消器,产生对所述回声进行仿真的回声复制信号; 噪声估计器,使用通过对从所述声音拾取装置的输出信号中减去 所述变换域回声抵消器的输出信号而得到的信号进行划分而得到的信号,作为第一信号组,使用所述变换域回声抵消器中的线性逆变换之 前的各个预定频率域中的信号,作为第二信号组,并针对所述第一信 号组的每个频率范围,估计近端噪声的值,其中所述划分是在所述变 换域回声抵消器中针对每个预定频率范围执行的;针对所述第一信号组的每个频率范围的校正器,使用对所述第二 信号的串扰量的估计值进行指示的估计串扰值来校正所述第一信号, 其中所述第二信号的串扰量是泄漏到所述第一信号中的所述回声;以 及限幅器,将校正的第一信号限制为不小于针对每个所述频率范围 而估计的近端噪声的估计值;以及频率合成器,合成针对各个频率范围而校正的并从所述限幅器输 出的校正的第一信号。
16. —种回声抑制设备,用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声,所述设备包括-回声抵消器,产生对所述回声进行仿真的回声复制信号;子带分析滤波器,针对每个预定频率范围,对所述声音拾取装置 的输出信号和所述扬声器的输出信号进行扩展;噪声估计器,使用通过针对各个频率范围对所述声音拾取装置的 输出信号进行扩展而得到的信号,或者使用通过从针对各个频率范围 对所述声音拾取装置的输出信号进行扩展而得到的信号中减去所述回 声抵消器的输出信号而得到的信号,作为第一信号组,使用所述回声 抵消器的输出信号作为第二信号,并针对所述第一信号组的每个频率 范围,估计近端噪声的值;针对所述第一信号组的每个频率范围的校正器,所述校正器使用对所述第二信号的串扰量的估计值进行指示的估计串扰值来校正所述 第一信号,其中所述第二信号的串扰量是泄漏到所述第一信号中的所述回声;以及限幅器,将校正的第一信号限制为不小于针对所述每个频率范围 而估计的近端噪声的估计值;以及频率合成器,合成针对各个频率范围而校正的并从所述限幅器输 出的校正的第一信号。
17. —种回声抑制设备,用于抑制由声音拾取装置与扬声器之间 的声耦合产生的回声,所述设备包括回声抵消器,产生对所述回声进行仿真的回声复制信号;傅立叶变换器,针对每个预定频率范围,对所述声音拾取装置的 输出信号和所述扬声器的输出信号进行扩展;噪声估计器,使用通过针对各个频率范围对所述声音拾取装置的 输出信号进行扩展而得到的信号,或者使用通过从针对各个频率范围 对所述声音拾取装置的输出信号进行扩展而得到的信号中减去所述回 声抵消器的输出信号而得到的信号,作为第一信号组,使用所述回声 抵消器的输出信号作为第二信号,并针对所述第一信号组的每个频率 范围,估计近端噪声的值;针对所述第一信号组的每个频率范围的校正器,所述校正器使用 对所述第二信号的串扰量的估计值进行指示的估计串扰值来校正所述 第一信号,其中所述第二信号的串扰量是泄漏到所述第一信号中的所述回声;以及限幅器,将校正的第一信号限制为不小于针对所述每个频率范围 而估计的近端噪声的估计值;以及频率合成器,合成针对各个频率范围而校正的并从所述限幅器输 出的校正的第一信号。
18. 根据权利要求13至17中任一项所述的回声抑制设备, 其中所述噪声估计器是平滑并输出所述第一信号的平滑电路,并且配置所述平滑电路,以使在输出信号大于输入信号时,平滑过程的 时间常数较大,而在输入信号小于输出信号时,平滑过程的时间常数 较小。
19. 根据权利要求13至17中任一项所述的回声抑制设备, 其中所述估计串扰值是作为预定值并用于计算泄漏到所述第一信号中的所述回声的串扰量的串扰系数。
20. 根据权利要求19所述的回声抑制设备,其中所述校正器根据预定使用条件,从多个预设串扰系数中选择 用于校正所述第一信号的串扰系数。
21. 根据权利要求20所述的回声抑制设备,其中所述使用条件是以下之中的一个或更多个所述回声抵消器 的输出信号的功率或幅度、远端信号的功率或幅度、以及所述远端信 号的特定频率分量的功率或幅度。
22. 根据权利要求20所述的回声抑制设备,其中所述使用条件是所述扬声器设定用于产生的声级。
23. 根据权利要求20所述的回声抑制设备, 其中所述使用条件是所述声音拾取装置与所述扬声器之间的相对位置关系。
24. 根据权利要求20所述的回声抑制设备, 其中在提供了多个所述声音拾取装置和/或多个所述扬声器时,所述使用条件是正在使用的声音拾取装置或扬声器。
25. 根据权利要求13到17中任一项所述的回声抑制设备,其中使用所述第一和第二信号来计算所述估计串扰值。
全文摘要
转换器100使用声音拾取装置的输出信号,或者使用从声音拾取装置的输出信号中减去回声抵消器的输出信号而得到的信号,作为第一信号,使用对泄漏到第一信号中的回声串扰量的估计值进行指示的估计串扰值来校正第一信号,并将校正的第一信号限制为不小于估计的近端噪声。
文档编号H04M1/60GK101346896SQ200680048879
公开日2009年1月14日 申请日期2006年10月25日 优先权日2005年10月26日
发明者宝珠山治 申请人:日本电气株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1