专利名称：回响去除装置、回响去除方法、回响去除程序、以及记录介质的制作方法
技术领域：
本发明涉及从所观测的观测信号去除回响信号的回响去除装置、回响去除方法、 回响去除程序、以及记录介质。
背景技术：
在以下说明中，将从声源发出的信号设为音频(audio)信号，有回响的房间发出 音频信号，并通过多个接收部件(例如麦克风)接收而得到的信号设为观测信号。观测信 号是对音频信号叠加了回响信号的信号。因此，从观测信号提取原来的音频信号的性质变 得困难，且声音的清晰度也降低。相对于此，回响去除处理从观测信号除去所叠加的回响信 号，从而容易提取音频信号原来的性质，并能够恢复声音的清晰度。这是有关通过作为其他 各种音频信号处理系统的要素技术来使用，从而提高该系统整体的性能的技术。将回响去 除处理作为要素技术能够有助于提高性能的音频信号处理系统例如有以下系统。(1)将回响信号去除作为前处理来使用的声音识别系统(2)通过回响信号去除提高声音的清晰度的电视会议系统等通信系统(3)通过去除在讲演的录音中所包含的回响信号，从而提高录音的声音的清晰度 的再现系统(4)通过去除回响信号，从而提高听取容易度的助听器(5)响应于人发出的声音，从而对机器传递命令的机器控制接口、以及机械和人之 间的对话装置(6)接收音频内容时包括回响信号，改善所接收的音频信号的音质的后期制作 (postproduction)系统(7)去除或附加音乐内容的回响信号，从而进行音乐内容的音频控制的音频效果 器(effecter)0
图1表示以往的回响去除装置100的功能结构例(以下，称为“现有技术1”)。回 响去除装置100包括估计单元104、去除单元106、声源模型存储单元108。在声源模型存储 单元108，通过有限状态机使不包括回响信号的音频信号的短时间区间的波形模型化，并存 储通过信号的自相关函数表现各状态的波形的特征的声源模型。此外，基于在时域对观测 信号应用了回响去除滤波器的运算和上述声源模型，定义表现了从观测信号去除回响的信 号(理想的目标信号)的似然性(likelihood)的最佳化函数。该最佳化函数涉及为将回 响去除滤波器系数和声源模型的状态时系列作为参数，通过提供更加合适的滤波器系数和 状态时系列，取得更大的值的函数。以下的说明中，将输入的时域的观测信号设为xt(1)、…、X，)、…、Xt(Q)。其中，X 的右下方的下标“t”表示离散时刻的指示符，右上的q(q= 1、…、Q)表示接收部件(例如 “麦克风”)的指示符。以下，将指示符为q的麦克风表示为第q信道的麦克风。这在下面 也相同。
若输入观测信号xtW，则估计单元104使用该观测信号XtW和上述最佳化函数，估 计回响去除滤波器。具体地说，估计单元104通过求出使上述最佳化函数的值最大的参数， 从而估计回响去除滤波器。去除单元106通过对估计的回响去除滤波器卷积观测信号，从 而输出从观测信号去除了回响信号的信号。该信号被称为目标信号。
图2表示以往的回响去除装置200的功能结构例(以下，称为“现有技术2”)。回 响去除装置200包括用于将观测信号分割为U个频带的分割单元202、每个该频带的存储单 元204u(u = 0、…、U-1)、每个该频带的去除单元206u、合并单元208。分割单元202通过对观测信号进行子带分割，从而求出对U个频带的每一个分割 的子带信号。该被分割的子带信号是时域的信号。此外，在子带分割时，有时进行下采样 (downsample)(模型的间隔剔除)。在以下的说明中，将子带信号设为x’ n, uw。其中，将η 设为下采样后的采样的指示符，将u设为频带的指示符(u = 0、…、U-1)。以下，说明通过 第q信道的麦克风接收的观测信号XtW的第u个频带的子带信号X’ n,u(q)。如上所述，在U个频带的每一个，设置去除单元206u (u = 0、…、U-1)、存储单元 204u。在存储单元20釔存储回响去除滤波器。回响去除滤波器基于最小二乘法，预先决定 回响去除滤波器的系数，使得利用从预先测定的声源至各麦克风的室内传达函数，在依次 应用了该室内传达函数、分割单元202的子带分割处理、去除单元206u的回响去除处理、 合并单元208的合并处理的各处理时得到的系统整体的输入输出函数尽量成为单位脉冲 (impulse)函数。去除单元20611通过对子带信号x’n,uw叠加回响去除滤波器，从子带信号去除回 响信号。将从子带信号去除了回响信号的每个频带的子带信号设为按频率目标信号s:u。 然后，合并单元208合并按频率目标信号sn,:(u = 0、…、U-1)，从而求出目标信号st\回响去除装置100、200的细节记载在非专利文献1、2、3中。(非专利文献 1) T. Nakatani，B. H. Juang, T. Yoshioka, K. Kinoshita, M. Delcroix, and Μ·Miyoshi,“Study on speech dereverberation with autocorrelation codebook, "Proc.IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP-2007)，vol. I，pp. 193—196，April 2007.(2) T. Nakatani，B. H. Juang, T. Yoshioka, K. Kinoshita, M. Miyoshi， "Importance of energy and spectral features in Gaussian source model for speech dereverberation,，，WASPAA-2007，2007(非专禾Ij 文献 3)N.D.Gaubitch，M.R.P.Thomas，P.A.Naylor，“Subband Method for Multichannel Least Squares Equalization of Room Transfer Functions,，，Proc, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics(WASPAA-2007), pp. 14-17，2007.
发明内容
在上述现有技术1的回响去除装置100中，为了通过最佳的方法来利用音频信号 的时变性特征，需要计算非常大尺寸的协方差矩阵，以进行上述最佳化函数的值的最大化。 因此，最佳化函数的值的最大化需要庞大的计算时间。说明协方差矩阵的尺寸变大的理由。有关在现有技术1中处理的观测信号的协方差矩阵H(r)通过以下的式(1)来表示。
权利要求
1.一种回响去除装置，对接收从声源发出的音频信号而得到的观测信号应用回响去除 滤波器，从而从该观测信号去除回响信号，所述回响去除装置包括声源模型存储单元，存储将音频信号作为概率密度函数来表示的声源模型； 分割单元，将上述观测信号变换为与多个频带的各自对应的按频率观测信号； 估计单元，基于各频带中的用于表示音频信号和观测信号以及回响去除滤波器的关系的回响 模型和上述声源模型，利用各上述按频率观测信号，求出与各上述频带对应的回响去除滤波器；去除单元，对各上述按频率观测信号应用通过上述估计单元得到的上述回响去除滤波 器，从而求出与各上述频带对应的按频率目标信号；以及 合并单元，合并各上述按频率目标信号。
2.如权利要求1所述的回响去除装置，其中，上述回响模型是将当前的观测信号作为将具有规定的延迟的过去的观测信号应用回 响去除滤波器而得到的信号和音频信号加法运算而得到的信号来表示的自回归模型。
3.如权利要求1或2所述的回响去除装置，其中，上述声源模型是平均为0且在频带间不具有相关的时变复数正态分布模型。
4.如权利要求3所述的回响去除装置，其中，上述估计单元估计上述按频率目标信号的方差，并利用通过该被估计的按频率目标信 号的方差而被标准化的各上述按频率观测信号的协方差矩阵而估计上述回响去除滤波器。
5.一种回响去除方法，对接收从声源发出的音频信号而得到的观测信号应用回响去除 滤波器，从而从该观测信号去除回响信号，在声源模型存储单元存储将音频信号作为概率密度函数来表示的声源模型， 所述回响去除方法包括分割步骤，将上述观测信号变换为与多个频带的各自对应的按频率观测信号； 估计步骤，基于在各频带中的用于表示音频信号和观测信号以及回响去除滤波器的关 系的回响模型和上述声源模型，利用各上述按频率观测信号，求出与各上述频带对应的回 响去除滤波器；去除步骤，对各上述按频率观测信号应用通过上述估计步骤得到的上述回响去除滤波 器，求出与各上述频带对应的按频率目标信号；以及 合并步骤，合并各上述按频率目标信号。
6.如权利要求5所述的回响去除方法，其中，上述回响模型是将当前的观测信号作为对具有规定的延迟的过去的观测信号应用回 响去除滤波器而得到的信号加法运算音频信号而得到的信号来表示的自回归模型。
7.如权利要求5或6所述的回响去除方法，其中，上述声源模型是平均为0且在频带间不具有相关的时变复数正态分布模型。
8.如权利要求7所述的回响去除方法，其中，上述估计单元估计上述按频率目标信号的方差，并利用通过该被估计的按频率目标信 号的方差而被标准化的各上述按频率观测信号的协方差矩阵而估计上述回响去除滤波器。
9.一种回响去除程序，使计算机作为权利要求1所述的回响去除装置来工作。
10.一种计算机可读取的存储介质，被记录了使计算机作为权利要求1所述的回响去 除装置来工作的程序。
全文摘要
在声源模型存储单元存储将从声源发出的音频信号作为概率密度函数来表示的声源模型。接收音频信号而得到的观测信号被变换为与多个频域的各自对应的按频率观测信号。然后，基于用于表示音频信号、观测信号以及回响去除滤波器的关系的回响模型和声源模型，利用各按频率观测信号来估计与各频带对应的回响去除滤波器。对各按频率观测信号应用各回响去除滤波器，从而求出与各频带对应的按频率目标信号，并将其合并。
文档编号H04R3/00GK102084667SQ20098010682
公开日2011年6月1日 申请日期2009年2月27日 优先权日2008年3月3日
发明者三好正人, 中谷智广, 吉冈拓也, 木下庆介 申请人:日本电信电话株式会社