确定房间混响以用于信号增强的制作方法

技术领域

本发明涉及混响环境中的信号增强，更具体地，涉及用于例如助听器或耳蜗植入物的助听设备的信号去混响。

背景技术：

房间的声学特性，特别是混响特性，可以降低人类听众所感知的音频信号的质量。对于使用例如助听器和耳蜗植入物的助听设备的听力受损的人，这个问题可能是特别有害的并且导致降低语言理解能力。即使是中等大小的房间，例如教室或会议室，也可能产生足够的混响以引起听力问题，特别是对于耳蜗植入(CI)系统的使用者。参见Kokkinakis et al.,A Channel-Selection Criterion for Suppressing Reverberation in Cochlear Implants,J.Acoust.Soc.Am.,vol.129(5),2011，其通过引用并入本文。在较大的房间，如剧院和教堂，这个问题可以大大增加。去混响处理技术已经广泛用于各种信号处理应用，例如移动通信系统、电话和视频会议系统以及自动语音识别系统。并且最近，去混响已经应用于助听设备，例如助听器和耳蜗植入物。

现有技术的去混响算法通常实施估计步骤以获得用于后续去混响和/或噪声抑制过程的相关信息。由于估计完全基于由系统的通用麦克风捕获的音频信号，所以这样的算法通常被称为“盲算法”，因为它们不包括附加的参考信号或关于声学条件的先验信息(例如混响、背景噪声)。盲算法产生估计误差，其可以实际上将感知信号质量降低到低于原始未处理音频信号的质量。这些算法还可能难以实施和参数化——它们的性能是在一方面的计算复杂性和能量消耗与另一方面的估计精度之间的折衷。

混响通常被认为具有两个部分：早期反射和后期混响，并且通常只有后期混响被考虑并且被建模为以指数方式衰减的白高斯噪声处理。盲估计方法是指建模函数的衰减常数或衰减率，其中任一参数与公知的房间参数——混响时间(RT60)成反比。

Ratnam et al.,Blind Estimation of Reverberation Time,”J.Acoust.Soc.Am.,vol.114(5),2003(通过引用并入本文)提出了使用后续阶统计滤波器作为不需要显式检测静音或无语音信号部分的连续估计过程的后处理阶段的最大似然混响过程。基于谱减法，估计器可以被集成到自动去混响过程中。还参见and Vary,Estimation of the Reverberation Time in Noisy Environments,”Proc.IWAENC,2008以及and Vary,A Blind Speech Enhancement Algorithm for the Suppression of Late Reverberation and Noise,”Proc.ICASSP,2009，其各自通过引用并入本文。

Wen et al.,Blind Estimation of Reverberation Time Based on the Distribution of Signal Decay Rates,Proc.ICASSP,2008(通过引用并入本文)并入了用于识别具有几乎自由衰减的指数包络的区域的信号偏移检测算法，其中通过能量域中的线性回归模型来计算衰减率。然后从在直方图中连续捕获的衰减率估计的分布导出混响时间。类似的方法在Lopez et al.,Low Variance Blind Estimation of the Reverberation Time,Proc.IWAENC,2012(通过引用并入本文)中提出。Lebart and Boucher A New Method Based on Spectral Subtraction for Speech Dereverberation,Acta Acoustica,vol.87,2001(通过引用并入本文)通过对无语音区域中的信号能量衰减曲线的线性回归来直接估计衰减率。Wu and Wang,A Pitch-Based Method for the Estimation of Short Reverberation Time,Acta Acoustica,vol.92,2006(通过引用并入本文)的基于音高的方法评估了提供混响时间的测量的信号谐波结构的损坏程度。

所有前述估计器装置使用后期混响信号模型，并且通常通过如图1所示的短时频域中的谱减法来执行去混响。原始音频输入信号x(n)由分析滤波器组进行处理以产生频率表示X(k)。谱减法滤波器G(k)被应用于频率表示X(k)，由此从也由音频输入信号x(n)产生的衰减率和/或混响时间估计导出滤波器权重G(k)。然后，通过合成滤波器组对去混响频率表示Z(k)进行重组，以产生去混响音频信号z(n)。还对如图2所示的反向滤波技术进行了重要的研究，其中最初的工作由Miyoshi et al.,Inverse Filtering of Room Impulse Response,Proc.IEEE ASSP 36,1988和Bees et al.,Reverberant Speech Enhancement Using Cepstral Processing,Proc.ICASSP,1991中展示，所述两者通过引用并入本文。

另一方面，对于一些现有应用，先验的房间信息是可用的，因此底层信号处理不需要采用参数估计器来应对混响的不利影响。尽管盲算法受到估计误差的影响，但是基于先验信息的去混响装置的性能主要取决于预定义的房间配置与实际真实装置的匹配程度。最常见的现有技术先验方法的概述在Habets,Single-and Multi-Microphone Speech Dereverberation using Spectral Enhancement,Ph.D.dissertation,Eindhoven Univ.of Technol.,Eindhoven,The Netherlands,2007和Mosayybpour et al.,Single-Microphone Early and Late Reverberation Suppression in Noisy Speech,IEEE Trans.on Audio,Speech,and Lang.Proc.,vol.21,no.2,2013中给出，所述两者通过引用并入本文。

美国专利公开2009/0208043描述了由信标和助听设备组成的两部分系统，前者用于创建或捕获房间的声学代码并将它们存储在代码本中。代码和代码本保持在非常简单的基本水平，而不提供用于复杂和可扩展数据库的任何方式。此外，代码本本地存储在使用者的设备上，因此不可用于任何其他设备。

技术实现要素：

本发明的实施例涉及用于助听患者的听觉假体装置。麦克风感测助听患者周围的声环境并产生相应的麦克风输出信号。音频信号处理器处理麦克风输出信号并且向患者产生用于音频感知的相应的假体刺激信号。音频信号处理器包括去混响过程，其测量在声环境中产生的专用混响参考信号，以确定声环境的混响特性，并且基于所述混响特性减小听觉假体刺激信号中的混响效果。

在具体实施例中，可以有与音频信号处理器分开的遥控器，并且被配置成用于产生专用混响参考信号；例如，手持式假体远程控制设备。当助听患者移动到声环境内的新位置时，去混响过程可以还重新确定声环境的混响特性。这可以通过利用患者的(即音频处理器的)位置而由去混响过程或者根据患者的请求(用户控制)手动地执行。并且听觉假体刺激信号可以是耳蜗植入物刺激信号。

本发明的实施例还涉及用于助听患者的听觉假体装置。麦克风感测助听患者周围的声环境并产生相应的麦克风输出信号。音频信号处理器处理所述麦克风输出信号并且向患者产生用于音频感知的相应的听觉假体刺激信号。音频信号处理器包括去混响过程，去混响过程从外部数据库获取环境特定的去混响数据，以及基于所述混响特性减小听觉假体刺激信号中的混响效果。

在另一些具体实施例中，外部数据库可以分布在多个外部设备上。从外部数据库获取环境特定的去混响数据可能需要满足外部数据库的一个或多个访问限制要求。当助听患者移动到声环境内的新位置时，去混响过程可以还重新确定声环境的混响特性。并且听觉假体刺激信号可以是耳蜗植入物刺激信号。

附图说明

图1示出了盲算法去混响过程中的功能块。

图2示出了用于去混响的反向滤波布置中的功能块。

图3示出了根据本发明的实施例的使用参考混响信号去混响的系统。

图4示出了基于参考混响信号来减少混响的信号处理方法中的各功能步骤。

图5A-5B示出了根据本发明的实施例的使用来自外部数据库的环境特定的去混响数据去混响的布置。

图6示出了基于来自外部数据库的环境特定的去混响数据的信号处理以减少混响的方法中的各功能步骤。

图7示出了用于减少听觉假体系统的混响的具体实施例中的详细功能步骤。

具体实施方式

本发明的各种实施例涉及用于助听患者的听觉假体装置，其通过直接测量声环境中产生的参考混响信号来规避去混响盲算法中的估计误差的问题。在听觉假体系统的具体情况中，参考混响信号可以由用户遥控器产生，然后反射的参考混响信号由系统音频处理器设备中的感测麦克风测量。

图3示出了使用参考混响信号的用于减少混响的系统，以及图4示出了这种信号处理方法中的各功能步骤。听觉假体系统(例如，耳蜗植入系统)的耳后(BTE)设备304包括感测听力受损患者周围(即，患者所在的房间)的声环境300的感测麦克风。BTE设备304还包含音频信号处理器，其将麦克风输出信号处理为音频输入信号，并且例如通过将耳蜗植入物刺激信号经皮传输到耳蜗植入物听觉假体系统的植入部件来向患者产生用于音频感知的相应的假体刺激信号。听觉假体系统还包括用户遥控器301，其提供可方便地访问的用户控制以用于系统的用户调整。遥控器301还包括可以产生进入声环境300(例如，扬声器设备)的音频输出信号的音频输出转换器302。

虽然图3示出了用于耳蜗植入物的BTE设备304和遥控器301，本发明的实施例不限于那些具体设备。在其他具体应用中，其他移动设备可以用作配备有扬声器/音频输出转换器和/或感测麦克风和音频处理软件的音频信号发送器和接收器(优选两个分开的设备)。事实上，甚至可以使用诸如公共广播(PA)系统、音频或视频会议系统等等非移动固定声音处理系统。

为了减少听觉假体刺激信号中的混响效果，BTE设备304中的音频信号处理器和遥控器301最初在时间上同步(步骤401)以开始去混响过程。然后，遥控器301中的音频输出转换器302在声环境300中产生专用混响参考信号305(步骤402)，其与声环境300中的结构相互作用，例如，反射离开壁303。

单独的硬件设备通过遥控器301与混响参考信号305的传输进行时间同步，并且测量反射的混响参考信号306(步骤403)，其包含关于声环境300的声信息，即，使得能够进行优于盲算法的改进的音频信号处理的房间特定的特性。在图3所示的实施例中，反射的混响参考信号306由BTE设备304利用其感测麦克风测量，然后该设备内的听觉系统的音频处理器可方便地用于执行去混响处理。另外，BTE设备304相对于声环境300的房间几何形状的位置对于去混响的目的来说是理想的，即也在该位置感测用于系统的正常音频输入信号。使用BTE设备304中的音频处理器进行去混响过程的另一个优点是它总是可用并且随时可用；即不必对现有处理器进行硬件修改。然而，可以使用其他移动音频记录设备执行去混响过程，只要考虑到用户头部的距离。保持该空间布置是重要的，因为混响的感知印象在房间内不是恒定的，而是取决于作为音频源的遥控器301和作为接收器的BTE设备304的位置。发明人已经发现，根据本发明确定的混响参数与使用相同设备传送和接收混响参考信号305一样好，并且在各种条件下更好地适用。

时间同步(步骤401)可以通过经由诸如无线链路的通信链路在BTE设备304和遥控器301之间发送消息的协议来建立。例如，遥控器301可以向BTE设备304发送混响参考信号305传送开始。在步骤403中，BTE设备在接收到该消息时开始测量反射的混响参考信号306。在一个实施例中，时间同步(步骤401)可以通过BTE设备304向遥控器301发送请求传送混响参考信号305的消息来建立。这允许BTE设备304不需要一直监听来自遥控器301的消息并且可以保持通信模块处于仅在短传输期间和/或接收时段激活的睡眠模式，以降低功耗。

由BTE设备304中的音频处理器运行的去混响过程从测得的反射混响参考信号306确定声环境的混响特性(步骤404)。混响特性通常与例如直接到混响比(DRR)、混响时间(RT60)等其他相关混响信息组合，以形成应用于受混响影响的工作音频输入信号的去混响模型(步骤405)，以计算具有减少的混响效果的干净语音信号的估计。还有用的是，当助听患者移动到声环境300内的新位置时，重新确定声环境300的混响特性。

使用物理地分开且单独的设备通过所述设备中的一个来产生和发送干净的参考信号并且通过所述设备中的另一个测量混响参考信号具有以下优点：测得的麦克风输出信号不被大得多的传输声音信号遮蔽。这是特别重要的，因为感测麦克风的动态范围有限，并且通过不记录大的传输信号分量，可以以更好的精度/分辨率执行反射的混响参考信号的测量，并且可以更好地确定房间混响。

本发明的实施例的典型现实生活场景可以是进入诸如教室或教堂的房间的耳蜗植入物使用者。使用者将遥控器指向教师或牧师的方向，并按下使遥控器发出专用混响参考信号的按钮。特别是在教室场景中，也可以容易地将遥控器移交给教师，使得在目标信号(即，教师的语音)的位置处发送干净的信号，其随后将通过去混响程序被增强。耳蜗植入系统的BTE设备然后测量反射的混响参考信号。在一些实施例中，BTE设备还可以通过来自遥控器的无线链路接收被传输的混响参考的干净(未反射)版本。或者，干净参考信号可以已经存储在BTE中，并且提供给遥控器用于作为专用混响参考信号发送。然后，BTE设备中的去混响过程从干净的参考和测量的反射混响参考信号计算房间混响的估计。

患者用户可以评估和调整系统性能以优化使用者的操作。这样的调整可以例如在与经验丰富的听力专家的适配过程期间或在系统的实际使用期间进行以调整到不同的真实生活情况。这种调整能非常有用，因为去混响的测量可以进一步导致影响并改变刺激过程。

已知的是，如果输入音频信号包含混响，则通道特定的去混响信息可以用作刺激选择标准，而不用通常使用的带通能量或与带通能量组合使用。由该装置确定的声学混响信息还可以被单独应用或与其他通道特定信息(例如，能量、信噪比SNR)组合应用，作为用于M中选N(N-of-M)的选择处理的输入；或作为载波触发和包络触发的耳蜗刺激策略的输入，例如在US8,019,429B2(通过引用并入本文)中描述的，以操纵阈值(例如，较小混响的较低阈值)或滤波器系数(例如，修改根据用于计算阈值的混响信息的选通信号的斜率)；或作为用于修改脉冲式植入刺激的通道特定抑制时间的输入，例如在Schleich的美国专利8,417,348中描述的，该专利通过引用并入本文。

刺激编码策略可以在有益时评估和使用去混响信息。在开放场(不封闭的)环境中，混响信息不相关，并且不需要用于提高编码策略的质量。在这些条件下，使用正常编码策略。

用于助听应用中的这种去混响装置是高度精确的，具有对实际声学条件的改进的适应性。可以利用提供较少估计误差的计算上低复杂度的去混响的预定配置。

本发明的实施例还涉及用于助听患者的具有去混响过程的听觉假体装置，其基于合并从来自外部数据库的环境特定的去混响数据获得的先验房间信息。

图5A-5B示出了典型的这种实施例，图6示出了这种信号处理方法中的各功能步骤。患者用户501位于具有特定声环境的房间500中。患者用户501具有移动设备502，移动设备502包括具有用于包括去混响过程的对整个系统进行用户调整的控制器的用户界面。移动设备502包括音频输出转换器(例如，扬声器设备)，其可以将干净的参考信号505发送到房间500中，从而产生专用的混响参考信号506。从壁503和房间500的其他表面反射的反射混响参考信号506由听力障碍患者用户501所佩戴的听觉假体系统(例如，耳蜗植入系统)的耳后(BTE)设备504内的感测麦克风感测。BTE设备504还包含音频信号处理器，其将麦克风输出信号处理为音频输入信号，并且例如通过将耳蜗植入物刺激信号经皮传输到耳蜗植入物听觉假体系统的植入部件来向患者产生用于音频感知的相应的假体刺激信号。

移动设备502还提供通过无线链路507对例如互联网云端508中的远程数据库服务器510的访问，互联网云端508控制包含用于不同房间/不同声环境的去混响数据的混响参数数据库509。混响参数数据库509可以被不断地更新和扩展，即任何新房间可以在任何时间被添加到数据库，房间声学改变可以根据需要被更新。此外，混响参数数据库509可以是一个单个大型数据库或者是分布式的分散系统。在任一配置中，具有一个或多个共同特征的房间可以被集群/分类，例如属于同一建筑物的房间(例如学校的教室)。

可通过各种方式产生混响参数数据库509中的去混响数据；例如通过房间的直接声学测量来确定房间脉冲响应测量；通过使用计算机程序仿真软件进行房间仿真来计算相关房间参数，尤其是对于某些房间响应参数已经可用的缺失参数，通过房间之间的参数映射和完备化——当一个房间的数据库条目不完整但信息足以识别混响参数数据库509中的类似房间时，可以通过转换、插值、外插、模式匹配、平均或类似的数学运算获得一个或多个缺失参数；和/或通过使用房间仿真软件中的期望房间的参数和类似房间的参数两者——例如，如果患者用户进入新房间，他/她可以估计房间尺寸，已经列在混响参数数据库509中的类似房间类型(例如，办公室、教室、大厅)可以提供关于房间声学(例如，吸收系数、混响时间)的信息。患者用户还可以估计和提供用于去混响参数估计的其他相关参数，例如，音频源与收听者(即，他自己)之间的距离，或者诸如音频源和收听者相对于房间墙壁的位置的更多细节。

混响参数数据库509的维护可以限于所选择的一组人(例如，数据库管理员)，或者可以允许患者用户修改混响参数数据库509中的数据。例如，占据房间内的给定位置并在任何便携式电子设备上使用去混响过程的用户可以使用相同的程序/应用来对特定房间参数进行修改、微调、更新等，并且之后将改变的数据集传递(上传)到数据库服务器510中的混响参数数据库509。任何这样的数据库更新过程都可以自动管理，并且可包括新的/编辑的数据参数的可行性检查。

为了减少听觉假体刺激信号中的混响效果，BTE设备504中的音频信号处理器和移动设备502最初被连接或配对(步骤601)，并且移动设备502通过无线链路507连接到由云端508中的远程数据库服务器510控制的混响参数数据库509(步骤602)。数据库服务器510经由无线链路507提供来自混响参数数据库509的用于该房间500的房间去混响数据回到移动设备502(步骤603)。获得房间去混响数据可能需要满足混响参数数据库509的一个或多个访问限制要求(例如，限制对经批准的用户的数据访问的隐私控制)。该通过准许进行控制的数据采集对于私用建筑物可能是重要的。移动设备502将该混响数据提供给BTE设备504中的音频处理器，该音频处理器使用该混响数据来计算房间混响参数(步骤604)，并且生成房间去混响模型(框605)。替代地，移动设备508本身可以计算用于去混响过程的相关参数，并且可以经由例如无线链路将这些参数提供给BTE设备504。替代地，BTE设备504可以通过例如无线链路507直接连接到数据库服务器510，以访问混响参数数据库509。去混响模型可以直接应用于数据库服务器510，然后数据库服务器510向BTE设备504返回相应的假体刺激信号，或者数据库服务器510将房间混响参数提供给包括去混响模型的BTE设备504。

由BTE设备504中的音频处理器运行的去混响过程确定房间500的混响特性，以计算混响效果降低的干净语音信号的估计。与图3中的先前布置一样，可能有用的是，当患者用户501移动到房间500内的新位置时，重新确定房间500的混响特性。

在不同的具体实施例中，可以在远程数据库服务器510、移动设备502、平板设备、听觉系统遥控器、BTE设备504或一些其他外部设备上执行信号去混响处理。

应当做出一些准备以在混响参数数据库509中正确地选择合适的房间数据库条目。在不同的具体实施例中，这可以由用户手动完成，或者通过自动选择过程完成。一些公共建筑物可配备有一旦用户进入房间500就自动地与去混响处理软件和/或远程数据库服务器510交互(即，交换数据)的传感器。

图7示出了用于减少听觉假体系统的混响的具体实施例中的详细功能步骤。当系统最初暴露至新的声环境时，必须首先识别房间(框701)，例如基于来自全球或本地定位系统的位置数据(框702)，和/或来自房间内的传感器系统的房间识别数据(框703)。一旦已经做出房间识别，则算法通常使用无线连接访问云服务器混响数据库(框704)，并且如果房间在数据库中则检索房间的数据集(框705)。

如果云服务器数据库不具有用于该特定房间的现有数据集，则算法决定是否应该创建这样的房间数据集(框706)。如果不是，则由于没有数据可用而停止去混响过程，否则，可以在云服务器数据库中通过收集尽可能多的房间信息来创建新的房间数据集(框707)。所收集的信息可以直接用于另一去混响处理，或者可以被处理并用于计算附加的去混响参数(框708)，并且将这些本地存储(框709)，和/或全局地存储在云服务器中(框710)。再次，额外处理和计算的去混响参数数据可以直接用于另一去混响处理，和/用于创建存储在云服务器中的新房间数据集(框711、712和713)。

无论可用的去混响数据和参数如何，其随后与任何可用的本地用户位置数据一起使用(框714)，用于到听觉系统的音频输入信号的房间特定和用户特定的去混响。然后，系统可以进一步与用户核对以确定去混响处理是否实际提供改进的感知质量(框715)，并且如果不是，则可以进一步细化混响参数和数据(框716)，直到感知质量改善，即系统稳定并且使用现有数据进行信号处理(框717)。

在具体实施例中，用户和远程数据库之间的数据通信可以被实现为用于例如智能电话、平板电脑、膝上型计算机或用户的听觉设备的遥控器的简单计算机程序或应用。除了房间参数和/或音频信号的双向数据传送之外，手持(便携式)设备和云服务器之间的通信也可以提供用于交换附加元数据的手段。例如，一种类型的元数据表示关于用户在房间内的实际位置的信息。另外，用户所注意的主声源的位置也可能是有用的。例如，在教室中的上课期间，用户学生保持在他/她的座位处，而代表期望的语音源的教师停留在房间前方的桌子和黑板周围。指定一个或多个辅助声源可能很有用。可以使用永久安装或手持便携式的跟踪系统(例如，使用光学跟踪系统或其他技术)来捕获房间内的相对于房间几何形状的位置信息以及用户和声源之间的位置信息。

本发明的实施例可以部分地在诸如C、C++、C#、Java、VHDL、SystemC、Verilog、ASM等的任何常规计算机编程语言中实现。本发明的其他实施例可以作为预编程的硬件元件、其他相关部件或硬件和软件部件的组合来实现。

实施例可部分地被实现为用于与计算机系统一起使用的计算机程序产品。这样的实现可以包括固定在诸如计算机可读介质(例如，磁盘、CD-ROM、ROM或固定盘)的有形介质上、或经由调制解调器或诸如通过介质连接到网络的通信适配器的其他接口设备可传送到计算机系统的一系列计算机指令。介质可以是有形介质(例如，光学或模拟通信线)或通过无线技术(例如，微波、红外线或其他传送技术)实现的介质。所述系列的计算机指令包含本文前面描述的关于系统的全部或部分功能。本领域技术人员应当理解的是，这样的计算机指令可以用多种编程语言编写以用于与很多计算机架构或操作系统一起使用。此外，这样的指令可存储在诸如半导体、磁性、光学或其他存储设备的任何存储器设备中，并且可使用诸如光学、红外线、微波或其他传送技术的任何通信技术。预期这样的计算机程序产品可以作为具有随附印刷文档或电子文档的可移动介质(例如，现成软件)进行分送，可以用计算机系统预载(例如在系统ROM或固定盘上)，或通过网络(例如，互联网或万维网)从服务器或电子公告板分送。当然，本发明的一些实施例可以作为软件(例如计算机程序产品)和硬件的组合来实施。本发明的其他实施方案完全作为硬件或完全作为软件(例如，计算机程序产品)来实施。

尽管已经公开了本发明的各种示例性实施例，但是对本领域技术人员显而易见的是，可以进行各种变型和修改来实现本发明的一些优点而不脱离本发明的真实范围。