信息处理装置、信息处理方法以及计算机程序与流程

本公开内容涉及信号处理装置、信号处理方法以及计算机程序。

背景技术：

随着便携式音频播放器的普及，通过减小用于便携式音频播放器的头戴式耳机(headphone)或耳塞式耳机(earphone)的外部环境的噪声或者减少收听者的外部噪声而提供令人满意的再现声场空间的噪声降低系统已经开始普及。

例如，专利文献1公开了一种噪声降低系统的技术，其能够使用由收集环境噪声的麦克风所收集的噪声信号来生成反相的噪声消除信号并且能够消除噪声，在该噪声消除信号中，噪声的声压在收听者的耳朵处变成最小。

引用列表

专利文献

专利文献1：JP 2008-193421A

技术实现要素：

技术问题

基于收听者周围的噪声而不依赖于提供给头戴式耳机或耳塞式耳机的音频信号来生成噪声消除信号。如果可以基于音频信号有效地生成噪声消除信号，则可以有效地使用用于处理的资源。

就这一点而言，本公开内容提出了新颖和改进的、能够有效地使用用于生成噪声消除信号的资源的信号处理装置、信号处理方法以及计算机程序。

问题的解决方案

根据本公开内容，提供了一种信号处理装置，包括：信号分析单元，其被配置成基于输入的第一音频信号和通过麦克风收集的声音来分析第二音频信号；消除处理单元，其被配置成生成用于消除第二音频信号的消除信号；以及参数生成单元，其被配置成基于由信号分析单元执行的分析的结果来生成在消除处理单元中使用的控制参数。

此外，根据本公开内容，提供了一种信号处理方法，包括：基于输入的第一音频信号和通过麦克风收集的声音来分析第二音频信号；生成用于消除第二音频信号的消除信号；以及基于分析的结果来生成在消除信号的生成中使用的控制参数。

此外，根据本公开内容，提供了一种计算机程序，其使得计算机执行下述操作：基于输入的第一音频信号和通过麦克风收集的声音来分析第二音频信号；生成用于消除第二音频信号的消除信号；以及基于分析的结果来生成在消除信号的生成中使用的控制参数。

发明的有益效果

如上所述，根据本公开内容，可以提供新颖和改进的、能够有效地使用用于生成噪声消除信号的资源的信号处理装置、信号处理方法以及计算机程序。

注意，上述效果不一定是限制性的。与上述效果一起或代替于上述效果，可以实现本说明书中描述的效果中的任何一个或者可从本说明书掌握的其他效果。

附图说明

图1是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。

图2是示出根据本公开内容的实施方式的信号处理装置100的示例性操作的流程图。

图3是示出音频信号、在噪声消除之前的噪声信号和在噪声消除之后的噪声信号的频率特性的示例的说明图。

图4是示出音频信号、在噪声消除之前的噪声信号和在噪声消除之后的噪声信号的频率特性的示例的说明图。

图5是示出根据本公开内容的实施方式的信号处理装置100的示例性配置的说明图。

图6是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。

图7是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。

图8是示出限制器112的示例性功能配置的说明图。

图9是使用曲线图示出输入到限制器112的信号和从限制器112输出的信号之间的关系的示例的说明图。

图10是使用曲线图示出限制器112中的信号的随时间变化的说明图。

图11是使用曲线图示出当限制器112不施加限制时信号的随时间变化的说明图。

图12是使用曲线图示出当限制器施加限制时信号的随时间变化的说明图。

图13是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。

图14是示出根据现有技术的执行噪声消除功能的信号处理装置10的示例性配置的说明图。

图15是示出掩蔽效应的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的一个或多个优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记来表示，并且省略对这些结构元件的重复说明。

描述将按以下顺序进行。

1.本公开内容的实施方式

1.1概述

1.2示例性功能配置

1.3示例性操作

1.4应用示例

2.结论

<1.本公开内容的实施方式>

[1.1]概述

将在描述本公开内容的实施方式之前首先描述本公开内容的实施方式的概述。

图14是示出根据现有技术的执行噪声消除功能的信号处理装置10的示例性配置的说明图。根据现有技术的执行噪声消除功能的信号处理装置10包括例如：均衡器11，其调整音频信号1的频率特性；音量调整单元12，其调整从均衡器11输出的音频信号的增益；AD转换器(ADC)13，其将通过麦克风20收集并被麦克风放大器21放大的噪声信号转换为数字信号；数字噪声消除(DNC)滤波器14，其生成噪声消除信号；消除量调整单元15，其调整噪声消除量；加法单元16，其使噪声消除信号叠加在音频信号上；以及DA转换器(DAC)17，其将加法单元16的输出转换为模拟信号。DA转换器17的输出信号被耳机的放大器22放大，然后从驱动器23输出，使得声音被传送到收听者。

如上所述，基于收听者周围的噪声而不依赖于提供给头戴式耳机或耳塞式耳机的音频信号来生成噪声消除信号。换言之，图14所示的信号处理装置10通过DNC滤波器14来生成噪声消除信号，而未考虑音频信号。也就是说，很难说根据现有技术的执行噪声消除功能的信号处理装置10在所有频带中生成了噪声消除信号并且有效地使用了用于处理的资源。

就这一点而言，本公开内容的作者对能够使用人类听觉特性来执行更有效的噪声消除处理的技术进行了深入的研究。

例如，当收听者在收听基于音频信号的声音输出的同时使用噪声消除功能时，由于人类听觉的特性，噪声被基于音频信号的声音掩蔽，并且甚至在最初没有被收听者感知到噪声的频带中也产生了噪声消除信号。

这是人类听觉特性中所包括的被称为掩蔽效应的现象。换言之，掩蔽效应是在听到某个声音的同时输出另一声音时，第二声音被第一声音掩蔽而没有被听到的现象。当收听者收听来自头戴式耳机或耳塞式耳机的声音输出时，因为由于环境噪声而难以听到声音，收听者使用噪声消除功能，但是根据音频信号和环境噪声的水平或频率特性，存在着基于音频信号的声音作为影响掩蔽效应的掩蔽者(masker)并且掩蔽噪声的情况。

图15是用于描述掩蔽效应的说明图。例如，当存在着在某个频带处再现的信号A时，取决于信号A的响度(声音的大小)而出现被基于信号A的声音所掩蔽的区域。一般来说，如图15所示，由基于特定信号的声音输出来掩蔽比特定信号更高频带的声音。将被掩蔽的范围取决于声音的频率或大小。

因此，在噪声由于掩蔽效应而被音频信号掩蔽的频带中，即使不主动执行噪声消除处理，也会由于基于音频信号的声音而忽略噪声的存在。在ISO 532B中规定了模拟频率掩蔽的响度图，并且可以使用响度图来计算将被掩蔽的频带。

就这一点而言，如下所述，本公开内容的作者想出了一种能够使用人类听觉的特性来执行更有效的噪声消除处理的技术。

上面已经描述了本公开内容的实施方式的概述。接下来，将详细描述本公开内容的实施方式。首先，将描述根据本公开内容的实施方式的信号处理装置的示例性功能配置。

[1.2示例性功能配置]

图1是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。图1所示的信号处理装置100是执行以下噪声消除处理的装置：收集收听者周围的噪声，消除所收集的噪声，并使佩戴耳机的收听者能够满意地收听基于音频信号的声音。下面将参照图1来描述根据本公开内容的实施方式的信号处理装置100的示例性功能配置。

如图1所示，根据本公开内容的实施方式的信号处理装置100包括：均衡器101、音量调整单元102、AD转换器(ADC)103、DNC滤波器104、消除量调整单元105、加法单元106、DA转换器(DAC)107、信号分析单元108以及控制单元109。

均衡器101改变要提供给信号处理装置100的音频信号1的频率特性。均衡器101改变频率特性，例如增大或减小低音调范围或者增大或减小高音调范围。例如，对由均衡器101进行的频率特性改变的设置可以由收听者来执行。已经被均衡器101改变了频率特性的音频信号被传送到音量调整单元102。

音量调整单元102通过调整被均衡器101改变了频率特性的音频信号的增益来调整从驱动器23输出的声音的音量。例如，可以由收听者来执行由音量调整单元102进行的音量调整量的设置。音量调整单元102将具有经调整的增益的音频信号传送到加法单元106。由音量调整单元102调整了增益的音频信号被传送到加法单元106并且与噪声消除信号相加。音量调整单元102还将具有经调整的增益的音频信号传送到信号分析单元108。

AD转换器103将通过麦克风20收集外部噪声然后由麦克风放大器21进行放大而获得的模拟噪声信号转换为数字噪声信号。AD转换器103的配置不限于特定配置。例如，AD转换器103可以包括在JP2008-193421A中公开的ΔΣ调制器或抽取滤波器(decimation filter)，以便执行对数字信号的转换，该数字信号具有与音频信号1相同的采样频率或相同数量的量化比特。AD转换器103将数字噪声信号输出到DNC滤波器104。此外，AD转换器103将数字噪声信号传送到信号分析单元108。

DNC滤波器104使用从AD转换器103输出的数字噪声信号来生成用于消除外部噪声的噪声消除信号。换言之，当从驱动器23输出的声音到达收听者的耳朵时，DNC滤波器104生成能够消除外部噪声的噪声消除信号，并且只有基于音频信号的声音被收听者听到。换言之，DNC滤波器104生成具有与到达用户耳朵的外部噪声相位相反的特性的噪声消除信号。DNC滤波器104将所生成的噪声消除信号输出到消除量调整单元105。

DNC滤波器104被配置成例如FIR滤波器或IIR滤波器。此外，在本实施方式中，DNC滤波器104可以根据由稍后将描述的控制单元109生成的控制参数来改变将要使用的滤波器或滤波器系数。当根据由控制单元109生成的控制参数来改变要在DNC滤波器104中使用的滤波器和滤波器系数时，根据本实施方式的信号处理装置100可以有效地使用用于生成噪声消除信号的资源。

消除量调整单元105调整由DNC滤波器104生成的噪声消除信号的增益。消除量调整单元105通过调整噪声消除信号的增益来调整通过麦克风20收集的外部噪声的消除量。消除量调整单元105将具有经调整的增益的噪声消除信号输出到加法单元106。

加法单元106将由音量调整单元102调整了增益的音频信号与由消除量调整单元105调整了增益的噪声消除信号进行合并(相加)。由于音频信号和噪声消除信号被加法单元106合并，因此可以消除外部噪声，并且当从驱动器23输出的声音到达收听者的耳朵时能够使收听者仅听到基于音频信号的声音。当音频信号与噪声消除信号合并时，加法单元106将合并的数字信号输出到DA转换器107。

DA转换器107将从加法单元106输出的数字信号转换为模拟信号。DA转换器107的配置不限于特定配置，而是例如，DA转换器107被配置成包括在JP 2008-193421A中公开的过采样滤波器(oversampling filter)、ΔΣ调制器和模拟低通滤波器(LPF)。当从加法单元106输出的数字信号被转换为模拟信号时，DA转换器107将经转换的模拟信号输出到耳机放大器22。

已经接收到由DA转换器107生成的模拟信号的耳机放大器22将该信号放大预定量，并且将经放大的信号输出到驱动器23。驱动器23基于从耳机放大器22传送的模拟信号来输出声音。

信号分析单元108对从音量调整单元102输出的具有经调整的增益的音频信号和从AD转换器103输出的数字噪声信号执行分析处理。在本实施方式中，信号分析单元108基于环境噪声和音频信号来计算环境噪声和音频信号的掩蔽效应。

具体地，信号分析单元108通过对音频信号和噪声信号实时地执行频率分析来执行用于实时地确定包括声音的频率以及该声音的量的分析处理。然后，信号分析单元108使用对音频信号和噪声信号的频率分析结果来分析在音频信号作为掩蔽者时显示掩蔽效应的频带和量，以及在噪声信号作为掩蔽者时显示掩蔽效应的频带和量。

信号分析单元108分析音频信号和噪声信号中的每一个的频率和水平，并且使用音频信号和噪声信号中的每一个的频率和水平的分析结果以及响度图来计算掩蔽效应。

信号分析单元108将分析处理的结果输出到控制单元109。信号分析单元108传送以下参数作为分析处理的结果：所述参数用于指示噪声消除效果被确定为高或低的频带。

控制单元109使用由信号分析单元108执行的分析处理的结果来生成由DNC滤波器104使用的控制参数。因此，控制单元109可以用作为本公开内容的参数生成单元的示例。例如，控制单元109可以以微型计算机来配置。控制单元109使用从信号分析单元108发送的用于指示噪声消除效果高或低的频带的参数，来控制由DNC滤波器104执行的噪声消除信号的生成。此外，控制单元109可以执行控制，使得消除量调整单元105使用由信号分析单元108执行的分析处理的结果来调整消除量。

例如，当从信号分析单元108传送的参数是用于指示在低频处噪声消除效果高并且在中频处噪声消除效果低的参数时，控制单元109控制由DNC滤波器104执行的噪声消除信号的生成，使得可以进一步消除低频噪声，并且不消除中频噪声。通过执行这样的控制，根据本公开内容的实施方式的信号处理装置100可以通过消除低频噪声的处理来分配资源。

此外，当从信号分析单元108传送的参数是用于指示在所有频带中噪声消除效果高的参数时，控制单元109控制由DNC滤波器104执行的噪声消除信号的生成，使得噪声在所有频带的资源范围内被消除。

此外，控制单元109可以使用由信号分析单元108执行的分析处理的结果来生成用于控制均衡器101的控制参数。例如，当由信号分析单元108执行的分析处理的结果指示音频信号1的低频部分被环境噪声掩蔽时，控制单元109将用于强调音频信号1的低频部分的参数输出到均衡器101。

当用于强调音频信号1的低频部分的参数被输出到均衡器101并且音频信号1的低频部分被均衡器101强调时，信号处理装置100可以使收听者甚至能够满意地收听到音频信号1的低频。

作为极端示例，例如在完全没有噪声的环境的情况下或当所有频带的噪声信号被音频信号1掩蔽时，不需要再现用于噪声消除处理的噪声消除信号。

因此，当不需要再现用于噪声消除处理的噪声消除信号时，仅音频信号1被传送到DA转换器107，即，形成了与没有使用噪声消除功能的状态类似的再现状态。

根据本公开内容的实施方式的信号处理装置100具有图1所示的配置，并且因此可以使用人类听觉的掩蔽效应特性在资源范围内执行更有效的噪声消除处理。

在图1中，音频信号1被示为从信号处理装置100的外部提供给信号处理装置100，但是本公开内容不限于该示例，例如，音频信号1可以基于在信号处理装置100中记录的音频数据。

上面已经描述了根据本公开内容的实施方式的信号处理装置100的示例性功能配置。接下来，将描述根据本公开内容的实施方式的信号处理装置100的示例性操作。

[1.3示例性操作]

图2是示出根据本公开内容的实施方式的信号处理装置100的示例性操作的流程图。图2示出了当执行噪声消除处理时根据本公开内容的实施方式的信号处理装置100的示例性操作。下面将参照图2描述根据本公开内容的实施方式的信号处理装置100的示例性操作。

信号处理装置100首先分析音频信号1对环境噪声的掩蔽效应(步骤S101)。可以由信号分析单元108执行在步骤S101中的掩蔽效应的分析处理。此外，通过了均衡器101和音量调整单元102的音频信号1和通过了麦克风20、麦克风放大器21和AD转换器103的数字噪声信号被用于在步骤S101中的掩蔽效果的分析处理。

在步骤S101中，对音频信号和噪声信号执行频率分析，并且执行用于确定包括声音的频率和该声音的量的分析处理。然后，在步骤S101中，使用对于音频信号和噪声信号的频率分析结果来分析当音频信号作为掩蔽者时显示掩蔽效应的频带和量，以及当噪声信号作为掩蔽者时显示掩蔽效应的频带和量。

在步骤S101中，分析音频信号和噪声信号中的每一个的频率和水平，并且使用音频信号和噪声信号中的每一个的频率和水平的分析结果以及响度图来计算掩蔽效应。然后，在步骤S101中，生成用于指示噪声消除效果高或低的频带的参数。

当在步骤S101中分析音频信号1对环境噪声的掩蔽效应时，信号处理装置100基于步骤S101的分析结果来生成控制参数(步骤S102)。可以由控制单元109执行在步骤S102中生成控制参数的处理。控制参数是用于控制DNC滤波器104的参数，但是可以包括用于控制均衡器101的参数。

在步骤S102中，使用作为步骤S101的分析处理的结果而生成的用于指示噪声消除效果高或低的频带的参数来生成用于控制DNC滤波器104的控制参数。

例如，当在步骤S101中生成和传送的参数是用于指示在低频处噪声消除效果高并且在中频处噪声消除效果低的参数时，在步骤S102中，控制由DNC滤波器104执行的噪声消除信号的生成，使得可以进一步消除低频噪声，并且不消除中频噪声。

当在步骤S102中生成控制参数时，信号处理装置100使用在步骤S102中生成的控制参数来生成噪声消除信号(步骤S103)。可以由DNC滤波器104来执行在步骤S103中生成噪声消除信号的处理。当完成步骤S103的噪声消除信号的生成处理时，信号处理装置100可以返回到步骤S101并且再次执行分析处理。由于音频信号或外部噪声可能相继地改变，所以信号处理装置100可以在执行噪声消除处理时重复步骤S101至S103的处理。

例如，当在步骤S102中生成使低频噪声被进一步消除并且中频噪声不被消除的控制参数时，在步骤S103中，生成进一步消除低频噪声并且不消除中频噪声的噪声消除信号。

在本文中，将描述考虑到掩蔽效应的噪声消除信号的示例。图3和图4是示出音频信号的频率特性、在噪声消除之前的噪声信号的频率特性和在噪声消除之后的噪声特性的频率特性的示例的说明图。

图3是音频信号、在噪声消除之前的噪声信号、以及在被未考虑掩蔽效应的噪声消除信号消除噪声之后的噪声信号的频率特性曲线图。

图4是音频信号、在噪声消除之前的噪声信号、在被未考虑掩蔽效应的噪声消除信号消除噪声之后的噪声信号、以及在被考虑到掩蔽效应的噪声消除信号消除噪声之后的噪声信号的频率特性曲线图。

在图3和图4中，附图标记131指示音频信号的频率特性，附图标记132指示在噪声消除之前在用户耳朵中的噪声信号的频率特性，附图标记133指示已经被未考虑掩蔽效应的噪声消除信号消除了噪声之后的用户耳朵中的噪声信号的频率特性，以及附图标记134指示已经被考虑到掩蔽效应的噪声消除信号消除了噪声之后的用户耳朵中的噪声信号的频率特性。在图3和图4中示出的频率特性仅仅是示例。

信号分析单元108分析音频信号的特性和噪声信号的特性，并且例如获得由附图标记131和132指示的频率特性，并且参照响度图基于音频信号来确定噪声信号的掩蔽效应。然后，假设信号分析单元108确定在低频处噪声消除效果高，并且在中频处噪声消除效果低。

如图4所示，可以理解，相比于被未考虑掩蔽效应的噪声消除信号消除了噪声之后的噪声信号的频率特性133中的相对声压来说，在被考虑到掩蔽效应的噪声消除信号消除了噪声之后的噪声信号的频率特性134中，在中频处的相对声压较高，而在低频处的相对声压较低。换言之，DNC滤波器104的处理资源集中于低频，并且消除效果增加。在中频处，噪声信号的相对声压增加，但是由于中频噪声被音频信号的掩蔽效应掩蔽，所以收听者的听觉没有变化。

根据本公开内容的实施方式的信号处理装置100执行图2所示的操作，并且因此可以使用人类听觉的掩蔽效应特性在资源范围内执行更有效的噪声消除处理。

[1.4修改示例]

如上所述，根据本公开内容的实施方式的信号处理装置100通过信号分析单元108分析音频信号和噪声信号，针对噪声信号分析音频信号的掩蔽效应，并且通过控制单元109控制由DNC滤波器104执行的噪声消除信号的生成。根据本公开内容的实施方式的信号处理装置100可以准备预先假设的音频信号和噪声信号的若干模式，并且使用信号分析单元108的分析结果来切换要在DNC滤波器104中使用的滤波器。

图5是示出根据本公开内容的实施方式的信号处理装置100的示例性配置的说明图。图5示出了在图1所示出的根据本公开内容的实施方式的信号处理装置100的配置中修改了DNC滤波器104和消除量调整单元105的配置。DNC滤波器104a、104b、104c等是根据假设的音频信号和噪声信号的模式而预先设置了其参数的滤波器，并且控制单元109基于音频信号和噪声信号的分析结果来选择滤波器104a、104b、104c等中的一个。消除量调整单元105a、105b、105c等调整由DNC滤波器104a、104b、104c等产生的噪声消除信号的增益。

根据本公开内容的实施方式的配备有多个DNC滤波器104a、104b、104c等的信号处理装置100可以在根据音频信号和噪声信号的特性切换滤波器的同时执行噪声消除处理。

收听者周围的噪声在到达收听者的耳朵(鼓膜)之前被耳机的壳体或听筒衰减。就这一点而言，根据本公开内容的实施方式的信号处理装置100可以考虑噪声的衰减来分析音频信号和噪声信号，并且针对噪声信号分析音频信号的掩蔽效应。

图6是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。图6示出了在图1所示的信号处理装置100的示例性功能配置中增加了无源声音隔离滤波器110的配置。无源声音隔离滤波器110是考虑了噪声在到达收听者的耳朵(耳膜)之前衰减的现象的滤波器，即，将从AD转换器103输出的数字噪声信号衰减预定量的滤波器。换言之，无源声音隔离滤波器110是再现麦克风20所收集的声音例如在到达收听者的耳朵之前由于耳机壳体而衰减的效果的滤波器。无源声音隔离滤波器110将已被衰减了预定量的数字噪声信号输出到信号分析单元108。

然后，信号分析单元108分析音频信号1和已经通过无源声音隔离滤波器110衰减了预定量的数字噪声信号，并且针对已经通过无源声音隔离滤波器110衰减了预定量的数字噪声信号分析音频信号的掩蔽效应。

根据本公开内容的实施方式的信号处理装置100具有图6所示的配置，并且因此可以针对收听者听到的更真实的噪声分析掩蔽效应，并且在资源范围内执行更有效的噪声消除处理。

如上所述，根据本公开内容的实施方式的信号处理装置100可以分析音频信号，并且然后执行更有效的噪声消除处理，但是通过应用音频信号的分析，除了提高了噪声消除效果以外，还可以防止噪声消除之后的音频信号的溢出(overflow)。

在本文中，将描述噪声消除之后的音频信号的溢出。在图1所示的信号处理装置100中，从消除量调整单元105输出的噪声消除信号和从音量调整单元102输出的音频信号被加法单元106相加。然后，通过由加法单元106执行的加法所获得的信号通过DA转换器107被转换为模拟信号，但是当转换为模拟信号之前的信号没有落入DA转换器107的可转换范围内时，发生溢出，并且难以正确地执行数模(DA)转换。

例如，当DA转换器107是20位的DA转换器时，正的最大值为7FFFFh(＝0.999...)，负的最大值为80000h(＝-1.0)。因此，当转换为模拟信号之前的信号落入该范围内时，DA转换器107可以正常地执行DA转换，但是当转换为模拟信号之前的信号超出该范围时，发生溢出，并且难以正确执行DA转换。

此外，例如，当具有过大幅度的噪声信号由于车辆的振动、大气压力的变化等而经由麦克风20输入至信号处理装置100时，在信号输入到DA转换器107之前信号的溢出可能成为问题。

就这一点而言，下面将会描述能够分析音频信号的特性并且控制消除量，以使得即使当音频信号与噪声消除信号相加时也不会发生溢出的信号处理装置100。

图7是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。图7示出了可以使用音频信号的分析结果来防止噪声消除之后的音频信号的溢出的信号处理装置100的示例性功能配置。下面将参照图7描述根据本公开内容的实施方式的信号处理装置100的示例性功能配置。

如图7所示，根据本公开内容的实施方式的信号处理装置100包括：均衡器101、音量调整单元102、AD转换器(ADC)103、DNC滤波器104、消除量调整单元105、加法单元106、DA转换器(DAC)107、信号分析单元108、控制单元109、延迟缓冲器111以及限制器112。

图7所示的信号处理装置100具有以下配置：其中延迟缓冲器111和限制器112被添加到图1所示的信号处理装置100的配置中。

考虑到在图7所示的信号处理装置100中添加的限制器112中的信号处理的处理时间，延迟缓冲器111执行将从音量调整单元102输出的音频信号延迟预定时间段的处理。通过延迟缓冲器111将从音量调整单元102输出的音频信号延迟预定时间段，加法单元106可以将音频信号和噪声消除信号同时相加。

限制器112根据从音量调整单元102输出的音频信号的水平，来执行用于对从消除量调整单元105输出的噪声消除信号施加限制的信号处理。如上所述，当转换为模拟信号之前的信号没有落入DA转换器107的可转换范围内时，发生溢出，并且难以正确地执行DA转换。就这一点而言，限制器112对从消除量调整单元105输出的噪声消除信号施加限制，以使得其落入DA转换器107的可转换范围内。

为了对噪声消除信号施加限制以使得其落入DA转换器107的可转换范围内，限制器112检测从音量调整单元102输出的音频信号的水平，所述水平可能相继地改变。因此，信号分析单元108分析音频信号的水平大小作为对音频信号的信号处理。然后，控制单元109从信号分析单元108获得与音频信号水平的水平大小有关的信息，并将与音频信号水平的水平大小有关的信息传送到限制器112。

换言之，在图7所示的信号处理装置100中，控制参数对应于与音频信号的水平大小有关的信息。此外，信号分析单元108可以使用均方根(RMS)(有效值)来获得音频信号的水平。

当从控制单元109获得与音频信号水平的水平大小有关的信息时，限制器112对从消除量调整单元105输出的噪声消除信号施加限制，以使得其落入DA转换器107的可转换范围内。

这里，将描述限制器112的示例性功能配置。图8是示出限制器112的示例性功能配置的说明图。如图8所示，限制器112被配置成包括绝对值计算单元121、包络处理单元122、增益计算单元123以及增益处理单元124。

绝对值计算单元121计算输入的信号的绝对值ABS。在本实施方式中，绝对值计算单元121计算从消除量调整单元105输出的噪声消除信号的绝对值ABS。绝对值计算单元121计算从消除量调整单元105输出的噪声消除信号的绝对值ABS，并将所计算的绝对值ABS传送到包络处理单元122。

包络处理单元122执行相对于从绝对值计算单元121输出的噪声消除信号的绝对值ABS改变绝对值包络的处理。在本实施方式中，改变绝对值包络的处理还被称作“包络处理”。包络处理单元122将包络处理后的包络输出到增益计算单元123。

将描述由包络处理单元122执行的包络处理。包络处理单元122将一个周期前的包络值z1env与从绝对值计算单元121输出的噪声消除信号的绝对值ABS进行比较，并执行以下处理：

(1)当ABS>z1env时的攻击(attack)处理

envelope＝z1env+ta×(ABS-z1env)；和

(2)当ABS<＝z1env时的释放(release)处理

envelope＝tr×z1env

这里，“ta”和“tr”是基于攻击时间和释放时间而计算的常数。

增益计算单元123基于从包络处理单元122输出的包络envelope来计算要施加于输入信号的增益。在本实施方式中，增益计算单元123基于从包络处理单元122输出的包络envelope来计算要施加于从消除量调整单元105输出的消除信号的增益gain。

将描述由增益计算单元123计算增益gain的处理。

(1)当envelope>limit时，

gain＝limit/envelope

(2)当envelope<＝limit时，

gain＝1.0

limit是预先设定的输出限制约束值(output limit restriction value)。

增益计算单元123可以根据从消除量调整单元105输出的噪声消除信号的水平——即从包络处理单元122输出的包络envelope的值——来计算增益gain。在由增益计算单元123计算的增益gain中预先设定该输出限制约束值。基于常数ta和tr来控制瞬态响应特性，该常数ta和tr用于确定包络envelope的值的检测灵敏度。

输出限制约束值可以通过由信号分析单元108对音频信号的水平大小的分析而改变。例如，输出限制约束值limit可以由控制单元109改变，即，当音频信号的水平低时，增大输出限制约束值limit，并且当音频信号的水平高时，减小输出限制约束值limit。如上所述，输出限制约束值limit根据音频信号的水平大小而改变，并且因此信号处理装置100可以根据音频信号的水平大小来显示出最大的噪声消除性能。

增益处理单元124将由增益计算单元123计算的增益gain应用于输入的信号。在本实施方式中，增益处理单元124将由增益计算单元123计算的增益gain应用于从消除量调整单元105输出的噪声消除信号。

图9是使用曲线图示出输入到限制器112的信号与从限制器112输出的信号之间的关系的示例的说明图。在图9中，假设输入与从包络处理单元122输出的包络envelope基本相同。如图9所示，当输入是输出限制约束值limit或更小时，增益计算单元123计算用于在没有改变的情况下输出所述输入的增益。另一方面，如果输入超过输出限制约束值limit，则增益计算单元123计算用于使用输出限制约束值limit作为输出的增益。

图10是使用曲线图示出限制器112内部的信号的随时间变化的说明图。附图标记141指示输入到限制器112的信号(即噪声消除信号)的随时间变化的曲线图。附图标记142是在输入到限制器112的信号通过绝对值计算单元121之后的信号的随时间变化的曲线图，并且获得了绝对值。附图标记143是通过对已经经过绝对值计算单元121的信号执行包络处理单元122的包络处理而获得的信号的随时间变化的曲线图。附图标记144是通过对已经经过包络处理单元122的包络处理的信号执行增益计算单元123的增益计算处理而获得的增益值的随时间变化的曲线图。附图标记145是通过将由增益计算单元123计算的增益应用于经由增益处理单元124输入到限制器112的信号而获得的信号的随时间变化的曲线图。

例如，当在包络处理后的信号143中将输出限制约束值设定为0.5时，如果包络处理之后的信号的大小超过0.5，则由增益计算单元123计算使信号的大小小于1的增益，如附图标记144所示。因此，在包络处理后的信号的大小超过0.5的区间中，噪声消除信号的波形由于增益处理单元124而崩溃，如附图标记145所示。

如上所述，当生成了其中包络envelope超过预定的输出限制约束值limit的噪声消除信号时，限制器112可以施加使噪声消除信号的大小减小的限制。

上面已经参照图8描述了限制器112的示例性功能配置。接下来，将描述限制器112的效果。

图11是使用曲线图示出当限制器112不施加限制时信号的随时间变化的说明图。附图标记151是音频信号的随时间变化的曲线图。附图标记152是噪声信号的随时间变化的曲线图。附图标记153是基于噪声信号生成的噪声消除信号的随时间变化的曲线图。附图标记154是通过将附图标记151所指示的音频信号与附图标记153所指示的噪声消除信号相加而获得的信号的随时间变化的曲线图。附图标记155是溢出发生的随时间变化的曲线图。

如图11所示，当限制器112不施加限制时，取决于在附图标记154和155所示的曲线图中的音频信号或噪声消除信号的大小，在DA转换时可能发生溢出。溢出引起声音崩溃或声音破损，并且听者可能由于声音崩溃或声音破损而具有不舒服的感觉。

图12是使用曲线图示出当限制器112施加限制时信号的随时间变化的说明图。附图标记151是音频信号的随时间变化的曲线图。附图标记152是噪声信号的随时间变化的曲线图。附图标记156是通过由限制器112对基于噪声信号生成的噪声消除信号施加限制而获得的信号的随时间变化的曲线图。附图标记157是通过将附图标记151所指示的音频信号与附图标记156所指示的噪声消除信号相加而获得的信号的随时间变化的曲线图。附图标记158是溢出发生的随时间变化的曲线图。

如图12所示，当限制器112不施加限制时根据音频信号或噪声消除信号的大小而发生的DA转换时的溢出在限制器112施加限制时不发生。因此，不会发生可能由溢出引起的声音崩溃和声音破损，并且可以使收听者听到声音而没有不舒服的感觉。

因此，当音频信号的水平高并且在将音频信号与噪声消除信号相加时预测到溢出时，信号处理装置100在通过例如控制单元109执行噪声消除处理的路径中启用限制器112，并且因此当过多的噪声输入时，可以防止基于音频信号的声音经受声音破损。此外，当音频信号的水平低时，信号处理装置100通过例如控制单元109禁用限制器112，并且因此可以将音频信号输入到DA转换器107之前的动态范围充足地分配给噪声消除信号，并且实现令人满意的噪声消除功能。

此外，对限制器112的控制可以是对以下的控制：诸如输出限制约束值limit的参数、除ON/OFF之外的攻击或释放。通过在分析音频信号的水平的同时动态地控制噪声消除处理的路径，信号处理装置100可以通过限制器112防止基于音频信号的声音出现声音破损并且再现基于音频信号的声音，而没有不适当地抑制噪声消除信号。

此外，除了上述在噪声消除处理的路径中设置限制器112之外，还可以在音频信号1的信号处理的路径上执行对上述限制器的控制。

图13是示出根据本公开内容的实施方式的信号处理装置100的示例性功能配置的说明图。图13示出了以下信号处理装置100的示例性功能配置：该信号处理装置100除了包括对噪声消除信号执行限制器控制的限制器112之外，还包括对音频信号执行限制器控制的限制器113。

在图13示出的信号处理装置100通过包络处理单元122除了对从消除量调整单元105输出的噪声消除信号执行包络处理之外，还对从音量调整单元102输出的音频信号执行包络处理。在图13中，省略了在包络处理单元122的前级处的绝对值计算单元121。此外，包络处理单元122在噪声消除信号和音频信号的输出限制约束值m_limit_gain和n_limit_gain中反映对噪声消除信号和音频信号的包络处理的结果。

图13中用虚线指示的部分的信号可以用作绝对值计算处理或包络处理单元122的输入信号，但是下面的描述将使用图13中的实线路径的示例来进行。

当音频信号和噪声消除信号的包络值之和超过1.0时，图13所示的信号处理装置100可以根据是优先考虑基于音频信号的声音输出还是优先考虑噪声消除处理来改变增益计算单元123的增益计算处理。此后，将优先考虑基于音频信号的声音输出的操作模式称为“音乐优先模式”，并且将优先考虑噪声消除处理的操作模式称为“噪声消除优先模式”。

(1)音乐优先模式

包络处理单元122控制被输出到对噪声消除信号执行限制器控制的限制器112的输出限制约束值n_limit_gain，使得音频信号和噪声消除信号的包络值之和为1.0或更小，以便使被输出到对音频信号执行限制器控制的限制器113的输出限制约束值m_limit_gain尽可能地保持在1.0处。(2)噪声消除优先模式

包络处理单元122控制被输出到对音频信号执行限制器控制的限制器113的输出限制约束值m_limit_gain，使得音频信号和噪声消除信号的包络值之和为1.0或更小，以便使被输出到对噪声消除信号执行限制器控制的限制器112的输出限制约束值n_limit_gain尽可能地保持在1.0处。

可以根据收听者的设置来适当地选择将优先级给予音乐优先模式和噪声消除处理中的哪一个。此外，应当理解，除了选择音乐优先模式和噪声消除处理中的一个之外，还可以使用将音乐优先模式与噪声消除处理组合的方法。

上面已经描述了本公开内容的实施方式的信号处理装置100的技术的应用示例。如上所述，可以实时地分析输入到信号处理装置100的音频信号，并调整噪声消除信号和/或音频信号的大小，使得使用音频信号1的分析结果在进行DA转换时不发生溢出。

<2.结论>

如上所述，根据本公开内容的实施方式，提供了能够分析输入音频信号和通过麦克风收集的噪声，并且基于通过麦克风收集的噪声来生成控制参数的信号处理装置100，所述控制参数用于生成用于消除噪声的噪声消除信号。

根据本公开内容实施方式的信号处理装置100实时地分析输入音频信号和通过麦克风收集的噪声，并且分析音频信号的噪声掩蔽效应。此外，根据本公开内容的实施方式的信号处理装置100基于掩蔽效应的分析结果来生成用于生成噪声消除信号的控制参数。

由于根据本公开内容的实施方式的信号处理装置100基于掩蔽效应的分析结果来生成用于生成噪声消除信号的控制参数，所以对于被音频信号掩蔽的频率区域不生成噪声消除信号，并且将相应的资源分配给其他频率区域，因此可以有效地使用用于生成噪声消除信号的资源。

此外，根据本公开内容的实施方式的信号处理装置100实时地分析输入音频信号，必要时实时地分析噪声消除信号，并且在DA转换时不发生溢出的范围内调整噪声消除信号和/或音频信号的大小。由于根据本公开内容的实施方式的信号处理装置100在DA转换时不发生溢出的范围内调整噪声消除信号和/或音频信号的大小，所以可以使得收听者能够听到既没有声音崩溃也没有声音破损发生的令人满意的声音。

此外，根据上述实施方式的信号处理装置100可以安装在例如便携式音乐播放器、智能手机、平板型便携式终端、便携式游戏机等上。

本说明书中的装置执行的处理的步骤不一定按照顺序图或流程图中所描述的顺序按时间顺序执行。例如，装置所执行的处理中的步骤可以按照与流程图中描述的顺序不同的顺序执行，或者可以并行执行。

此外，可以创建计算机程序，该计算机程序使得结合在每个装置中的诸如CPU、ROM或RAM的硬件以类似于上述装置中的结构的方式工作。此外，可以提供其上记录有该计算机程序的记录介质。此外，通过将功能性框图中所示的各个功能块配置为硬件，所述硬件可以实现一系列处理。

以上已经参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改变和修改，并且应当理解，所述各种改变和修改将自然地落入本公开内容的技术范围内。

此外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，与上述效果一起或代替于上述效果，根据本公开内容的技术可以实现本领域技术人员基于本说明书的描述而清楚的其他效果。

另外，本技术还可以被配置如下。

(1)一种信号处理装置，包括：

信号分析单元，所述信号分析单元被配置成基于输入的第一音频信号和通过麦克风收集的声音来分析第二音频信号；

消除处理单元，所述消除处理单元被配置成生成用于消除所述第二音频信号的消除信号；以及

参数生成单元，所述参数生成单元被配置成基于由所述信号分析单元执行的分析的结果来生成在所述消除处理单元中使用的控制参数。

(2)根据(1)所述的信号处理装置，

其中，所述信号分析单元对所述第一音频信号和所述第二音频信号执行掩蔽分析。

(3)根据(2)所述的信号处理装置，

其中，所述参数生成单元基于由所述信号分析单元执行的掩蔽分析的结果来生成控制参数，所述控制参数使所述消除处理单元消除除了被所述第一音频信号掩蔽的频带之外的频带中的所述第二音频信号。

(4)根据(3)所述的信号处理装置，

其中，所述消除处理单元包括多个滤波器，以及

所述参数生成单元基于由所述信号分析单元执行的所述分析的结果，从所述多个滤波器中选择一个滤波器。

(5)根据(2)至(4)中的任一项所述的信号处理装置，还包括：

声音隔离滤波器单元，所述声音隔离滤波器单元被配置成在所述信号分析单元的前级处再现以下效果：通过所述麦克风收集的声音在到达收听者的耳朵之前被耳机的壳体隔离。

(6)根据(1)至(5)中的任一项所述的信号处理装置，

其中，所述参数生成单元还生成在均衡器中使用的控制参数，所述均衡器被配置成改变所述第一音频信号的频率特性。

(7)根据(1)所述的信号处理装置，

其中，所述信号分析单元对所述第一音频信号执行水平分析。

(8)根据(7)所述的信号处理装置，还包括：

水平调整单元，所述水平调整单元被配置成基于由所述信号分析单元对所述第一音频信号执行的水平分析的结果来调整从所述消除处理单元输出的所述消除信号的水平。

(9)根据(7)所述的信号处理装置，

其中，所述信号分析单元对所述第二音频信号执行水平分析。

(10)根据(9)所述的信号处理装置，还包括：

水平调整单元，所述水平调整单元被配置成基于由所述信号分析单元对所述第一音频信号执行的水平分析和对所述第二音频信号执行的水平分析的结果来调整从所述消除处理单元输出的所述消除信号的水平。

(11)一种信号处理方法，包括：

基于输入的第一音频信号和通过麦克风收集的声音来分析第二音频信号；

生成用于消除所述第二音频信号的消除信号；以及

基于所述分析的结果来生成在所述消除信号的生成中使用的控制参数。

(12)一种计算机程序，其使得计算机执行下述操作：

基于输入的第一音频信号和通过麦克风收集的声音来分析第二音频信号；

生成用于消除所述第二音频信号的消除信号；以及

基于所述分析的结果来生成在所述消除信号的生成中使用的控制参数。

附图标记列表

20 麦克风

21 麦克风放大器

22 耳机放大器

23 驱动器

100 信号处理装置

101 均衡器

102 音量调整单元

103 AD转换器

104 DNC滤波器

105 消除量调整单元

106 加法单元

107 DA转换器

108 信号分析单元

109 控制单元

110 无源声音隔离滤波器

111 延迟缓冲器

112，113 限制器

121 绝对值计算单元

122 包络处理单元

123 增益计算单元

124 增益处理单元