信号处理装置、信号处理方法及程序与流程

本公开内容涉及一种信号处理装置、信号处理方法及程序。

背景技术：

近年来，作为被戴在用户头上供使用的声学装置如耳机或头戴式耳机(其在下文中可以被称为“头戴式声学装置”)，除了简单地输出声学信息的装置以外，具有考虑使用情形的功能的装置已经变得普遍。作为具体示例，已知能够使用所谓的噪声消除技术来抑制来自外部环境的外界声音(所谓的噪音)并且提高隔音效果的头戴式声学装置。专利文献1公开了使用这样的噪声消除技术的声学装置的示例。

引用列表

专利文献

专利文献1：jp4882773b

技术实现要素：

技术问题

同时，随着被配置成由用户携带的信息处理装置(如所谓的智能电话、平板终端和可穿戴终端)已经变得更普遍，头戴式声学装置的使用情形不再限于听所谓的音频内容，而是进一步多样化。

随着使用情形的多样化，也可以考虑听者(用户)在戴着头戴式声学装置的同时能够听到来自外部环境的外界声音的期望使用情形。

就这一点而言，本公开内容提出了能够使得用户能够在戴着头戴式声学装置的同时以适当的方式听到外部环境的外界声音的信号处理装置、信号处理方法及程序。

问题的解决方案

根据本公开内容，提供了一种信号处理装置，该信号处理装置包括：第一获取单元，被配置成获取第一声音的声音收集结果，第一声音在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播；第二获取单元，被配置成获取第二声音的声音收集结果，第二声音在安装单元内部的与外耳道连通的内部空间中传播；第一滤波器处理单元，被配置成基于第一声音的声音收集结果来生成差信号，该差信号近似等于从外部空间向外耳道的内部直接传播的第一声音与经由安装单元从外部空间传播到内部空间的第一声音之间的差；相减单元，被配置成生成通过从第二声音的声音收集结果减去第一信号分量和第二信号分量而获得的相减信号，第一信号分量基于第一声音的声音收集结果，第二信号分量基于要从安装单元的内部向内部空间从声学装置输出的输入声学信号；第二滤波器处理单元，被配置成基于相减信号来生成用于减小相减信号的降噪信号；以及相加单元，被配置成将差信号和降噪信号与输入声学信号相加以生成用于驱动声学装置的驱动信号。

此外，根据本公开内容，提供了一种信号处理方法，该信号处理方法包括由处理器执行以下操作：获取第一声音的声音收集结果，第一声音在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播；获取第二声音的声音收集结果，第二声音在安装单元内部的与外耳道连通的内部空间中传播；基于第一声音的声音收集结果来生成差信号，该差信号近似等于从外部空间向外耳道的内部直接传播的第一声音与经由安装单元从外部空间传播到内部空间的第一声音之间的差；生成通过从第二声音的声音收集结果减去第一信号分量和第二信号分量而获得的相减信号，第一信号分量基于第一声音的声音收集结果，第二信号分量基于要从安装单元的内部向内部空间从声学装置输出的输入声学信号；基于相减信号生成用于减小相减信号的降噪信号；以及将差信号和降噪信号与输入声学信号相加以生成用于驱动声学装置的驱动信号。

此外，根据本公开内容，提供了一种程序，所述程序使计算机执行以下操作：获取第一声音的声音收集结果，第一声音在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播；获取第二声音的声音收集结果，第二声音在安装单元内部的与外耳道连通的内部空间中传播；基于第一声音的声音收集结果来生成差信号，该差信号近似等于从外部空间向外耳道的内部直接传播的第一声音与经由安装单元从外部空间传播到内部空间的第一声音之间的差；生成通过从第二声音的声音收集结果减去第一信号分量和第二信号分量而获得的相减信号，第一信号分量基于第一声音的声音收集结果，第二信号分量基于要从安装单元的内部向内部空间从声学装置输出的输入声学信号；基于相减信号生成用于减小相减信号的降噪信号；以及将差信号和降噪信号与输入声学信号相加以生成用于驱动声学装置的驱动信号。

本发明的有益效果

如上所述，根据本公开内容，提供了能够使得用户能够在佩戴着头戴式声学装置时以适当的方式听到外部环境的外界声音的信号处理装置、信号处理方法及程序。

注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的任一效果或可以从本说明书领会的其它效果。

附图说明

[图1]图1是用于描述应用了根据本公开内容的实施方式的信号处理装置的头戴式声学装置的应用示例的说明图。

[图2]图2是用于描述用于实现侧听(hear-through)效果的原理的示例的说明图。

[图3]图3是示意性地示出了在用户戴着耳塞式耳机(canaltypeearphone)的情况下用户听到外界声音之前的传播环境的示例的图。

[图4]图4是示意性地示出了在用户没有佩戴头戴式声学装置的情况下用户听到外界声音之前的传播环境的示例的图。

[图5]图5是示出了根据本公开内容的实施方式的信号处理装置的基本功能配置的示例的框图。

[图6]图6是用于描述由用户发出的语音的振动在内部空间内传播的现象的发生机制的说明图。

[图7]图7是示出了根据本公开的第一实施方式的信号处理装置的功能配置的示例的框图。

[图8]图8是用于描述根据实施方式的信号处理装置的配置的示例的说明图。

[图9]图9是示出了根据本公开内容的第二实施方式的信号处理装置的功能配置的示例的框图。

[图10]图10是用于描述根据实施方式的信号处理装置中用于进一步减小延迟量的配置的示例的说明图。

[图11]图11是示出了监测消除器(monitorcanceller)的功能配置的示例的图。

[图12]图12是示出了根据实施方式的修改示例的信号处理装置的功能配置的示例的框图。

[图13]图13是示出了根据本公开内容的第三实施方式的信号处理装置的功能配置的示例的图。

[图14]图14是示出了根据实施方式的信号处理装置的功能配置的另一示例的框图。

[图15]图15是用于描述根据实施方式的信号处理装置的应用示例的说明图。

[图16]图16是示出了根据本公开内容的实施方式的信号处理装置的硬件配置的示例的图。

具体实施方式

在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

说明将按照以下顺序进行。

1.概述

2.实现侧听效果的原理

2.1.概述

2.2.基本功能配置

3.第一实施方式

4.第二实施方式

4.1.示意性功能配置

4.2.用于减小延迟量的配置示例

4.3.修改示例

4.4.结论

5.第三实施方式

6.硬件配置

7.结论

<1.概述>

为了便于理解与本公开内容有关的信号处理装置的特性，首先，将描述可以应用该信号处理装置的头戴式声学装置(如耳机或头戴式耳机)的应用示例，然后将描述根据本公开内容的信号处理装置的问题。

作为在使用时被戴在用户头上的头戴式声学装置(如耳机或头戴式耳机)，除了仅输出声学信息的装置以外，具有考虑使用情形的功能的装置已经变得普遍。作为具体示例，已知能够使用所谓的噪声消除技术抑制来自外部环境的外界声音(所谓的噪音)并且提高隔音效果的头戴式声学装置。

同时，随着被配置成由用户携带的信息处理装置(如所谓的智能电话、平板终端和可穿戴终端)已经变得普遍，头戴式声学装置的使用情形不再限于听所谓的音频内容，而是进一步多样化。

例如，近年来，通过语音合成技术使得用户能够在信息处理装置通过语音读出信息时在不查看屏幕等的情况下识别通知信息的用户界面(ui)已经变得普遍。作为另一示例，通过应用语音识别技术使得用户能够通过语音与装置进行交互来操作信息处理装置的基于语音输入的交互式ui也已经变得普遍。

为了使这样的ui即使在所谓的公共场所也可以使用，还考虑用户持续地戴着头戴式声学装置的情形。例如，图1是用于描述应用了根据本公开内容的实施方式的信号处理装置的头戴式声学装置的应用示例的说明图。换言之，图1示出了用户在所谓的公共场所(如用户外出的情况)在戴着头戴式声学装置51的同时使用便携式信息处理装置(如智能电话)的情形的示例。

如上所述，存在以下情况：用户期望能够在持续地戴着头戴式声学装置51的同时，除了听到从信息处理装置输出的声学信息(例如，音频内容)以外，还听到来自外部环境的所谓的外界声音。在这些情况下，更优选的是，用户能够以与用户不佩戴头戴式声学装置51的情况类似的方式听到来自外部环境的外界声音。

在下面的描述中，甚至在用户正带着头戴式声学装置51时用户也能够以与用户不佩戴头戴式声学装置51的情况类似的方式听到来自外部环境的所谓外界声音的状态也被称为“侧听状态”。类似地，即使在用户正戴着头戴式声学装置时也使得用户能够以与用户不佩戴头戴式声学装置51的情况类似的方式听到来自外部环境的所谓外界声音的效果也被称为“侧听效果”。

例如，如果上述侧听状态被实现，则用户在甚至在公共场所戴着头戴式声学装置并且查看周围情形的同时，也能够查看指示电子邮件或新闻的内容的通知的声音输出。作为另一示例，用户还能够在运动中在查看周围情形的同时借助于所谓的电话呼叫功能与另一用户进行通话。

另一方面，为了使用户能够体验到更自然的侧听效果，基于使用具有高密闭性(换言之，对外部环境的高屏蔽性)的头戴式装置(如所谓的耳塞式耳机)的前提的技术是重要的。原因是存在以下情况：在使用具有相对低的密闭性的头戴式声学装置(如所谓的开放式耳机(openairheadphone))的情况下，所谓的声音泄漏的影响大，并且在公共场所使用不一定是优选的。

另一方面，在使用具有高密闭性的头戴式声学装置(如耳塞式耳机)的情况下，来自外部环境的经由头戴式声学装置泄漏到用户的耳朵(所谓的外耳道)中的外界声音至少部分地被屏蔽。因此，用户可能以与用户不佩戴头戴式声学装置的状态不同的方式听到来自外部环境的外界声音，或者用户可能几乎听不到外界声音。

就这一点而言，在本公开内容中，将描述用于在使用具有高密闭性的头戴式声学装置(如所谓的耳塞式耳机)的情况下实现上述侧听状态的技术的示例。

<2.实现侧听效果的原理>

[2.1.概述]

首先，将与所谓的前馈(ff)型噪声消除(nc)耳机(或头戴式耳机)的示例相比较来描述用于实现侧听效果的原理的示例。例如，图2是用于描述用于实现侧听效果的原理的示例的说明图，并且示出了在头戴式声学装置51被配置为所谓的ff型nc耳机的情况下头戴式声学装置51的示意性功能配置的示例。

如图2所示，头戴式声学装置51包括例如麦克风71、滤波器电路72、功率放大器73和扬声器74。在图2中，附图标记f示意性地表示在来自声源s的声音n经由头戴式声学装置51的壳体到达(即，泄漏到)用户的耳朵(即，外耳道的内部)之前的传播环境的传递函数。附图标记f’示意性地表示在来自声源s的声音n到达麦克风71之前的传播环境的传递函数。

在此，参照图3。图3示意性地示出了在用户u佩戴作为头戴式声学装置51的所谓耳塞式耳机的情况下用户u听到来自声源s的声音n之前的传播环境的示例。在图3中，附图标记ua示意性地表示用户u的外耳道中的空间(在下文中也简称为“外耳道”)。此外，图中3的附图标记f和f’分别对应于图2所示的附图标记f和f’。在下面的描述中，如图3所示，当头戴式声学装置51被佩戴在用户u的耳朵上时，头戴式声学装置51内的与外耳道ua连通的空间也被称为“内部空间”。此外，当头戴式声学装置51被佩戴在用户u的耳朵上时，头戴式声学装置51外部的空间也被称为“外部空间”。

如图2和图3所示，经由传播环境f传播的来自声源s的声音n可以泄漏到用户的耳朵u’(具体地，与外耳道ua连通的内部空间)中。因此，在nc耳机中，通过向经由传播环境f传播的声音n添加具有相反相位的信号(降噪信号)来减轻声音n的影响。

具体地，例如，来自外部环境的声源s的声音n经由传播环境f’到达麦克风71，并且由麦克风71收集。滤波器电路72基于由麦克风71收集的声音n，生成相位与经由传播环境f传播的声音n的相位相反的信号(降噪信号)。由滤波器电路72生成的降噪信号经历由功率放大器73执行的增益调整，然后通过扬声器74向用户的耳朵u’输出。因此，经由传播环境f传播到用户的耳朵u’的声音n的分量被从扬声器74输出的降噪信号的分量抵消，从而抑制了声音n。

在此，基于麦克风71、功率放大器73和扬声器74的装置特性的传递函数分别由m、a和h表示。此外，滤波电路72基于由麦克风71收集的声学信号生成降噪信号时的滤波器系数由α表示。此时，在nc耳机中，通过设计滤波器电路72的滤波器系数α使得满足以下(公式1)表示的关系表达式来实现所谓的噪声消除。

[数学式1]

另一方面，在侧听状态下，如图3所示，在佩戴了头戴式声学装置51的状态下，用户u以与没有佩戴头戴式声学装置51的情况基本上相当的方式听到来自外部环境的声源s的声音n。

例如，图4是示意性地示出了在用户u没有佩戴头戴式声学装置51的情况下用户u听到来自声源s的声音n之前的传播环境的示例的图。在图4中，附图标记g示意性地表示在来自声源s的声音n直接到达用户u的外耳道ua的内部之前的传播环境的传递函数。

换言之，在基于图2所示的头戴式声学装置51实现侧听效果的情况下，优选地，生成要从扬声器74输出的声音，使得图3所示的情形(佩戴了头戴式声学装置51的情形)和图4所示的情形(未佩戴头戴式声学装置51的情形)等同。

具体地，如果在实现侧听效果的情况下滤波器电路72的滤波器系数由γ表示，则可以通过设计滤波器系数γ使得满足由以下(公式2)和(公式3)表示的关系表达式来理想地实现侧听效果。

[数学式2]

此外，如图2所示，通过将经由头戴式声学装置51传播到外耳道ua的内部的声音n的声波以及在空气中从扬声器74输出的声音n的声波相加来实现噪声消除和侧听效果中的每一个。因此，应当理解的是，优选地，从来自声源s的声音n由麦克风71收集直到经由滤波器电路72和功率放大器73从扬声器74输出为止的延迟量(包括由ad转换器(adc)或da转换器(dac)执行的转换处理)被抑制为大约100μs或更小。

在此，将进一步详细描述将延迟量抑制为100μs或更小的原因。在基于安装在具有高密闭性的头戴式声学装置51(例如，耳塞式耳机或头顶式耳机(overheadtypeheadphone))的壳体中的麦克风71的声音收集结果来实现侧听效果的情况下，优选地，通过安装adc和dac来构成滤波器系数为γ的滤波器电路72作为数字滤波器。原因是如果滤波器电路72被构成为数字滤波器，则可以容易地实现与模拟滤波器相比偏差更小并且不能够由模拟滤波器来实现的滤波器处理。

另一方面，在安装了adc和dac的情况下，诸如抽取和插值的滤波处理增加了处理负担，从而相应地发生延迟。

如上所述，在图2中，在图2中从扬声器74输出的声音以及经由传播环境f传播的来自声源s的声音n在外耳道ua内的空间(即，耳膜附近的空间)中相加，并且相加后的声音被用户识别为一个声音。因此，通常可知，如果延迟量超过10ms，则认为好像出现了回声，或者认为好像听到声音两次。即使在延迟量小于10ms的情况下，频率特性也可能受到声音的相互干扰的影响，或者可能难以实现侧听效果和噪声消除。

作为具体示例，在图2中，假定在从扬声器74输出的声音与经由传播环境f传播的来自声源s的声音n之间发生1ms的延迟。在这种情况下，1khz附近的频带的声学信号经历与一个周期对应的相移(即，360°)并且然后相加。另一方面，500hz附近的频带的声学信号具有相反的相位然后被抵消。换言之，在简单地将具有1ms的延迟的信号相加的情况下，发生所谓的下落(dip)。另一方面，如果延迟量被抑制为100μs，则可以将由于反向关系而发生下落的频带提高至5khz。

通常，已知人的外耳道具有约3khz至4khz附近的共振点，但是存在个体差异。因此，在超过4khz的频带中，其对应于所谓的个体差异部分，从而考虑通过将延迟量抑制为100μs或更小并且将发生下落的频带调整至大约5khz来获得适当的侧听效果。

[2.2.基本功能配置]

接下来，将参考图5来描述用于实现侧听效果的信号处理装置的基本功能配置的示例。图5是示出了根据本公开内容的实施方式的信号处理装置80的基本功能配置的示例的框图。如上所述，信号处理装置80实际上包括dac和adc，以将每个声学信号转换为数字信号并且执行各种类型的滤波器处理，但是在图5所示的示例中，为了便于理解描述，省略了对dac和adc的描述。

在图5中，附图标记51a和51b中的每一个均表示头戴式声学装置51。换言之，附图标记51a表示戴在右耳上的头戴式声学装置51，而附图标记51b表示附接至左耳的头戴式声学装置51。在头戴式声学装置51a和51b没有被特别区分的情况下，也称为如上所述的“头戴式声学装置51”。在图5所示的示例中，由于头戴式声学装置51a和51b具有相似的配置，所以图示关注于头戴式声学装置51a这一侧，并且省去了头戴式声学装置51b的图示。

如图5所示，头戴式声学装置51包括安装单元510、驱动器511和外部麦克风513。

安装单元510示出了在头戴式声学装置51的壳体中的佩戴在用户u上的部分。

例如，在头戴式声学装置51被配置成所谓的耳塞式耳机的情况下，安装单元510具有以下外部形状：其被戴在用户u的耳朵上，使得其至少一部分能够被插入到作为佩戴者的用户u的耳洞中。具体地，在这种情况下，在安装单元510中形成具有能够插入到用户u的耳洞中的形状的耳洞插入部，并且安装单元510被佩戴在用户u的耳朵上，使得耳洞插入部被插入到耳洞中。例如，图3所示的示例示出了头戴式声学装置51的安装单元510被佩戴在用户u的耳朵上的状态。

在安装单元510被佩戴在用户u上的情况下，安装单元510中的空间(即，与用户u的外耳道ua连通的空间)对应于内部空间。

驱动器511是用于驱动声学装置如扬声器并且使声学装置基于声学信号输出声音的部件。作为具体示例，驱动器511通过基于输入的模拟声学信号(即，驱动信号)使扬声器的振动板振动来使扬声器基于声学信号输出声音。

外部麦克风513是直接收集经由用于使头戴式声学装置51能够被佩戴在用户u上的安装单元510外部的外部空间传播的声音(所谓的外界声音)的声音收集装置。例如，外部麦克风513可以被配置为基于微机电系统(mems)技术而形成的所谓的mems麦克风。外部麦克风513的安装位置没有特别限制，只要外部麦克风513能够收集经由外部空间传播的声音即可。作为具体示例，外部麦克风513可以安装在头戴式声学装置51的安装单元中，或者可以安装在与安装单元不同的位置处。由外部麦克风513收集的声音(即，外界声音)对应于“第一声音”的示例。

图5所示的信号处理装置80是用于执行各种信号处理(例如，上面参照图2至图4所述的滤波器处理)以实现侧听效果的部件。如图5所示，信号处理装置80包括麦克风放大器111、ht滤波器121、相加单元123、功率放大器141和均衡器(eq)131。

麦克风放大器111是用于调整声学信号的增益的所谓的放大器。由外部麦克风513收集的外界声音经历由麦克风放大器111执行的增益调整(例如，放大)，然后被输入至ht滤波器121。

在实现上面参照图2至图4描述的侧听效果的情况下，ht滤波器121对应于滤波器电路72(参见图2)。换言之，ht滤波器121对从麦克风放大器111输出的声学信号(即，由外部麦克风513收集并且已经经过了由麦克风放大器111执行的增益调整的声学信号)执行基于根据(公式2)和(公式3)描述的滤波器系数γ的信号处理。此时，作为由ht滤波器121执行信号处理的结果而输出的声学信号在下文中也被称为“差信号”。换言之，通过将差信号与经由头戴式声学装置51的安装单元510传播到内部空间的外界声音(即，经由图2和图3中的传播环境f传播的声音)相加来模拟用户直接听到外界声音的情况下的外界声音。ht滤波器121对应于“第一滤波器处理单元”的示例。

ht滤波器121将作为对从麦克风放大器111输出的声学信号执行信号处理的结果而生成的差信号输出到相加单元123。

eq131对输入至信号处理装置80的声学信号(在下文中也称为“声音输入”)如音频内容或语音电话中的接收信号进行所谓的均衡处理。作为具体示例，与在实现噪声消除和侧听效果的情况下一样，在反馈对外界声音的声音收集结果的情况下，由于外界声音的声音特性，低频侧分量的增益趋向于增大。因此，eq131对声音输入的声音特性(例如，频率特性)进行校正，使得预先从声音输入中抑制要基于反馈而叠加的低频侧的声音分量。声音输入对应于“输入声学信号”的示例。

然后，eq131将经过了均衡处理的声音输入输出到相加单元123。

相加单元123将从ht滤波器121输出的差信号与从eq131输出的声音输入(即，经过了均衡处理的声音输入)相加，并且将作为相加结果而生成的声学信号输出至功率放大器141。

功率放大器141是用于调整声学信号的增益的所谓的放大器。从相加单元123输出的声学信号(即，声音输入与差信号的相加结果)经历由功率放大器141执行的增益调整(即，放大)，然后被输出至驱动器511。然后，驱动器511基于从功率放大器141输出的声学信号来驱动扬声器，因此，基于声学信号的声音被辐射到安装单元510内的内部空间(即，与用户u的外耳道ua连通的空间)中。

由用于驱动扬声器的驱动器511辐射到内部空间中的声音与经由头戴式声学装置51的安装单元510传播到内部空间中的外界声音(即，经由图2和图3中的传播环境f传播的声音)相加并且被用户u听到。此时，从驱动器511辐射到内部空间中的声音中所包括的差信号的分量与经由安装单元510传播到内部空间的外界声音相加并且被用户u听到。换言之，除了如音频内容的声音输入以外，用户能够以与如图4所示没有佩戴头戴式声学装置51的情况类似的方式听到外界声音。

应当注意的是，上述信号处理装置80的操作仅仅是示例，并且如果在用户u正戴着头戴式声学装置51的状态下用户u能够听到外界声音，则信号处理装置80无需一定如实地再现侧听效果。作为具体示例，ht滤波器121可以控制差信号的特性和增益，使得用户u感到外界声音的音量比在用户u没有佩戴头戴式声学装置51的状态下更高。类似地，ht滤波器121可以控制差信号的特性和增益，使得用户u感到外界声音的音量比在用户u没有佩戴头戴式声学装置51的状态下更低。基于该配置，例如，信号处理装置80可以根据声音输入的输入状态或声音输入的类型(例如，音频内容、语音呼叫的接收信号等)来控制用户u所听到的外界声音的音量。

如上所述，上面参照图5描述了用于实现侧听效果的信号处理装置的基本功能配置的示例。

另一方面，在用户u正戴着具有高密闭性的头戴式声学装置51如所谓的耳塞式耳机的情况下，用户u可能对用户u发出的语音如何被听到具有奇怪的感觉，并且这一点与图5所示的示例类似。原因是用户发出的语音的振动在内部空间中传播。就这一点而言，将参照图6来描述用户发出的语音的振动在内部空间中传播的机制。图6是用于描述用户发出的语音的振动在内部空间中传播的机制的说明图。

如图6所示，用户u发出的语音的振动经由用户u的头部中的骨骼或肉体传播到外耳道ua，使得外耳道壁像次级扬声器那样振动。在此，在佩戴了具有高密闭性的头戴式声学装置51如耳塞式耳机的情况下，头戴式声学装置51增加了外耳道ua中的空间的密闭程度，并且空气中的逃脱路线受到限制，因此空间中的振动被直接传递到耳膜。此时，在内部空间中传播的用户u发出的语音的振动如同低频被放大一样被传递到耳膜，因此，用户u如同他/她的语音含糊不清一样听到他/她的语音，从而用户u具有奇怪的感觉。

鉴于如上所述的问题提出了根据本公开内容的实施方式的信号处理装置，并且期望以更适当的方式(即，以用户具有较少的奇怪感觉的方式)实现侧听效果。

<3.第一实施方式>

首先，将参照图7来描述根据本公开内容的第一实施方式的信号处理装置的功能配置的示例。图7是示出了根据本实施方式的信号处理装置的功能配置的示例的框图。在下面的描述中，根据本实施方式的信号处理装置也被称为“信号处理装置11”，以与信号处理装置80(参见图5)进行区分。此外，与图5所示的示例类似，为了便于理解描述，在图7所示的功能配置中省略了dac和adc的图示。

如图7所示，根据本实施方式的信号处理装置11与信号处理装置80(参见图5)的不同之处在于设置了麦克风放大器151、相减单元171、闭塞消除器(occlusioncanceller)161和eq132。如图7所示，能够应用根据本实施方式的信号处理装置11的头戴式声学装置51与能够应用信号处理装置80的头戴式声学装置51(参见图5)的不同之处在于设置了内部麦克风515。就这一点而言，在下面的描述中，将特别关注与图5所示的示例的差异来描述根据本实施方式的信号处理装置11的功能配置以及能够应用信号处理装置11的头戴式声学装置51的功能配置。

内部麦克风515是收集传播到安装单元510内部的内部空间(即，与用户u的外耳道ua连通的空间)的声音的声音收集装置，安装单元510使得头戴式声学装置51能够被佩戴在用户u上。与外部麦克风513类似，内部麦克风515可以被配置为例如基于mems技术形成的所谓的mems麦克风。

例如，内部麦克风515安装在安装单元510中以面向外耳道ua的方向。应当理解的是，安装位置没有特别限制，只要内部麦克风515能够收集传播到内部空间的声音即可。

由内部麦克风515收集的声学信号包括基于由驱动器511执行的控制而从扬声器输出的声音的分量、经由安装单元510传播到内部空间的外界声音的分量(经由图2和图3中的传播环境f传播的声音)以及传播到外耳道ua的用户的语音分量(图6所示的语音分量)。此外，由内部麦克风515收集的声音(即，传播到内部空间的声音)对应于“第二声音”的示例。

麦克风放大器151是调整声学信号的增益的所谓的放大器。基于由内部麦克风515获得的声音收集结果(即，对于传播到内部空间的声音的声音收集结果)的声学信号经历由麦克风放大器151执行的增益调整(例如，放大)，然后被输入至相减单元171。

eq132是用于根据内部麦克风515和麦克风放大器151的装置特性对声音输入进行均衡处理的部件。具体地，在基于内部麦克风515和麦克风放大器151的装置特性的传递函数由m表示的情况下，eq132将作为“目标特性-m”的频率特性应用于声音输入。可以基于先前实验的结果等预先计算与内部麦克风515和麦克风放大器151的装置特性对应的传递函数m。然后，eq132将经过了均衡处理的声音输入输出到相减单元171。经过了由eq132执行的均衡处理的声音输入对应于“第二信号分量”的示例。

相减单元171从由麦克风放大器151输出的声学信号减去从eq132输出的声音输入(即，对其应用了作为“目标特性-m”的频率特性的声音输入)，并且将作为相减结果而生成的声学信号输出到闭塞消除器161。作为由相减单元171获得的相减结果输出的声学信号与由内部麦克风515收集的声学信号的分量中的声音输入的分量被抑制的声学信号对应。更具体地，声学信号包括差信号和经由安装单元510传播到内部空间的外界声音相加的分量(在下文中也被称为“外界声音分量”)以及经由用户u的头部的骨骼或肉体传播到外耳道ua的用户u的语音分量(在下文中也简称为“语音分量”)

闭塞消除器161对应于如下所谓的滤波器处理单元：其以与所谓的反馈(fb)型nc滤波器的原理类似的原理进行操作。闭塞消除器161基于从相减单元171输出的声学信号生成用于将声学信号的分量抑制到预定音量的声学信号(在下文中也称为“降噪信号”)。

如上所述，从相减单元171输出的声学信号包括外界声音分量和语音分量，并且由于传播路径的特性，语音分量的低频侧被放大。因此，例如，为了使得用户u能够以与用户u没有佩戴头戴式声学装置51的情况类似的方式听到语音分量，闭塞消除器161可以生成用于抑制从相减单元171获取的声学信号的语音分量中的语音分量的低频侧的降噪信号。此外，闭塞消除器161对应于“第二信号处理单元”的示例。

如上所述，闭塞消除器161基于从相减单元171输出的声学信号来生成降噪信号。然后，闭塞消除器161将生成的降噪信号输出至相加单元123。

与上面参照图5描述的eq131类似，eq131对声音输入进行均衡处理。

根据本实施方式的eq131还根据要根据由驱动器511驱动的扬声器的结构等被应用于输出声音的特性以及从扬声器到内部麦克风515的空间的传递函数对声音输入进行均衡处理。例如，通过将与根据由驱动器511驱动的扬声器的结构等被应用于输出声音的特性对应的传递函数与从扬声器到内部麦克风515的空间的传递函数相乘而获得的函数由h表示。在这种情况下，eq131将作为“目标特性1/h”的频率特性应用于声音输入。此外，优选地，基于实验的结果等预先计算与要根据由驱动器511驱动的扬声器的结构等被应用于输出声音的特性对应的传递函数以及从扬声器到内部麦克风515的空间的传递函数。然后，eq131将经过了均衡处理的声音输入输出至相加单元123。

相加单元123将从ht滤波器121输出的差信号和从闭塞消除器161输出的降噪信号与从eq131输出的声音输入(即，在均衡处理之后的声音输入)相加。然后，相加单元123将作为相加结果生成的声学信号输出至功率放大器141。

从相加单元123输出的声学信号(即，声音输入、差信号和降噪信号的相加结果)经历由功率放大器141执行的增益调整(例如，放大)，然后被输出至驱动器511。然后，驱动器511基于从功率放大器141输出的声学信号来驱动扬声器，因此，基于该声学信号的声音被辐射到安装单元510内的内部空间(即，与用户u的外耳道ua连通的空间)中。

上面已经参照图7描述了根据本实施方式的信号处理装置11的功能配置的示例。信号处理装置11的配置不一定限于图7所示的示例，只要可以实现上述信号处理装置11的部件的操作即可。

例如，图8是用于描述根据本实施方式的信号处理装置11的配置的示例的说明图。在图7所示的示例中，头戴式声学装置51和信号处理装置11被配置成不同的装置。另一方面，图8示出了头戴式声学装置51和信号处理装置11安装在同一壳体中的情况下的配置的示例。具体地，在图8所示的示例中，与信号处理装置11对应的配置(例如，信号处理单元)安装在头戴式声学装置51的安装单元510中。

应当理解的是，信号处理装置11可以被配置成独立装置，或者可以被配置成信息处理装置如所谓的智能电话等的一部分。此外，信号处理装置11的至少一些部件可以安装在与信号处理装置11不同的外部装置(例如，服务器等)中。在这种情况下，优选地，从经由外部环境传播的外界声音由外部麦克风513收集直到经由ht滤波器121和功率放大器141从头戴式声学装置51的扬声器输出为止的延迟量(包括由adc和dac执行的转换处理)被抑制为大约100μs或更小。

如上所述，根据本实施方式的信号处理装置11基于由内部麦克风515获得的声音收集结果(即，对于传播到内部空间的声音的声音收集结果)，生成用于抑制用户u的语音分量中的至少一些分量的降噪信号。然后，信号处理装置11将生成的差信号和降噪信号与输入的声音输入相加，并且输出相加后的声学信号。因此，头戴式声学装置51的驱动器511基于从信号处理装置11输出的声学信号来驱动扬声器，因此，基于声学信号的声音被辐射到内部空间中。

当驱动器511驱动扬声器时辐射到内部空间中的声音包括基于由闭塞消除器161生成的降噪信号的分量。基于降噪信号的分量与基于用户u的话语的在内部空间中传播到外耳道ua的用户u的语音分量相加。因此，语音分量中的至少一些分量(例如，语音分量中的较低频率侧的分量)被抑制，并且抑制后的语音分量到达用户u的耳膜并且被用户u听到。换言之，根据本实施方式的信号处理装置11，可以以用户u对被听到的他/她的语音没有奇怪感觉的方式实现侧听效果。

<4.第二实施方式>

接下来，将描述根据本公开内容的第二实施方式的信号处理装置。在第一实施方式中，通过设置闭塞消除器161以用户u对被听到的他/她的语音没有奇怪感觉的方式来实现侧听效果。另一方面，在根据第一实施方式的信号处理装置11中，要由闭塞消除器161处理的声学信号包括从头戴式声学装置51的扬声器输出的差信号的分量。因此，存在以下情况：由于差信号的分量被闭塞消除器161基于声学信号生成的降噪信号所抑制，因此没有充分获得侧听效果(或者具有不同特性的外界声音被用户u听到)。

换言之，根据本实施方式的信号处理装置是鉴于上述问题而提出的，并且期望以比根据第一实施方式的信号处理装置11更自然的方式(即，以用户具有更少的奇怪感觉的方式)实现侧听效果。在下面的描述中，根据本实施方式的信号处理装置也被称为“信号处理装置12”，以与根据第一实施方式的信号处理装置11进行区分。

[4.1.示意性功能配置]

首先，将参照图9来描述根据本实施方式的信号处理装置12的功能配置的示例。图9是示出了根据本实施方式的信号处理装置的功能配置的示例的框图。此外，与图5和图7所示的示例类似，为了便于理解描述，在图9所示的功能配置中省略了dac和adc的图示。

如图9所示，根据本实施方式的信号处理装置12与根据第一实施方式的信号处理装置11(参见图7)的不同之处在于设置了监测消除器(monitorcanceller)181和相减单元191。因此，在下面的描述中，将关注与根据上述第一实施方式的信号处理装置11(参见图7)的差异来描述根据本实施方式的信号处理装置12的功能配置。

监测消除器181和相减单元191被配置成抑制从麦克风放大器151输出的声学信号(即，基于内部麦克风515的声音收集结果的声学信号)中的分量当中的与差信号对应的分量。

在图9所示的信号处理装置12中，由外部麦克风513收集的外界声音经历由麦克风放大器111执行的增益调整(例如，放大)，然后被输入至ht滤波器121和监测消除器181。

与ht滤波器121类似，监测消除器181对从麦克风放大器111输出的声学信号进行基于根据(公式2)和(公式3)描述的滤波器系数γ的信号处理，并且生成差信号。

此外，监测消除器181基于与每个特性对应的传递函数对所生成的差信号进行滤波器处理，使得功率放大器141、驱动器511和麦克风放大器151中的每一个的装置特性的影响以及内部空间中的空间特性的影响得以反映。原因是经由功率放大器141、驱动器511和麦克风放大器151从闭塞消除器161到闭塞消除器161的路线的特性没有反映在从麦克风放大器111输出的声学信号中。

在监测消除器181中，可以安装无限脉冲响应滤波器(iir滤波器)和有限脉冲响应滤波器(fir滤波器)作为用于执行滤波器处理的配置。在这种情况下，例如，在上述滤波器处理中，可以将对延迟分量的简单处理主要分配给fir滤波器，并且可以将与频率特性有关的处理主要分配给iir滤波器。

应当理解的是，安装了iir滤波器和fir滤波器的配置仅仅是示例，并且监测消除器181的配置不一定受到限制。作为具体示例，fir滤波器可以安装在监测消除器181中，并且对延迟分量的简单处理以及与频率特性相关的处理都可以由fir滤波器执行。

作为另一示例，在延迟分量的影响足够小的情况下，滤波器处理可以仅由iir滤波器来实现。作为用于减小延迟分量的影响的方法的示例，例如，可以使用采用adc和dac或者采用低延迟装置作为用于位率转换的滤波器(例如，抽取滤波器)的方法。此外，可以采用具有较小驱动延迟的装置(即，响应更快的装置)作为诸如驱动器511(和扬声器)、外部麦克风513或内部麦克风515的声音系统。此外，可以通过使得由驱动器511驱动的扬声器和内部麦克风515在内部空间中更靠近彼此来减小扬声器与内部麦克风515之间的声速延迟。

可以使用例如时间扩展脉冲(tsp)等预先得到功率放大器141、驱动器511和麦克风放大器151中的每一个的装置特性以及内部空间中的空间特性。在这种情况下，例如，可以基于从功率放大器141(具体地，dac)输入的声学信号(tsp)的测量结果和从麦克风放大器151输出的声学信号的测量结果来计算每个特性。作为另一示例，可以单独地测量功率放大器141、驱动器511和麦克风放大器151中的每一个的装置特性以及内部空间中的空间特性，并且可以对相应的测量结果求卷积。换言之，可以基于上述每个特性的先前测量结果预先调整监测消除器181的滤波器特性。监测消除器181对应于“第三滤波器处理单元”的示例。此外，已经经过了由监测消除器181执行的滤波器处理的声学信号对应于“第一信号分量”。

然后，监测消除器181将经过了各种类型的滤波器处理的差信号输出至相减单元191。

相减单元191从由麦克风放大器151输出的声学信号中减去从监测消除器181输出的差信号，并且将作为相减结果生成的声学信号输出至位于后级的相减单元171。此时，作为由相减单元171获得的相减结果而输出的声学信号对应于由内部麦克风515收集的声学信号的分量中的与差信号对应的分量被抑制的声学信号。

后续处理与根据第一实施方式的信号处理装置11的处理类似。换言之，通过相减单元171从由相减单元191输出的声学信号中减去从eq132输出的声音输入的分量，然后将所得到的声学信号输入至闭塞消除器161。此时，输入至闭塞消除器161的声学信号是由内部麦克风515收集的声学信号的分量中的与差信号对应的分量以及与声音输入对应的分量被抑制的声学信号(即，语音分量)。

利用这种配置，在根据本实施方式的信号处理装置12中，可以从处理目标中排除差信号的分量，其中闭塞消除器161根据该处理目标生成降噪信号。换言之，在根据本实施方式的信号处理装置12中，可以防止差信号的分量被降噪信号抑制。因此，根据本实施方式的信号处理装置12能够以比根据第一实施方式的信号处理装置11更自然的方式(即，用户u具有更少的奇怪感觉的方式)来实现侧听效果。

上面参照图9描述了根据本实施方式的信号处理装置12的功能配置的示例。

[4.2.用于减小延迟量的配置示例]

接下来，将描述用于减小从根据本实施方式的信号处理装置12将基于由外部麦克风513获得的声音收集结果的差信号和基于由内部麦克风515获得的声音收集结果的降噪信号与声音输入相加直到通过扬声器输出所得到的信号为止的延迟量的机制的示例。

首先，在图9中，关注由附图标记r11表示的路线，即，基于外部麦克风513的声音收集结果的声学信号经由麦克风放大器111、ht滤波器121、功率放大器141和驱动器511被辐射到内部空间中的路线。如上所述，在路线r11中，为了以优选的方式实现侧听效果(具体地，为了将发生下落的频带调整至大约5kh)，优选地将延迟量抑制为100μs或更小。在下面的描述中，路线r11的延迟量也被称为“延迟量d_htf”。

接下来，关注由附图标记r13表示的路线，即，基于外部麦克风513的声音收集结果的声学信号经由监测消除器181到达相减单元191的路线。在图9所示的配置中，与ht滤波器121类似，监测消除器181生成差信号。

此外，在驱动器511基于差信号驱动扬声器之前将发生传播延迟(在扬声器与内部麦克风515之间传播)，因此，基于包括被辐射到内部空间中的差信号的分量的声音的声学信号在内部空间内的空间中传播并且由内部麦克风515进行收集。在下面的描述中，内部空间中的传播延迟的延迟量也被称为“延迟量d_aco”。

换言之，为了在相减单元191中从由内部麦克风515收集的声学信号中适当地减去差信号的分量，需要使路线r13的延迟量等于或小于通过将延迟量d_htf(100μs)和延迟量d_aco相加而得到的值。

甚至在相对长的头戴式耳机(如所谓的头顶式耳机)的情况下，由驱动器511驱动的扬声器与内部麦克风515之间的距离也是大约3cm至4cm。

在此，如果由驱动器511驱动的扬声器与内部麦克风515之间的距离为3.4cm，则内部空间中的传播延迟的延迟量d_aco为100μs(＝(0.034m)/(声速＝340m/s)，应当理解的是，随着由驱动器511驱动的扬声器与内部麦克风515之间的距离越近，延迟量d_aco越小。

就这一点而言，在路线r13的延迟量被设置为d_htc的情况下，需要满足延迟量d_htc≦d_htf+d_aco的关系，并且满足d_htf≦100μs且d_aco≦100μs的关系。

就这一点而言，将参照图10来描述满足上述延迟条件的信号处理装置12的配置的示例。图10是用于描述根据本实施方式的信号处理装置12中的用于进一步减小延迟量(即，满足上述延迟条件)的配置的示例的说明图。在图10所示的示例中，针对图9所示的信号处理装置12，明确地示出了执行模拟信号与数字信号之间的转换处理的adc和dac以及对数字信号的采样率进行转换的滤波器。

具体地，针对图9所示的信号处理装置12的功能配置，图10明确地示出了adc112和adc152、dac142、抽取滤波器113和153以及插值滤波器133、134和143。在图10所示的示例中，输入至信号处理装置12的声音输入的采样率被假定为1fs(1fs＝48khz)。

adc112和adc152是用于将模拟声学信号转换为数字信号的部件。例如，adc112和adc152通过对模拟声学信号执行δ-σ调制来执行转换成数字信号。此外，dac142是用于将数字信号转换成模拟声学信号的部件。

抽取滤波器113和153是用于将输入数字信号的采样率下采样至低于该采样率的预定采样率的部件。插值滤波器133、134和143是用于将输入数字信号的采样率上采样至高于该采样率的预定采样率的部件。

基于外部麦克风513的声音收集结果而输出的模拟声学信号经历由麦克风放大器111执行的增益调整，然后通过adc112被转换为数字信号。在图10所示的示例中，adc112以64fs的采样率对输入模拟信号进行采样，以被转换为数字信号。adc112将转换后的数字信号输出至抽取滤波器113。

抽取滤波器113将从adc112输出的数字信号的采样率从64fs下采样至8fs。换言之，位于抽取滤波器113之后的级处的部件(例如，ht滤波器121和监测消除器181)对其采样率被下采样至8fs的数字信号执行各种类型的处理。

此外，基于内部麦克风515的声音收集结果而输出的模拟声学信号经历由麦克风放大器151执行的增益调整，并且通过adc152被转换为数字信号。如图10所示的示例中，adc152以64fs的采样率对输入的模拟信号进行采样以被转换为数字信号。adc152将转换后的数字信号输出至抽取滤波器153。

抽取滤波器153将从adc152输出的数字信号的采样率从64fs下采样至8fs。换言之，位于抽取滤波器153之后的级处的部件(例如，闭塞消除器161)对其采样率被下采样至8fs的数字信号进行各种类型的处理。

经过了由eq132执行的均衡处理的声音输入(1fs的数字信号)由插值滤波器134上采样至8fs的采样率，然后被输入至相减单元171。类似地，经过了由eq131执行的均衡处理的声音输入(1fs的数字信号)由插值滤波器133上采样至8fs的采样率，然后被输入至相加单元123。

然后，相加单元123将从ht滤波器121输出的差信号、从插值滤波器133输出的声音输入以及从闭塞消除器161输出的降噪信号相加。此时，由相加单元123相加的差信号、声音输入和降噪信号都是8fs的数字信号。

然后，作为相加单元123的相加结果而输出的8fs的数字信号由插值滤波器143上采样为64fs的数字信号，由dac142转换为模拟声学信号，并且被输入至功率放大器141。然后，模拟声学信号经历由功率放大器141执行的增益调整，然后被输入至驱动器511。因此，当驱动器511基于输入的模拟声学信号来驱动扬声器时，扬声器将基于模拟声学信号的声音辐射到内部空间中。

如上所述，在图10所示的示例中，信号处理装置12将通过对所收集的模拟声学信号进行转换而获得的64fs的数字信号下采样至高于声音输入的采样率(1fs)的大约8fs。

换言之，在图10所示的信号处理装置12中，ht滤波器121、监测消除器181和闭塞消除器161对8fs的数字信号执行各种计算(即，滤波器处理)，从而可以减少一个采样单位的延迟。

此外，在图10所示的信号处理装置12中，由于64fs的数字信号被下采样为8fs的数字信号，因此可以将与下采样有关的处理(即，adc112和adc152的处理)的延迟量抑制为小于下采样为1fs的数字信号的情况下的延迟量。这类似地适用于与上采样有关的过程。换言之，在图10所示的信号处理装置12中，由于8fs的数字信号被上采样为64fs的数字信号，因此可以将与上采样有关的处理(即，dac142的处理)的延迟量抑制为小于从1fs的数字信号进行上采样的情况下的延迟量。

此外，可以进一步执行下采样为更低采样率(例如，1fs)的数字信号，然后，该数字信号可以作为ht滤波器121、监测消除器181和闭塞消除器161的至少一些计算的处理目标。

例如，图11是示出了监测消除器181的功能配置的示例的图。图11所示的监测消除器181被配置成使得：在8fs的数字信号被下采样为1fs的数字信号之后，对1fs的数字信号执行各种类型的滤波器处理。

更具体地，图11所示的监测消除器181包括抽取滤波器183、iir滤波器184、fir滤波器185和插值滤波器186。

抽取滤波器183将输入至监测消除器181的8fs的数字信号下采样为1fs的数字信号，并且将被下采样至1fs的数字信号输出至位于后级处的iir滤波器184。

iir滤波器184和fir滤波器185是用于执行由上面参照图9描述的监测消除器181执行的滤波器处理的部件。如上所述，在由监测消除器181执行的滤波器处理中，将与频率特性相关的处理主要分配给iir滤波器184，而将对延迟分量的简单处理分配给fir滤波器185。在图11所示的示例中，iir滤波器184和fir滤波器185对1fs的数字信号执行各种类型的滤波器处理。

经过了由iir滤波器184和fir滤波器185执行的各种类型的滤波器处理的数字信号(即，1fs的数字信号)通过插值滤波器186被上采样为8fs的数字信号。然后，被上采样至8fs的数字信号被输出至位于监测消除器181之后的级处的相减单元191(参见图10)。

如上所述，在根据本实施方式的信号处理装置12中，可以通过在本地降低各种类型的计算(例如，ht滤波器121、监测消除器181和闭塞消除器161中的计算)中的至少一些计算的采样率来减少用于计算的资源。可以基于通过在先实验等检查与下采样相关联的资源减少的效率的检查结果，适当地确定在信号处理装置12内的各种类型的计算中在本地降低采样率的计算。

上面参照图9和图10描述了用于减小在根据本实施方式的信号处理装置12中的各个路线(例如，图9和图10所示的路线r11和r13)的延迟量以及以更适当的方式实现侧听效果的机制的示例。上面已经描述了用于通过图9所示的信号处理装置12减小延迟量的机制的示例，但是应当理解的是，甚至在图5所示的信号处理装置80或图7所示的信号处理装置11中，也可以基于类似的机制来减小延迟量。

[4.3.修改示例]

接下来，将参照图12来描述根据本实施方式的信号处理装置12的修改示例。图12是示出了根据本实施方式的修改示例的信号处理装置的功能配置的示例的框图。根据修改示例的信号处理装置也称为“信号处理装置13”，以与上面参照图9和图10描述的根据本实施方式的信号处理装置12进行区分。在图12所示的示例中，与图10类似，明确地示出了执行模拟信号与数字信号之间的转换处理的adc和dac以及对数字信号的采样率进行转换的滤波器。

如图12所示，根据修改示例的信号处理装置13与根据上述实施方式(参照图10)的信号处理装置12的不同之处在于：代替图12所示的监测消除器181，设置了监测消除器181’。因此，本描述将特别关注监测消除器181’的配置而进行，并且其余部件与根据上述实施方式的信号处理装置12类似，因此省略对其详细说明。

如图12所示，监测消除器181’位于ht滤波器121之后的级处，并且处理从ht滤波器121输出的差信号。由于该配置，与上面参照图9描述的监测消除器181不同，监测消除器181’无需执行与差信号的生成有关的处理(即，基于上述(公式2)和(公式3)的处理)。

换言之，监测消除器181’对输入的差信号执行基于与各个特性对应的传递函数的滤波器处理，使得功率放大器141、驱动器511和麦克风放大器151中的每一个的装置特性的影响和内部空间中的空间特性的影响得以反映。

监测消除器181’将经过了滤波器处理的差信号输出至位于后级处的相减单元191。后续处理与根据上述实施方式(参见图9和图10)的信号处理装置12的处理类似。

使用该配置，根据修改示例的信号处理装置13可以将在图9和图10所示的信息处理装置12的ht滤波器121和监测消除器181中的与差信号生成有关的处理归为ht滤波器121的处理。因此，与根据上述实施方式的信号处理装置12相比，根据修改示例的信号处理装置13能够减少用于与差信号的生成有关的计算的资源，因此可以减小电路尺寸。

上面参照图12描述了根据本实施方式的修改示例的信号处理装置13。

[4.4.结论]

如上所述，除了声音输入的分量以外，根据本实施方式的信号处理装置12还从基于内部麦克风515的声音收集结果的声学信号减去与差信号对应的分量。使用该配置，在根据本实施方式的信号处理装置12中，可以从处理目标中排除差信号的分量，其中闭塞消除器161根据该处理目标生成降噪信号。换言之，在根据本实施方式的信号处理装置12中，可以防止差信号的分量被降噪信号抑制。因此，根据本实施方式的信号处理装置12能够以比根据第一实施方式的信号处理装置11更自然的方式(即，用户u具有更少的奇怪感觉的方式)来实现侧听效果。

<5.第三实施方式>

接下来，将描述根据本公开内容的第三实施方式的信号处理装置。如上所述，在根据本公开内容的各个实施方式的信号处理装置中，使用通过内部麦克风515收集在内部空间中传播的声音的声音收集结果来生成用于抑制传播到外耳道ua的用户的语音分量的降噪信号。如上所述，由于该配置，基于内部麦克风515的声音收集结果的声学信号(即，在内部空间中传播的声音)包括语音分量(即，经由用户u的头部的骨骼或肉体传播到外耳道ua的用户u的语音分量)。

就这一点而言，在本实施方式中，将描述能够使用在基于由内部麦克风515获得的声音收集结果的声学信号中所包括的语音分量作为语音输入(例如，语音呼叫中的发送信号)的信号处理装置的示例。

例如，图13是示出了根据本实施方式的信号处理装置的功能配置的示例的框图。在下面的描述中，图13所示的信号处理装置也被称为“信号处理装置14a”，以与根据各个实施方式的信号处理装置进行区分。此外，在图13所示的功能配置中，省略了dac和adc的图示以便于理解本描述。

如图13所示，根据本实施方式的信号处理装置14a与根据第二实施方式(参见图9)的信号处理装置13的不同之处在于设置了噪声门(noisegate)411、eq412和压缩器413。就这一点而言，在本描述中，将关注与根据第二实施方式的信号处理装置13的差异来描述根据本实施方式的信号处理装置14a的功能配置，因此将省略对其余部分的详细描述。

如图13所示，在信号处理装置14a中，在由附图标记n11表示的位于相减单元191之后的级的(即，位于相减单元191与相减单元171之间)的节点处，通过节点n11的声学信号被分离，并且一些分离的声学信号被输入至噪声门411。

噪声门411是用于对输入的声学信号执行所谓的噪声门处理的部件。具体地，作为噪声门处理，噪声门411执行如下处理：在输入声学信号的电平等于或小于一定电平时降低输出信号的电平(即，关闭门)，以及如果超过了一定电平则使输出信号的电平回到原始电平(即，打开门)。如通常执行的，适当地设置噪声门处理中的参数(如输出电平的衰减率、门的打开和关闭包络以及门做出响应的频带)，使得发出的声音(即，包括在输入的声学信号中的语音分量)的清晰度(articulationrate)得以提高。

然后，噪声门411将经过噪声门处理的声学信号输出至位于后级处的eq412。

eq412是用于对从噪声门411输出的声学信号进行均衡处理的部件。如上所述，在节点n11处被分离的声学信号(即，基于内部麦克风515的声音收集结果的声学信号)中包括的语音分量的低频侧被放大，并且基于该声学信号(即，语音分量)的声音被听者听成好像含糊不清一样。为此，eq412通过校正声学信号的频率特性使得基于声学信号的声音被听者自然地听到(即，使得获得更自然的频率特性平衡)来提高要被听到的声音的清晰度。

例如，可以基于在先实验的结果等预先确定使得eq412能够对输入的声学信号进行均衡处理的目标特性。

然后，eq412将经过了均衡处理的声学信号(即，包括语音分量的声学信号)输出至位于后级处的压缩器413。

压缩器413是用于对输入的声学信号执行作为所谓的压缩器处理的、用于调整时间幅度的处理的部件。

具体地，如上所述，包括在输入的声学信号中的语音分量经由用户u的头部的骨骼或肉体传播到外耳道ua，并且使外耳道壁像次级扬声器那样振动，并且振动经由外耳道ua到达内部麦克风515。如上所述，与空气传播如外部环境中的传播相比，语音分量到达内部麦克风515的传播路线略微地具有非线性。

因此，根据所生成的语音的幅值而变化的发出语音的幅值的差异大于在收集经由空气传播的正常语音的情况下的差异，因此听者可能不能听到在没有改变的情况下收集的语音。

就这一点而言，压缩器413对基于由内部麦克风515获得的声音收集结果的声学信号(具体地，从eq412输出的声学信号)的时间轴幅度进行布置，使得发出的语音的幅值差异被抑制。

然后，压缩器413对输入的声学信号进行压缩器处理，并且输出经过了压缩器处理的声学信号(即，包括语音分量的声学信号)作为语音信号。

图13所示的信号处理装置14a的配置仅是示例，并且配置不特别受到限制，只要可以输出包括由内部麦克风515收集的语音分量的声学信号作为语音信号即可。

例如，图14是示出了根据本实施方式的信号处理装置的功能配置的另一示例的框图。在下面的描述中，图14所示的信号处理装置也被称为“信号处理装置14b”，以与上面参照图13描述的信号处理装置进行区分。此外，在图14所示的信号处理装置不与上面参照图13描述的信号处理装置进行区分的情况下，其也被简称为“信号处理装置14”。

如图14所示，在信号处理装置14b中，在由附图标记n12表示的、位于相减单元171之后的级处(即，位于相减单元171与闭塞消除器161之间)的节点处，通过节点n12的声学信号被分离，并且一些分离的声学信号被输入至噪声门411。

在此，通过节点n12的声学信号与通过进一步从通过节点n11的声学信号减去声音输入的分量而获得的声学信号对应。因此，与图13所示的信号处理装置14a相比，在图14所示的信号处理装置14b中，可以输出在基于内部麦克风515的声音收集结果的声学信号中进一步抑制除了语音分量以外的分量的声学信号作为语音信号。

上面参照图13和图14描述了根据本实施方式的信号处理装置14的功能配置的示例。

如上所述，在根据本实施方式的信号处理装置14中，通过由相减单元191从基于内部麦克风515的声音收集结果的声学信号中减去差信号而获得的声学信号被输出作为语音信号。使用这种配置，在基于内部麦克风515的声音收集结果的声学信号内包括的分量当中的与外界声音对应的分量被抑制的声学信号被输出作为语音信号。换言之，根据本实施方式的信号处理装置14，与在外部环境中使用麦克风等收集用户u的语音的情况相比，可以获取具有较高s/n比(即，较小的噪声)的语音输入。

接下来，将参照图15来描述根据本实施方式的信号处理装置14的应用示例。图15是用于描述根据本实施方式的信号处理装置14的应用示例的说明图。具体地，图15示出了如下信息处理系统的功能配置的示例：该信息处理系统能够通过使用从信号处理装置14输出的语音信号作为语音输入，基于由语音输入指示的指令内容来执行各种类型的处理。

图15所示的信息处理系统包括头戴式声学装置51、信号处理装置14分析单元61、控制单元63和处理执行单元65。由于头戴式声学装置51和信号处理装置14与图13或图14所示的示例中的头戴式声学装置和信号处理装置类似，因此将省略对其详细描述。

分析单元61是以下部件：用于获取从信号处理装置14输出的语音信号(即，语音输出)作为语音输入并且对语音输入执行各种类型的分析，使得稍后要描述的控制单元63能够识别由语音输入指示的内容(即，从用户u给出的指令内容)。分析单元61包括语音识别单元611和自然语言处理单元613。

语音识别单元611通过基于所谓的语音识别技术对语音输入进行分析，将从信号处理装置14获取的语音输入转换为字符信息。然后，语音识别单元611将基于语音识别技术的分析结果(即，通过对语音输入进行转换而获得的字符信息)输出至自然语言处理单元613。

自然语言处理单元613从语音识别单元611获取通过对语音输入进行转换而获得的字符信息作为基于语音识别技术对从信号处理装置14获得的语音输入进行分析的结果。自然语言处理单元613对所获取的字符信息进行基于所谓的自然语言处理技术的分析(例如，词法分析(形态分析)、语法分析、语义分析等)。

然后，自然语言处理单元613将指示对通过对从信号处理装置14获取的语音输入进行转换而获得的字符信息执行自然语言处理的结果的信息输出至控制单元63。

控制单元63从分析单元61获取指示对从信号处理装置14获取的语音输入进行分析的结果(即，对通过转换语音输入而获得的字符信息进行自然语言处理的结果)的信息。控制单元63基于所获取的分析结果来识别基于语音输入的由用户u给出的指令内容。

控制单元63基于所识别的由用户u给出的指令内容来指定目标功能(例如，应用)，并且指示处理执行单元65执行所指定的功能。

处理执行单元65是用于执行各种类型的功能的部件。基于从控制单元63给出的指令，处理执行单元65读取用于执行目标功能的各种类型的数据(例如，用于执行应用的库或内容数据)，并且基于所读取的数据来执行功能。此外，用于处理执行单元65执行各种类型的功能的数据的存储目的地没有特别限制，只要数据存储在处理执行单元65能够读取的位置处即可。

此时，处理执行单元65还可以将基于执行控制单元63指示的功能的结果的声学信息(例如，基于指令再现的音频内容)输入至信号处理装置14。作为另一示例，处理执行单元65可以基于所谓的语音合成技术、根据执行控制单元63指示的功能的结果来生成指示要被呈现给用户u的内容的语音信息，并且将所生成的音频信息输入至信号处理装置14。使用该配置，用户u能够识别基于由用户u给出的指令内容执行各种类型的功能的结果作为通过头戴式声学装置51输出的声学信息(语音信息)。

换言之，根据图15所示的信息处理系统，用户u能够在用户u佩戴头戴式声学装置51的状态下通过语音指示信息处理系统执行各种类型的功能，并且通过该头戴式声学装置51听到基于执行功能的结果的声学信息。

作为具体示例，用户u能够通过语音给出再现期望的音频内容的指令，并且通过头戴式声学装置51听到再现音频内容的结果。

作为另一示例，用户能够指示信息处理系统读取期望的字符信息(例如，递送的电子邮件、新闻、上传到网络的信息等)并且通过头戴式声学装置51听到读取字符信息的结果。

作为另一示例，图15所示的信息处理系统可以用于所谓的语音呼叫。在这种情况下，从信号处理装置14输出的语音信号可以用作发送信号，并且接收信号可以作为声音输入被输入至信号处理装置14。

图15所示的信息处理系统的配置仅是示例，并且图15所示的配置不一定受到限制，只要可以实现上述信息处理系统的部件的处理即可。作为具体示例，分析单元61、控制单元63和处理执行单元65中的至少一些可以安装在经由网络连接的外部装置(例如，服务器)中。

上面参照图15描述了使用从信号处理装置14输出的语音信号作为语音输入的信息处理系统的功能配置的示例作为根据本实施方式的信号处理装置14的应用示例。

<6.硬件配置>

接下来，将参照图16来描述根据本公开内容的各个实施方式的信号处理装置10(即，信号处理装置11至14)的硬件配置的示例。图16是示出了根据本公开内容的各个实施方式的信号处理装置10的硬件配置的示例的图。

如图16所示，根据本实施方式的信号处理装置10包括处理器901、存储器903、存储装置905、操作装置907、通知装置909、声学装置911、声音收集装置913和总线917。此外，信号处理装置10可以包括通信装置915。

处理器901可以是例如中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)或片上系统(soc)，并且执行信号处理装置10的各种处理。处理器901可以由例如执行各种类型的计算处理的电子电路构成。信号处理装置11至14的部件(特别地，ht滤波器121、闭塞消除器161、监测消除器181等)可以由处理器901来实现。

存储器903包括随机存取存储器(ram)和只读存储器(rom)，并且存储由处理器901执行的程序和数据。存储器905可以包括存储介质如半导体存储器或硬盘。

操作装置907具有生成使得用户能够执行期望的操作的输入信号的功能。操作装置907可以被配置为例如触摸面板。作为另一示例，操作装置907可以配置有：使得用户能够输入信息的输入单元，诸如按钮、开关和键盘；输入控制电路，其基于由用户执行的输入生成输入信号并且将输入信号提供至处理器901；等等。

通知装置909是输出装置的示例，并且可以是诸如液晶显示器(lcd)装置、有机el(有机发光二极管)显示器等的装置。在这种情况下，通知装置909能够通过显示画面来向用户通知预定信息。

上述通知装置909的示例仅是示例，并且通知装置909的形式没有特别限制，只要可以向用户通知预定信息即可。作为具体示例，通知装置909可以是借助于发光或闪烁图案来向用户通知预定信息的装置，如发光二极管(led)。此外，通知装置909可以是通过振动向用户通知预定信息的装置，诸如所谓的振动器。

声学装置911是通过如以扬声器等输出预定的声学信号向用户通知预定信息的装置。在头戴式声学装置51中，特别地，由驱动器511驱动的扬声器可以配置有声学装置911。

声音收集装置913是像麦克风一样收集用户发出的语音或来自周围环境的声音并且获取该语音或声音作为声学信息(声学信号)的装置。此外，声音收集装置913可以获取指示模拟声学信号(该模拟声学信号表示所收集的语音或声音)的数据作为声学信息或者可以将模拟声学信号转换为数字声学信号，并且获取指示所转换的数字声学信号的数据作为声学信息。上述头戴式声学装置51中的外部麦克风513和内部麦克风515中的每一个可以由声音收集装置913来实现。

通信装置915是安装在信号处理装置10中的通信单元，并经由网络与外部装置进行通信。通信装置915是用于有线通信或无线通信的通信接口。在通信装置915被配置成无线通信接口的情况下，通信装置915可以包括通信天线、射频(rf)电路、基带处理器等。

通信装置915具有对从外部装置接收的信号执行各种类型的信号处理的功能，并且能够将根据接收到的模拟信号生成的数字信号提供至处理器901。

总线917将处理器901、存储器903、存储装置905、操作装置907、通知装置909、声学装置911、声音收集装置913和通信装置915彼此连接。总线917可以包括多种类型的总线。

此外，还可以创建使安装在计算机中的诸如处理器、存储器和存储装置的硬件执行与信号处理装置10的部件的功能类似的功能的程序。此外，还可以提供存储该程序的计算机可读存储介质。

<7.结论>

如上所述，根据本公开内容的各个实施方式的信号处理装置10(即，上述的信号处理装置11至14)基于对在头戴式声学装置51的安装单元510外部的外部空间中传播的外界声音的声音收集结果来生成差信号。此外，信号处理装置10基于对传播到安装单元510内的内部空间的声音的声音收集结果来生成用于抑制传播到内部空间的语音分量的降噪信号。然后，信号处理装置10将所生成的差信号和降噪信号与输入的声音输入相加，并且将基于相加结果生成的声学信号输出至头戴式声学装置51的驱动器511。因此，驱动器511根据该声学信号被驱动，并且基于该声学信号的声音被辐射到内部空间中。

使用该配置，包括在被辐射到内部空间中的声音的差信号的分量与经由安装单元510传播到内部空间中的外界声音(即，经由图2和图3中的传播环境f传播的声音)在内部空间中被相加，并且相加结果被用户u听到，从而可以实现侧听效果。此外，包括在被辐射到内部空间中的声音中的降噪信号与经由用户u的头部的骨骼或肉体传播到外耳道ua的语音分量被相加，并且相加结果被用户u听到，因此用户u能够以更自然的方式(即，用户u没有奇怪的感觉)听到他/她的语音。

由根据上述本公开内容的各个实施方式的信号处理装置10执行的一系列处理(即，信号处理，如各种类型的滤波器处理)对应于“信号处理方法”的示例。

上面参照附图已经描述了本公开内容的优选实施方式，但是本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变更和修改，并且应当理解的是，它们将自然地落入本公开内容的技术范围内。

此外，本说明书中描述的效果仅是说明性或示例性的效果，而非限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开内容的技术可以实现根据本说明书的描述对本领域技术人员而言清楚的其他效果。

另外，本技术也可以配置如下。

(1)一种信号处理装置，包括：

第一获取单元，被配置成获取第一声音的声音收集结果，所述第一声音在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播；

第二获取单元，被配置成获取第二声音的声音收集结果，所述第二声音在所述安装单元内部的与外耳道连通的内部空间中传播；

第一滤波器处理单元，被配置成基于所述第一声音的声音收集结果来生成差信号，所述差信号近似等于从所述外部空间向所述外耳道的内部直接传播的第一声音与经由所述安装单元从所述外部空间传播到所述内部空间的第一声音之间的差；

相减单元，被配置成生成通过从所述第二声音的声音收集结果减去第一信号分量和第二信号分量而获得的相减信号，所述第一信号分量基于所述第一声音的声音收集结果，所述第二信号分量基于要从所述安装单元的内部向所述内部空间从声学装置输出的输入声学信号；

第二滤波器处理单元，被配置成基于所述相减信号来生成用于减小所述相减信号的降噪信号；以及

相加单元，被配置成将所述差信号和所述降噪信号与所述输入声学信号相加以生成用于驱动所述声学装置的驱动信号。

(2)根据(1)所述的信号处理装置，包括：

第三滤波器处理单元，被配置成将如下特性应用于基于所述第一声音的声音收集结果的声学信号，并且将基于所述第一声音的声音收集结果的声学信号输出作为所述第一信号分量，所述特性与至少从所述声学装置输出的声学信号经由所述内部空间被收集为所述第二声音的路线的传递函数相对应。

(3)根据(2)所述的信号处理装置，

其中，所述第三滤波器处理单元使用所述第一声音的声音收集结果作为输入信号来生成所述第一信号分量。

(4)根据(2)所述的信号处理装置，

其中，所述第三滤波器处理单元使用从所述第一滤波器处理单元输出的所述差信号作为输入信号来生成所述第一信号分量。

(5)根据(2)至(4)中任一项所述的信号处理装置，

其中，所述第三滤波器处理单元包括第四滤波器处理单元和第五滤波器处理单元，所述第四滤波器处理单元被配置成对基于所输入的所述第一声音的声音收集结果的声学信号中的延迟分量进行处理，所述第五滤波器处理单元被配置成对基于所输入的所述第一声音的声音收集结果的声学信号中的频率分量进行处理。

(6)根据(5)所述的信号处理装置，

其中，所述第四滤波器处理单元包括无限脉冲响应滤波器。

(7)根据(5)或(6)所述的信号处理装置，

其中，所述第五滤波器处理单元包括有限脉冲响应滤波器。

(8)根据(1)至(7)中任一项所述的信号处理装置，包括：

第一均衡处理单元，被配置成将所述输入声学信号均衡成第一目标特性，并且将所均衡的声学信号输出至所述相加单元；以及

第二均衡处理单元，被配置成将所述输入声学信号均衡成第二目标特性，并且将所均衡的声学信号作为所述第二信号分量输出至所述相减单元。

(9)根据(1)至(8)中任一项所述的信号处理装置，包括：

语音信号输出单元，被配置成将基于从所述第二声音的声音收集结果减去所述第一信号分量的相减结果的信号分量输出作为语音信号。

(10)根据(9)所述的信号处理装置，

其中，所述语音信号输出单元将所述相减信号输出作为所述语音信号。

(11)根据(1)至(10)中任一项所述的信号处理装置，包括：

第一声音收集单元和第二声音收集单元中至少之一，所述第一声音收集单元被配置成收集所述第一声音，所述第二声音收集单元被配置成收集所述第二声音。

(12)根据(1)至(11)中任一项所述的信号处理装置，包括：

所述声学装置。

(13)一种信号处理装置，包括：

获取单元，被配置成获取在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播的声音的声音收集结果；

滤波器处理单元，被配置成基于所述声音的声音收集结果来生成差信号，所述差信号近似等于从所述外部空间向外耳道的内部直接传播的声音与经由所述安装单元从所述外部空间传播到所述外耳道的内部的声音之间的差；以及

相加单元，被配置成将所述差信号与要从所述安装单元的内部向所述外耳道的内部从声学装置输出的输入声学信号相加，以生成用于驱动所述声学装置的驱动信号，

其中，从在所述外部空间中传播的声音被收集至基于所述驱动信号的声音从所述声学装置被输出为止的延迟量为100μs或更小，所述驱动信号是通过与基于所述声音的差信号相加而获得的。

(14)根据(13)所述的信号处理装置，包括：

ad转换单元，被配置成执行ad转换，所述ad转换以第一采样率将针对在所述外部空间中传播的所述声音的声音收集结果转换为第一数字信号；

抽取滤波器，被配置成通过将所述第一数字信号下采样至第三采样率来生成第二数字信号，所述第三采样率低于所述第一采样率并且高于用于对所述输入声学信号进行采样的第二采样率；

插值滤波器，被配置成将以所述第三采样率采样的数字信号上采样至所述第一采样率；以及

da转换单元，被配置成执行将所述插值滤波器的输出结果转换为模拟声学信号的da转换，

其中，所述滤波器处理单元使用所述第二数字信号作为输入信号来生成所述差信号。

(15)一种信号处理方法，包括由处理器执行以下操作：

获取第一声音的声音收集结果，所述第一声音在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播；

获取第二声音的声音收集结果，所述第二声音在所述安装单元内部的与外耳道连通的内部空间中传播；

基于所述第一声音的声音收集结果来生成差信号，所述差信号近似等于从所述外部空间向所述外耳道的内部直接传播的第一声音与经由所述安装单元从所述外部空间传播到所述内部空间的第一声音之间的差；

生成通过从所述第二声音的声音收集结果减去第一信号分量和第二信号分量而获得的相减信号，所述第一信号分量基于所述第一声音的声音收集结果，所述第二信号分量基于要从所述安装单元的内部向所述内部空间从声学装置输出的输入声学信号；

基于所述相减信号生成用于减小所述相减信号的降噪信号；以及

将所述差信号和所述降噪信号与所述输入声学信号相加以生成用于驱动所述声学装置的驱动信号。

(16)一种程序，所述程序使计算机执行以下操作：

获取第一声音的声音收集结果，所述第一声音在要被佩戴在听者的耳朵上的安装单元外部的外部空间中传播；

获取第二声音的声音收集结果，所述第二声音在所述安装单元内部的与外耳道连通的内部空间中传播；

基于所述第一声音的声音收集结果来生成差信号，所述差信号近似等于从所述外部空间向所述外耳道的内部直接传播的第一声音与经由所述安装单元从所述外部空间传播到所述内部空间的第一声音之间的差；

生成通过从所述第二声音的声音收集结果减去第一信号分量和第二信号分量而获得的相减信号，所述第一信号分量基于所述第一声音的声音收集结果，所述第二信号分量基于要从所述安装单元的内部向所述内部空间从声学装置输出的输入声学信号；

基于所述相减信号生成用于减小所述相减信号的降噪信号；以及

将所述差信号和所述降噪信号与所述输入声学信号相加以生成用于驱动所述声学装置的驱动信号。

附图标记列表

11至14信号处理装置

111麦克风放大器

113抽取滤波器

121ht滤波器

123相加单元

133插值滤波器

134插值滤波器

141功率放大器

143插值滤波器

151麦克风放大器

153抽取滤波器

161闭塞消除器

171相减单元

181监测消除器

183抽取滤波器

184iir滤波器

185fir滤波器

186插值滤波器

191相减单元

411噪声门

412均衡器

413压缩器

51头戴式声学装置

510安装单元

511驱动器

513外部麦克风

515内部麦克风

61分析单元

611语音识别单元

613自然语言处理单元

63控制单元

65处理执行单元