音频处理装置和音频处理方法与流程

本公开涉及一种音频处理装置和一种音频处理方法。

背景技术：

近年来，噪声消除技术得到了广泛发展。根据噪声消除技术，可以通过输出音频来消除噪声，以减少(即，消除)来自扬声器的外部声音(噪声)。

噪声消除系统通常安装在戴在耳朵上的装置上，例如，耳机和耳塞。安装在这些装置中的噪声消除系统大致分为执行前馈(ff)噪声消除的类型(以下称为ff-nc)和执行反馈(fb)噪声消除的类型(以下称为fb-nc)或者ff-nc和fb-nc的组合类型。当安装fb-nc型噪声消除系统时，在装置的外侧(外部)提供fb-nc麦克风。当安装fb-nc型噪声消除系统时，fb-nc麦克风设置在装置的内侧(由装置、用户头部等形成的空间侧)。在组合类型中，提供两个麦克风。特别地，该组合型具有通过利用ff-nc和fb-nc的每个特性获得的高噪声消除性能，并且基本上，每个控制器可以独立设计。因此，近年来，组合型噪声消除系统安装在高端装置上。例如，在以下专利文献1中公开了组合型噪声消除系统。

此外，需要进一步提高噪声消除性能，无论是ff-nc型、fb-nc型还是组合型。例如，下面的专利文献2提出了一种用于抑制数字延迟的影响的技术，同时考虑了用于fb-nc的滤波器电路中数字化的优点。

引用列表

专利文献

专利文献1：jp2008-116782a

专利文献2：jp2008-124792a

技术实现要素：

技术问题

然而，上述专利文献中公开的技术还有进一步提高性能的空间。例如，上述专利文献1和2中公开的技术针对所谓的密封音频处理装置。因此，假设专利文献1和2中公开的技术不应用于最近出现的并且在佩戴状态下向外部开放耳孔的音频处理装置中。

因此，本公开提出了一种能够在耳孔开放型音频处理装置中执行噪声消除处理的机制。

问题的解决方案

根据本公开，提供了一种音频处理装置，包括：音频信息获取单元，其获取音频信息；保持单元，其邻接耳甲腔(cavumconcha)或外耳道(earcanal)内壁，并且在用户佩戴的状态下，将音频信息获取单元保持在比耳屏更靠近鼓膜侧的空间中；开口部，其向外部开放耳孔；以及信号处理单元，其基于由音频信息获取单元获取的音频信息生成噪声消除信号。

此外，根据本公开，提供了一种音频处理方法，包括：使用音频信息获取装置获取音频信息，所述音频信息获取装置邻接耳甲腔或外耳道内壁，并且在用户佩戴的状态下，在向外部开放耳孔的同时，被保持在比耳屏更靠近鼓膜侧的空间中；并且基于所获取的音频信息生成噪声消除信号。

发明的有益效果

如上所述，根据本公开提供了能够在耳孔开口型音频处理装置中执行噪声消除处理的机构。注意，上述效果没有必要受到限制，并且除了上述效果之外或者代替上述效果，可以显示本说明书中示出的任何效果或者可以从本说明书中掌握的其他效果。

附图说明

图1是用于描述根据第一实施方式的耳孔开放装置的外部配置的示例的示图；

图2是示出根据实施方式的耳孔开放装置的内部配置的示例的示图；

图3是用于描述使用根据实施方式的耳孔开放装置的噪声消除处理的轮廓的示图；

图4是用于描述典型人耳结构的示图；

图5是用于描述到达人耳的噪声n的示图；

图6是用于描述根据实施方式的耳孔开放装置中麦克风的设置的示图；

图7是示出根据实施方式的耳孔开放装置附接到用户的状态的示图；

图8是示出根据实施方式的使用耳孔开放装置的经典控制fb方案的噪声消除处理的模型配置示例的示图；

图9是示出根据比较示例的使用密封噪声消除耳机的经典控制fb方案的噪声消除处理的模型配置示例的示图；

图10是示出根据实施方式的使用耳孔开放装置的内部模型控制fb方案的噪声消除处理的模型配置示例的示图；

图11是示出根据实施方式的使用经典控制fb方案和使用耳孔开放装置的内部模型控制fb方案的噪声消除处理的模型配置示例的示图；

图12是示出根据实施方式的在使用耳孔开放装置进行音乐再现期间经典控制fb方案的噪声消除处理的模型配置示例的示图；

图13是示出根据该实施方式的包括使用耳孔开放装置的自己声音提取的经典控制fb方案的噪声消除处理的模型配置示例的示图；

图14是示出用户左耳的外耳道内部状态的剖视图；

图15是示出图14所示的用户左耳的外耳道内部被耳孔开放装置用激光照射的状态的示图；

图16是示出图14所示的用户左耳的外耳道内部被耳孔开放装置用激光照射的状态的示图；

图17是示出图14所示的用户左耳的外耳道内部被耳孔开放装置用激光照射的状态的示图；

图18是用于描述根据实施方式的鼓膜声压估计过程的模型配置示例的示图；

图19是示出根据实施方式的使用耳孔开放装置扫描外耳道的状态的示图；

图20是用于描述根据实施方式的鼓膜声压估计过程的模型配置示例的示图；

图21是示出根据该实施方式的由耳孔开放装置和外部装置执行的个人认证处理的流程示例的序列图；

图22是用于描述第二实施方式的技术问题的示图；

图23是用于描述实施方式的技术问题的示图；

图24是用于描述实施方式的技术问题的曲线图；

图25是用于描述实施方式的技术问题的示图；

图26是用于描述实施方式的技术问题的示图；

图27是用于描述实施方式的技术问题的示图；

图28是用于描述根据实施方式的耳机的外部配置的示例的示图；

图29是用于描述根据实施方式的耳机的外部配置的示例的示图；

图30是示出根据实施方式的耳机的保持单元的形状的示例的示图；

图31是示出根据实施方式的耳机的内部配置的示例的示图；

图32是示出根据实施方式的使用耳机的第一噪声消除处理的模型配置示例的示图；

图33是示出根据实施方式的使用耳机的第二噪声消除处理的模型配置示例的示图；

图34是示出根据实施方式的使用耳机的辅助路径特性测量过程的模型配置示例的示图；

图35是示出根据实施方式的使用耳机的第三噪声消除处理的模型配置示例的示图；

图36是示出根据实施方式的使用耳机的第四噪声消除处理的模型配置示例的示图；

图37是示出根据实施方式的使用耳机的第五噪声消除处理的模型配置示例的示图；

图38是用于描述根据实施方式的耳机的配置示例的示图；

图39是用于描述根据实施方式的耳机的配置示例的示图；

图40是用于描述根据实施方式的耳机的配置示例的示图；

图41是示出根据实施方式的耳机的保持单元的配置示例的示图；

图42是示出根据实施方式的耳机的保持单元的配置示例的示图；

图43是示出根据实施方式的耳机的保持单元的配置示例的示图；

图44是示出根据实施方式的耳机的保持单元的配置示例的示图；

图45是示出根据实施方式的耳机的保持单元的配置示例的示图；

图46是示出根据实施方式的耳机的保持单元的配置示例的示图；

图47是示出根据实施方式的耳机的配置示例的示图；

图48是示出从另一视点观察的图47所示的耳机的配置的示图；

图49是示出根据实施方式的耳机的配置示例的示图；

图50是示出根据实施方式的耳机的配置示例的示图；

图51是示出从另一视点观察的图50所示的耳机的配置的示图；

图52是示出从另一视点观察的图50所示的耳机的配置的示图；

图53是示出从另一视点观察的图50所示的耳机的配置的示图；

图54是示出当未佩戴图50所示的耳机时的配置的示图；

图55是示出根据该实施方式的耳机的配置示例的示图；

图56是示出根据实施方式的耳机的配置示例的示图；

图57是示出从另一视点观察的图56所示的耳机的配置的示图；

图58是示出从另一视点观察的图56所示的耳机的配置的示图；

图59是示出从另一视点观察的图56所示的耳机的配置的示图；

图60是示出根据实施方式的耳机的配置示例的示图；

图61是示出从另一视点观察的图60所示的耳机的配置的示图；

图62是示出根据实施方式的耳机的配置示例的示图；

图63是示出根据实施方式的耳机的配置示例的示图；

图64是示出根据实施方式的耳机的配置示例的示图；

图65是示出根据第三实施方式的耳孔开放装置的内部配置的示例的示图；

图66是用于描述根据实施方式的耳孔开放装置的轮廓的示图；

图67是示出根据实施方式的耳机的内部配置的示例的示图；

图68是用于描述根据实施方式的耳孔开放装置的轮廓的示图；

图69是用于描述根据实施方式的耳孔开放装置和耳机的第一组合示例的示图；

图70是用于描述根据实施方式的耳孔开放装置和耳机的第二组合示例的示图；

图71是用于描述根据实施方式的耳孔开放装置和耳机的第三组合示例的示图；

图72是用于描述根据实施方式的耳孔开放装置和耳机的第四组合示例的示图；

图73是用于描述根据实施方式的耳孔开放装置和耳机的第五组合示例的示图；

图74是用于描述根据实施方式的耳孔开放装置和耳机的第六组合示例的示图；

图75是用于描述根据实施方式的在耳孔开放装置和耳机之间使用光的无线通信处理的示例的示图；

图76是用于描述根据实施方式的在耳孔开放装置和耳机之间使用光的无线通信处理的示例的示图；

图77是用于描述根据实施方式的在耳孔开放装置和耳机之间使用光的无线通信处理的示例的示图；

图78是用于描述根据实施方式的在耳孔开放装置和耳机之间使用nfmi的无线通信处理的示例的示图；

图79是用于描述根据实施方式的使用由耳孔开放装置和耳机执行的rfid装置的相互装置检测的示图；

图80是示出当根据本实施方式的噪声消除处理基于从耳机到耳孔开放装置的非接触电源而开始时的处理流程的示例的序列图；

图81是示出当根据实施方式的噪声消除处理基于从耳孔开放装置到耳机的非接触电源而开始时的处理流程的示例的序列图；

图82是用于描述根据实施方式的由耳孔开放装置和耳机执行的使用nfmi的相互装置检测的示图；

图83是用于描述根据实施方式的由耳孔开放装置和耳机执行的使用nfmi的相互装置检测的示图；

图84是用于描述根据实施方式的由耳孔开放装置和耳机执行的使用nfmi的相互装置检测的示图；

图85是用于描述根据实施方式的由耳孔开放装置和耳机执行的使用nfmi的相互装置检测的示图；

图86是示出当根据实施方式的噪声消除处理基于耳孔开放装置和耳机之间的磁共振而开始时的处理流程的示例的序列图；

图87是用于描述根据实施方式的耳孔开放装置和耳机使用音频进行的相互装置检测的示图；

图88是用于描述根据实施方式的耳孔开放装置和耳机使用磁性进行的相互装置检测的示图；

图89是示出根据每个实施方式的信息处理设备的硬件配置的示例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施方式。注意，在本说明书和附图中具有基本相同功能配置的构成元件将由相同的附图标记表示，并且将省略其冗余描述。

注意，将按照以下顺序进行描述。

1.第一实施方式

2.第二实施方式

3.第三实施方式

4.硬件配置示例

5.概述

<<1.第一实施方式>>

本实施方式涉及使用音频处理装置(耳孔开放装置)的噪声消除处理，该音频处理装置具有设置在外耳道入口附近的音频信息获取单元。

<1.1.技术问题>

近年来，已经开发了假设经常佩戴的各种可穿戴装置。例如，近年来出现了在佩戴状态下不密封耳孔(外耳道入口)的耳孔开放装置。耳孔开放装置是一种所谓的耳机装置，类似于耳机装置，由用户佩戴使用。然而，耳孔开放装置在佩戴状态下不密封耳孔，因此实现了等同于在非佩戴状态下的环境声音的聆听特性。然而，在耳孔开放装置中，耳朵没有用耳垫等密封，因此，难以期望由于无源隔音而引起的噪声消除。因此，希望通过主动处理向耳孔开放装置添加噪声消除功能。然而，上述专利文献1和2仅公开了密封的耳塞/耳机中的噪声消除处理。

因此，本实施方式公开了一种基于适用于耳孔开放型装置的主动处理的无噪声的消除处理。

<1.2.耳孔开放装置的外部配置>

图1是用于描述根据本实施方式的耳孔开放装置的外部配置的示例的示图。如图1所示，耳孔开放装置100通过佩戴在收听者(即用户)的一只耳朵上来使用。图1示出了佩戴在右耳上的耳孔开放装置100的外部，作为示例。y轴是以水平方向(眼睛方向)的前方为正的坐标轴，x轴是以人在水平方向的左侧为正的坐标轴，而z轴是以垂直方向为负的坐标轴。这些坐标轴也用于后续图中。

如图1所示，耳孔开放装置100包括：音频输出单元110，其输出(生成)音频；声音引导单元120，其从一端121获取由音频输出单元110生成的音频；以及保持单元130，其将声音引导单元120保持在另一端122附近。声音引导单元120由中空管材料制成，并且其两端是开口端。声音引导单元120的一端121是用于从音频输出单元110生成的声音的音频输入孔，另一端122是音频输出孔。因此，当一端121附接到音频输出单元110时，声音引导单元120处于一侧开放的状态。

保持单元130与外耳道入口附近(例如，耳屏间切迹)接合，以在另一端122附近支撑声音引导单元120，使得声音引导单元120的另一端122的音频输出孔面向外耳道的内侧。至少靠近另一端122的声音引导单元120的外径形成为小于耳孔(外耳道5的入口)的内径。因此，即使在声音引导单元120的另一端122被保持单元130保持在外耳道入口附近的状态下，收听者的耳孔也不会堵塞。即，耳孔是开着的。可以说，耳孔开放装置100不同于典型的耳机，并且是耳孔开放型耳机。

此外，保持单元130包括开口部131，即使在保持声音引导单元120的状态下，开口部131也将耳孔向外开放。在图1所示的示例中，保持单元130是环形结构，音频信息获取单元140设置在沿环形的内方向设置的杆状支撑构件132在环形中心附近结合的部分中，并且环形结构的所有其他部分是开口部131。注意，保持单元130不限于环形结构，而是可以具有支撑声音引导单元120的另一端122并且设置有音频信息获取单元140的任意形状，只要设置中空结构即可。

当将音频输出单元110生成的音频从其一端121带入管中时，管状声音引导单元120传播其空气振动，以从由保持单元130保持在外耳道入口附近的另一端122向外耳道辐射并传输到鼓膜。

如上所述，保持声音引导单元120的另一端122附近的保持单元130包括将外耳道的入口(耳孔)向外开放的开口部131。因此，即使在佩戴耳孔开放装置100的状态下，收听者的耳孔也不会堵塞。在佩戴耳孔开放装置100和收听从音频输出单元110输出的音频的过程中，收听者可以通过开口部131充分地聆听环境声音。

此外，尽管根据本实施方式的耳孔开放装置100开放耳孔，但是可以减少从音频输出单元110生成的声音(即，再现的声音)泄漏到外部。这是因为声音引导单元120的另一端122被连接成面对外耳道入口附近的外耳道内部，并且即使音频输出单元110的输出很小，也可以获得足够的声音质量。此外，从声音引导单元120的另一端122辐射的空气振动的方向性也可以有助于防止声音泄漏。

声音引导单元120具有弯曲形状，该弯曲形状在中部从耳廓的后侧向后折叠到前侧。该弯曲部分形成具有开放和关闭结构的夹紧部分123，并且可以通过生成夹紧力夹紧耳垂，来保持收听者佩戴的耳孔开放装置100。

设置在环形保持单元130的环形中心附近的音频信息获取单元140被设置成面向鼓膜的相反侧。音频信息获取单元140通常包括音频输入单元(即麦克风)，并且主要检测(即收集)环境声音。即，音频输入单元设置在与设置成面向外耳道内侧的另一端122相反的方向上。因此，减轻了从另一端122输出的从音频输出单元110生成的声音对音频输入单元的声音收集结果的影响。

音频信息获取单元140用作用于噪声消除的所谓误差麦克风，并且音频信息获取单元140的检测结果被视为误差信号。由于音频信息获取单元140设置在耳孔附近，即，鼓膜附近，所以期望高噪声消除性能。

注意，图1所示的耳孔开放装置100被配置为假设佩戴在右耳上，但是用于佩戴在左耳上的耳孔开放装置100被配置为相对于该配置横向对称。此外，耳孔开放装置100可以被配置用于包括右耳和左耳的双耳。在为双耳配置的情况下，用于右耳的耳孔开放装置100和用于左耳的耳孔开放装置100可以被分别配置为彼此独立并且彼此通信。

<1.3.耳孔开放装置的内部配置>

图2是示出根据本实施方式的耳孔开放装置100的内部配置的示例的示图。如图2所示，耳孔开放装置100包括音频输出单元110、音频信息获取单元140和控制单元150。

音频输出单元110

音频输出单元110具有基于音频信号输出音频的功能。音频输出单元110也可以称为驱动器。驱动器110基于从信号处理单元151输出的输出信号向空间输出音频。

音频信息获取单元140

音频信息获取单元140具有获取音频信息的功能。音频信息获取单元140包括音频输入单元141和鼓膜声压获取单元142。

音频输入单元141包括麦克风(下文中也简称为麦克风)，其检测环境声音并生成指示麦克风的声音收集结果的音频信号。即，音频信息可以是指示麦克风的声音收集结果的音频信号。鼓膜声压获取单元142估计鼓膜的声压，并生成鼓膜的声压信息。即，音频信息可以是鼓膜声压信息。鼓膜声压获取单元142例如通过测量鼓膜的振动来直接估计鼓膜声压。鼓膜声压获取单元142的配置将在后面详细描述。

注意，不需要直接测量鼓膜声压。例如，鼓膜声压可以近似为外耳道入口附近的声压。由于如图1所示，音频输入单元141(音频信息获取单元140)保持在外耳道入口附近，所以由音频输入单元141生成的音频信号也可以被捕获为指示鼓膜声压的信息。

控制单元150

控制单元150用作算术处理装置和控制装置，并且根据各种程序控制耳孔开放装置100执行的整个处理。控制单元150由电子电路实现，例如，中央处理单元(cpu)、微处理单元(mpu)、需求侧平台(dsp)等。注意，控制单元150可以包括存储要使用的程序、计算参数等的只读存储器(rom)以及临时存储适当改变的参数的随机存取存储器(ram)。

如图2所示，控制单元150包括信号处理单元151、操作控制单元153和认证单元155。

信号处理单元151具有基于由音频信息获取单元140获取的音频信息(音频信号或鼓膜声压信息)为噪声生成噪声消除信号的功能。例如，信号处理单元151使用音频信息作为误差信号来执行fb方案或ff方案的噪声消除处理，以生成噪声消除信号。信号处理单元151基于噪声消除信号生成音频信号(以下也称为输出信号)，并将音频信号输出到音频输出单元110，作为输出。输出信号可以是噪声消除信号本身，或者可以是通过合成另一音频信号获得的合成信号，例如，从声源获得的音乐信号和噪声消除信号。信号处理单元151包括将参考图8至13等描述的噪声消除处理的各种构成元件。例如，信号处理单元151包括：各种滤波器电路，其被配置为生成噪声消除信号；自适应控制单元，其被配置为自适应地控制滤波器电路；加法器，其被配置为合成信号；稍后将描述的自声提取单元；内部模型等。此外，信号处理单元151还包括诸如放大器、模数转换器(adc)和数模转换器(dac)之类的电路。信号处理单元151不仅可以执行噪声消除处理，还可以执行强调由音频信息获取单元140获取的音频信息(音频信号或鼓膜声压信息)中包括的高范围声音信息、添加混响等的过程。因此，有可能使人们更容易听到周围的声音。即，根据本实施方式的技术也可以应用于开放空间或助听器中的噪声消除技术。

操作控制单元153具有控制耳孔开放装置100的操作模式的功能。例如，操作控制单元153停止或启动耳孔开放装置100的一些或全部功能。

认证单元155具有识别和认证佩戴耳孔开放装置100的用户的功能。

<1.4.耳孔开放装置的佩戴模式>

图3是用于描述使用根据本实施方式的耳孔开放装置100的噪声消除处理的轮廓的示图。图3示出了在左耳上佩戴耳孔开放装置100的用户头部外耳道处的剖视图。如图3所示，噪声n到达音频信息获取单元140，穿过开口部131，并穿过外耳道5到达鼓膜9。耳孔开放装置100基于由音频信息获取单元140获取的噪声n生成噪声消除信号。音频输出单元110基于根据噪声消除信号生成的音频信号输出音频。从音频输出单元110输出的音频通过声音引导单元120传播，并从另一端122释放，以消除噪声n。

如图3所示，音频信息获取单元140的位置靠近外耳道5的入口，即靠近鼓膜9。为此，麦克风141可以收集鼓膜9附近的音频。当使用麦克风141作为消除点执行噪声消除处理时，实现了高噪声消除性能。此外，鼓膜声压获取单元142可以从鼓膜9附近获取鼓膜9的声压信息。结果，声压信息的精度增加，这有助于提高噪声消除性能。

保持单元130保持音频信息获取单元140和作为从音频输出单元110输出的音频的输出孔的另一端122之间的相对位置关系。即，音频输出单元110和音频信息获取单元140之间的空间的特性(稍后将描述的特性h1)是固定的。结果，可以稳定噪声消除性能。注意，相对位置关系由将声音引导单元120和音频信息获取单元140保持在一起的保持单元130来保持。

接下来，将参考图4至7描述耳孔开放装置的佩戴位置。在下文中，将假设耳孔开放装置100配备有麦克风141作为音频信息获取单元140来给出描述。

图4是用于描述典型人耳结构的示图。如图4所示，耳廓2在人耳1中形成特定的不均匀性，并从各个方向反射音频，以将反射的音频引导至外耳道5。外耳道5是音频的通道，并且已经通过外耳道5的音频到达外耳道5内部的鼓膜。在外耳道5周围，具有耳轮脚3、耳甲腔4、耳屏6、耳屏间切迹7和对耳屏8。

图5是用于描述到达人耳的噪声n的示图。如图5所示，噪声n从水平方向上的所有方向到达人耳1。尽管图5示出了左耳，但同样适用于右耳。麦克风141收集的噪声具有取决于噪声到达方向的频率特性，该噪声到达方向取决于麦克风141的设置。例如，从耳廓2接收的反射的影响在来自用户前方的噪声(即，y轴正侧)和来自后方的噪声(即，y轴负侧)之间不同。因此，即使来自特定方向的噪声能够充分消除，也可能发生这样的情况，即根据麦克风141的设置，难以充分消除来自另一方向的噪声。这不限于水平方向，并且同样适用于仰角方向。

图6是用于描述根据本实施方式的耳孔开放装置100的麦克风141的设置的示图。图6示出了示出外耳道状态的剖视图。如图6所示，外耳道5在第一曲线11和第二曲线12的每一个处具有s形弯曲，并且鼓膜9位于外耳道5的内部。如果该空间比耳屏6更靠近鼓膜9，则认为上述参考图5描述的频率特性对噪声到达方向的依赖性相对较小。因此，希望麦克风141设置在比耳屏6更靠近鼓膜9的空间中。更具体地，希望麦克风141设置在外耳道5内，即，设置在比耳甲腔4和外耳道5之间的边界19更靠近鼓膜9的空间内。结果，可以实现特别高的噪声消除性能。

希望麦克风141设置在从耳甲腔4和外耳道5的边界19到鼓膜9侧的15mm的空间中，或者设置在从耳甲腔4和外耳道5的边界19到鼓膜9的相反侧15mm的空间中。换言之，在用户佩戴耳孔开放装置100的状态下，希望保持单元130将麦克风141保持在距鼓膜9侧的耳甲腔4和外耳道5的边界1915mm的空间中，或者保持在距鼓膜9的相反侧的耳甲腔4和外耳道5的边界1915mm的空间中。在此处，麦克风141的位置处的频率特性和鼓膜9的位置处的频率特性之间的差异随着麦克风141接近鼓膜9而减小。因此，更希望麦克风141的位置更靠近鼓膜9。在这点上，如果空间距离鼓膜9的相反侧的边界1915mm，频率特性之间的上述差异可以落在允许的范围内，并且可以确保预定的噪声消除性能。此外，在麦克风141设置在远离边界19至鼓膜9侧的15mm范围内的情况下，与麦克风141设置在远离鼓膜9相反侧的边界19的空间中的情况相比，麦克风141的位置可以更靠近鼓膜9。此外，至少可以防止麦克风141接触鼓膜9并损坏鼓膜9，并且可以确保安全性。

麦克风位置m-a和m-b在距离鼓膜9侧的边界1915mm的空间中。具体地，麦克风位置m-a在外耳道5的第一曲线11和第二曲线12之间。麦克风位置m-b在外耳道5的边界19和第一曲线11之间。此外，麦克风位置m-c在距离鼓膜9的相反侧上的边界1915mm的空间中。可以在这些麦克风位置中的任何一个位置确保预定的噪声消除性能。特别地，就频率特性对到达方向的依赖性可以最小化而言，麦克风位置m-a是最理想的。

图7是示出用户佩戴根据本实施方式的耳孔开放装置100的状态的示图。如图7所示，在用户佩戴耳孔开放装置100的状态下，保持单元130邻接一只耳朵的外耳道5的内壁。然后，保持单元130将麦克风141保持在比耳屏6更靠近鼓膜9的空间中，该空间远离到鼓膜9侧的耳甲腔4和外耳道5之间的边界1915mm。更具体地，保持单元130将麦克风141保持在图6所示的麦克风位置m-a。利用这种设置，麦克风141的位置(即，消除点)可以被设置到与鼓膜9的位置的频率特性差异小的位置，并且可以实现高噪声消除性能。注意，保持单元130邻接的位置不限于外耳道5的内壁。例如，保持单元130可以邻接耳甲腔4。

<1.5.噪声消除处理的细节>

在下文中，将描述根据本实施方式的使用耳孔开放装置100的噪声消除处理。

(1)经典控制fb方案

首先，将参考图8和图9描述经典控制fb方案。

图8是示出根据本实施方式的使用耳孔开放装置100的经典控制fb方案的噪声消除处理的模型配置示例的示图。如图8所示的模型配置示例中示出的方框的符号指示对应于特定电路部件、噪声消除系统中的电路系统等的特性(即，传输函数)。每当音频信号(或音频)通过每个方框时，应用相应方框中所示的特性。图8至13所示的方框中的符号具有如下含义。

h1：从驱动器110到麦克风141的空间203的特性

h2：从麦克风141到鼓膜的空间205的特性(外耳道的空间特性)

m：麦克风141的特性

a：放大器202的特性

d：驱动器110的特性

f：无源隔音元件220的特性

m’：麦克风141的m的模拟特性

a’：放大器202的模拟特性

d’：驱动器110的模拟特性

h’：空间203的模拟特性

a'd'h1'm'：内部模型208的特性

-β1：第一fb滤波器201的特性

-β2：第二fb滤波器207的特性

e：均衡器213的特性

另外，n表示噪声，m表示音乐信号，p表示鼓膜位置处的声压，v表示用户的声音(自语音)。

麦克风141收集音频并生成音频信号。麦克风141生成的音频信号输入到第一fb滤波器201。

第一fb滤波器201是执行fb方案的噪声消除处理的滤波器电路。第一fb滤波器201基于从麦克风141输入的音频信号，使用麦克风141作为消除点来执行噪声消除处理，并且生成噪声消除信号。已经通过第一fb滤波器201的音频信号输入到放大器202。

放大器202是放大和输出输入音频信号的功率放大器。放大器202放大并输出从第一fb滤波器201输入的音频信号。已经通过放大器202的音频信号输入到驱动器110。

驱动器110基于输入音频信号将音频输出到空间中。

从驱动器110输出的音频首先通过空间203，然后干扰空间204中的噪声n，以消除噪声n。未消除的噪声n由麦克风141收集。此外，未消除的噪声n穿过开口部131，穿过空间205，并且作为鼓膜声压p到达鼓膜位置。

麦克风141是最小化噪声的点(即，消除点)。因此，希望麦克风141的设置位置更靠近鼓膜。

在此处，作为比较示例，将参考图9描述耳孔开放装置100被配置为不具有开口部131的耳机(密封的噪声消除耳机)的情况下的噪声消除处理。

图9是示出使用根据比较示例的密封噪声消除耳机的经典控制fb方案的噪声消除处理的模型配置示例的示图。除了设置无源隔音元件220之外，图9所示的模型配置示例与图8所示的模型配置示例相同。在密封噪声消除耳机中，无源隔音元件220(例如，密封壳体和耳机)存在于噪声n和麦克风141之间。为此，噪声n被无源隔音元件220的影响衰减，然后被麦克风141收集。换言之，与密封噪声消除耳机相比，相对较大的噪声收集在耳孔开放装置100中。因此，期望根据本实施方式的耳孔开放装置100使用具有比密封噪声消除耳机更大输出的放大器和驱动器。

在此处，将考虑已经参考图8描述的使用耳孔开放装置100的经典控制fb方案的噪声消除处理。

首先，输入到驱动器110的音频信号被定义为y。然后，麦克风141位置处的声压p由以下公式(a1)定义。

p＝(n+ydh1)h2(a1)

音频信号y由以下公式(a2)定义。

{-β1m(ydh1+n)}a＝y

-β1amdh1y-β1amn＝y

{1+β1amdh1}y＝-β1amn

声压p由以下公式(a3)从公式(a1)和(a2)中导出。

p＝(n+ydh1)h2

在此处，公式(a3)中与噪声n相关的系数也称为灵敏度函数。第一fb滤波器201的特性β1是可设计的参数。随着β1最大化，灵敏度系数的分母最大化，灵敏度系数最小化，从而声压p最小化。即，随着β1最大化，鼓膜位置处的声压降低，并且更大程度地消除噪声。

(2)内部模型控制fb方案

接下来，将参考图10描述内部模型控制fb方案(模型间控制(imc)方案)。

图10是示出根据本实施方式的使用耳孔开放装置100的内部模型控制fb方案的噪声消除处理的模型配置示例的示图。图10所示的模型配置示例与图8所示的模型配置示例的不同之处在于，提供了第二fb滤波器207来代替第一fb滤波器201，并且提供了内部模型208和加法器206。在下文中，将主要描述与图8所示的模型配置示例的差异。

第二fb滤波器207是执行fb方案的噪声消除处理的滤波器电路。第二fb滤波器207基于输入音频信号使用麦克风141作为消除点来执行噪声消除处理，并生成噪声消除信号。已经通过第二fb滤波器207的音频信号输入到放大器202，并且也输入到内部模型208。

内部模型208对应于耳孔开放装置100的内部模型。内部模型是信号处理内部路径，并且是具有模拟辅助路径的特性的模型。注意，辅助路径是从辅助声源到误差麦克风的物理空间传输特性。本文的内部模型208具有模拟特性的特性，直到从第二fb滤波器207输出的噪声消除信号从驱动器110输出并由麦克风141收集并返回到第二fb滤波器。图10所示的模型配置示例中的内部模型208具有a'd'h1'm'的特性。已经通过内部模型208的音频信号输入到加法器206。加法器206从麦克风141生成的音频信号中减去已经通过内部模型208的音频信号，以执行合成。合成信号输入到第二fb滤波器207。

(3)经典控制fb方案与内部模式控制fb方案的组合

接下来，将参考图11描述结合使用经典控制fb方案和内部模型控制fb方案的情况。

图11是示出根据本实施方式的使用经典控制fb方案和使用耳孔开放装置100的内部模型控制fb方案的噪声消除处理的模型配置示例的示图。通过将第一fb滤波器(特性：-β1)和加法器209添加到图10所示的模型配置示例中，获得图11所示的模型配置示例。在下文中，将主要描述新添加到图10所示的模型配置示例中的构成元件。

从麦克风141输入的音频信号输入到加法器206，并且还输入到第一fb滤波器201。如上所述，第一fb滤波器201基于输入音频信号生成噪声消除信号。

已经通过第一fb滤波器201和第二滤波器207中的每一个的音频信号输入到加法器209，以合成。合成信号输入到内部模型208，并经由放大器202从驱动器110输出。

尽管上文已经描述了fb方案的噪声消除处理，但是本技术不限于该示例。耳孔开放装置100可以与fb方案的噪声消除处理一起或代替fb方案的噪声消除处理来执行fb方案的噪声消除处理。在这种情况下，期望耳孔开放装置100在用户预先佩戴时测量音频特性，并设置ff滤波器的特性。

(4)音乐再现中的处理

图12是示出根据本实施方式的在使用耳孔开放装置100进行音乐再现期间经典控制fb方案的噪声消除处理的模型配置示例的示图。在图12所示的模型配置示例中，内部模型208、加法器210和加法器211添加到图8所示的模型配置示例中，并且音频信号m另外输入。在下文中，将主要描述新添加到图8所示的模型配置示例中的构成元件。

音乐信号m输入到内部模型208和加法器211。已经通过内部模型208的音乐信号输入到加法器210。此外，麦克风141生成的音频信号被输入到加法器210。加法器210从麦克风141生成的音频信号中减去已经通过内部模型208的音乐信号，以执行合成。然后，合成信号输入到第一fb滤波器201。已经通过第一fb滤波器201的音频信号输入到加法器211。加法器211合成已经通过第一fb滤波器201的音频信号和音乐信号m。经由放大器202从驱动器110输出合成信号。

以这种方式，在该噪声消除处理中，在从麦克风141输出的含噪声音频信号中减去音乐信号分量之后，应用fb滤波器。结果，可以防止需要再现的音乐与噪声一起减少。

(5)自己声音提取中的处理

信号处理单元151基于由这对音频信息获取单元140中的每一个为两只耳朵获取的音频信息提取用户自己的声音，并将提取的用户声音与噪声消除信号合成。当收集到包括用户自己声音的噪声时，噪声消除信号包括消除用户自己声音的分量。在这点上，当用户自己的声音与噪声消除信号合成时，用户自己的声音在耳朵处输出。因此，可以防止用户的声音被作为噪声消除并且用户感觉不舒服，好像他/她的声音变得遥远。在下文中，将参考图13详细描述提取自己的声音并将提取的声音与噪声消除信号合成的过程。

图13是示出根据本实施方式的包括使用耳孔开放装置100的自己声音提取的经典控制fb方案的噪声消除处理的模型配置示例的示图。通过将自声提取单元212、均衡器213、加法器214和空间215添加到图8所示的模型配置示例，而获得图13所示的模型配置示例。输入噪声n是通过在空间215中合成噪声源ns和用户的声音语音v(即，自己的声音)而获得的音频。然而，图13所示的模型配置示例示出了左耳侧的模型配置示例，而没有示出右耳侧。在下文中，将主要在图13所示的模型配置示例中描述新添加到图8所示的模型配置示例中的构成元件。

用于左耳的麦克风141收集已经通过空间204的噪声n，并生成音频信号。右耳也是如此。由左麦克风和右麦克风141生成的音频信号输入到自声提取单元212。自声提取单元212基于输入音频信号提取自己声音v。例如，自声提取单元212通过从输入音频信号中提取同相信号分量来提取自己声音v。自声提取单元212向左加法器和右加法器214输出指示提取的自己声音v的音频信号。

同时，麦克风141生成的音频信号也输入到第一fb滤波器201。由第一fb滤波器201生成的噪声消除信号输入到加法器214。此外，音乐信号m输入到均衡器213。均衡器213基于特性e调整输入音乐信号m的声音质量。已经通过均衡器213的音乐信号输入到加法器214。

加法器214合成从自声提取单元212、第一fb滤波器201和均衡器213中的每一个输入的音频信号。合成信号经由放大器202从驱动器110输出。

结果，即使已经通过开口部131的自己的声音v被噪声消除信号消除，由自声提取单元212提取的自己声音v也从驱动器110输出。结果，可以防止用户的声音作为噪声被消除并且用户感觉不舒服，好像他/她的声音变得遥远。

注意，除了由保持单元130保持的麦克风141之外，耳孔开放装置100还可以包括麦克风，其被配置为收集用户自己的声音，其被作为音频信息获取单元140。例如，耳孔开放装置100可以包括在图1所示的夹紧部分123附近的麦克风。在这种情况下，自声提取单元212基于麦克风生成的音频信号提取用户的声音。结果，自声提取单元212能够以更高的准确度提取用户的声音。

<1.6.基于鼓膜的声压信息的噪声消除处理>

耳孔开放装置100可以基于鼓膜声压信息执行噪声消除处理。在这种情况下，音频信息获取单元140获取鼓膜声压信息，作为音频信息。然后，信号处理单元151基于鼓膜声压信息而不是麦克风141生成的音频信号来执行噪声消除处理。当然，信号处理单元151可以使用麦克风141生成的音频信号和鼓膜声压获取单元142获取的鼓膜声压信息来执行噪声消除处理。在下文中，将假设耳孔开放装置100配备有鼓膜声压获取单元142作为音频信息获取单元140来给出描述。

(1)鼓膜声压获取单元142的配置

鼓膜声压获取单元142具有获取外耳道或鼓膜的振动信息并基于获取的振动信息获取消除点的声压信息的功能。

具体地，鼓膜声压获取单元142发送透射波，获取作为反射透射波的反射波，并获取指示反射点处的位移或速度的振动信息。在反射波中，出现与反射点的移动速度成比例的频率变化。具体地，当物体接近时，反射波的频率增加，而当物体移开时，频率降低。鼓膜声压获取单元142基于透射波和反射波之间的频率差来估计反射点的位移或速度。透射波传输到外耳道或鼓膜，并且在外耳道或鼓膜中的任意反射点被反射。反射点可以与抵消点相同或不同。

例如，鼓膜声压获取单元142可以由激光距离测量装置实现，并且透射波可以是激光。此外，鼓膜声压获取单元142可以由超声波距离测量装置实现，并且在这种情况下，透射波是超声波。然而，从干涉的角度来看，透射波理想地是激光器。在使用激光器的情况下，优点在于原则上不会发生麦克风141收集风噪声。注意，激光光源可以间歇发光，而不是连续发光。此外，发光频率可以等于与反射波获取相关的采样率。结果，可以降低功耗。在下文中，将假设鼓膜声压获取单元142由激光距离测量装置实现来给出描述。

鼓膜声压获取单元142还可以测量鼓膜声压获取单元142和反射点之间的距离。例如，激光测距装置基于从发射激光到接收从反射点反射的激光的时间来测量激光测距装置和反射点之间的距离。这种测量方法也称为飞行时间(tof)方案。注意，至少发送透射波和接收接收波的装置由鼓膜声压获取单元142中的保持单元130保持就足够了，并且对基于振动信息估计和获取鼓膜声压的装置的设置没有特别限制。

消除点是鼓膜上的一个点。即，鼓膜声压获取单元142获取鼓膜声压信息。由于鼓膜声压信息用于噪声消除处理，所以可以实现高噪声消除性能。

反射点最好也是鼓膜上的一个点。在这种情况下，直接获取鼓膜振动信息，因此，鼓膜声压获取单元142可以基于鼓膜振动信息获取鼓膜声压信息。因此，可以高精度地估计鼓膜声压信息。

另一方面，反射点可能在外耳道内壁上。在这种情况下，鼓膜声压获取单元142基于外耳道内壁上的两个或更多点的振动信息来估计鼓膜声压信息。例如，鼓膜声压获取单元142参考在外耳道内壁的振动和鼓膜的振动之间具有相关性的模型，以基于外耳道内壁上两个或更多点的振动信息来估计鼓膜振动信息。然后，基于鼓膜的振动信息的估计结果来估计鼓膜声压信息。结果，即使当鼓膜没有被激光直接照射时，也可以使用鼓膜声压信息执行噪声消除处理。另外，鼓膜声压获取单元142可以测量鼓膜振动信息和外耳道内壁的振动信息，并且基于这些测量结果估计鼓膜位置的声压信息。在这种情况下，可以以更高的精度估计鼓膜位置的声压信息。

此外，鼓膜声压获取单元142可以基于外耳道内壁的振动信息来测量由于身体传导而自生的声音(例如，自己的声音)。鼓膜声压获取单元142除了外耳道内壁的振动信息之外，还可以基于左右空气传播声波信息来测量自生声音。

注意，反射点是鼓膜还是外耳道内壁可以基于例如指示稍后将描述的三维形状的信息来确定。

在下文中，将参考图14至17详细描述使用实现为激光距离测量装置的鼓膜声压获取单元142的距离测量状态。

图14是示出用户左耳的外耳道内部状态的剖视图。如图14所示，鼓膜振动表面14相对于外耳道的下壁13形成预定角度。在成人的情况下，鼓膜振动表面14相对于外耳道的下壁13形成大约50o的角度。

图15至17是示出图14所示的用户左耳的外耳道内侧被耳孔开放装置100用激光照射的状态的示图。图15是从与图14相同的角度看的示图，图16是从z轴正方向向下看向z轴负方向的示图，图17是从朝向原点的x轴正方向和z轴正方向之间的中间附近看的示图。如图15至17所示，鼓膜声压获取单元142(激光距离测量装置)用激光器16照射鼓膜9。如图15和16所示，激光器16的照射方向17和鼓膜9的振动方向15可以以特定角度彼此相交。为了准确估计鼓膜9的声压信息，需要校正该角度差。角度差的校正可以通过逻辑计算来执行，或者可以通过后面将要描述的激光照射方向的物理控制来执行。

如图15和16所示，希望保持单元130将鼓膜声压获取单元142保持在在鼓膜声压获取单元142和鼓膜9之间的直线上不存在外耳道5的内壁的位置。换言之，期望鼓膜声压获取单元142保持在鼓膜声压获取单元142和鼓膜9之间没有障碍的位置。结果，可以将从鼓膜声压获取单元142发射的激光直接反射到鼓膜9上的一点。

(2)鼓膜声压获取过程

在下文中，将参考图18至20描述鼓膜声压获取过程。

第一示例

图18是用于描述根据本实施方式的鼓膜声压估计过程的模型配置示例的示图。

激光二极管230生成并发射激光。从激光二极管230发射的激光被分束器231分成两个方向，并且其一个光束穿过分束器232和聚焦透镜233并到达鼓膜9。被鼓膜9反射的激光穿过聚焦透镜233，被分束器232和反射镜234反射，穿过分束器237，并输入到光电转换器238。

另一方面，从激光二极管230发射并被分束器231分离的激光的另一光束输入到光学频率转换器236。由参考频率振荡器235以参考频率振荡的信号也输入到光学频率转换器236。光学频率转换器236将从激光二极管230发射的激光的频率调制到参考频率，并输出参考频率。从光学频率转换器236输出的激光被分束器237反射并输入到光电转换器238。

已经通过分束器237的激光被光电转换器238转换成光强信号。光强信号指示用参考频率调频的鼓膜振动频率。光强信号由频率电压转换器239转换成频域信号，转换后的信号经过带限滤波器240并输入到速度/加速度转换器241。在由带限滤波器240进行带限滤波处理之后的信号是鼓膜振动速度信号。速度/加速度转换器241基于鼓膜速度信号将鼓膜速度转换成鼓膜加速度，并将指示鼓膜加速度的信号输出到鼓膜声压估计单元242。鼓膜声压估计单元242基于鼓膜加速度来估计鼓膜声压(鼓膜9的声压信息)。注意，鼓膜声压由以下公式估算。

鼓膜声压pd＝k·a。

在此处，[m/s²]是由速度/加速度转换器241获得的加速度信号。k[kg/m²]是由鼓膜的面积、质量和张力、基于激光进入鼓膜的入射角的校正系数等组成的常数。注意，鼓膜声压获取过程的至少一部分可以由数字电路执行。例如，速度/加速度转换器241和鼓膜声压估计单元242的处理可以由数字电路执行。此外，鼓膜声压估计单元242可以包括作为速度/加速度转换器241的功能。

第二示例

耳朵的形状(尤其是外耳道的形状和鼓膜的位置)因人而异。因此，在用户佩戴耳孔开放装置100的状态下，激光照射点(即，反射点)不一定位于鼓膜的中心。

因此，鼓膜声压获取单元142可以另外基于指示用户外耳道的三维形状的信息来估计鼓膜的声压信息。例如，鼓膜声压获取单元142基于指示外耳道的三维形状的信息来控制激光照射方向，并且使用鼓膜作为反射点。结果，可以直接估计鼓膜声压，从而可以提高精确度。

鼓膜声压获取单元142通过扫描外耳道同时改变透射波的传输方向，来获取指示外耳道的三维形状的信息。具体地，鼓膜声压获取单元142在依次改变激光照射方向的同时测量距离，从而获取鼓膜声压获取单元142和反射点之间的距离图，作为扫描结果。该距离图是参考鼓膜声压获取单元142指示外耳道的三维形状的信息。

图19是示出根据本实施方式的使用耳孔开放装置100扫描外耳道的状态的示图。如图19所示，激光器16从鼓膜声压获取单元142发射，同时改变照射方向。耳孔开放装置100获取指示用激光照射的范围18的三维形状的信息。因此，例如，鼓膜声压获取单元142可以搜索鼓膜9可以被激光直接照射的方向。

用于获取指示外耳道三维形状的信息的机制可以实现为例如mems(微机电系统)扫描仪。在下文中，将参考图20描述使用mems扫描仪估计鼓膜声压的过程。

图20是用于描述根据本实施方式的鼓膜声压估计过程的模型配置示例的示图。在图18所示的模型配置示例中，图20所示的模型配置示例包括分束器232和聚焦透镜233之间的mems扫描仪243。mems扫描仪243用作照射角度校正单元，其校正并输出输入激光器的照射角度。mems扫描仪243可以改变从分束器232输入的激光的照射方向。鼓膜声压获取单元142通过控制mems扫描仪243来获取指示外耳道的三维形状的信息，以便依次改变激光照射方向。然后，鼓膜声压获取单元142控制mems扫描仪243，使得基于指示外耳道三维形状的信息，在鼓膜成为反射点的方向上发射激光。

(3)利用指示三维形状的信息

个人认证

认证单元155可以基于由鼓膜声压获取单元142获取的指示外耳道的三维形状的信息来认证用户。例如，认证单元155比较预先存储的指示用户外耳道三维形状的信息的特征量和由鼓膜声压获取单元142获取的指示外耳道三维形状的信息的特征量。认证单元155基于比较结果确定佩戴用户是否匹配预先注册的用户。由于外耳道的形状因人而异，所以认证是可能的。由于即使一个人对于人耳也具有不同的左耳和右耳形状，所以认证单元155可以通过对左耳和右耳执行上述比较来进一步提高认证精度。信号处理单元151可以基于认证结果执行信号处理。例如，信号处理单元151可以使用为每个用户预先设置的滤波器特性来执行噪声消除处理。

在下文中，将参考图21描述使用指示外耳道三维形状的信息的个人认证过程。

图21是示出由根据本实施方式的耳孔开放装置100和终端装置执行的个人认证处理的流程示例的序列图。如图21所示，耳孔开放装置100和终端装置800包含在该顺序中。终端装置800是任意装置，例如，智能手机、平板终端和代理装置。

如图21所示，用户尚未佩戴耳孔开放装置100，并且耳孔开放装置100处于佩戴待机状态(步骤s102)。此外，终端装置800没有连接到耳孔开放装置100，并且处于连接待机状态(步骤s104)。

如图21所示，耳孔开放装置100首先确定测量的距离是否在预定值内(步骤s106)。本文的预定值例如是外耳道长度的最大值。如果所测量的距离在预定值内，则可以理解，至少在外耳道中进行距离测量。当确定测量的距离不在预定值内时(步骤s106/否)，处理再次返回到步骤s106，并且佩戴待机状态继续。

另一方面，当确定测量的距离在预定值内时(步骤s106/是)，耳孔开放装置100获取指示外耳道中的三维形状的信息并提取特征量(步骤s108)。

接下来，耳孔开放装置100将提取的特征量与预先存储的特征量进行比较，并确定两个特征量是否匹配(s110)。当确定两个特征量不匹配时(步骤s110/否)，处理再次返回步骤s106。

当确定两个特征量匹配时(步骤s110/是)，耳孔开放装置100向终端装置800传输指示用户认证已经完成的认证信息(步骤s112)。终端装置800从耳孔开放装置100接收并确认认证信息(步骤s114)，执行连接处理，并且向耳孔开放装置100传输连接完成通知(步骤s116)。结果，终端装置800变成连接完成状态。耳孔开放装置100从终端装置800接收连接完成通知(步骤s118)。结果，耳孔开放装置100变成连接完成状态。

佩戴检测

操作控制单元153基于由鼓膜声压获取单元142获取的指示三维形状的信息来确定是否佩戴耳孔开放装置100。例如，当鼓膜声压获取单元142获得的测量距离在预定值内时，操作控制单元153确定佩戴耳孔开放装置100，并且当测量距离超过预定值时，确定未佩戴耳孔开放装置100。本文的预定值例如是外耳道长度的最大值。然后，操作控制单元153基于确定结果控制耳孔开放装置100的操作。例如，当确定佩戴了耳孔开放装置100时，操作控制单元153可以使得信号处理单元151开始生成噪声消除信号。此外，当确定佩戴耳孔开放装置100时，操作控制单元153可以使得驱动器110开始输出输出信号。结果，当用户佩戴耳孔开放装置100时，耳孔开放装置100的操作自动开始，从而减轻了用户的操作负担。另外，当确定没有佩戴耳孔开放装置100时，操作控制单元153可以停止噪声消除信号的生成和输出信号的输出。结果，耳孔开放装置100的操作在非佩戴状态下停止或部分停止，从而可以防止浪费的功耗。

再现声音的校正

信号处理单元151可以基于指示外耳道三维形状的信息来调整从驱动器110输出的输出信号的声音质量。例如，信号处理单元151基于指示外耳道三维形状的信息，执行对过度混响频率的声音进行衰减并强调过度降低的频率的声音的处理。结果，可以响应于用户外耳道的三维形状向用户提供最佳声音质量。

(4)其他

啸声消除器

耳孔开放装置100可以检测麦克风141收集驱动器110输出的音频时发生的啸声。然后，当检测到啸声时，耳孔开放装置100可以停止或暂时停止来自驱动器110的输出或噪声消除处理，并通知停止佩戴。此外，啸声已经发生的情况可以经由稍后将描述的无线通信单元170传输到外部。

校准信号

耳孔开放装置100从驱动器110输出预定的校准信号，并且通过麦克风141收集校准信号，使得可以获得从驱动器110到麦克风141的传输特性。这种传输特性取决于耳朵形状和每个佩戴者的佩戴状态。因此，耳孔开放装置100可以通过实际测量在用户佩戴状态下从驱动器110到麦克风141的传输特性来执行驱动器110的更合适的输出配置。此外，耳孔开放装置100可以使用输出信号和从麦克风141收集的实际音频信号自适应地配置输出配置。

<1.7.概述>

上面已经详细描述了第一实施方式。如上所述，根据第一实施方式的耳孔开放装置100通过开口部131向外开放耳孔，同时使用邻接耳甲腔或外耳道内壁的保持单元130保持音频信息获取单元140在比耳屏更靠近鼓膜的空间中获取音频信息。然后，耳孔开放装置100基于由音频信息获取单元140获取的音频信息生成噪声消除信号。例如，耳孔开放装置100使用音频信息获取单元140的位置或鼓膜位置作为消除点来执行噪声消除处理。由于鼓膜附近的位置或鼓膜是消除点，所以可以实现高噪声消除性能。

由于耳孔开放装置100通过这种有源处理配备有噪声消除功能，所以显示了各种效果。在下文中，将通过具体示例描述本实施方式中显示的效果。

例如，办公室等充满比声音更低频率的噪声，例如，办公室中的空调声音和从办公室外部泄漏的火车或汽车的传入的行驶声音。耳孔开放装置100消除了这种噪声。在这种情况下，佩戴耳孔开放装置100的用户可以更顺畅地与其他人通信，并且减轻了精神负荷和身体负荷。

此外，诸如声音之类的中频频带不会受到噪声消除的影响，声音不会消除，并且由于耳孔开放，声音还会原样到达鼓膜。为此，佩戴耳孔开放装置100的用户不需要每次都移除耳孔开放装置100来进行对话。

此外，由于耳孔开放，外耳道内外的空气可以自由移动。为此，耳孔开放装置100几乎不会给用户带来由外耳道中的湿度和温度引起的不适。因此，用户可以长时间佩戴耳孔开放装置100。

此外，耳孔开放装置100可以通过在输出音乐或声音时降低环境噪声来增加信噪比。这意味着即使音乐或声音具有相同的音量，用户也可以容易地收听目标声音。换言之，抑制了为了保持相同的信噪比而需要输出的音乐或声音的音量。因此，可以减少由耳孔开放装置100输出的音乐或声音泄漏到周围。

此外，由于耳孔开放，所以不强调用户自己的声音(自己的声音)、跳动声、咀嚼声、吞咽时生成的声音、血流声、呼吸声、行走期间通过身体传输的振动声、线缆等的沙沙声以及耳机与外耳道接触的部分的摩擦声等。

<<2.第二实施方式>>

第二实施方式涉及使用音频处理装置(耳机)的噪声消除处理，该音频处理装置具有设置在外耳道入口附近的麦克风。

<2.1.技术问题>

首先，将描述使用根据比较示例的耳机的噪声消除处理，并且将参考图22至27描述本实施方式的技术问题。

图22是示出配备有fb-nc功能的耳机380-1的配置示例的示图。如图22所示，配备有fb-nc功能的耳机380-1包括壳体381和耳垫382。壳体381和耳垫382覆盖(通常密封)佩戴配备有fb-nc功能的耳机380-1的用户的一只耳朵。壳体381存储配置用于信号处理的各种装置，例如，驱动器(扬声器)383、fb-nc麦克风384和fb滤波器385(特性：-β)。

fb-nc麦克风384收集环境声音并生成音频信号。fb滤波器385基于由fb-nc麦克风384生成的音频信号，通过fb方案的噪声消除处理生成噪声消除信号。驱动器383基于由fb滤波器385生成的噪声消除信号输出音频。结果，可以使用无源隔音元件，例如，壳体381、耳垫382和用户头部，消除无源隔音后的噪声。将参考图23详细描述该噪声消除处理。

图23是示出使用配备有图22所示的fb-nc功能的耳机380-1的噪声消除处理的模型配置示例的示图。如图23所示的模型配置示例中示出的方框的符号指示对应于特定电路部分、噪声消除系统中的电路系统等的特性(即传输函数)。各个符号的含义如下。

h：从驱动器383到fb-nc麦克风384的空间392的空间特性

m：fb-nc麦克风384的特性

a：放大器391的特性

d：驱动器383的特性

f：无源隔音元件393的特性

-β：fb滤波器385的特性

此外，n表示噪声，而p表示鼓膜位置处的声压。

如图23所示，由fb-nc麦克风384生成的音频信号输入到fb滤波器385。fb滤波器385基于输入音频信号生成噪声消除信号。由fb滤波器385生成的噪声消除信号被放大器391放大并从驱动器383输出。从驱动器383输出的音频通过空间392，然后，干扰已经通过空间394中的无源隔音元件393的噪声n，以消除噪声n。未消除的噪声n由fb-nc麦克风384收集，并作为鼓膜位置声压p传输到鼓膜。

消除点是fb-nc麦克风384的位置。当针对fb-nc麦克风384的位置处的残留信号r(残留噪声)计算灵敏度函数时，获得以下公式。

如公式(b1)所示，通过增加nc滤波器β来最小化灵敏度函数。

在此处，fb滤波器385包括adc和dac。通过抑制由系统延迟引起的影响，例如，由adc和dac引起的数字处理延迟，fb-nc的性能得到改善。同时，作为导致延迟的参数，除了系统延迟之外，音频空间中还有距离延迟。这种距离延迟也会影响fb-nc的性能。

图24是示出对应于耳机驱动器到fb-nc麦克风的距离的相位特性的示例的曲线图。图24示出了当耳机驱动器到fb-nc的距离为20mm、50mm或100mm时的相位特性。如图24所示，相位旋转随着耳机驱动器到fb-nc的距离增加而增加。然后，随着相位旋转的增加，fb-nc的极限性能恶化。通过上面，可以说，希望减小驱动器和fb-nc之间的距离，以防止由距离延迟引起的fb-nc的性能恶化。

在配备有图22所示的fb-nc功能的耳机380-1中，fb-nc麦克风384设置在壳体381内靠近驱动器383的位置。因此，上述距离延迟很小。然而，fb-nc麦克风384的位置远离鼓膜9的位置，鼓膜9的位置是声压(由噪声引起的声压)理想地最小化的点。为此，在fb-nc麦克风384的位置处声压的最小化不一定导致鼓膜9的位置处声压的最小化。即，存在fb-nc性能恶化的风险。

理想地，考虑通过在鼓膜9的位置设置fb-nc麦克风可以消除上述距离延迟。将参考图25描述这种配备有fb-nc功能的耳机。

图25是示出配备有fb-nc功能的耳机380-2的示例的示图。如图25所示，配备有fb-nc功能的耳机380-2具有设置在鼓膜9附近的fb-nc麦克风384。为此，在fb-nc麦克风384的位置处声压的最小化容易导致鼓膜9的位置处声压的最小化，并且可以抑制fb-nc性能的恶化。然而，由于驱动器383和fb-nc麦克风384之间的距离很大，因此存在由于上述距离延迟的影响而导致fb-nc的性能恶化的风险。

总之，从该距离导出的相位延迟很小，但是根据图22所示的fb-nc麦克风384的设置，鼓膜位置处的声压并不总是最小化。另一方面，反馈鼓膜位置处的声压，但是根据图25所示的fb-nc麦克风384的设置，从该距离导出的相位延迟很大。

如上所述，为了提高耳机中fb-nc的性能，可以考虑以下两条准则，但这些准则在假设驱动器位置固定的情况下相互矛盾。

第一准则：减少距离延迟：将fb-nc麦克风设置为靠近驱动器

第二准则：将消除点设置在鼓膜附近：将fb-nc麦克风设置在远离驱动器的位置

因此，在本实施方式中提出了消除矛盾的噪声消除处理的机制。具体地，在本实施方式中提出了用于噪声消除处理的机制，该机制除了使用安装在驱动器附近的fb-nc麦克风之外，还使用安装在鼓膜位置附近的误差麦克风。根据该机制，可以使用误差麦克风最小化靠近鼓膜位置的消除点处的声压，同时使用fb-nc麦克风抑制距离延迟。

配备nc功能的耳机不仅包括上述fb型，还包括ff型以及fb和ff的组合型。一般来说，具有组合式nc功能的耳机在这些类型中具有最高的nc性能。作为参考，将参考图26和27描述配备有组合型nc功能的耳机。

图26是示出配备有组合型nc功能的耳机380-3的配置示例的示图。如图26所示，除了图22所示的耳机380-1的配置之外，配备有组合型nc功能的耳机380-3还包括ff-nc麦克风386和ff滤波器387，ff滤波器387对于ff-nc具有特性-α。

图27是示出使用配备有图26所示的组合型nc功能的耳机380-3的噪声消除处理的模型配置示例的示图。在图27所示的模型配置示例中，用于ff-nc的构成元件添加到图23所示的模型配置示例中。在下文中，将描述这种添加的方框。添加方框中的符号具有如下含义。

m1：fb-nc麦克风384的特性

m2：ff-nc麦克风386的特性

-α：ff滤波器387的特性

如图27所示，基于由ff-nc麦克风386收集的噪声n生成的音频信号输入到ff滤波器387。ff滤波器387基于输入音频信号通过ff方案的噪声消除处理生成噪声消除信号。加法器395合成由ff滤波器387生成的噪声消除信号和由fb滤波器385生成的噪声消除信号，以生成合成信号。合成信号经由放大器391从驱动器383输出。从驱动器383输出的音频通过空间392，然后，干扰已经通过空间394中的无源隔音元件393的噪声n，以消除噪声n。未消除的噪声n由fb-nc麦克风384收集，并作为鼓膜位置声压p传输到鼓膜。

<2.2.耳机的外部配置>

在下文中，将参考图28至30描述根据本实施方式的音频处理装置(耳机)的外部配置的示例。

图28和29是用于描述根据本实施方式的耳机300的外部配置的示例的示图。图28示出了用户佩戴耳机300的状态下的外部配置。图29示出了从图28所示的内部空间30观察的图28所示的耳机300的外部配置。在下文中，将主要参考图28描述耳机300的外部配置。

如图28所示，耳机300包括壳体301和耳垫302。佩戴耳机300的用户的一只耳朵被壳体301和耳垫302覆盖(通常是密封的)。壳体301存储被配置用于信号处理的各种装置，例如，音频输出单元310、音频输入单元320-1和320-2以及滤波器电路。耳垫302在接触表面302a处与用户的头部接触。耳垫302使用诸如海绵等弹性体形成，并且在根据用户的头部变形的同时与用户的头部紧密接触，并且形成内部空间30。内部空间30是由壳体301、耳垫302和用户头部形成的空间。内部空间30可以是与外部空间31隔离的密封空间，外部空间31是在外面的空间或者可以连接到外部空间31。无源隔音元件(例如，壳体301、耳垫302和用户头部)进行无源隔音后的噪声到达内部空间30。壳体301的壁部301a与内部空间30接触，壳体301的外壁部301b与外部空间31接触。

音频输出单元310基于音频信号向空间输出音频。音频输出单元310也可以称为驱动器。驱动器310设置在壳体301中。然后，驱动器310向内部空间30输出音频，内部空间30是比壳体301更靠近鼓膜的空间。例如，驱动器310基于根据由音频输入单元320-1至320-3获得的声音收集结果生成的噪声消除信号将音频输出到空间。结果，可以消除已经到达内部空间30的噪声。

音频输入单元320(320-1至320-3)收集环境声音并生成音频信号。如图28所示，三个音频输入单元320在用户佩戴的状态下设置在用户的一侧耳朵上。

音频输入单元320-1是为fb-nc执行声音收集的麦克风(即，fb-nc麦克风)。在用户佩戴耳机300的状态下，fb-nc麦克风320-1设置在距用户鼓膜9的距离比音频输入单元320-2短并且比音频输入单元320-3长的位置。更具体地，fb-nc麦克风320-1设置在通过屏蔽物体收集噪声的位置，即，在用户佩戴耳机300的状态下经受无源隔音之后。此外，期望fb-nc麦克风320-1设置在用户的鼓膜9和驱动器310之间。本文的屏蔽物体是无源隔音元件，并且对应于壳体301、耳垫302和用户的头部。如图28所示，fb-nc麦克风320-1设置在内部空间30侧的壳体301的壁部301a上。然后，fb-nc麦克风320-1收集内部空间30的音频并生成音频信号。此时收集的音频包含无源隔音元件无源隔音后的噪声。fb-nc麦克风320-1对应于第一音频输入单元，并且由fb-nc麦克风320-1生成的音频信号也可以称为第一音频信号。由fb-nc麦克风320-1生成的音频信号输入到fb滤波器，并用于生成噪声消除信号。

音频输入单元320-2是为ff-nc执行声音获取的麦克风(即，ff-nc麦克风)。此外，在用户佩戴耳机300的状态下，ff-nc麦克风320-2设置在离用户鼓膜9的距离最长的位置。更具体地，ff-nc麦克风320-2设置在收集噪声而不穿过屏蔽物体的位置，即，在用户佩戴耳机300的状态下不经受无源隔音。如图28所示，ff-nc麦克风320-2设置在壳体301的外部空间31侧的壁部301b上。然后，ff-nc麦克风320-2收集外部空间31的音频并生成音频信号。此时收集的音频包含已经到达外部空间31的噪声。ff麦克风320-2对应于第二音频输入单元，由ff麦克风320-2生成的音频信号也可以称为第二音频信号。在此处，ff-nc麦克风320-2可以暴露于外部空间31，或者不必暴露于外部空间31。例如，ff-nc麦克风320-2可以嵌入在壳体301中，并且可以收集环绕声音或通过诸如布之类的盖子传输的声音。由ff-nc麦克风320-2生成的音频信号输入ff滤波器并用于生成噪声消除信号。

音频输入单元320-3是被设置成与壳体301间隔开的音频输入单元，并且是在用户佩戴耳机300的状态下设置在外耳道5的入口附近的麦克风(以下也称为外耳道麦克风)。外耳道麦克风320-3设置在用户佩戴耳机300的状态下距用户鼓膜9的距离最短的位置。外耳道麦克风320-3设置在用户佩戴耳机300的状态下通过屏蔽物体来收集噪声的位置。如图28所示，外耳道麦克风320-3设置在内部空间30中。在此处，外耳道麦克风320-3由保持单元303保持在用户外耳道5的入口附近。然后，外耳道麦克风320-3在无源隔音元件进行无源隔音之后收集噪声，并生成音频信号。外耳道麦克风320-3对应于第三音频输入单元，并且外耳道麦克风320-3生成的音频信号也可以称为第三音频信号。外耳道麦克风320-3生成的音频信号用于生成噪声消除信号。

保持单元303与外耳道5的入口附近(例如，耳屏间切迹)接合，并且将外耳道麦克风320-3保持在外耳道5的入口附近。外耳道麦克风320-3的外径形成为比耳孔的内径小得多。因此，即使在外耳道麦克风320-3被保持单元303保持在外耳道5的入口附近的状态下，收听者的耳孔也不会堵塞。

此外，保持单元303包括开口部304，即使在保持外耳道麦克风320-3的状态下，开口部304也将外耳道5的入口(耳孔)向外开放。外部是噪声无源隔音的空间，并且是内部空间30。在图28所示的示例中，保持单元303是环形结构，外耳道麦克风320-3设置在沿环形内方向设置的杆状第一支撑构件305在环中心附近结合的部分中，并且环形结构的所有其他部分是开口部304。杆状第一支撑构件305轻微弯曲，并且多个第一支撑构件305和保持单元303形成具有保持单元303作为分离平面的半球形形状。在用户佩戴耳机300的状态下，保持单元303邻接耳甲腔4的内壁或用户一只耳朵的外耳道5。然后，保持单元303将外耳道麦克风320-3保持在比耳屏6更靠近鼓膜9的空间中。保持单元303的这种配置与根据第一实施方式的保持单元130的配置相同。注意，保持单元303不限于环形结构，并且可以具有能够提供外耳道麦克风320-3的任意形状，只要提供中空结构即可。保持单元303的形状的示例在图30中示出。图30是示出根据本实施方式的耳机300的保持单元303的形状的示例的示图。如图30所示，保持单元303a具有环形结构，保持单元303b具有环形结构，从该环形结构切割并移除了一部分，并且保持单元303c具有分成三部分的环形结构。以这种方式，保持单元303的形状可以是环形结构或其类似类型。

第二支撑构件306是一端连接到壳体301而另一端连接到保持单元303的结构。如图28所示，第二支撑构件306可以是弯曲成s形的杆状结构。此外，可以设置多个第二支撑构件306。

注意，图28和29示出了耳机300的右耳侧的外部配置，左耳侧的外部配置与右耳侧的外部配置双边对称。耳机300可以被配置为在右耳侧和左耳侧之间彼此分离和独立，或者可以整体配置。此外，耳机300可以具有任意结构，例如，密封型、开放型、头顶型、颈带型和耳钩型。

<2.3.耳机的内部配置>

图31是示出根据本实施方式的耳机300的内部配置的示例的示图。如图31所示，耳机300包括音频输出单元310、音频输入单元320、控制单元330和传感器单元370。

音频输出单元310

音频输出单元310(驱动器)具有基于音频信号输出音频的功能。驱动器310基于从信号处理单元331输出的输出信号向空间输出音频。

音频输入单元320

音频输入单元320包括检测环境声音并生成指示麦克风检测结果的音频信号的麦克风(下文中也简称为麦克风)。

控制单元330

控制单元330用作算术处理装置和控制装置，并且根据各种程序控制耳机300执行的整个处理。控制单元330由电子电路实现，例如，中央处理单元(cpu)、微处理单元(mpu)、需求侧平台(dsp)等。注意，控制单元330可以包括存储要使用的程序、计算参数等的只读存储器(rom)以及临时存储适当改变的参数的随机存取存储器(ram)。通常，控制单元330存储在壳体301中。

如图31所示，控制单元330包括信号处理单元331和操作控制单元333。

信号处理单元331具有基于由音频输入单元320生成的音频信号生成针对噪声的噪声消除信号的功能。信号处理单元331基于由三个音频输入单元320-1至320-3生成的三个音频信号生成多个噪声消除信号。例如，信号处理单元331执行fb方案的噪声消除处理和ff方案的噪声消除处理中的至少一个，以生成多个噪声消除信号。信号处理单元331基于多个生成的噪声消除信号生成音频信号(以下也称为输出信号)，并将音频信号输出到驱动器110。例如，输出信号可以是通过合成多个噪声消除信号获得的信号，或者可以是通过合成另一音频信号获得的合成信号，例如，从声源获得的音乐信号和噪声消除信号。信号处理单元331包括将参考图32至37等描述的噪声消除处理的各种构成元件。例如，信号处理单元331包括：各种滤波器电路，其被配置为生成噪声消除信号；自适应控制单元，其被配置为自适应地控制滤波器电路；加法器，其被配置为合成信号；内部模型；装置，其被配置为生成和分析稍后将描述的测量信号；等。此外，信号处理单元331还包括诸如放大器、adc和dac等电路。

操作控制单元333

操作控制单元333具有控制耳机300的操作模式的功能。操作控制单元333停止或激活耳机300的一些或全部功能。例如，操作控制单元333基于传感器单元370获得的检测结果来控制耳机300的功能的停止/激活。

传感器单元370

传感器单元370是检测耳机300上的信息或戴耳机300的用户的信息的装置。传感器单元370可以包括各种传感器装置，例如，压敏传感器、陀螺仪传感器、加速度传感器和体温传感器。例如，传感器单元370通过压敏传感器检测构成耳机300的构件的变形，例如，耳垫302。结果，可以确定佩戴/不佩戴耳机300。

<2.4.噪声消除处理的细节>

(1)第一噪声消除处理

第一噪声消除处理包括使用外耳道麦克风320-3作为fb-nc的误差麦克风的过程。具体地，信号处理单元331基于由外耳道麦克风320-3生成的第三音频信号，使用外耳道麦克风320-3作为消除点，通过fb-nc生成第三噪声消除信号。由于外耳道麦克风320-3设置在鼓膜9附近，所以fb-nc的消除点可以被设置为靠近鼓膜9。即，满足上述第二准则。

此外，第一噪声消除处理包括使用fb-nc麦克风320-1作为fb-nc的误差麦克风的过程。具体地，信号处理单元331基于由fb-nc麦克风320-1生成的第一音频信号，使用fb-nc麦克风320-1作为消除点，通过fb-nc生成第一噪声消除信号。由于fb-nc麦克风320-1被设置成靠近驱动器310，所以上述由于距离引起的相位旋转减小。即，满足上述第一准则。

以这种方式，根据第一噪声消除处理可以同时满足第一准则和第二准则。因此，可以最小化靠近鼓膜位置的消除点处的声压，同时根据第一噪声消除处理抑制距离延迟。在下文中，将参考图32描述第一噪声消除处理的细节。

图32是示出根据本实施方式的使用耳机300的第一噪声消除处理的模型配置示例的示图。图32至37所示的方框中的符号具有如下含义。

h1：从驱动器310到fb-nc麦克风320-1的空间401的特性

h2：从fb-nc麦克风320-1到外耳道麦克风320-3的空间402的特性(更准确地说，从驱动器310到fb-nc麦克风320-1的空间和从驱动器310到外耳道麦克风320-3的空间之间的差异特性)

f1：从噪声源到fb-nc麦克风320-1的空间403的特性

f2：从噪声源到外耳道麦克风320-3的空间404的特性

m1：fb-nc麦克风320-1的特性

m2：ff-nc麦克风320-2的特性

m3：外耳道麦克风320-3的特性

a：放大器421的特性

d：驱动器310的特性

-α：ff滤波器414的特性

-β1：第一fb滤波器411的特性

-β2：第二fb滤波器412的特性

-β3：第三fb滤波器413的特性

h1'：空间401的模拟特性

h2'：空间402的模拟特性

m1'：fb-nc麦克风320-1的模拟特性

m3'：外耳道麦克风320-3的模拟特性

此外，n表示噪声，而p表示鼓膜位置处的声压。

首先，将描述与第一fb滤波器411相关的噪声消除处理。基于由fb-nc麦克风320-1收集的音频生成的音频信号输入到第一fb滤波器411。第一fb滤波器411基于输入音频信号使用fb-nc麦克风320-1作为消除点来执行fb方案的噪声消除处理，并且生成噪声消除信号(第一噪声消除信号)。加法器431将第一fb滤波器411生成的噪声消除信号与第二滤波器412和滤波器414生成的噪声消除信号合成。合成信号由放大器421放大，并从驱动器310输出。

接下来，将描述与ff滤波器414相关的噪声消除处理。基于由ff-nc麦克风320-2收集的音频生成的音频信号输入到ff滤波器414。ff滤波器414基于输入音频信号通过ff方案的噪声消除处理生成噪声消除信号(第二噪声消除信号)。加法器431将由滤波器414生成的噪声消除信号与由第一fb滤波器411和第二滤波器412生成的噪声消除信号合成。合成信号由放大器421放大，并从驱动器310输出。

最后，将描述与第二fb滤波器412相关的噪声消除处理。外耳道麦克风320-3收集音频并生成音频信号。加法器432从外耳道麦克风320-3生成的音频信号中减去通过将方框441、442、443和444中所示的内部模型(特性：d’、h1’、h2’和m3’)应用于输入到驱动器310的输出信号而获得的信号，以执行合成。本文的内部模型具有模拟从输出信号到驱动器310的输入到第三音频信号的生成的特性的特性。合成信号输入到第二fb滤波器412。第二fb滤波器412基于输入音频信号，使用外耳道麦克风320-3作为消除点来执行fb方案的噪声消除处理，并且生成噪声消除信号(第三噪声消除信号)。加法器431将第二滤波器412生成的噪声消除信号与第一fb滤波器411和ff滤波器414生成的噪声消除信号合成。合成信号由放大器421放大，并从驱动器310输出。

来自驱动器310的音频输出首先通过空间401，然后干扰已经通过空间405中的空间403的噪声n，以消除噪声n。未消除的噪声n由fb-nc麦克风320-1收集。此外，从驱动器310输出的音频进一步通过空间402，然后干扰已经通过空间406中的空间404的噪声n，以消除噪声n。未消除的噪声n由外耳道麦克风320-3收集，并作为鼓膜位置声压p传输到鼓膜。

已经在上面描述了第一噪声消除处理的细节。根据第一噪声消除处理，引入了内部模型。在下文中，将详细描述通过引入内部模型可以提高噪声消除性能这一事实。

首先，输入到驱动器310的输出信号被定义为y。然后，外耳道麦克风320-3的位置处的声压p由以下公式表示。

p＝nf2+ydh1h2(b2)

随后，如下获得计算输出信号y的公式。

{-β1h1(ydh1+nf1)-β2(ym3dh1h2-yd′m′3h′1h′2+nm3f2)-nh2α}a＝y(b3)

-β1am1dh1y-β1am1f1n-β2a(m3dh1h2-m′3d′h′1h′2)y-β2am3f2n-αam2n＝y(b4)

{1+β1am1dh1+β2a(m3dh1h2-m′3d′h′1h′2)}y＝-αam2n-β1am1f1n-β2am3f2n(b5)

如上所述，输出信号y表示为以下公式。

利用公式(b2)和(b6)，外耳道麦克风320-3位置处的灵敏度函数p由以下公式表示。

如果内部模型中包含的相应模拟特性相匹配，即如果m3＝m3’、d＝d’、h1＝h1’和h2＝h2’，则在公式(b7)中所示的灵敏度函数p的以下公式(b8)中所示的术语可以省略。

β2a(m3dh1h2-m′3d′h′1h′2)(b8)

另一方面，在公式(b7)所示的灵敏度函数p中，通过根据下面的公式(b10)设计作为可设计参数的β2，可以省略下面的公式(b9)所示的项。

-β1m1(h1h2f1-h1f2)+β2m′3d′h′1h＇2(b9)

当根据公式(b10)设计的β2放入公式(b9)中时，获得以下公式。

-β1m1(h1h2f1-h1f2)+β2m′3d′h′1h′2＝0(b11)

如上所述，当从公式(b7)中排除省略的项时，灵敏度函数p由以下公式表示。

从上述公式(b12)可以理解，灵敏度函数p可以通过最大化β1而最小化。即，可以理解，通过以小延迟最大化具有fb-nc麦克风320-1的系统的增益，可以最小化外耳道麦克风320-3更靠近鼓膜的位置处的灵敏度函数。如上所述，可以说，通过引入内部模型，可以消除外耳道麦克风320-3更靠近鼓膜的位置处的噪声。

(2)第二噪声消除处理

第二噪声消除处理是将外耳道麦克风320-3用于ff-nc的过程。作为第二噪声消除处理，外耳道麦克风320-3可以用作自适应ff-nc的误差麦克风，并且可以用于设置固定ff-nc滤波器。在下文中，将依次描述这些。

使用外耳道麦克风320-3作为误差麦克风的情况

外耳道麦克风320-3可以用作用于ff-nc中的自适应处理的误差麦克风。自适应处理是一种自适应地改变滤波器特性以最小化误差麦克风位置处的误差信号的方法。具体地，信号处理单元331基于由ff-nc麦克风320-2生成的第二音频信号，由ff-nc生成第二噪声消除信号。信号处理单元331基于外耳道麦克风320-3生成的第三音频信号自适应地控制用于该ff-nc的ff滤波器的滤波器特性。根据该方法，ff-nc的误差麦克风位置接近鼓膜9，因此，期望高噪声消除效果。将参考图33描述当外耳道麦克风320-3用作误差麦克风时的第二噪声消除处理的细节。

图33是示出根据本实施方式的使用耳机300的第二噪声消除处理的模型配置示例的示图。由于与第一fb滤波器411相关的噪声消除处理与上面参考图32描述的相同，因此此处省略其描述。

在下文中，将描述与ff滤波器414相关的噪声消除处理。基于由ff-nc麦克风320-2收集的音频生成的音频信号输入到ff滤波器414。基于由ff-nc麦克风320-2收集的音频生成的音频信号和基于由外耳道麦克风320-3收集的音频生成的音频信号输入到自适应控制单元415。然后，自适应控制单元415基于这些音频信号自适应地控制ff滤波器414的特性-α。在自适应控制单元415的自适应控制下，ff滤波器414基于输入音频信号，通过ff方案的噪声消除处理生成噪声消除信号(第二噪声消除信号)。加法器431将由ff滤波器414生成的噪声消除信号与由第一fb滤波器411生成的噪声消除信号合成。合成信号由放大器421放大，并从驱动器310输出。

已经在上面详细描述外耳道麦克风320-3用作误差麦克风的情况。作为自适应控制单元415的算法，例如，可以使用最小均方(lms)或x滤波的lms。存在这样的情况，即希望使用从辅助声源到误差麦克风的特性(也称为辅助路径或辅助路径特性)来由自适应控制单元415进行控制，以便提高噪声消除性能。图33所示的模型配置示例中的辅助路径特性对应于adh1h2，其是从驱动器310到外耳道麦克风320-3的特性。

当用户佩戴耳机时，可以使用测量信号来测量辅助路径特性，或者可以使用预先测量的一般测量值。在下文中，将参考图34描述使用测量信号测量辅助路径特性的信号处理。

图34是示出根据本实施方式的使用耳机300的辅助路径特性测量过程的模型配置示例的示图。在图34所示的模型配置示例中，测量信号生成单元451和测量信号分析单元452添加到图33所示的模型配置示例中。此外，第一fb滤波器411和ff滤波器414都关闭并停止操作。在下文中，将详细描述测量信号生成单元451和测量信号分析单元452。

测量信号生成单元451生成测量信号。作为测量信号，例如，可以使用任意序列，例如，时间扩展脉冲(tsp)信号、白噪声和m序列信号。由测量信号生成单元451生成的测量信号被放大器421放大，输入到驱动器310，并作为音频输出。来自驱动器310的音频输出由外耳道麦克风320-3经由空间401和402收集。然后，由外耳道麦克风320-3生成的音频信号输入到测量信号分析单元452。如上所述，通过对测量信号应用特性adh1h2m3而获得输入到测量信号分析单元452的音频信号。测量信号分析单元452基于由测量信号生成单元451生成的测量信号、由外耳道麦克风320-3获得的音频信号和已知的m3来计算辅助路径特性adh1h2。

以这种方式，可以测量辅助路径特性adh1h2。自适应控制单元415可以通过基于通过上述处理预先测量的辅助路径特性控制ff滤波器的特性-α，来提高噪声消除性能。

在此处，由于外耳道5的特性和物理特性，例如，耳廓2的形状，h1和h2的特性对于每个用户是不同的。因此，当使用固定滤波器时，期望基于使用测量信号测量的个人用户的辅助路径特性adh1h2来校正滤波器特性。在下文中，将详细描述这一点。

使用外耳道麦克风320-3校正固定滤波器的情况

外耳道麦克风320-3可用于校正nc的固定滤波器。具体地，信号处理单元331通过使用测量信号生成单元451和测量信号分析单元452的上述测量过程来测量辅助路径特性adh1h2。然后，信号处理单元331校正固定滤波器的特性(即，滤波器系数)，以基于测量的辅助路径特性adh1h2生成噪声消除信号。基于一般辅助路径特性来设计固定滤波器特性，并且可以通过基于为佩戴耳机300的用户测量的辅助路径特性来校正滤波器特性来吸收用户之间的个体差异。结果，可以提高噪声消除性能。要校正的固定滤波器可以是ff滤波器或fb滤波器。在下文中，将描述要校正的固定滤波器是图34中示出的ff滤波器414的示例。

预先测量的一般辅助路径特性被定义为adh1commonh2common。此外，包括诸如外耳道5的特性和耳廓2的形状等物理特性所引起的影响的个人用户的辅助路径特性被定义为adh1personalh2personlal。

个人用户的一般辅助路径特性adh1commonh2common和辅助路径特性adh1personalh2personlal之间的差异特性定义为δh。如下定义δh。

ff-nc的设计是为了将鼓膜位置的声压最小化，以获得泄漏信号。即，ff滤波器的特性α被设计成满足以下表达式。

-nm2αadh1h2+nf2＝0(b13)

ff-nc的固定滤波器是基于一般辅助路径特性dh1commonh2common而设计的。即，ff滤波器的特性α被固定地设计为如下公式。

当使用基于一般辅助路径特性dh1commonh2common设计的固定滤波器时，通过将由公式(b14)获得的滤波器特性放入公式(b13)中，由物理特性的个体差异引起的ff-nc残差被表示为以下公式。

在此处，如果个人用户的一般辅助路径特性和辅助路径特性pf相同，即，如果adh1personalh2personlal＝adh1commonh2common，则鼓膜位置处的声压最小化。然而，在许多情况下，个人用户的一般下一路径特性和辅助路径特性之间存在差异。因此，信号处理单元331可以通过将固定滤波器的滤波器特性乘以δh，作为校正特性，来个性化滤波器特性并吸收个体差异。通过将固定滤波器的滤波器特性乘以校正特性δh而获得的滤波器特性由以下公式表示。

如公式(b16)所示，信号处理单元331可以通过将ff-nc的固定滤波器乘以校正特性来吸收用户的个体差异。因此，与照原样使用基于一般辅助路径特性设计的固定滤波器的情况相比，可以提高噪声消除性能。

(3)第三噪声消除处理

第三噪声消除处理是将上面参考图32描述的第一噪声消除处理和上面参考图33描述的第二噪声消除处理组合的过程。即，第三噪声消除处理是通过第二fb滤波器412使用外耳道麦克风320-3作为fb-nc的误差麦克风以及通过ff滤波器414作为ff-nc的自适应控制的误差麦克风的过程。在第三噪声消除处理中，实现了第一噪声消除处理和第二噪声消除处理的效果，因此，期望比任何一个都更高的噪声消除效果。在下文中，将参考图35描述第三噪声消除处理的细节。

图35是示出根据本实施方式的使用耳机300的第三噪声消除处理的模型配置示例的示图。如图35所示，外耳道麦克风320-3收集音频并生成音频信号。音频信号经由加法器432输入到第二滤波器412，并且还输入到自适应控制单元415。以这种方式，外耳道麦克风320-3用作误差麦克风，用于由ff滤波器414自适应控制ff-nc，同时由第二ff滤波器412用作ff-nc的误差麦克风。详细的信号处理与上面参考图32和33描述的相同，因此，此处省略其描述。

注意，当ff滤波器414被设计为固定滤波器时，外耳道麦克风320-3可以用于校正固定滤波器的滤波器特性。即，外耳道麦克风320-3可以用于辅助路径特性测量过程，并且基于测量结果的校正特性可以应用于固定滤波器。结果，可以吸收辅助路径特性中的个体差异，并且可以提高噪声消除性能。

(4)第四噪声消除处理

第四噪声消除处理是使用外耳道麦克风320-3执行内部模型控制(imc)类型的fb-nc的处理。与ff-nc相似，imc类型fb-nc是一种通过最小化灵敏度函数的分子(即，上述公式(a3)中与噪声相关的系数的分子)来最大化噪声消除效果的方法。在下文中，imc类型fb-nc将称为imc-fb，以区别于使用特性β使上述公式(1)的分母最大化的fb-nc。在第四噪声消除处理中，信号处理单元331基于由fb-nc麦克风320-1生成的第一音频信号，由imc-fb生成第四噪声消除信号。信号处理单元331基于由外耳道麦克风320-3生成的第三音频信号自适应地控制用于该imc-fb的fb滤波器413的滤波器特性。根据该方法，imc-fb的误差麦克风位置接近鼓膜9，因此，期望高噪声消除效果。在下文中，将参考图36描述第四噪声消除处理的细节。

图36是示出使用根据本实施方式的耳机300的第四噪声消除处理的模型配置示例的示图。图36所示的模型配置示例与图33所示的模型配置示例的不同之处在于，具有第三fb滤波器413，而不是第一fb滤波器411，并且具有自适应控制第三fb滤波器413的自适应控制单元416。由于与ff滤波器414相关的噪声消除处理与上面参考图33描述的相同，因此此处省略其详细描述。在下文中，将详细描述与第三fb滤波器413相关的噪声消除处理(imc-fb)。

fb-nc麦克风320-1收集音频并生成音频信号。加法器433从由fb-nc麦克风320-1生成的音频信号中减去通过将方框441、442和445中所示的内部模型(：特性d’、h1’和m1’)应用于输入到驱动器310的输出信号而获得的信号，以执行合成。这些内部模型具有以下特性：模拟从输出信号被输入到驱动器310到生成第一音频信号的特性。合成信号输入到第三fb滤波器413，并输入到自适应控制单元416。另一方面，基于外耳道麦克风320-3收集的音频生成的音频信号也输入到自适应控制单元416。自适应控制单元416基于这些输入音频信号自适应地控制第三fb滤波器413的特性β3。在自适应控制单元416的自适应控制下，第三fb滤波器413通过基于输入音频信号的fb方案的噪声消除处理生成噪声消除信号。加法器431将由第三fb滤波器413生成的噪声消除信号与由ff滤波器414生成的噪声消除信号组合。合成信号由放大器421放大，并从驱动器310输出。

注意，当第三fb滤波器413被设计为固定滤波器时，外耳道麦克风320-3可以用于校正固定滤波器的滤波器特性。即，外耳道麦克风320-3可以用于辅助路径特性测量过程，并且基于测量结果的校正特性可以应用于固定滤波器。结果，可以吸收辅助路径特性中的个体差异，并且可以提高噪声消除性能。

(5)第五噪声消除处理

第五噪声消除处理是将上面参考图32描述的第一噪声消除处理和上面参考图36描述的第四噪声消除处理组合的处理。即，第五噪声消除处理是使用外耳道麦克风320-3作为以下三种类型的误差麦克风的处理。首先，外耳道麦克风320-3用作误差麦克风，用于由自适应控制单元415对ff-nc进行自适应控制。其次，外耳道麦克风320-3被第二fb滤波器412用作fb-nc的误差麦克风。第三，外耳道麦克风320-3用作误差麦克风，用于由自适应控制单元416对imc-fb进行自适应控制。在第五噪声消除处理中，实现了第一噪声消除处理和第四噪声消除处理的效果，因此，预期比任何一个都要高得多的噪声消除效果。在下文中，将参考图37描述第五噪声消除处理的细节。

图37是示出根据本实施方式的使用耳机300的第五噪声消除处理的模型配置示例的示图。如图37所示，外耳道麦克风320-3收集音频并生成音频信号。该音频信号经由加法器432输入到第二fb滤波器412，输入到自适应控制单元415，并输入到自适应控制单元416。以这种方式，外耳道麦克风320-3用作上述三种类型的误差麦克风。详细的信号处理与上面参考图32和36描述的相同，因此，此处省略其描述。

(6)补充

尽管基于根据本实施方式的耳机300包括三个音频输入单元320的假设给出以上描述，但是本实施方式不限于这样的示例。耳机300不一定在三个音频输入单元320中具有fb-nc麦克风320-1或ff-nc麦克风320-2。当耳机300不具有ff-nc麦克风320-2时，从上述第一至第五噪声消除处理中省略使用ff滤波器414的噪声消除处理。当耳机300不具有fb-nc麦克风320-1时，从上述第一至第五噪声消除处理中省略使用第一fb滤波器411和第三fb滤波器413的噪声消除处理。在任一情况下，至少误差麦克风的位置靠近鼓膜9，因此，期望高噪声消除效果。

<2.5.耳机300的结构的细节>

在下文中，将详细描述根据本实施方式的耳机300的结构。

(1)音频输入单元的设置

首先，将参考图38和39描述耳机300中包括的音频输入单元320的设置。

图38是用于描述根据本实施方式的耳机300的配置示例的示图。图38示出了用户佩戴耳机300的状态下的配置。如图38所示，耳机300包括壳体301和耳垫302。壳体301设置有驱动器310、fb-nc麦克风320-1和ff-nc麦克风320-2。此外，外耳道麦克风320-3设置在远离壳体301的位置，如图38所示。这些构成元件中的每一个的配置与上面参考图28等描述的相同。

如上所述，耳机300不一定包括fb-nc麦克风320-1或ff-nc麦克风320-2。图39示出了耳机300a的配置示例，耳机300a不包括ff-nc麦克风320-2，而是包括fb-nc麦克风320-1和外耳道麦克风320-3。图40示出了耳机300b的配置的示例，耳机300b不具有fb-nc麦克风320-1，而是具有ff-nc麦克风320-2和外耳道麦克风320-3。

(2)保持单元的形状

在下文中，将参考图41至46描述保持单元303的形状的变化。

图41是示出根据本实施方式的耳机300的保持单元303的配置示例的示图。如图41所示，保持单元303可以是形成圆形的环形结构。外耳道麦克风320-3设置在杆状第一支撑构件305的远端，杆状第一支撑构件305设置在保持单元303的环形内方向上，并且环形结构的所有其他部分是开口部304。

图42是示出根据本实施方式的耳机300的保持单元303的配置示例的示图。如图42所示，保持单元303可以是形成椭圆的环形结构。外耳道麦克风320-3设置在杆状第一支撑构件305的远端，杆状第一支撑构件305设置在保持单元303的环形内方向上，并且环形结构的所有其他部分是开口部304。

图43是示出根据本实施方式的耳机300的保持单元303的配置示例的示图。如图43所示，保持单元303可以是三角形的每一侧由杆状结构形成的结构。外耳道麦克风320-3设置在杆状第一支撑构件305的远端，杆状第一支撑构件305设置在保持单元303的三角形内方向上，并且三角形结构的所有其他部分是开口部304。

图44是示出根据本实施方式的耳机300的保持单元303的配置示例的示图。如图44所示，保持单元303可以是这样的结构，其中，连接使用形成圆形的环形结构配置的保持单元303a和使用形成椭圆形的环形结构配置的保持单元303b。外耳道麦克风320-3设置在杆状第一支撑构件305的远端，杆状第一支撑构件305设置在保持单元303a的环形内方向上，并且环形结构的所有其他部分是开口部304。

在图41至44所示的示例中，保持单元303具有开口部304。另一方面，保持单元303不必具有如图45和46所示的开口部304。

图45是示出根据本实施方式的耳机300的保持单元303的配置示例的示图。如图45所示，保持单元303可以是形成圆形的海绵状结构。外耳道麦克风320-3设置在保持单元303的中心。

图46是示出根据本实施方式的耳机300的保持单元303的配置示例的示图。如图46所示，保持单元303可以是伞状结构，其在外耳道5的插入方向(x轴负方向)上具有窄外径，在相反侧(x轴正方向)上具有宽外径。外耳道麦克风320-3设置在保持单元303的中心。

上面已经描述了保持单元303的形状的示例。注意，可以使用诸如橡胶、硅和海绵等弹性体形成保持单元303。

期望外耳道麦克风320-3设置在与麦克风141相同的位置，已经在第一实施方式中参考图6等描述了该麦克风141。即，期望外耳道麦克风320-3设置在耳甲腔4和外耳道5的边界19到鼓膜9侧的15mm的空间中，或者设置在耳甲腔4和外耳道5的边界19到鼓膜9的相反侧的15mm的空间中。换言之，在用户佩戴耳机300的状态下，希望保持单元303将外耳道麦克风320-3保持在距鼓膜9侧的耳甲腔4和外耳道5的边界1915mm的空间中，或者保持在距鼓膜9的相反侧的耳甲腔4和外耳道5的边界1915mm的空间中。在此处，随着外耳道麦克风320-3接近鼓膜9，外耳道麦克风320-3的位置处的频率特性和鼓膜9的位置处的频率特性之间的差异减小。因此，更希望外耳道麦克风320-3的位置更靠近鼓膜9。在这点上，如果距离鼓膜9的相反侧的边界19的空间是15mm，则频率特性之间的上述差异可以落在允许的范围内，并且可以确保预定的噪声消除性能。此外，当外耳道麦克风320-3设置在从边界19到鼓膜9侧的15mm范围内时，与麦克风141设置在鼓膜9的与边界19相反侧的空间中的情况相比，麦克风141的位置可以更靠近鼓膜9。此外，至少可以防止麦克风141接触鼓膜9并损坏鼓膜9，并且可以确保安全性。

(3)有线连接单元

接下来，将参考图47至49描述壳体301和外耳道麦克风320-3之间的连接。

图47是示出根据本实施方式的耳机300的配置示例的示图。图48是示出从另一角度观察的图47所示的耳机300的配置的示图。在图47所示的示例中，耳机300包括有线连接单元340。有线连接单元340以有线方式连接壳体301和外耳道麦克风320-3。更具体地，有线连接单元340以有线方式连接存储在壳体301中的信号处理单元331和外耳道麦克风320-3。使用能够传输信号的构件形成有线连接单元340，例如，电线和光纤。

此外，耳机300包括缠绕有线连接单元340的缠绕单元341。例如，缠绕单元341包括：缠绕芯部，有线连接单元340缠绕在该缠绕芯部周围；支撑部分，其可旋转地支撑缠绕芯部；以及驱动单元，其在缠绕有线连接单元340的方向上旋转缠绕芯部。驱动单元包括弹簧、马达等，并且驱动从缠绕芯部发送出的有线连接单元340，以便缠绕在缠绕芯部周围。结果，可以防止有线连接单元340过多地留在内部空间30中。因此，防止了有线连接单元340缠结。此外，当用户佩戴耳机300时，可以防止有线连接单元340夹在耳垫302和用户头部之间。

缠绕单元341可以包括根据用户改变有线连接单元340的缠绕量的止动机构、控制驱动单元的旋转的装置等。尽管最佳缠绕量可以根据用户耳朵的大小等而变化，但是这种配置可以优化缠绕量。

有线连接单元340从缠绕单元341自由地送出。用户可以在佩戴保持单元303之后，通过在佩戴耳机300之前拉出有线连接单元340，在将有线连接单元340缠绕在缠绕单元341周围的同时佩戴耳机300。

图49是示出根据本实施方式的耳机300的配置示例的示图。如图49所示，壳体301可以包括凹槽342，凹槽342可以容纳内部空间30侧上的保持单元303和外耳道麦克风320-3的至少一部分。凹槽342形成在壳体301的内部空间30侧的壁部301a中。例如，凹槽342具有形状与保持单元303和外耳道麦克风320-3的形状相匹配的凹槽，并且保持单元303和外耳道麦克风320-3以非佩戴状态容纳在凹槽中。注意，凹槽342可以设置在耳垫302中。

(4)第二支撑构件

耳机300可以包括如上参考图28等所述的第二支撑构件306。在下文中，将参考图50至62描述第二支撑构件306的配置。

图50是示出根据本实施方式的耳机300的配置示例的示图。图51至53是示出了从其他角度观察的图50中示出的耳机300的配置的示图。在图50所示的示例中，耳机300包括第二支撑构件306，其一端306a连接到壳体301，另一端306b连接到保持单元303。如图50所示，第二支撑构件306可以是弯曲成s形的杆状结构。第二支撑构件306使用诸如硅和橡胶等弹性体形成，以便从壳体301突出到用户的耳朵侧。结果，当用户佩戴耳机300时，第二支撑构件306将保持单元303固定成在用户外耳道5的入口附近轻轻按压，同时遵循用户耳朵的形状和尺寸以及用户头部的尺寸。此外，第二支撑构件306可以使用热塑性树脂形成，并且在这种情况下，可以防止保持单元303过度压靠在用户的耳朵上。

图54是示出当未佩戴图50中示出的耳机300时的配置的示图。如图54所示，保持单元303向外突出超过耳垫302和用户头部之间的接触表面302a。结果，当用户佩戴耳机300时，第二支撑构件306弹性变形，并且保持单元303由弹性变形引起的应力压靠在用户的耳朵上。保持单元303伸出接触表面302a的长度理想地为30mm或更小。结果，可以防止保持单元303过度压靠在用户的耳朵上。此外，可以防止保持单元303过度插入用户外耳道5。

图55是示出根据本实施方式的耳机300的配置示例的示图。在图55所示的示例中，有线连接单元340存储在第二支撑构件306内部。在这种情况下，有线连接单元340不暴露在内部空间30中，因此，省去了从缠绕单元341拉出或缠绕有线连接单元340的时间和麻烦，从而提高了用户的便利性。

图56是示出根据本实施方式的耳机300的配置示例的示图。图57至59是示出了从其他角度观察的图56所示的耳机300的配置的示图。在图56所示的示例中，耳机300包括多个第二支撑构件306a至306c。第二支撑构件306a至306c的一端306a至306ca在不同位置连接至壳体301。第二支撑构件306a至306c的另一端306ab至306cb在不同位置连接至保持单元303。利用这种配置，每次佩戴耳机300时，外耳道麦克风320-3和驱动器310之间的相对位置关系几乎不变。因为相对位置关系是恒定的，所以不必在每次佩戴耳机300时更新噪声消除滤波器，或者可以抑制更新量。此外，这种配置使得外耳道麦克风320-3在佩戴耳机300期间难以从耳孔中移位。结果，可以稳定耳机300佩戴期间的噪声消除处理。

图60是示出根据本实施方式的耳机300的配置示例的示图。图61是示出从另一角度观察的图60所示的耳机300的配置的示图。在图60所示的示例中，第二支撑构件306具有链接结构。具体地，第二支撑构件306包括连杆350a和350b以及可移动地连接连杆350a和350b的接合部分351。连杆350可以使用弹性体形成，或者可以使用弹塑性体或塑料体(例如，塑料、金属和木材)形成。第二支撑构件306可以具有一个自由度或多个自由度。例如，第二支撑构件306可以具有三个或更多连杆350。此外，接合部分351可以是连接相应连杆350以便能够以一个自由度旋转的销，或者可以是以两个或更多自由度连接相应连杆350的球和球窝。由于使用了具有高度自由度的连杆结构的第二支撑构件306，所以保持单元303可以适合于具有各种耳朵形状的用户。

此外，连杆350a和350b中的每一个都由约束构件352连接，并且当参考图60时，可移动范围限制在预定范围内。例如，约束构件352使用弹性体(例如，橡胶和弹簧)形成。约束构件352可以通过将连杆350的可移动范围限制到预定范围来限制保持单元303和外耳道麦克风320-3面向预定范围的方向。例如，约束构件352可以限制保持单元303和外耳道麦克风320-3面向用户耳朵方向的方向。

此外，第二支撑构件306可以具有滑动机构。当参考图61时，第二支撑构件306的一端306a连接到在壳体301的壁部301a上滑动的滑动构件353。滑动构件353与设置在内部空间30的壁部301a上的轨道354接合并滑动。轨道354例如是槽形结构，并且形成为部分包围驱动器310。由于第二支撑构件306具有滑动机构，保持单元303和外耳道麦克风320-3的可移动范围变宽，因此，保持单元303可以适合于具有各种耳朵形状的用户。

注意，如图61所示，保持单元303和外耳道麦克风320-3的可移动范围在平行于接触表面302a的平面内，在用户头部的纵向方向(基本上是y轴方向)上理想地限制为40mm或更小，在用户头部的垂直方向(基本上是z轴方向)上为70mm或更小。这种限制通过例如连杆350的长度、接合部分351的可移动范围、轨道354的设置等来实现。由于可移动范围的限制，保持单元303和外耳道麦克风320-3的可移动范围可以限制到能够适合用户耳朵的范围。

图62和63是示出根据本实施方式的耳机300的配置示例的示图。在图62所示的示例中，耳机300包括具有链接结构的第二支撑构件306a和306b。在图63所示的示例中，耳机300包括具有链接结构的第二支撑构件306a、306b和306c。第二支撑构件306a连接到在轨道354a上滑动的滑动构件353a。第二支撑构件306b连接到在轨道354b上滑动的滑动构件353b。第二支撑构件306c连接到在轨道354c上滑动的滑动构件353c。如上所述，耳机300可以包括具有链接结构的多个第二支撑构件306。利用这种配置，每次佩戴耳机300时，外耳道麦克风320-3和驱动器310之间的相对位置关系几乎不变。因为相对位置关系是恒定的，所以不必在每次佩戴耳机300时更新噪声消除滤波器，或者可以抑制更新量。此外，这种配置使得外耳道麦克风320-3在戴耳机300期间难以从耳孔中移位。结果，可以稳定耳机300佩戴期间的噪声消除处理的效果。

图64是示出根据本实施方式的耳机300的配置示例的示图。在图64所示的示例中，耳机300包括姿态控制装置360，姿态控制装置360控制第二支撑构件306的姿态。姿态控制装置360包括操作体361、连杆362和接合部分363。连杆362设置成穿过从内部空间30到外部空间31穿过壳体301的通孔。突出到内部空间30中的连杆362的一端通过接合部分363可移动地连接到第二支撑构件306。连杆362在外部空间31侧的另一端连接到操作体361。操作体361至少部分暴露于外部空间31，并且可移动地设置。当操作体361移动时，该移动经由连杆362和接合部分363传输到第二支撑构件306。用户可以通过夹紧操作体361并在三个轴向方向上移动操作体361来移动或变形第二支撑构件306的姿态。因此，用户可以在佩戴耳机300的同时移动第二支撑构件306，即，不用将手放入内部空间30。此外，即使在佩戴或移除耳机300时保持单元303、外耳道麦克风320-3或第二支撑构件306卡在耳朵上，用户也可以通过操作姿态控制装置360容易地解决卡在耳朵上的问题。因此，可以防止损坏用户抓住的构件，或者可以防止用户受伤。姿态控制装置360可以包括诸如马达等电源，并且可以使用这种电源来控制第二支撑构件306的姿态。例如，当检测佩戴或移除耳机300时，姿态控制装置360自动控制第二支撑构件306的姿态。

<2.6.响应于佩戴/不佩戴耳机300的控制>

操作控制单元333确定佩戴/不佩戴耳机300。

例如，在图49所示的示例中，操作控制单元333基于保持单元303和外耳道麦克风320-3是否容纳在凹槽342中来确定佩戴/不佩戴耳机300。例如，当保持单元303和外耳道麦克风320-3没有容纳在凹槽342中时，操作控制单元333确定佩戴耳机300。此外，当保持单元303和外耳道麦克风320-3容纳在凹槽342中时，操作控制单元333确定没有佩戴耳机300。注意，检测保持单元303和外耳道麦克风320-3是否容纳在凹槽342中的传感器或开关可以设置在凹槽342或缠绕单元341中。

此外，操作控制单元333可以基于在图50所示的示例中是否检测到第二支撑构件306的变形来确定佩戴/不佩戴耳机300。此外，在图64所示的示例中，操作控制单元333可以基于是否已经有用户对姿态控制装置360的操作输入、是否已经检测到耳垫302的变形等来确定佩戴/不佩戴耳机300。

然后，操作控制单元333基于耳机300的佩戴/不佩戴的确定结果来控制耳机300的操作。例如，当确定佩戴耳机300时，操作控制单元333可以使得信号处理单元331开始生成噪声消除信号。此外，当确定佩戴耳机300时，操作控制单元333可以使得驱动器310开始输出输出信号。结果，当用户佩戴耳机300时，耳孔开放装置100的操作自动开始，从而减轻了用户的操作负担。另外，当确定没有佩戴耳机300时，操作控制单元333可以停止噪声消除信号的生成和输出信号的输出。结果，耳机300的操作在非佩戴状态下自动停止或部分停止，从而可以防止浪费的功耗。

<2.7.概述>

上面已经详细描述了第二实施方式。如上所述，根据第二实施方式的耳机300包括fb-nc麦克风320-1、ff-nc麦克风320-2和外耳道麦克风320-3，并且基于这些麦克风生成的音频信号执行噪声消除处理。当外耳道麦克风320-3用作fb-nc的误差麦克风时，fb-nc的消除点靠近鼓膜9，因此，期望高噪声消除效果。此外，当fb-nc麦克风320-1一起用作fb-nc的误差麦克风时，可以满足第一和第二准则。即，可以最小化靠近鼓膜位置的消除点处的声压，同时抑制距离延迟。

此外，外耳道麦克风320-3可用作用于ff-nc或imc-fb中自适应处理的误差麦克风。在任一情况下，误差麦克风设置在鼓膜9附近，因此，期望提高噪声消除性能。

此外，外耳道麦克风320-3可用于测量过程，以计算固定滤波器的校正特性。在这种情况下，由于可以吸收由佩戴耳机300的用户的物理特性引起的个体差异，所以与使用固定滤波器原样执行噪声消除处理的情况相比，可以提高噪声消除性能。

<<3.第三实施方式>>

第三实施方式是通过第一音频处理装置和第二音频处理装置的协作来实现第二实施方式中描述的噪声消除处理的模式。例如，第一音频处理装置可以是耳机，例如，第一实施方式中描述的耳孔开放装置100。此外，第二音频处理装置可以是下面将要描述的耳机500。注意，彼此协作的两个音频处理装置不限于耳机和头戴式耳机的组合，只要能够以彼此部分或完全重叠的状态佩戴装置即可。

<3.1.耳孔开放装置的基本配置>

首先，将参考图65和66描述根据本实施方式的耳孔开放装置100的基本配置。

图65是示出根据本实施方式的耳孔开放装置100的内部配置的示例的示图。如图65所示，耳孔开放装置100包括音频输出单元110、音频信息获取单元140、控制单元150、传感器单元160和无线通信单元170。

音频输出单元110的配置与上述第一实施方式中的相同。

音频信息获取单元140的配置与上述第一实施方式中的相同。

控制单元150包括上述第一实施方式中的信号处理单元151和操作控制单元153，并且包括通信控制单元157，代替认证单元155。信号处理单元151和操作控制单元153的配置与上述第一实施方式中的相同。通信控制单元157具有控制由无线通信单元170执行的无线通信处理的功能。具体地，通信控制单元157控制通信伙伴选择和通信数据传输/接收处理。根据本实施方式的控制单元150可以包括认证单元155。

传感器单元160是检测关于耳孔开放装置100的信息、关于佩戴耳孔开放装置100的用户的信息、或者关于佩戴成覆盖耳孔开放装置100的耳机500的信息的装置。传感器单元160可以包括各种传感器装置，例如，压敏传感器、陀螺仪传感器、加速度传感器和体温传感器。此外，传感器单元160可以包括磁传感器。此外，传感器单元160可以包括rfid装置，例如，射频识别(rfid)标签和读取器。

无线通信单元170是用于耳孔开放装置100和耳机500之间的无线通信的接口。无线通信单元170可以通过任意方案来执行无线通信。例如，无线通信单元170可以通过光通信来执行无线通信。光通信可以实现超低延迟。此外，无线通信单元170可以使用类似于无线电广播的模拟方法来执行无线通信，例如，频率调制(fm)和幅度调制(am)。这些模拟方法也可以实现低延迟。此外，无线通信单元170可以执行符合wi-fi(注册商标)、蓝牙(注册商标)或所谓的2.4ghz频带无线通信标准，例如，ble(蓝牙低能(注册商标))的无线通信。此外，无线通信单元170可以通过使用磁共振的方法，例如，近场磁感应(nfmi)，来执行无线通信。当然，通信方案、频带和调制方案不限于上述示例。

上面已经描述了耳孔开放装置100的内部配置。接下来，将参考图66描述耳孔开放装置100的外部配置和基本内部处理。

图66是用于描述根据本实施方式的耳孔开放装置100的轮廓的示图。图66上部的附图示出了耳孔开放装置100的外部配置。如图66的上部所示，耳孔开放装置100具有与上述第一实施方式中相同的外部配置。将在假设麦克风141用作音频信息获取单元140的情况下描述本实施方式，但是鼓膜声压获取单元142可以用作音频信息获取单元140。

图66的下部示出了当耳孔开放装置100单独操作时的内部处理的轮廓。麦克风141生成的音频信号输入到fb滤波器601。fb滤波器601基于输入音频信号执行fb方案的噪声消除处理，以生成噪声消除信号，并将噪声消除信号输出到驱动器110。驱动器110基于输入噪声消除信号输出音频。以这种方式，执行使用麦克风141作为消除点的fb方案的噪声消除处理。

详细的信号处理与上面参考图8描述的相同。fb滤波器601对应于第一fb滤波器201。具体地，fb滤波器601使用麦克风141作为消除点来执行fb方案的噪声消除处理。

<3.2.耳机500的基本配置>

随后，将参考图67和68描述根据本实施方式的耳机500的基本配置。

图67是示出根据本实施方式的耳机500的内部配置的示例的示图。如图67所示，耳机500包括音频输出单元510、音频输入单元520、控制单元530、传感器单元540和无线通信单元550。

音频输出单元510

音频输出单元510(驱动器)具有基于音频信号输出音频的功能。例如，驱动器510基于从信号处理单元531输出的输出信号向空间输出音频。

音频输入单元520

音频输入单元520包括检测环境声音并生成指示麦克风检测结果的音频信号的麦克风(下文中也简称为麦克风)。

控制单元530

控制单元530用作算术处理装置和控制装置，并且根据各种程序控制耳机500执行的整个处理。控制单元530由电子电路实现，例如，中央处理单元(cpu)、微处理单元(mpu)、需求侧平台(dsp)等。注意，控制单元530可以包括存储要使用的程序、计算参数等的只读存储器(rom)以及临时存储适当改变的参数的随机存取存储器(ram)。通常，控制单元530存储在壳体中。

如图67所示，控制单元530包括信号处理单元531、操作控制单元533和通信控制单元535。

信号处理单元531具有基于由音频输入单元520生成的音频信号和由无线通信单元550从耳孔开放装置100接收的音频信号生成噪声消除信号的功能。信号处理单元531可以生成多个噪声消除信号。例如，信号处理单元531执行fb方案的噪声消除处理和ff方案的噪声消除处理中的至少一个，以生成多个噪声消除信号。信号处理单元531基于多个生成的噪声消除信号生成音频信号(以下也称为输出信号)，并将音频信号输出到驱动器510。例如，输出信号可以是通过合成多个噪声消除信号而获得的信号，或者可以是通过合成另一音频信号(例如，从声源获得的音乐信号)和噪声消除信号而获得的合成信号。信号处理单元531包括将参考图68至74等描述的噪声消除处理的各种构成元件。例如，信号处理单元531包括：各种滤波器电路，其被配置为生成噪声消除信号；自适应控制单元，其被配置为自适应地控制滤波器电路；加法器，其被配置为合成信号；等。此外，信号处理单元531还包括诸如放大器、adc和dac等电路。

操作控制单元533具有控制耳机500的操作模式的功能。操作控制单元533停止或激活耳机500的一些或全部功能。例如，操作控制单元533基于传感器单元540获得的检测结果来控制耳机500的功能的停止/激活。

传感器单元540

传感器单元540是检测关于耳机500的信息、关于佩戴耳机500的用户的信息或者关于佩戴成覆盖耳机500的耳孔开放装置100的信息的装置。传感器单元540可以包括各种传感器装置，例如，压敏传感器、陀螺仪传感器、加速度传感器和体温传感器。此外，传感器单元540可以包括磁传感器或rfid装置，例如，射频识别(rfid)标签和读取器。

无线通信单元550

无线通信单元550是耳机500和耳孔开放装置100之间的无线通信接口。无线通信单元550可以通过任意方案来执行无线通信。例如，无线通信单元550可以通过光通信来执行无线通信。光通信可以实现超低延迟。此外，无线通信单元550可以使用类似于无线电广播的模拟方法来执行无线通信，例如，频率调制(fm)和幅度调制(am)。这些模拟方法也可以实现低延迟。此外，无线通信单元550可以执行符合wi-fi(注册商标)、蓝牙(注册商标)或所谓的2.4ghz频带无线通信标准，例如，ble(蓝牙低能(注册商标))的无线通信。此外，无线通信单元170可以通过使用磁共振的方法，例如，近场磁感应(nfmi)，来执行无线通信。当然，通信方案、频带和调制方案不限于上述示例。

上面已经描述了耳机500的内部配置。接下来，将参考图68描述耳机500的外部配置和基本内部处理。

图68是用于描述根据本实施方式的耳机500的轮廓的示图。图68上部的图示出了耳机500的外部配置。如图68的上部所示，耳机500具有这样的配置，其中，从上述第二实施方式中的耳机300移除外耳道麦克风320-3。这将在下文中详细描述。

如图68的上部所示，耳机500包括壳体501和耳垫502。佩戴耳机500的用户的一只耳朵被壳体501和耳垫502覆盖(通常是密封的)。壳体501存储被配置用于信号处理的各种装置，例如，驱动器510、音频输入单元520-1和520-2以及滤波器电路。耳垫502在接触表面502a处与用户的头部接触。耳垫502使用弹性体(例如，海绵)形成，并且在根据用户的头部变形的同时与用户的头部紧密接触，并且形成内部空间30。内部空间30是由壳体501、耳垫502和用户头部形成的空间。内部空间30可以是与外部空间31隔离的密封空间，外部空间31是在外面的空间或者可以连接到外部空间31。无源隔音元件(例如，壳体501、耳垫502和用户头部)进行无源隔音后的噪声到达内部空间30。壳体501的壁部501a与内部空间30接触，壳体501的外壁部501b与外部空间31接触。

驱动器510基于音频信号向空间输出音频。驱动器510设置在壳体501中。然后，驱动器510向内部空间30输出音频，内部空间30是比壳体501更靠近鼓膜的空间。例如，驱动器510基于噪声消除信号向空间输出音频。结果，可以消除已经到达内部空间30的噪声。

音频输入单元520(520-1和520-2)收集环境声音并生成音频信号。如图68所示，在用户佩戴的状态下，两个音频输入单元520设置在用户的一侧耳朵上。

音频输入单元520-1是为fb-nc执行声音收集的麦克风(即，fb-nc麦克风)。在用户佩戴耳机500的状态下，fb-nc麦克风520-1设置在距用户鼓膜9的距离比音频输入单元320-2短的位置。更具体地，fb-nc麦克风520-1设置在通过屏蔽物体收集噪声的位置，即，在用户佩戴耳机500的状态下经受无源隔音之后。此外，期望fb-nc麦克风520-1设置在用户的鼓膜9和驱动器510之间。本文的屏蔽物体是无源隔音元件，并且对应于壳体501、耳垫502和用户的头部。如图68所示，fb-nc麦克风520-1设置在内部空间30侧的壳体501的壁部501a上。然后，fb-nc麦克风520-1收集内部空间30的音频并生成音频信号。此时收集的音频包含无源隔音元件无源隔音后的噪声。fb-nc麦克风520-1对应于第一音频输入单元，并且由fb-nc麦克风520-1生成的音频信号也可以称为第一音频信号。由fb-nc麦克风520-1生成的音频信号输入到fb滤波器并用于生成噪声消除信号。

音频输入单元520-2是为ff-nc执行声音收集的麦克风(即，ff-nc麦克风)。此外，在用户佩戴耳机500的状态下，ff-nc麦克风520-2设置在距用户鼓膜9的距离比fb-nc麦克风520-1长的位置。更具体地，在用户佩戴耳机500的状态下，ff-nc麦克风520-2设置在收集噪声而不穿过屏蔽物体的位置，即，不经受无源隔音。如图68所示，ff-nc麦克风520-2设置在壳体501的外部空间31侧的壁部501b上。然后，ff-nc麦克风520-2收集外部空间31的音频并生成音频信号。此时收集的音频包含已经到达外部空间31的噪声。ff麦克风520-2对应于第二音频输入单元，由ff麦克风520-2生成的音频信号也可以称为第二音频信号。在此处，ff-nc麦克风520-2可以暴露于外部空间31，或者不必暴露。例如，ff-nc麦克风520-2可以嵌入在壳体501中，并且可以收集环绕声音或通过诸如布之类的盖子传输的声音。由ff-nc麦克风520-2生成的音频信号输入到ff滤波器并用于生成噪声消除信号。

注意，图68示出了耳机500的右耳侧的外部配置，左耳侧的外部配置与右耳侧的外部配置双边对称。耳机500可以被配置为在右耳侧和左耳侧之间彼此分离和独立，或者可以整体配置。此外，耳机500可以具有任意结构，例如，头顶型、领口型和耳钩型。

上面已经描述了耳机500的外部配置。随后，将参考图68描述耳机500单独操作时的内部处理。

图68的下部示出了耳机500单独操作时的内部处理的轮廓。由fb-nc麦克风520-1生成的音频信号输入到fb滤波器701。fb滤波器701基于输入音频信号，使用fb-nc麦克风520-1作为消除点来执行fb方案的噪声消除处理，并且生成噪声消除信号。生成的噪声消除信号输入到加法器703。另一方面，由ff-nc麦克风520-2生成的音频信号输入到ff滤波器702。ff滤波器702基于输入音频信号执行ff方案的噪声消除处理，并生成噪声消除信号。生成的噪声消除信号输入到加法器703。加法器703合成从fb滤波器701和ff滤波器702输入的噪声消除信号，并将合成信号输出到驱动器110。驱动器110基于输入的合成信号输出音频。以这种方式，执行组合型噪声消除处理。

详细的信号处理与上面参考图27描述的相同。具体地，fb滤波器701对应于fb滤波器385，而ff滤波器702对应于ff滤波器387。

<3.3.噪声消除处理的细节>

用户可以在佩戴耳孔开放装置100的同时额外地佩戴耳机500。在这种情况下，与耳孔开放装置100或耳机500中的任一个单独使用的情况相比，可以提高噪声消除效果。在下文中，将参考图69至74描述当耳孔开放装置100和耳机500结合使用时的噪声消除处理。

(1)第一组合示例

第一组合示例是耳孔开放装置100和耳机500彼此独立地执行噪声消除处理的示例。将参考图69描述该示例。

图69是用于描述根据本实施方式的耳孔开放装置100和耳机500的第一组合示例的示图。如图69所示，耳孔开放装置100和耳机500以重叠的方式佩戴。具体地，耳孔开放装置100被佩戴为与用户佩戴的耳机500的内侧(用户的耳朵侧，即，x轴正方向)重叠。耳机500被佩戴为与用户佩戴的耳孔开放装置100的外侧(用户耳朵的相反侧，即，在x轴负方向)重叠。耳机500和耳孔开放装置100以重叠方式的佩戴表明至少耳孔开放装置100的麦克风141包括在耳机500的内部空间30中。耳机500的内部空间30可以包括整个耳孔开放装置100或仅其一部分。

在此处，在该示例中，耳孔开放装置100和耳机500不相互通信。即，独立执行上面参考图66和68描述的每个噪声消除处理。在这种情况下，未被上述参考图68的噪声消除处理消除的噪声被上述参考图66的噪声消除处理消除。因此，与耳孔开放装置100或耳机500中的任一个单独使用的情况相比，可以提高噪声消除效果。

如上所述，即使当耳孔开放装置100和耳机500独立操作时，也提高噪声消除效果。然而，随着耳孔开放装置100和耳机500协作操作，噪声消除效果可以进一步提高。在下文中，将参考图70至74描述耳孔开放装置100和耳机500相互协作操作的情况。

(2)第二组合示例

第二组合示例是耳机500基于从耳孔开放装置100接收的音频信号执行fb方案的噪声消除处理的示例。将参考图70描述该示例。

图70是用于描述根据本实施方式的耳孔开放装置100和耳机500的第二组合示例的示图。如图70所示，耳孔开放装置100和耳机500以重叠的方式佩戴。当以这种方式佩戴时，耳孔开放装置100的无线通信单元170和耳机500的无线通信单元550执行无线通信。然后，耳孔开放装置100和耳机500协作来执行噪声消除处理。具体地，麦克风141生成的音频信号输入到无线通信单元170，如图70所示。然后，无线通信单元170将麦克风141生成的音频信号无线传输到耳机500。无线通信单元550接收从耳孔开放装置100无线传输的音频信号。无线通信单元550将接收到的音频信号输出到fb滤波器704。fb滤波器704基于输入音频信号使用麦克风141作为消除点来执行fb方案的噪声消除处理，并生成噪声消除信号。生成的噪声消除信号输入到加法器703。加法器703除了分别从fb滤波器701和ff滤波器702输入的噪声消除信号之外，还合成从fb滤波器704输入的噪声消除信号，并将合成信号输出到驱动器110。驱动器110基于输入的合成信号输出音频。

详细的信号处理基本上与上面参考图32描述的第一噪声消除处理相同。即，ff滤波器702对应于ff滤波器414，fb滤波器701对应于第一fb滤波器411，fb滤波器704对应于第二fb滤波器412。然而，该示例与上面参考图32描述的第一噪声消除处理的不同之处在于，不包括图32中的方框441、442、443和444中示出的内部模型。

注意，图70中未示出耳孔开放装置100侧的噪声消除处理，但是噪声消除处理当然也可以在耳孔开放装置100侧执行。例如，耳孔开放装置100基于麦克风141生成的音频信号生成噪声消除信号，并从驱动器110输出生成的噪声消除信号。这同样适用于随后的组合示例。

此外，在本实施方式中已经描述了耳孔开放装置100将麦克风141生成的音频信号传输到耳机500的情况，但是本技术不限于这样的示例。例如，另一装置可以插入耳孔开放装置100和耳机500之间。此外，耳机500可以将由fb-nc麦克风520-1和/或fb-nc麦克风520-2生成的音频信号传输到耳孔开放装置100。这同样适用于随后的组合示例。

(3)第三组合示例

第三组合示例是耳机500执行fb方案的噪声消除处理的示例，其中，基于从耳孔开放装置100接收的音频信号应用内部模型。将参考图71描述该示例。

图71是用于描述根据本实施方式的耳孔开放装置100和耳机500的第三组合示例的示图。通过将内部模型705和加法器706添加到图70所示的处理块，获得图71所示的处理块。从加法器703输出的输出信号输入到内部模型705。内部模型705具有模拟从输出信号到驱动器510的输入到麦克风141生成音频信号的特性的特性。已经通过内部模型705的音频信号输入到加法器706。加法器706从麦克风141生成的音频信号中减去已经通过内部模型705的信号，以执行合成。然后，加法器706将合成信号输出到fb滤波器704。

详细的信号处理与上面参考图32描述的第一噪声消除处理相同。即，ff滤波器702对应于ff滤波器414，fb滤波器701对应于第一fb滤波器411，fb滤波器704对应于第二fb滤波器412。此外，内部模型705对应于方框441、442、443和444，加法器706对应于加法器432。

(4)第四组合示例

第四组合示例是耳机500基于从耳孔开放装置100接收的音频信号执行自适应ff方案的噪声消除处理的示例。将参考图72描述该示例。

图72是用于描述根据本实施方式的耳孔开放装置100和耳机500的第四组合示例的示图。通过在图70所示的处理块中添加自适应控制单元707，而不是fb滤波器704，来获得图72所示的处理块。基于由ff-nc麦克风520-2收集的音频生成的音频信号和由无线通信单元550接收的音频信号输入到自适应控制单元707。自适应控制单元707基于这些音频信号自适应地控制ff滤波器702的特性。在自适应控制单元707的自适应控制下，ff滤波器702基于输入音频信号，通过ff方案的噪声消除处理生成噪声消除信号。加法器703将由ff滤波器702生成的噪声消除信号与fb由滤波器701生成的噪声消除信号合成。合成信号从驱动器510输出。

详细的信号处理与上面参考图33描述的第二噪声消除处理相同。即，ff滤波器702对应于ff滤波器414，fb滤波器701对应于第一fb滤波器411，自适应控制单元707对应于自适应控制单元415。

(5)第五组合示例

第五组合示例是第三组合示例和第四组合示例的组合。将参考图73描述该示例。

图73是用于描述根据本实施方式的耳孔开放装置100和耳机500的第五组合示例的示图。图73所示的处理块包括图71所示的内部模型705和加法器706以及图72所示的自适应控制单元707。

详细的信号处理与上面参考图35描述的第三噪声消除处理相同。即，ff滤波器702对应于ff滤波器414，fb滤波器701对应于第一fb滤波器411，fb滤波器704对应于第二fb滤波器412，自适应控制单元707对应于自适应控制单元415。此外，内部模型705对应于方框441、442、443和444，加法器706对应于加法器432。

(6)第六组合示例

除了第五组合示例之外，第六组合示例是噪声消除信号在耳孔开放装置100侧输出的示例。将参考图74描述该示例。

图74是用于描述根据本实施方式的耳孔开放装置100和耳机500的第六组合示例的示图。通过将fb滤波器601添加到图73所示的处理块来获得图74所示的处理块。fb滤波器601的操作与上面参考图66描述的相同。

在这个示例中，基于噪声消除信号的音频从驱动器110和驱动器310输出。如果考虑到耳孔开放装置100可以总是由用户佩戴，则假设驱动器110的隔膜小于驱动器310。因此，耳孔开放装置100为高于预定频率的频率范围内的噪声生成噪声消除信号，并基于噪声消除信号输出音频。另一方面，耳机500为低于预定频率的频率范围内的噪声生成噪声消除信号，并基于噪声消除信号输出音频。例如，耳孔开放装置100以中高范围为目标，耳机500以低范围为目标。注意，耳孔开放装置100和耳机500所针对的频带可以是重复的。由于这种共享，可以降低耳孔开放装置100和耳机500的功耗。

在此处，从驱动器110输出的音频经由耳孔开放装置100中的声音引导单元120辐射到耳孔附近。因此，可以出现取决于驱动器110和麦克风141之间的距离的相位延迟。因此，耳孔开放装置100可以包括例如在声音引导单元120中靠近保持单元130的位置处的平衡电枢型第二音频输出单元。然后，耳孔开放装置100可以基于来自第二音频输出单元的噪声消除信号输出音频。在这种情况下，因为第二音频输出单元比驱动器110更靠近麦克风141，所以取决于距离的相位延迟减小。此外，第二音频输出单元比驱动器310更靠近麦克风141。因此，期望第二音频输出单元基于针对高范围的噪声消除信号输出音频。结果，可以提高相对于高频噪声的噪声消除性能。

<7.概述>

迄今为止，已经描述了每个组合示例。根据这些组合示例中的每一个，实现了与第二实施方式中描述的效果相同的效果。此外，根据本实施方式，用户不准备具有第二实施方式中描述的外耳道麦克风320-3的耳机300，而是佩戴耳机500，以覆盖耳孔开放装置100，由此可以容易地获得相同的效果。

<3.4.无线通信的变化>

耳孔开放装置100和耳机500可以通过任意方案执行无线通信。在此处，作为示例，将参考图75至77描述使用光通信的无线通信处理。此后，将参考图78描述使用nfmi的无线通信处理。注意，在以下描述中，假设耳孔开放装置100和耳机500分别具有有源电池和电路。此外，将在假设从耳孔开放装置100到耳机500执行无线传输的情况下给出描述。

(1)使用光通信的情况

图75是用于描述根据本实施方式的在耳孔开放装置100和耳机500之间使用光的无线通信处理的示例的示图。具体地，图75示出了用于在模拟系统中传输的处理块。首先，将描述作为传输侧的耳孔开放装置100的处理。麦克风141生成的音频信号(模拟信号)经由电容器611和电阻器612输入到放大器613。音频信号被放大器613放大，并经由电阻器614作为光从光传输单元615辐射。接下来，将描述作为接收侧的耳机500的过程。光接收单元711接收从光传输单元615发射的光，并输出指示接收结果的信号。指示接收结果的信号输入到电阻器712。麦克风141处的电压和电阻器712处生成的电压具有成比例的关系。因此，耳机500基于电阻器712处的电压获取麦克风141生成的音频信号。

图76是用于描述根据本实施方式的使用耳孔开放装置100和耳机500之间的光的无线通信处理的示例的示图。具体地，图76示出了用于在数字系统中传输的处理块。首先，将描述作为传输侧的耳孔开放装置100的过程。麦克风141生成的音频信号(模拟信号)经由电容器611输入到adc621。音频信号由adc621转换成数字信号，由数字调制单元622调制，然后由dac623转换成模拟信号。此后，音频信号作为光从光传输单元615经由电容器624、放大器613和电阻器614发射。接下来，将描述作为接收侧的耳机500的处理。光接收单元711接收从光传输单元615发射的光，并输出指示接收结果的信号。指示接收结果的信号经由与电阻器712并联的电容器721输入到adc722。adc722将输入信号转换成数字信号，并将该数字信号输出到数字解调单元723。数字解调单元723解调输入信号。以这种方式，耳机500获取麦克风141生成的音频信号，作为数字信号。

图77是用于描述根据本实施方式的使用耳孔开放装置100和耳机500之间的光的无线通信处理的示例的示图。特别地，在图77中示出使用δ-σ调制的处理块。首先，将描述作为传输侧的耳孔开放装置100的处理。麦克风141生成的音频信号(模拟信号)经由电容器611输入到δ-σ调制单元631，并且应用δ-σ调制。δ-σ调制单元631将最初是模拟信号的音频信号转换成1比特信号，并输出转换后的信号。从δ-σ调制单元631输出的信号作为光从光传输单元615经由电容器632、放大器613和电阻器614辐射。接下来，将描述作为接收侧的耳机500的处理。光接收单元711接收从光传输单元615发射的光，并输出指示接收结果的信号。指示接收结果的信号通过与电阻器712并联的电容器731，由数字调制单元732解调成数字信号，并由下采样单元733下采样。以这种方式，耳机500获取麦克风141生成的音频信号，作为数字信号。由于根据图77所示的无线通信处理使用δ-σ调制，所以调制所需的计算时间很少，并且与图76所示的无线通信处理相比，可以以几mhz/比特进行高速传输。为此，耳机500可以超低延迟接收麦克风141生成的音频信号，并且可以将接收到的音频信号用于噪声消除处理。

(2)使用nfmi的通信情况

图78是用于描述根据本实施方式的使用耳孔开放装置100和耳机500之间的nfmi的无线通信处理的示例的示图。首先，将描述作为传输侧的耳孔开放装置100的处理。如图78所示，耳孔开放装置100包括电阻器641、电容器642和电感器643。麦克风141生成的音频信号(模拟信号)在通过电阻器641之后输入到电容器642和电感器643。电感器643生成对应于输入信号的磁性。接下来，将描述作为接收侧的耳机500的处理。如图78所示，耳机500包括电阻器741、电容器742和电感器743。电感器743与电感器643生成的磁性共振，并生成和输出与已经输入到电感器643的信号相似的信号。以这种方式，耳机500获取麦克风141生成的音频信号。

<3.5.相互装置检测>

用户在佩戴耳孔开放装置100的状态下以重叠的方式佩戴耳机500。其动机被认为是用户期望比单独使用耳孔开放装置100的情况下更强的噪声消除效果。

因此，当检测到耳机500佩戴在耳孔开放装置100外部时，期望开始根据上述第一至第六组合示例中的任一个的噪声消除处理。因此，耳孔开放装置100和耳机500在以重叠方式佩戴的情况下检测相互装置，并开始噪声消除处理。例如，如果任何一个电源关闭，电源就会打开。此外，如果没有执行无线通信，则开始无线通信。即，耳孔开放装置100开始将麦克风141生成的音频信号传输到耳机500，并且耳机500开始从耳孔开放装置100接收音频信号。结果，用户可以简单地通过佩戴耳机500以重叠耳孔开放装置100来自动享受强噪声消除效果。在下文中，将详细描述这一点。

(1)非接触电源

可以基于耳孔开放装置100和耳机500之间执行的非接触电源来检测耳机500佩戴在耳孔开放装置100外侧。非接触电源可以从耳机500到耳孔开放装置100进行，或者可以从耳孔开放装置100到耳机500进行。在下文中，将描述这两个系统。

从耳机500到耳孔开放装置100的非接触电源

当在断电状态下从耳机500执行非接触电源时，耳孔开放装置100的电源可以打开。例如，当从耳机500执行非接触电源时，首先激活操作控制单元153。接下来，操作控制单元153使用耳孔开放装置100中提供的电池电源开放耳孔开放装置100的电源。此后，操作控制单元153使无线通信单元170开始无线通信。无线通信单元170开始将麦克风141生成的音频信号传输到耳机500。

耳机500包括非接触电源单元，该非接触电源单元执行对耳孔开放装置100的非接触电源。非接触电源单元尝试向耳孔开放装置100提供非接触电源。非接触电源单元可以尝试非接触电源，以重叠方式检测耳孔开放装置100和耳机500的佩戴，作为触发，或者可以周期性地尝试无触发的非接触电源。当非接触电源单元已经对耳孔开放装置100执行非接触电源时(即，当非接触电源成功时)，无线通信单元550开始从耳孔开放装置100接收麦克风141生成的音频信号。

从耳孔开放装置100到耳机500的非接触电源

当在断电状态下从耳孔开放装置100执行非接触电源时，耳机500的电源可以打开。例如，当从耳孔开放装置100执行非接触电源时，首先激活操作控制单元533。接下来，操作控制单元533使用耳机500中提供的电池电源打开耳机500的电源。此后，操作控制单元533使传感器单元540开始无线通信。例如，无线通信单元550开始接收麦克风141生成的音频信号。

耳孔开放装置100包括对耳机500执行非接触电源的非接触电源单元。非接触电源单元尝试向耳机500提供非接触电源。非接触电源单元可以尝试非接触电源，以重叠方式检测耳孔开放装置100和耳机500的佩戴，作为触发，或者可以周期性地尝试无触发的非接触电源。当非接触电源单元已经对耳机500执行非接触电源时(即，当非接触电源成功时)，无线通信单元170开始将麦克风141生成的音频信号传输到耳机500。

使用rfid装置的非接触式电源示例

上述非接触式电源可以由rfid装置执行。当读取器读取rf标签时，rf标签由读取器发射的无线电波通电。结果，具有rf标签的一侧检测到具有读取器的装置。同时，存储在rf标签中的标签数据从rf标签返回到读取器侧，rf标签通电，作为触发。结果，具有读取器的一侧检测到具有rf标签的装置。对于非接触式电源，除了诸如rfid装置之类的无线电波接收方案之外，还可以采用诸如电磁感应方案和磁场谐振方案之类的任意方案。在下文中，将参考图79描述耳孔开放装置100和耳机500包括rfid装置的配置。

图79是用于描述根据本实施方式的使用由耳孔开放装置100和耳机500执行的rfid装置的相互装置检测的示图。如图79所示，耳机500在耳垫接触表面502a内侧的侧壁502b上设置有rfid装置541。此外，耳孔开放装置100在声音引导单元120的保持单元130附近设置有rfid装置161。当rfid装置541是读取器并且rfid装置161是rf标签时，实现从耳机500到耳孔开放装置100的非接触电源。另一方面，当rfid装置161是读取器并且rfid装置541是rf标签时，实现了从耳孔开放装置100到耳机500的非接触电源。rfid装置541和rfid装置161中的每一个都可以包括读取器和rf标签。当耳孔开放装置100和耳机500以重叠方式佩戴时，rfid装置541和rfid装置161彼此靠近。结果，在rf标签和rf读取器之间执行通电和读取，并且执行相互装置检测。

在下文中，将参考图80描述当基于从耳机500到耳孔开放装置100的非接触电源开始噪声消除处理时的处理过程的示例。

图80是示出当根据本实施方式的噪声消除处理基于从耳机500到耳孔开放装置100的非接触电源而开始时的处理流程的示例的序列图。如图80所示，耳孔开放装置100和耳机500包含在该序列中。该序列是当耳孔开放装置100具有rf标签并且耳机500具有读取器时的序列。

假设耳机500在开始时处于通电状态(步骤s202)，并且耳孔开放装置100处于断电状态或通电状态(步骤s302)。耳机500开始由读取器读取rf标签(步骤s204)。从读取器向rf标签供电，并且耳孔开放装置100的rf标签通电(步骤s304)，并且标签数据从rf标签返回到读取器侧(步骤s306)。

耳孔开放装置100的电源在断电状态下打开，rf标签通电，作为触发(步骤s308)。此后，耳孔开放装置100无线连接到耳机500(步骤s310)。然后，耳孔开放装置100将麦克风数据(即，麦克风141生成的音频信号)传输到耳机500(步骤s312)。此后，耳孔开放装置100执行与上述噪声消除处理相关的规定操作。

耳机500确定是否已经读取来自rf标签的标签数据(步骤s206)。当确定来自rf标签的标签数据不可读时(步骤s206/否)，耳机500增加读取失败计数(步骤s208)。接下来，耳机500确定读取失败计数是否已经达到预定数量(步骤s210)。当确定读取失败计数已经达到预定数量时(步骤s210/是)，处理结束。另一方面，当确定读取失败计数没有达到预定数量时(步骤s204/否)，处理再次返回到步骤s204。另外，当确定已经读取了来自rf标签的标签数据时(步骤s206/是)，耳机500无线连接到耳孔开放装置100(步骤s212)。然后，耳机500从耳孔开放装置100接收麦克风数据(步骤s312)。此后，耳机500执行与上述噪声消除处理相关的规定操作。

接下来，将参考图81描述当噪声消除处理基于从耳孔开放装置100到耳机500的非接触电源而开始时的处理流程的示例。

图81是示出当根据本实施方式的噪声消除处理基于从耳孔开放装置100到耳机500的非接触电源而开始时的处理流程的示例的序列图。如图81所示，耳孔开放装置100和耳机500包含在该序列中。在该序列中，耳孔开放装置100具有读取器，耳机500具有rf标签。

假设耳机500在开始时处于断电状态(步骤s222)，并且耳孔开放装置100处于通电状态(步骤s322)。耳孔开放装置100开始由读取器读取rf标签(步骤s324)。从读取器向rf标签供电，并且耳机500的rf标签通电(步骤s224)，并且标签数据从rf标签返回到读取器侧(步骤s226)。

耳孔开放装置100确定是否已经读取来自rf标签的标签数据(步骤s326)。当确定来自rf标签的标签数据不可读时(步骤s326/否)，耳孔开放装置100增加读取失败计数(步骤s328)。接下来，耳孔开放装置100确定读取失败计数是否已经达到预定数量(步骤s330)。当确定读取失败计数已经达到预定数量时(步骤s330/是)，处理结束。另一方面，当确定读取失败计数没有达到预定数量时(步骤s330/否)，处理再次返回到步骤s324。另外，当确定已经读取了来自rf标签的标签数据时(步骤s326/是)，耳孔开放装置100无线连接到耳机500(步骤s332)，并且麦克风数据(即，由麦克风141生成的音频信号)传输到耳机500(步骤s334)。此后，耳孔开放装置100执行与上述噪声消除处理相关的规定操作。

耳机500的电源打开，rf标签通电，作为触发(步骤s228)。此后，耳机500无线连接到耳孔开放装置100(步骤s230)。然后，耳机500从耳孔开放装置100接收麦克风数据(即，麦克风141生成的音频信号)(步骤s334)。此后，耳机500执行与上述噪声消除处理相关的规定操作。

(2)nfmi

可以基于耳孔开放装置100和耳机500之间执行的磁共振来检测耳机500佩戴在耳孔开放装置100外侧。当耳孔开放装置100佩戴在左右耳朵上时，左右耳孔开放装置100可以通过nfmi发送和接收音乐信号等。当耳机500佩戴以重叠左右耳孔开放装置100时，耳机500可以通过nfmi检测左右耳孔开放装置100之间的通信，并开始噪声消除处理。在下文中，将参考图82至85描述这一点。

图82至85是用于描述根据本实施方式的由耳孔开放装置100和耳机500执行的使用nfmi的相互装置检测的示图。在图82至85中，“a”添加到耳孔开放装置100a的构成元件的参考符号的每一端，而“b”添加到耳孔开放装置100b的构成元件的参考符号的每一端。此外，在耳机500的构成元件中，“a”添加到邻近耳孔开放装置100a的构成元件的参考符号的每一端，而“b”添加到邻近耳孔开放装置100b的构成元件的参考符号的每一端。终端装置800是任意装置，例如，平板终端、智能手机和代理装置。

如图82所示，假设用户一只耳朵佩戴耳孔开放装置100a，另一只耳朵佩戴耳孔开放装置100b。终端装置800使用诸如蓝牙或wi-fi等任意通信方案传输音乐信号。无线通信单元170a接收由终端装置800传输的音乐信号，并且驱动器110a基于接收的音乐信号输出音乐。此外，无线通信单元170a使用nfmi将音乐信号传输到耳孔开放装置100b。无线通信单元170b接收传送的音乐信号，驱动器110b基于接收的音乐信号输出音乐。

接下来，假设用户佩戴耳机500以重叠耳孔开放装置100a和100b，如图83所示。在这种情况下，耳机500的无线通信单元550a和550b的nfmi收发器也与使用nfmi从耳孔开放装置100a传输到耳孔开放装置100b的音乐信号共振。耳机500检测到已经佩戴耳机500，以通过这种磁共振与耳孔开放装置100a和100b重叠。类似地，耳孔开放装置100a和100b也检测已经以重叠方式佩戴耳机500。

此后，耳机500和耳孔开放装置100a和100b开始噪声消除处理，如图84所示。具体地，耳孔开放装置100a通过无线通信单元170a传输由麦克风141a生成的麦克风数据。例如，无线通信单元170a停止使用nfmi传输音乐信号，并使用nfmi传输麦克风数据。从无线通信单元170a传输的麦克风数据由邻近无线通信单元170a的无线通信单元550a接收。耳机500基于接收的音频信号执行噪声消除处理，并且从驱动器510a输出生成的噪声消除信号。这同样适用于耳孔开放装置100b。

如图85所示，耳机500可以执行音乐信号的接收以及音乐信号向左右方向的分发。具体地，首先，无线通信单元550a接收从终端装置800传输的音乐信号。无线通信单元550a将从终端装置800接收的音乐信号和从耳孔开放装置100a接收的麦克风数据输出到信号处理单元531。此外，无线通信单元550b将从耳孔开放装置100b接收的麦克风数据输出到信号处理单元531。信号处理单元531基于从耳孔开放装置100a和100b接收的麦克风数据生成噪声消除信号，并且通过将音乐信号与生成的噪声消除信号合成来生成合成信号。合成信号输入到驱动器510a和驱动器510b，并作为音频输出。利用这种处理，可以实现主要用于音乐再现的无缝转换，而不会导致用户由于戴耳机500前后音乐再现的中断而感到不舒服。

由于nfmi不特别要求配对等，所以上述相互装置检测是可能的。当然，只有配对的装置才可能受到相互装置检测。

在下文中，将参考图86描述当噪声消除处理基于耳孔开放装置100和耳机500之间的磁共振而开始时的处理流程的示例。

图86是示出当根据本实施方式的噪声消除处理基于耳孔开放装置100和耳机500之间的磁共振而开始时的处理流程的示例的序列图。如图86所示，耳孔开放装置100和耳机500包含在该序列中。

在开始时，耳机500处于通电状态(步骤s242)。此外，耳孔开放装置100处于通电状态(步骤s342)，并且执行与另一耳孔开放装置100的nfmi通信(步骤s344)。

耳孔开放装置100确定在nfmi通信期间是否检测到由nfmi传输的规定信号(步骤s346)。当确定没有检测到由nfmi传输的规定信号时(步骤s346/否)，处理再次返回到步骤s346。另一方面，当确定已经检测到由nfmi传输的规定信号时(步骤s346/是)，耳孔开放装置100将操作模式从与另一耳孔开放装置100执行nfmi通信的操作模式改变为与耳机500执行nfmi通信的操作模式，并且通过nfmi无线连接到耳机500(步骤s348)。然后，耳孔开放装置100将麦克风数据(即，麦克风141生成的音频信号)传输到耳机500(步骤s350)。此后，耳孔开放装置100执行与上述噪声消除处理相关的规定操作。

耳机500开始检测nfmi通信(步骤s244)，并确定是否检测到nfmi通信(步骤s246)。当确定没有检测到nfmi通信时(步骤s246/否)，耳机500增加读取失败计数(步骤s248)。接下来，耳机500确定读取失败计数是否已经达到预定数量(步骤s250)。当确定读取失败计数已经达到预定数量时(步骤s250/是)，处理结束。另一方面，当确定读取失败计数没有达到预定数量时(步骤s250/否)，处理再次返回步骤s244。当确定已经检测到fmi通信时(步骤s246/是)，耳机500通过nfmi传输规定信号(步骤s252)。然后，耳机500通过nfmi无线连接到耳孔开放装置100(步骤s254)，并且从耳孔开放装置100接收麦克风数据(步骤s350)。此后，耳机500执行与上述噪声消除处理相关的规定操作。

(3)音频

可以基于耳孔开放装置100或耳机500收集的预定音频来检测耳机500佩戴在耳孔开放装置100外侧。将参考图87描述这一点。

图87是用于描述根据本实施方式的耳孔开放装置100和耳机500使用音频的相互装置检测的示图。例如，当检测到用户佩戴耳机500时，耳机500输出预定音频。可以基于由例如压敏传感器检测到的耳垫502的变形来检测用户的佩戴/不佩戴。当麦克风141收集到预定音频时，耳孔开放装置100检测到以重叠方式佩戴耳机500。预定音频可以是可听波段上方的超声波区域中的音频。在这种情况下，可以在不对用户造成不适的情况下执行相互装置检测。另外，与图87所示的示例相反，耳孔开放装置100可以输出预定的音频，耳机500可以收集音频。

(4)驱动器的磁性

可以基于耳孔开放装置100或耳机500对预定磁性的检测来检测耳机500佩戴在耳孔开放装置100外侧。将参考图88描述这一点。

图88是用于描述根据本实施方式的耳孔开放装置100和耳机500使用磁性的相互装置检测的示图。例如，耳孔开放装置100在声音引导单元120的保持单元130附近设置有磁传感器162。耳机500的驱动器510包括磁体并发射磁性751。因此，耳孔开放装置100基于磁性传感器162对磁性751的检测来检测以重叠方式佩戴耳机500。与图88所示的示例相反，耳机500可以设置有磁传感器，以检测来自耳孔开放装置100的驱动器110的磁性。

<3.6.概述>

上面已经详细描述了第三实施方式。如上所述，根据第三实施方式，用户以重叠方式佩戴的耳孔开放装置100和耳机500可以通过无线通信彼此协作。具体地，耳孔开放装置100将由音频输入单元141生成的音频信号传输到耳机500。耳机500基于接收的音频信号执行噪声消除处理。由于耳机500可以基于靠近鼓膜的位置处的声音收集结果来执行噪声消除处理，所以可以实现高噪声消除性能。

<<4.硬件配置示例>>

最后，将参考图89描述根据每个实施方式的信息处理设备的硬件配置。图89是示出根据每个实施方式的信息处理设备的硬件配置的示例的框图。注意，图89所示的信息处理设备900可以实现例如图3所示的耳孔开放装置100、图31所示的耳机300、图65所示的耳孔开放装置100和图67所示的耳机500。由根据本实施方式的耳孔开放装置100、耳机300或耳机500执行的信息处理通过下文将描述的软件和硬件之间的协作来实现。

如图89所示，信息处理设备900包括中央处理单元(cpu)901、只读存储器(rom)902、随机存取存储器(ram)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。代替或除了cpu901，信息处理设备900可以包括电路和处理电路，例如，dsp和asic。

cpu901用作算术处理装置和控制装置，并且根据各种程序控制信息处理设备900中的整体操作。此外，cpu901可以是微处理器。rom902存储要由cpu901使用的程序、计算参数等。ram903暂时存储用于执行cpu901的程序、在执行期间适当改变的参数等。cpu901可以形成例如图3所示的控制单元150、图31所示的控制单元330、图65所示的控制单元150或图67所示的控制单元530。

cpu901、rom902和ram903通过包括cpu总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接到外部总线904b，例如，外围组件互连/接口(pci)总线。主机总线904a、桥接器904和外部总线904b不必被配置为彼此分离，并且这些功能可以在一条总线上实现。

输入装置906由能够收集音频并生成音频信号的装置实现，例如，麦克风、阵列麦克风等。此外，输入装置906包括距离测量传感器和处理由距离测量传感器获得的振动信息的电路，并且由能够在远处获得声压信息的装置来实现。这些输入装置906可以形成例如图3所示的音频信息获取单元140、图31所示的音频输入单元320、图65所示的音频信息获取单元140或图67所示的音频输入单元520。

此外，输入装置906可以使用检测各种类型信息的装置来形成。例如，输入装置906可以包括各种传感器，例如，图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、磁传感器、地磁传感器、光学传感器、声音传感器、距离传感器和力传感器。此外，输入装置906可以获取关于信息处理设备900本身的信息(例如，信息处理设备900的姿态和移动速度)以及关于信息处理设备900的周围环境的信息，例如，信息处理设备900周围的亮度和噪声。此外，输入装置906可以包括全球导航卫星系统(gnss)模块，其接收来自gps卫星的gnss信号(例如，来自gps卫星的全球定位系统(gps)信号)，以测量包括装置的纬度、经度和高度的位置信息。另外，关于位置信息，输入装置906可以通过利用wi-fi(注册商标)、移动电话/phs/智能手机等的传输/接收或近场通信来检测位置。这些输入装置906可以形成例如图31所示的传感器单元370、图65所示的传感器单元160或图67所示的传感器单元540。

输出装置907是能够输出音频的音频输出装置，例如，扬声器、定向扬声器和骨传导扬声器。输出装置907可以形成例如图3所示的音频输出单元110、图31所示的音频输出单元310、图65所示的音频输出单元110或图67所示的音频输出单元510。

存储装置908是作为信息处理设备900的存储单元的示例形成的用于数据存储的装置。存储装置908由例如磁存储单元装置(例如，hdd)、半导体存储装置、光存储装置、磁光存储装置等实现。存储装置908可以包括存储介质、在存储介质中记录数据的记录装置、从存储介质读取数据的读取装置、删除存储介质中记录的数据的删除装置等。存储装置908存储要由cpu901执行的程序、各种类型的数据、从外部获取的各种类型的数据等。

驱动器909是用于存储介质的读取器/写入器，并且内置于信息处理设备900中或外部附接到信息处理设备900。驱动器909读取记录在诸如磁盘、光盘、磁光盘或半导体存储器等附加可移动存储介质中的信息，并将读取的信息输出到ram903。此外，驱动器909还可以将信息写入可移动存储介质。

连接端口911是要连接到外部装置的接口，并且是与能够例如通过通用串行总线(usb)等进行数据传输的外部装置的连接端口。

通信装置913例如是使用通信装置等形成的用于连接到网络920的通信接口。通信装置913例如是用于有线或无线局域网(lan)、长期演进(lte)、蓝牙(注册商标)或无线usb(wusb)的通信卡等。此外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线路(adsl)的路由器、用于各种通信的调制解调器等。通信装置913可以根据预定协议，例如，与互联网或另一通信装置的tcp/ip等，传输和接收信号等。通信装置913可以形成例如图65所示的无线通信单元170或图67所示的无线通信单元550。

网络920是要从连接到网络920的装置传输的信息的有线或无线传输路径。例如，网络920可以包括公共线路网络(例如，互联网、电话线网络和卫星通信网络)、包括以太网(注册商标)的各种局域网(lan)、广域网(wan)等。此外，网络920可以包括专用线路网络，例如，互联网协议虚拟专用网络(ip-vpn)。

上面已经示出了能够实现根据本实施方式的信息处理设备900的功能的硬件配置的示例。上述每个构成元件可以使用通用部件来实现，或者可以通过专用于每个构成元件的功能的硬件来实现。因此，可以根据实现本实施方式时的技术水平来适当地改变要使用的硬件配置。

注意，被配置为如上所述实现根据本实施方式的信息处理设备900的每个功能的计算机程序可以创建并安装在pc等上。此外，可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络分发，而不使用记录介质。

<<5.概述>>

上面已经参考图1至89描述了本公开的实施方式。

根据第一实施方式的耳孔开放装置100通过开口部131向外开放耳孔，同时使用邻接耳甲腔或外耳道内壁的保持单元130保持音频信息获取单元140在比耳屏更靠近鼓膜的空间中获取音频信息。然后，耳孔开放装置100基于由音频信息获取单元140获取的音频信息生成噪声消除信号。例如，耳孔开放装置100使用音频信息获取单元140的位置或鼓膜位置作为消除点来执行噪声消除处理。由于鼓膜附近的位置或鼓膜是消除点，所以可以实现高噪声消除性能。

根据第二实施方式的耳机300包括三个麦克风320-1至320-3，所述麦克风在用户佩戴的状态下设置在用户的一侧耳朵上。然后，耳机300执行噪声消除处理，以基于由三个麦克风320-1至320-3生成的三个音频信号生成多个噪声消除信号。虽然在配备有噪声消除功能的典型耳机中，麦克风的最大数量是两个，但是耳机300具有三个麦克风。特别地，外耳道麦克风320-3在佩戴状态下设置在外耳道入口附近。因此，耳机300可以基于适当的信息来执行噪声消除处理，例如，由许多麦克风生成的音频信号或者由设置在外耳道入口处附近的麦克风生成的音频信号。

此外，根据第二实施方式的耳机300包括壳体301、耳垫302、外耳道麦克风320-3和驱动器310。然后，耳机300通过开口部304向耳机300的内部空间开放耳孔，同时通过在佩戴状态下邻接耳甲腔或外耳道内壁的保持单元130将外耳道麦克风320-3保持在比耳屏更靠近鼓膜侧的空间中。利用这种配置，外耳道麦克风320-3保持在比耳屏更靠近鼓膜侧的空间中。因此，耳机300可以将噪声消除处理的消除点设置为比具有组合型噪声消除功能的典型耳机更靠近用户的鼓膜。

根据第三实施方式的耳孔开放装置100与耳机500无线通信，耳机500佩戴为与用户佩戴的耳孔开放装置100的外侧重叠。类似地，根据第三实施方式的耳机300与耳孔开放装置100无线通信，耳孔开放装置100佩戴为与用户佩戴的耳机500的内侧重叠。以这种方式，以重叠方式佩戴的耳孔开放装置100和耳机500可以通过无线通信协作。具体地，耳孔开放装置100将由音频输入单元141生成的音频信号传输到耳机500。耳机500基于接收的音频信号执行噪声消除处理。由于耳机500可以基于靠近鼓膜的位置处的声音收集结果来执行噪声消除处理，所以可以实现高噪声消除性能。

尽管上面已经参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这些示例。显然，在本公开的技术领域具有普通知识的人员可以在权利要求中描述的技术思想的范围内找到各种变更和修改，并且应该理解，这些变更和修改自然属于本公开的技术范围。

此外，参考本说明书中的流程图和序列图描述的处理不一定以图示的顺序执行。一些处理步骤可以并行执行。此外，可以采用额外的处理步骤，并且可以省略一些处理步骤。

此外，本说明书中描述的效果仅仅是说明性的或示例性的，并且不受限制。即，除了或代替上述效果，基于本说明书的描述，根据本公开的技术可以呈现对本领域技术人员显而易见的其他效果。

注意，以下配置也属于本公开的技术范围。

(1)一种音频处理装置，包括：

音频信息获取单元，其获取音频信息；

保持单元，其在用户佩戴的状态下，邻接耳甲腔或外耳道的内壁，并且，将音频信息获取单元保持在比耳屏更靠近鼓膜侧的空间中；

开口部，其向外部开放耳孔；以及

信号处理单元，其基于由音频信息获取单元获取的音频信息生成噪声消除信号。

(2)根据(1)所述的音频处理装置，其中，所述保持单元将所述音频信息获取单元保持在从所述耳甲腔和所述外耳道之间的边界到鼓膜一侧15mm的空间中，或者保持在从所述耳甲腔和外耳道之间的边界到与所述鼓膜相反的一侧15mm的空间中。

(3)根据(1)或(2)所述的音频处理装置，还包括

音频输出单元，其基于根据噪声消除信号生成的输出信号输出音频，

其中，所述保持单元保持音频信息获取单元和从音频输出单元输出的音频的输出孔之间的相对位置关系。

(4)根据(1)至(3)中任一项所述的音频处理装置，其中，所述保持单元将音频信息获取单元保持在音频信息获取单元和鼓膜之间的直线上不存在外耳道内壁的位置。

(5)根据(1)至(4)中任一项所述的音频处理装置，其中，所述音频信息获取单元获取外耳道或所述鼓膜的振动信息，并且基于所获取的振动信息获取消除点的声压信息。

(6)根据(5)所述的音频处理装置，其中，所述消除点是鼓膜的一个点。

(7)根据(5)或(6)所述的音频处理装置，其中，所述音频信息获取单元基于所述外耳道内壁上的两个或多个点的振动信息来估计消除点的声压信息。

(8)根据(5)至(7)中任一项所述的音频处理装置，其中，所述音频信息获取单元发送透射波，获取作为被反射的透射波的反射波，并且获取指示反射点处的位移或速度的振动信息。

(9)根据(8)所述的音频处理装置，其中，所述音频信息获取单元基于指示外耳道的三维形状的信息来估计消除点的声压信息。

(10)根据(9)所述的音频处理装置，其中，所述音频信息获取单元通过在改变透射波的透射方向的同时扫描外耳道，来获取指示外耳道的三维形状的信息。

(11)根据(10)所述的音频处理装置，还包括认证单元，其基于指示外耳道的三维形状的信息来认证用户。

(12)根据(5)至(11)中任一项所述的音频处理装置，还包括

音频输出单元，其基于根据噪声消除信号生成的输出信号输出音频，其中，所述信号处理单元基于指示外耳道的三维形状的信息来调整输出信号的声音质量。

(13)根据(5)至(12)中任一项所述的音频处理装置，还包括操作控制单元，其基于音频信息确定用户是否佩戴所述音频处理装置，并且基于确定结果控制所述音频处理装置的操作。

(14)根据(1)至(12)中任一项所述的音频处理装置，其中，所述信号处理单元基于由用于双耳的一对音频信息获取单元中的每一个获取的音频信息来提取用户自己的声音，并将提取的用户声音与噪声消除信号合成。

(15)根据(13)所述的音频处理装置，还包括

另一音频信息获取单元，其被配置为收集用户自己的声音，

其中，所述信号处理单元另外基于由另一音频信息获取单元获取的音频信息提取用户自己的声音。

(16)一种音频处理方法，包括：

使用音频信息获取装置获取音频信息，所述音频信息获取装置在用户佩戴的状态下，邻接耳甲腔或外耳道内壁，并且，在向外部开放耳孔的同时，被保持在比耳屏更靠近鼓膜侧的空间中；并且

基于所获取的音频信息生成噪声消除信号。

附图标记列表

1耳朵

2耳廓

3耳轮脚

4耳甲腔

5外耳道

6耳屏

7耳屏间切迹

8对耳屏

9鼓膜

11第一曲线

12第二曲线

19耳甲腔和外耳道之间的边界

30内部空间

31外部空间

100耳孔开放装置

110音频输出单元、驱动器

120声音引导单元

121一端

122另一端

123夹紧部分

130保持单元

131开口部

132支撑构件

140音频信息获取单元

141音频输入单元、麦克风

142鼓膜声压获取单元

150控制单元

151信号处理单元

153操作控制单元

155认证单元

157通信控制单元

160传感器单元

161rfid装置

162磁传感器

170无线通信单元

300耳机

301壳体

302耳垫

303保持单元

304开口部

305第一支撑构件

306第二支撑构件

307连杆

310音频输出单元、驱动器

320音频输入单元、麦克风

330控制单元

331信号处理单元

333操作控制单元

340有线连接单元

341缠绕单元

342凹槽

350连杆

351接合部分

352约束构件

353滑动构件

354轨道

360姿态控制装置

361操作机构

362连杆

363接合部分

370传感器单元

500耳机

501壳体

502耳垫

510音频输出单元、驱动器

520音频输入单元、麦克风

530控制单元

531信号处理单元

533操作控制单元

535通信控制单元

540传感器单元

541rfid装置

550无线通信单元

800终端装置