使用闭塞耳的入耳式麦克风信号的用户话音检测器装置和方法与流程

使用闭塞耳的入耳式麦克风信号的用户话音检测器装置和方法
1.相关申请的交叉引用
2.本技术案要求2019年12月3日提交且以引用的方式并入本文中的第62/942,914号美国临时专利申请的权益。
技术领域
3.本发明涉及用于话音检测的装置和方法。更具体地，本发明涉及一种耳内装置和用于使用用户的闭塞耳的入耳式麦克风信号检测耳内装置的用户的话音的方法。


背景技术：

4.传统上，通信头戴式耳机使用放置于嘴前方的吊杆麦克风在有噪声的环境中捕获语音。虽然是方向性的，但这些麦克风经常在有噪声的环境中具有低信噪比(snr)且需要为了增强而进行噪声消除。替代地，已经使用通过骨和组织振动捕获的语音来提供具有较高snr的信号。可通过放置于闭塞耳的内部的麦克风或通过放置于颅上某处的骨传导传感器来捕获骨传导语音。虽然从骨和组织传导生成的语音可具有相对高snr，但其问题是有限的频率带宽(小于2khz)，因此降低信号质量和可懂度。对于其中质量和可懂度较重要的应用(例如，命令和控制)，骨和组织传导语音可为限制因素。因此目前，在噪声中的通信是难以实现的任务，因为通信信号在空中语音的情况下经受噪声和/或话音(来自周围的人)干扰，或在骨和组织传导(btc)语音的情况下经受有限的带宽。
5.通信头戴式耳机是组合良好的听力保护和通信特征的极好方法。最常见地，使用由耳周hpd构成的头戴式耳机，所述耳周hpd配备有放置于嘴前方的方向性吊杆麦克风。耳周hpd可大体上提供比耳内hpd更好的衰减，因为它们更容易正确地佩戴。这些类型的通信头戴式耳机的缺点是双重的。第一，吊杆麦克风暴露于背景噪声且仍会捕获空气传导的不希望的噪声，所述噪声会遮盖佩戴者的语音信号。第二，具有吊杆麦克风的耳周hpd与大多数其它个人保护设备不兼容。与hpd一起使用其它个人保护设备在有噪声的环境中是常见的。举例来说，建筑工人需要使用头盔，消防人员需要防毒面具。使用骨和组织传导麦克风捕获语音是消除这两个问题的方便方法。骨传导传感器可放置于各种位置且可提供相对高snr语音信号。然而，如先前所提到，升高的snr的代价是所拾取信号的极有限频率带宽，通常小于2khz。因此，骨和组织传导语音的增强是极受关注的话题。已经开发许多不同技术用于btc语音的带宽扩展。即使这些技术可增强骨和组织传导语音的质量，它们也在计算上复杂或需要用户的大量训练，因此限制了它们在实际环境中的广泛使用。
6.由骨传导传感器捕获的有噪声的空气传导语音和带宽有限btc语音的两个极端之间的有效折中是使用入耳式麦克风从闭塞耳内部捕获的语音。用hpd或更通常用耳内装置闭塞耳道会造成源自颅的骨和组织传导振动在耳道内部谐振，从而让佩戴者听到其话音的放大版本，这称为闭塞效应。借助于此闭塞效应，由于佩戴耳内装置，因此语音信号在耳内部可用并且可使用入耳式麦克风来捕获。因此，因为有耳内装置的被动衰减，用配备有入耳
式麦克风的高度隔离的耳内装置闭塞耳道允许捕获不受背景噪声极大影响的语音信号。使用入耳式麦克风代替骨传导麦克风的另一优点是语音仍以声学方式捕获，且可与清洁语音共享大量的信息，所述清洁语音例如在嘴前方在0到2khz范围中在静默情况下捕获的语音。利用非线性特性的带宽扩展技术应当扩展入耳式麦克风信号的带宽且增加高频谐波。
7.以上方法并未避免如下事实：在发射捕获的话音以与合作者通信之前，佩戴具有入耳式麦克风的耳内装置(充当针对环境或环境声/噪声的闭塞屏障)的用户在闭塞耳(与用户的外耳道流体连通)内部仍需要激活通信系统/装置。已证明当工作者的双手被占用来完成工作或做类似事情时这种操作可能是困难的。在这些情况下，以用户的手激活或触发通信系统/装置可能潜在地对工作者造成一些创伤或甚至事故。
8.行业工作者或任何其它工作者寻求在可能具有可变空间配置的群组(紧靠彼此的工作者和远离彼此的工作者)内的天然互动。在共享通信信道的情况下，一个人当他/她不说话时可能不想占用线路。这是在无线电通信装置及类似物上使用即按即说系统的原因之一(未考虑电池的节省)，但此类系统需要工作者/用户激活系统或通信装置。良好且关注的实例将是直升机飞行员，直升机飞行员通常需要他的/她的双手来驾驶。
9.因此，需要一种用于在用户的闭塞耳中使用入耳式麦克风检测用户的话音的装置和方法。


技术实现要素：

10.因此本发明的一般目的是提供一种用于使用用户的闭塞耳中的入耳式麦克风检测用户的话音的装置和方法。
11.本发明的优点是所述装置或方法仅需要位于用户的闭塞耳内部的一个麦克风以检测来自用户的话音的存在。
12.本发明的另一优点是所述装置或方法确保检测到的话音真的是来自用户，而不是来自在用户附近大声说话的人的外部话音，特别是当结合外耳麦克风和甚至入耳式扬声器使用时，且无论用户是否处于有噪声的环境都是如此。
13.本发明的又一优点是所述装置或方法也可用作“用户活动”检测器或“存活”检测器(倒地指示功能)。
14.本发明的又一优点是本发明的装置或方法在有噪声的环境中表现良好。
15.本发明的又另一个优点是所述装置或方法与通路模式完全兼容，其中由耳机的外耳麦克风捕获的声音在入耳式扬声器中播放以提供耳机声音透明度，而非已知装置在通路正操作的同时入耳式话音检测(入耳式用户话音检测)将不工作。在本发明中，由于所使用麦克风信号的内容，入耳式话音指示符与外耳指示符的比率保持为高。
16.根据本发明的一方面，提供一种用于检测耳内装置的用户的话音的方法，所述耳内装置具有入耳式麦克风，所述入耳式麦克风适于与所述用户的与耳外部的环境阻隔的外耳道流体连通，所述方法包括以下步骤：
[0017]-获得由所述入耳式麦克风提供的信号以决定获取的话音指示信号；
[0018]-通过将所述获取的话音指示信号与对应阈值进行比较，在所述获取的话音指示信号大于所述对应阈值后即刻检测由所述用户产生的话音，同时减少来自非用户的任何话音干扰。
[0019]
在一个实施例中，获取的话音指示信号是入耳式麦克风话音指示信号(ivis)，且对应阈值是入耳式麦克风阈值(itv)。
[0020]
适宜地，所述获得步骤包含使用话音检测器算法处理由入耳式麦克风提供的信号以决定获取的话音指示信号。
[0021]
适宜地，所述获得步骤包含以下步骤：
[0022]-对预定时间周期中的所述入耳式麦克风话音指示信号(ivis)进行平均化。
[0023]
替代地，在预定频率范围内对由入耳式麦克风提供的信号进行滤波。
[0024]
在一个实施例中，所述耳内装置具有适于与耳外部的环境流体连通的外耳麦克风，所述方法进一步包括获得由所述外耳麦克风提供的信号的步骤；且其中在外耳麦克风话音指示信号(ovis)大于预定下限电平(pfl)时，获取的话音指示信号是入耳式麦克风话音指示信号(ivis)与所述外耳麦克风话音指示信号(ovis)的比率，且所述对应阈值是比率阈值(rtv)，且其中所述检测由所述用户产生的话音的步骤进一步移除来自非用户的任何话音干扰。
[0025]
适宜地，所述获得由所述外耳麦克风提供的信号的步骤包含使用所述话音检测器算法处理由所述外耳麦克风提供的所述信号以决定所述获取的话音指示信号。
[0026]
适宜地，所述获得步骤包含以下步骤：
[0027]-对预定时间周期中的所述入耳式麦克风话音指示信号(ivis)和所述外耳麦克风话音指示信号(ovis)进行平均化。
[0028]
替代地，在预定频率范围内对由入耳式麦克风提供的信号和由外耳麦克风提供的信号进行滤波。
[0029]
根据本发明的另一方面，提供一种用于检测耳内装置的用户的话音的话音检测器装置，所述话音检测器装置包括：
[0030]-入耳式麦克风，其适于与所述用户的耳的外耳道流体连通，所述用户的所述耳与所述耳外部的环境阻隔；以及
[0031]-处理单元，其以操作方式连接到所述入耳式麦克风以从所述入耳式麦克风接收内部信号，且以可操作的方式连接到外耳麦克风以从所述外耳麦克风接收外部信号，所述处理单元被配置以便：
[0032]-执行上述用于检测耳内装置的用户的话音的方法。
[0033]
在一个实施例中，所述话音检测器装置进一步包含适于与耳外部的环境流体连通的外耳麦克风；且其中所述处理单元以可操作的方式连接到所述外耳麦克风以从所述外耳麦克风接收外部信号。
[0034]
通过谨慎阅读本文所提供的具体实施方式且适当参考附图，本发明的其它目的和优点将变得显而易见。
附图说明
[0035]
将借助于实例仅参考附图描述本发明的实施例，其中相同标号指代相同组件，其中：
[0036]
图1是根据本发明的一实施例的用于检测耳内装置的用户的话音的装置的示意性架构图表示，所述耳内装置具有入耳式麦克风，所述入耳式麦克风适于与所述用户的与耳
外部的环境阻隔的外耳道流体连通；以及
[0037]
图2是根据本发明的一实施例的用于检测图1的耳内装置的用户的话音的方法的示意性流程图表示。
具体实施方式
[0038]
大体上来说，本发明的非限制性的说明性实施例提供一种用于检测具有与用户的与外部环境阻隔的耳的外耳道流体连通的入耳式麦克风的耳内装置的用户的话音存在的装置和方法。应理解，虽然本发明主要涉及用于检测用户的话音存在的装置和方法，但所公开的技术也可以与经由自适应滤波和带宽扩展改善例如语音等来自入耳式麦克风的信号和包含呼吸、心跳等生物信号中的任一种信号的质量结合使用。
[0039]
更具体地，这是使用位于闭塞耳内部的入耳式麦克风和任选地使用外耳麦克风实时地执行。
[0040]
现参看图1，示出根据本发明的用于检测耳内装置20的用户的话音的装置10的实施例。装置10包含入耳式麦克风(iem)22，其适于与用户的耳12的外耳道14流体连通，耳12通常经由耳内装置20与耳12外部的环境隔绝。虽然图1中示出入耳式装置，但本领域的普通技术人员将容易理解，在不脱离本发明的范围的情况下可使用任何其它类型的听力保护装置，例如耳罩、额外听觉装置、耳上装置等，且在任何位置提供所需的闭塞，只要iem 22从闭塞内部捕获信号即可。装置10进一步包含以操作方式连接到入耳式麦克风22以从其接收内部信号(iem信号)的处理单元24。处理单元24通常被配置成如下文描述执行用于检测来自用户的话音的存在的方法。并且，处理单元24可以嵌入耳内装置20中或远离其定位，同时与入耳式麦克风22操作性连接。
[0041]
装置10通常经由电线和/或无线地连接到通信装置16，以当检测到来自用户的话音或语音的存在时至少向通信装置16提供信号。在进行这样的检测时，通信装置16可以即刻经由与其连接的通信接口18优选地以两个方式(发射和接收)与任何其它装置(未示出)通信。
[0042]
任选地，为了改善用户话音的存在的检测或允许进一步处理由iem 22捕获的信号，装置10进一步包含适于与耳12外部的环境流体连通的外耳麦克风(oem)30，且处理单元24还以操作方式连接到外耳麦克风30以从其接收外部信号(oem信号)。
[0043]
在装置10与通信装置16的通信时，装置10通常进一步包含扬声器32，所述扬声器32与外耳道14流体连通以向用户传输从通信装置16接收的声音信号。
[0044]
现在更具体来说参见图2，示出描绘根据本发明的一实施例的用于检测耳内装置20的用户的话音存在的方法的框图。所述方法通常包含步骤：1)-获得由入耳式麦克风22提供的信号以决定获取的话音指示信号，和2)-通过将获取的话音指示信号与对应阈值进行比较，在获取的话音指示信号大于对应阈值时，即刻检测由用户产生的话音。所述检测步骤包含减少(或衰减)来自非用户的任何话音干扰，例如位于用户附近的任何合作者等的话音。
[0045]
通常，获取的话音指示信号是入耳式麦克风话音指示信号(ivis)，且对应阈值是入耳式麦克风阈值(itv)。入耳式麦克风话音指示信号(ivis)通常表示为例如参考文献[1]中详细说明的“r2”信号的信号，但也可以是任何相似因数信号。举例来说，此“r2”因数考虑
了由入耳式麦克风22提供的信号的平均化和滤波。
[0046]
如图2中的点划线矩形中表示，所述获得步骤优选地包含对预定时间周期中的入耳式麦克风话音指示信号(ivis)进行平均化，所述预定时间周期在优选实施例中将是可配置的。
[0047]
通常，所述获得步骤包含使用话音检测器算法处理由入耳式麦克风22提供的信号以决定获取的话音指示信号，或入耳式麦克风话音指示信号(ivis)。
[0048]
另外，通常在对由入耳式麦克风22提供的信号的平均化过程中嵌入信号滤波。
[0049]
优选地，如图2中的点划线箭头所说明，所述方法优选地进一步包含获得由外耳麦克风30提供的信号的步骤；且其中在外耳麦克风话音指示信号(ovis)大于预定下限电平(pfl)时，获取的话音指示信号变为入耳式麦克风话音指示信号(ivis)与外耳麦克风话音指示信号(ovis)的比率，且对应阈值变为比率阈值(rtv)。显然，当装置10中不存在oem 30时，外耳麦克风话音指示信号(ovis)是空值(零)并且因此小于预定下限电平(pfl)，使得执行上述方法步骤。所述检测步骤包含移除来自非用户的任何话音干扰(例如位于用户附近的任何合作者的话音，或甚至由oem 30所拾取的用户的话音等)，以改善由装置10作为输出提供的话音检测结果的准确性。
[0050]
类似于以上仅具有iem 22的方法实施例，获得由外耳麦克风提供的信号的步骤包含对所述预定时间周期中的入耳式麦克风话音指示信号(ivis)和外耳麦克风话音指示信号(ovis)进行平均化。另外，所述步骤包含基于入耳式麦克风(ivis)和外耳麦克风(ovis)话音指示信号，使用话音检测器算法处理由外耳麦克风30提供的信号以决定获取的话音指示信号。
[0051]
此外，信号滤波也可以嵌入于对由外耳麦克风30提供的信号的平均化过程中。
[0052]
虽然已用某一特殊性程度且借助于说明性实施例及其实例描述本发明，但应理解本发明不限于本文中描述和示出的实施例的特征，而是包含在如下文所要求的本发明的范围和精神内的所有变化和修改。
[0053]
参考文献列表
[0054]
[1]lezzoum,n.，gagnon,g.，和voix,j.，“用于智能耳机的话音活动检测系统”，ieee消费型电子装置学报，2014年11月卷60第4期第737-744页。