脖戴式语音交互耳机的交互方法、系统和装置与流程

本发明涉及智能穿戴设备技术领域，特别是一种脖戴式语音交互耳机的交互方法、系统和装置。

背景技术：

随着智能穿戴设备的发展和人们生活水平的不断提高，各种智能穿戴设备如智能手表的使用越来越普及，智能穿戴设备已经成为人们生活中不可缺少的通信工具。

人之所以能够听到声音，是因为空气中的震动通过外耳耳道把振动传递到耳膜，通过耳膜形成的振动驱动人的听觉神经。而当人们的中外耳损坏或用手塞住耳道时，声音还能够通过人们的皮肤以及骨骼传递声音振动，来驱动人们的听觉神经。

骨传导是一种声音传导方式，通过人的颅骨、颞骨、骨迷路、内耳淋巴液传递、耳蜗、听觉神经、听觉中枢来传递声波，这就是骨传导技术。骨传导是振动颅骨或者颞骨，不通过外耳与中耳直接传输到内耳当中。相对于传统的通过喇叭振膜产生声波的空气传导方式，骨传导省去了许多声波传递的步骤，能在嘈杂的管径中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到她人。

然而，骨传导技术也具有以下几个缺点：(1)骨传导声音的适量与接触骨骼的位置相关，也与人体组织的特征有关。例如：用户的年龄、性别、胖瘦等差别都会导致不同用户在使用同一台骨传导耳机时，有不同的体验，往往这不同的体验都是性能恶化。(2)利用骨传导技术受话或者送话，骨传导器件必须紧贴骨头，沈波直接通过骨头传至听觉神经，佩戴方式决定了骨传导设备必须将骨传导器件高度压迫在骨骼上进行传到，一点松懈就会影响音频传递的质量，然而这种高度压迫骨骼的佩戴方式使得用户在使用过程中的舒适感、皮肤健康受到不同程度的影响。(3)骨骼和人体组织对于神东信号产生具有频率选择性的振幅衰减和延时，高保真或者宽带的音频信号很难通过骨骼传导到听觉神经，所以基于现有技术的用户多数会抱怨骨传导耳机“音质”和“音品”差。(4)骨传导漏音的问题。因为固态传导振动的特性，多数现有骨传导技术都无法真正解决骨传导漏音的问题，这是因为现有技术通过大音量、大振动信号来补偿频率相关的人体骨骼和组织衰减振动信号的现实情况，的那是这种方法相当于饮鸩止渴，用户会抱怨漏音严重，或者因为需要更大的功率，骨传导贞子体积重量大大增加，导致设备整体过于沉重。(5)骨传导耳机是开放双耳的系统，当用户置身在嘈杂的环境中，由于骨传导耳机的开放性会导致用户根本听不到耳机里传来的声音。

申请号为102084668a的专利申请公开了处理信号的方法和系统，所述系统包括：(a)处理器，设置为处理由第一麦克风在检测时刻检测到的第一输入信号、由第二麦克风在检测时刻检测到的第二输入信号，以及由骨传导麦克风在检测时刻检测到的第三输入信号，以产生响应于第一、第二和第三输入信号的校正后的信号；以及(b)通信接口，其设置为向外部系统提供校正后的信号。该方法通过卷积函数对声音进行降噪处理，已获得较为准确的声音信号。但是由于是几路声音混杂，有些声音容易被误判为正确的声音而记录在音轨中，因此输出的声音并不是完全准确且清晰的。

申请号为105721973a的专利申请公开了一种骨传导耳机及其音频处理方法，其中一种骨传导耳机及其基于所述骨传导耳机的音频播放装置，所述骨传导耳机包括人体骨骼和组织模型建模模块和数学预校正器，延时估算单元，数模转换器，模拟数字转换器，第一低通滤波器，第二低通滤波器，音频放大器，音频驱动放大器，至少一个骨传导麦克风，至少一个骨传导振子；实时监测不同用户的人体骨骼和组织的衰减效应信息，基于所述衰减效应信息，产生一补偿传递函数，通过所述补偿传递函数对输入音频信号对输入音频信号进行数字预校正后在骨骼和人体组织中传导。本申请是通过补偿的方法对输入的音频进行预校正，但是该方法主要用于解决音频信号的衰减问题，并不能够从噪音中分辨出正确的音频数据。

技术实现要素：

为了解决上述的技术问题，本发明提出了通过声学麦克风和骨传导麦克风相结合的方式，对两路音频输入分别进行单帧判定，确定语音概率较高的帧为语音帧，并将最终的语音帧组合成为输出的音频数据。

本发明的第一方面提供了脖戴式语音交互耳机的交互方法(meos)，通过音频采集模块采集音频信号，包括以下步骤：

步骤1：接收所述音频信号，并把声音信号转换为模拟电信号；

步骤2：把所述模拟电信号转换为多路可存储的数字信号；

步骤3：处理所述数字信号，并输出有效音频数据；

步骤4：把所述有效音频数据推送给终端设备。

优选的是，所述音频采集模块包括至少一个骨传导麦克风和至少一个麦克风。

在上述任一方案中优选的是，所述音频信号包括第一音频信号和第二音频信号。

在上述任一方案中优选的是，所述第一音频信号是指利用所述骨传导麦克风采集由于用户身体的震动产生的机械波。

在上述任一方案中优选的是，所述第二音频信号是指利用所述麦克风采集所述机械波生成的时间范围内的声波。

在上述任一方案中优选的是，所述步骤3还包括以下子步骤：

步骤31：对采集到的所述音频信号进行音频特性检测；

步骤32：进行主音源判定；

步骤33：进行主音源补偿；

步骤34：消除噪声。

在上述任一方案中优选的是，所述音频特性检测包括语音检测、噪音检测和相关性特征提取中至少一种。

在上述任一方案中优选的是，所述音频特性检测的方法包括每次提取帧长为tms的音频数据xi(n)，并计算平均能量ei、过零率zcri、短时相关性ri和短时互相关性cij(k)，

其中，

在上述任一方案中优选的是，所述音频特性检测的方法还包括根据所述平均能量ei、所述过零率zcri、所述短时相关性ri和所述短时互相关性cij(k)计算当前帧的非静音概率和语音概率

其中，为i通道max(ei*zcri)的经验参考值，为i通道max{max[ri(k)]*max[cij(k)]}的经验参考值。

在上述任一方案中优选的是，所述音频特性检测的方法还包括根据所述i通道当前帧的所述非静音概率和所述语音概率判断当前帧的类型，即是否为噪声帧、语音帧、无噪环境音帧，

其中，是于相关判决的经验值，ambient为无噪环境音帧，noise为噪音帧，speech为语音帧。

在上述任一方案中优选的是，所述步骤32为根据主音源判定原则确定主数据通路。

在上述任一方案中优选的是，所述主音源判定原则包括：

1)当某一路为speech，而另一路为ambient或者noise时，确定该路作为当前位置帧的所述主数据通路；

2)当某一路为ambient，而另一路为noise时，确定该路作为当前位置帧的所述主数据通路；

3)当两路均为同一种类帧时，确定数值最大的通道作为当前位置帧的所述主数据通路。

在上述任一方案中优选的是，所述步骤33为提取其它通道音频数据的有效数据，对所述主数据通路进行语音分量补偿。

在上述任一方案中优选的是，所述步骤34为根据所述主数据通路speech音频帧前后关联的noise音频帧获得噪声频谱特性，并对speech音频帧在频域上对噪声频谱成分进行抑制。

本发明的第二部分公开了一种脖戴式语音交互耳机的交互方法，包括用于采集音频信号的音频采集模块，还包括以下模块：

接收模块：用于接收所述音频信号，并把声音信号转化为模拟电信号；

转换模块：用于把所述模拟电信号转化为多路可存储的数字信号；

处理模块：用于处理所述数字信号，并输出有效音频数据；

输出模块：用于把所述有效音频数据推送给终端设备

优选的是，所述音频采集模块包括至少一个骨传导麦克风和至少一个麦克风。

在上述任一方案中优选的是，所述音频信号包括第一音频信号和第二音频信号。

在上述任一方案中优选的是，所述第一音频信号是指利用包括骨传导麦克风采集由于用户身体的震动产生的机械波。

在上述任一方案中优选的是，所述第二音频信号是指利用包括麦克风采集所述机械波生成的时间范围内的声波。

在上述任一方案中优选的是，所述处理模块还包括以下子模块：音频特性检测子模块：用于对采集到的所述音频信号进行音频特性检测；

主音源判定子模块：用于进行主音源判定；

主音源补偿子模块：用于进行主音源补偿；

降噪子模块：用于消除噪声。

在上述任一方案中优选的是，所述音频特性检测包括语音检测、噪音检测和相关性特征提取中至少一种。

在上述任一方案中优选的是，所述音频特性检测的方法包括每次提取帧长为tms的音频数据xi(n)，并计算平均能量ei、过零率zcri、短时相关性ri和短时互相关性cij(k)，

其中，

在上述任一方案中优选的是，所述音频特性检测的方法还包括根据所述平均能量ei、所述过零率zcri、所述短时相关性ri和所述短时互相关性cij(k)计算当前帧的非静音概率和语音概率

其中，为i通道max(ei*zcri)的经验参考值，为i通道max{max[ri(k)]*max[cij(k)]}的经验参考值。

在上述任一方案中优选的是，所述音频特性检测的方法还包括根据所述i通道当前帧的所述非静音概率和所述语音概率判断当前帧的类型，即是否为噪声帧、语音帧、无噪环境音帧，

其中，是于相关判决的经验值，ambient为无噪环境音帧，noise为噪音帧，speech为语音帧。

在上述任一方案中优选的是，所述主音源判定子模块用于根据主音源判定原则确定主数据通路。

在上述任一方案中优选的是，所述主音源判定原则包括：

1)当某一路为speech，而另一路为ambient或者noise时，确定该路作为当前位置帧的所述主数据通路；

2)当某一路为ambient，而另一路为noise时，确定该路作为当前位置帧的所述主数据通路；

3)当两路均为同一种类帧时，确定数值最大的通道作为当前位置帧的所述主数据通路。

在上述任一方案中优选的是，所述主音源补偿子模块用于提取其它通道音频数据的有效数据，对所述主数据通路进行语音分量补偿。

在上述任一方案中优选的是，所述降噪子模块用于根据所述主数据通路speech音频帧前后关联的noise音频帧获得噪声频谱特性，并对speech音频帧在频域上对噪声频谱成分进行抑制。

本发明的第三方面公开了一种脖戴式语音交互耳机的交互装置，包括外壳，还包括上述任一项所述的系统。

优选的是，所述脖戴式语音交互耳机的交互装置被安装在智能设备上。

在上述任一方案中优选的是，所述智能设备包括：智能手机、智能相机、智能耳机和其他包含声音输入的智能设备中至少一种。

本发明通过对两路音频的处理，能够有效的去除噪音和杂音，得到有效的清晰的音频数据。

附图说明

图1为按照本发明的脖戴式语音交互耳机的交互方法的一优选实施例的流程图。

图2为按照本发明的脖戴式语音交互耳机的交互方法的一优选实施例的模块示意图。

图3为按照本发明的脖戴式语音交互耳机的交互装置的骨传导麦克风的一实施例的截面示意图。

图4为按照本发明的脖戴式语音交互耳机的交互装置的智能耳机的一实施例的结构示意图。

图5为按照本发明的脖戴式语音交互耳机的交互方法的降噪方法的一实施例的流程图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

音频采集模块200包括至少一个麦克风和一个骨传导麦克风，还包括其他种类的音频采集设备，在本实施例中，音频采集模块200包括一个普通麦克风和一个骨传导麦克风。

如图1、图2所示，执行步骤100，音频采集模块200(包括一个麦克风和一个骨传导麦克风)采集音频信号(包括从麦克风收集到的第一音频信号和从骨传导麦克风收集到的第二音频信号)。执行步骤110，接收模块200从采集模块200接收第一音频信号和第二音频信号，并把两路音频信号转换为模拟电信号。执行步骤120，转换模块220把第一模拟电信号和第二模拟电信号转换为可存储数字信号。执行步骤130，音频特性检测子模块231分别对第一数字信号和第二数字信号进行音频特性检测(包括语音检测、噪音检测和相关性特征提取)。音频特性检测的步骤如下：1)提取帧长为20ms的音频数据，xi(n)，并计算平均能量ei、过零率zcri、短时相关性ri和短时互相关性cij(k)，

其中，根据所述平均能量ei、所述过零率zcri、所述短时相关性ri和所述短时互相关性cij(k)计算当前帧的非静音概率和语音概率

，其中，为i通道max(ei*zcri)的经验参考值，为i通道max{max[ri(k)]*max[cij(k)]}的经验参考值。3)所述音频特性检测的方法还为根据所述i通道当前帧的所述非静音概率和所述语音概率判断当前帧的类型，即是否为噪声帧、语音帧、无噪环境音帧，其中，是于相关判决的经验值，ambient为无噪环境音帧，noise为噪音帧，speech为语音帧。执行步骤140，主音源判定子模块232根据当前帧的数值和判定结果来确定从那一路提取的当前帧作为当前位置帧的主音源。判定方法如下：1)当某一路为speech语音帧，而另一路为ambient无噪环境音帧或者noise噪音帧时，确定该路作为当前位置帧的主数据通路；2)当某一路为ambient无噪环境音帧，而另一路为noise噪音帧时，确定该路作为当前位置帧的主数据通路；3)当两路均为同一种类帧时，确定数值最大的通道作为当前位置帧的主数据通路。执行步骤150，确定当前位置帧的主音源后，补偿子模块233从另一路提取有效数据，对主音源进行语音分量补偿。语音分量补偿方法为：1)利用不同通道有效音频数据在频域进行全频谱的子带加权叠加补偿；2)利用有效的低频子带数据相关特性进行频谱复制操作，补偿高频子带数据。执行步骤160，补偿过后的音频数据中，仍然包含少量噪声数据，降噪子模块234根据主数据通路语音帧前后关联的噪音帧获得噪声频谱特性，并对语音帧在频域上对噪声频谱成分进行有效抑制，从而得到较纯净的有效语音数据。执行步骤170，把最终生成的有效语音数据推送给终端设备。

实施例二

如图3所示，振动采集器标号为301，外壳标号为302，振动腔标号为303，压力传感器标号为304，信号处理器标号为305，电路板标号为306，导线标号为307，传感器接触部标号为308，振动采集部标号为309，振动传递部标号为310，侧面标号为311。

一种骨传导麦克风，包括振动采集器301、外壳302、压力传感器304、信号处理器305、电路板306和导线307，外壳302与振动采集器1连接形成一个封闭空间。电路板306设置于封闭空间内外壳302的底部，处理器设置于电路板306上，并与电路板306通过电路连接。压力传感器4设置于封闭空间内电路板306与振动采集器301之间，与外壳2固定连接。压力传感器304与电路板306通过导线307电路连接。外壳2至少部分为弹性材料制成。

在本实施例中，振动采集器301与压力传感器304的直接接触，声音通过实体介质传递，相对于空气传播减少了声音在传递过程中的音频损失，同时减少了外界噪音的干扰。

振动采集器301包括振动采集部309、振动传递部310和传感器接触部308，所述振动采集部309和传感器接触部308通过振动传递部310连接，所述传感器接触部308与压力传感器304直接接触。

所述振动采集部309为一凸起的弧面，所述传感器接触部308为一平面，与压力传感器304直接接触。振动采集器1的侧面311向内凹陷，与外壳302和压力传感器304围成振动腔303，振动腔303为密闭空腔。振动腔303一方面通过空气传递声波，另一方面使骨传导麦克风与人体接触时容易产生形变，使振动采集器1与面部的贴合度更紧密。

在本实施例中，振动腔303的数目为两个，分别为振动采集器301的两个侧面311向内凹陷，与同侧的外壳302和压力传感器304围成而成，即振动采集器301与压力传感器304之间的空间由振动传递部310分隔成两个振动腔303，两个振动腔303对称分布。这一结构使骨传导麦克风与人体接触时，其各个角度的面发生挤压时都能够发生有效的形变，使所发生的形变更精准，进一步增加了贴合的紧密度。

在本实施例中，所述振动采集部309、振动传递部310和传感器接触部308为一体成型的结构，一体成型的有益效果在于，声音介质更加均匀，有利于声音传播，减少声音损失并保持音质。同时，减少或消除了振动腔漏气导致的信号误差。所述振动采集部309、振动传递部310和传感器接触部308为实心结构。实心结构作为声音传递的介质，声音损失更小，声波传递速度更快。减小或避免了传统通过气囊传递声源振动的缺陷，更加精准的实现声源信号的采集。

振动采集器301为弹性材料制成。弹性材料易于发生形变，提高了振动采集部309与人体(面部等)的贴合程度，并且材质柔软提高使用者的舒适度。

实施例三

如图4所示，展示了一个集成了脖戴式语音交互耳机的交互方法的头戴式耳机400，包括左侧耳机410和右侧耳机430。在左侧耳机410中集中了脖戴式语音交互耳机的交互方法的核心组成部分，包括标号为420的3g/4g网络，标号为421的wifi/蓝牙，标号为422的lcd显示/触摸屏，标号为423的加速传感器/陀螺仪，标号为424的gps，标号为425的骨传导麦克风(左)，标号为426的喇叭(左)，标号为427的音频信号处理(dac)，标号为428的本地数据存储和标号为429的cpu。3g/4g网络、wifi/蓝牙、lcd显示/触摸屏、加速传感器/陀螺仪、gps、音频信号处理(dac)和本地数据存储分别于cpu相连接，骨传导麦克风(左)和喇叭(左)则与音频信号处理(dac)相连接。

右侧耳机430中集中了一些辅助组成部分，包括标号为440的喇叭(右)，标号为441和443的传感器，标号为442的触控板音乐控制，标号为444的骨传导麦克风(右)和标号为445的电池。喇叭(右)、传感器、触控板音乐控制和电池分别于左侧耳机中的cpu相连接，骨传导麦克风(右)与喇叭(右)相连接。

实施例四

如图5所示，执行步骤500，导入主音频数据。执行步骤510，调取存储器中存储的环境判定数据。执行步骤520，把主音频数据与环境判定数据进行比对，并确定主音频输入时周边的噪音环境。顺序执行步骤530和步骤540，从存储器中调取环境噪音数据，并与主音频数据进行单帧比对。执行步骤550，去掉主音频数据单帧中与环境噪音数据相同的音频数据。执行步骤560，生成有效的不带有噪音的音频数据。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。