一种入耳式耳机的音频播放方法、装置及系统与流程

1.本发明实施例涉及耳机技术领域，特别是涉及一种入耳式耳机的音频播放方法、装置及系统。


背景技术：

2.随着移动通信的发展，各种智能穿戴设备在人们生活中使用越来越广泛，其中，无线耳机已经成为大众生活的必需品。无线耳机用来听音乐、听音视频以及打电话，与有线耳机相比给人们带来了很大便利，但若用户在使用过程中需要与别人进行当面交流时，需要手动关掉音频、摘下耳机，否则会严重影响与别人的交流效果，并且摘掉耳机容易导致耳机丢失，或者是用户手动调低音量以便听清楚对方说话，但这些方式都为用户带来不便，影响用户使用体验。
3.鉴于此，如何提供一种解决上述技术问题的入耳式耳机的音频播放方法、装置及系统成为本领域技术人员需要解决的技术问题。


技术实现要素：

4.本发明实施例的目的是提供一种入耳式耳机的音频播放方法、装置及系统，在使用过程中能够为用户的使用提供便利，提升用户的使用体验。
5.为解决上述技术问题，本发明实施例提供了一种入耳式耳机的音频播放方法，应用于设有振动传感器的入耳式耳机，包括：
6.在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
7.在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；
8.依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则将耳机切换至辅听模式，所述辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，所述第一声音信号包括与所述用户对应的对话者的声音信号；若否，则继续保持当前的音频播放模式。
9.可选的，所述语音参数包括语音能量，则依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流的过程为：
10.依据所述振动信号获取对应的语音能量，并依据所述语音能量判断对应的语音能量值是否达到预设值，若是，则所述用户在对外交流，若否，则所述用户没有对外交流。
11.可选的，所述依据所述振动信号获取对应的语音能量，并依据所述语音能量判断对应的语音能量值是否达到预设值的过程为：
12.对所述振动信号进行噪声消除处理，以便提取出与所述用户的语音对应的第一振动信号；
13.对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断对应的语音能量值是否达到预设值。
14.可选的，在所述对所述第一振动信号进行语音能量检测获取对应的语音能量值，
并判断所述语音能量值是否达到预设值之前，还包括：
15.将所述第一振动信号发送至终端设备，以便对所述用户进行身份识别；
16.接收识别结果，并当所述识别结果为识别成功时进入下一步。
17.可选的，所述第一声音信号包括人的声音信号和/或拟人声音信号。
18.可选的，所述采集环境声音并将所述环境声音中的第一声音信号通过耳机进行播放的过程为：
19.采集环境声音并对所述环境声音进行噪声消除处理，得到所述环境声音中与人声对应的声音信号；
20.将所述的第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，并将所述混合声音信号通过所述耳机进行播放。
21.可选的，在所述将所述的第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号之前，还包括：
22.对所述的第一声音信号进行响度补偿处理，得到补偿后的声音信号；
23.拾取用户耳道内的声音信号，并从所述用户耳道内的声音信号中提取出共鸣声音信号；
24.对所述共鸣声音信号进行处理，得到共鸣声音抑制信号；
25.则，所述将所述与人声对应的声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号的过程为：
26.将所述补偿后的声音信号、所述共鸣声音抑制信号与当前正在播放的音频信号进行混音处理后得到混合声音信号。
27.可选的，在所述将耳机切换至辅听模式之后，还包括：
28.继续通过所述振动传感器采集用户耳道内的振动信号，并在依据所述振动信号确定出所述用户没有对外交流时，将所述耳机切换至所述音频播放模式，使所述耳机继续对当前所播放的音频文件进行播放。
29.本发明实施例还提供了一种入耳式耳机的音频播放装置，应用于设有振动传感器的入耳式耳机，包括：
30.播放模块，用于在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
31.获取模块，用于在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；
32.判断模块，用于依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则触发控制模块；若否，则触发所述播放模块；
33.所述控制模块，用于将耳机切换至辅听模式，所述辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，所述第一声音信号包括与所述用户对应的对话者的声音信号。
34.本发明实施例还提供了一种入耳式耳机的音频播放系统，包括处理器、存储器和设置于入耳式耳机上的、用于采集用户耳道内的振动信号的振动传感器；其中：
35.存储器，用于存储计算机程序；
36.处理器，用于执行所述计算机程序时实现如上述所述入耳式耳机的音频播放方法
的步骤。
37.本发明实施例提供了一种入耳式耳机的音频播放方法、装置、系统及计算机可读存储介质，应用于设有振动传感器的入耳式耳机，该方法能够在耳机处于音频播放模式时对当前音频文件进行音频播放，并在音频播放的过程中通过设置在耳机上的振动传感器采集用户耳道内的振动信号，然后依据该振动信号获取对应的语音参数，并依据语音参数判断该用户是否在对外交流，若用户在对外交流，则说明用户需要与外界进行面对面的交流，此时将耳机切换至辅听模式，辅听模式为采集环境声音然后将环境声音中的第一声音信号通过耳机进行播放，其中，第一声音信号包括与所述用户对应的对话者的声音信号，并与其进行交流；本发明能够为用户的使用提供便利，提升用户的使用体验。
附图说明
38.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例提供的一种入耳式耳机的音频播放方法的流程示意图；
40.图2为本发明实施例提供的一种入耳式耳机的音频播放装置的结构示意图；
41.图3为本发明实施例提供的一种入耳式耳机的音频播放系统的结构示意图；
42.图4为本发明实施例提供的一种入耳式耳机的结构示意图；
43.图5为本发明实施例提供的一种入耳式耳机的内部结构示意图。
具体实施方式
44.本发明实施例提供了一种入耳式耳机的音频播放方法、装置、系统及计算机可读存储介质，在使用过程中能够为用户的使用提供便利，提升用户的使用体验。
45.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.请参照图1，图1为本发明实施例提供的一种入耳式耳机的音频播放方法的流程示意图。该方法应用于设有振动传感器的入耳式耳机，包括：
47.s110：在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
48.具体的，在耳机处于音频播放模式时，根据当前正在播放的音频文件控制耳机播放对应的音频，其中，本发明具体可以应用于tws耳机，对于tws耳机当耳机处于音频播放模式时，tws耳机内的蓝牙协议栈根据当前音频文件输出已编码的音频数据，并且蓝牙音频解码后得到pcm格式的音频数据，并对该音频数据进行音效后处理后得到渲染音频，通过耳机产生对应的声音信号，具体可以通过耳机上设置的耳道内扬声器产生声音信号。当然，在实际应用中还可以在得到渲染音频后，再进行噪声抑制处理，得到叠加了反相噪声的音频数据后，再由耳机上的耳道内扬声器产生声音信号，其中噪声可以包括环境噪声和耳道内噪声，其中，环境噪声可以通过耳道外麦克风获得，耳道内噪声可以通过耳道内麦克风拾取，
具体获取方式和噪声消除方式本实施例不做特殊限定。
49.s120：在音频播放的过程中通过振动传感器获取用户耳道内的振动信号；
50.需要说明的是，预先在入耳式耳机上设置振动传感器，其中，振动传感器具体可以设置在入耳式耳机的声腔内，并且使振动传感器的接触点位于声腔外壁上用于贴合用户耳道的位置处，也即在用户佩戴上耳机后，可以使耳机上的振动传感器的接触点贴合用户耳道，从而可以将用户耳道内的振动信号传递给振动传感器，其中，当用户说话时振动信号包括用户说话时所引起的耳道振动信号以及环境声音引起的耳道振动信号。在实际应用过程中，具体可以在音乐播放过程中通过振动传感器实时采集用户耳道内的振动信号。
51.130：依据振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则进入s140：若否，则返回s110继续保持当前的音频播放模式；
52.具体的，在获取振动信号后，可以从振动信号中提取出与用户的语音对应的振动信号，然后根据该振动信号获取对应的语音参数，然后在根据该语音参数判断用户是否在对外交流，当用户在与外界进行面对面的交流时，进入s140；当用户没有与外界进行面对面交流的需求，此时应继续保持当前的音频播放模式对当前音频文件进行播放。
53.s140：将耳机切换至辅听模式，辅听模式为采集环境声音并将环境声音中的第一声音信号通过耳机进行播放，第一声音信号包括与用户对应的对话者的声音信号。
54.可以理解的是，当确定出用户的语音能量值大于预设值后，也即在判断用户在与外界人员进行面对面交流时，为了保证用户在无需摘到耳机的情况下能够听清楚外界人员的声音，可以将耳机切换至辅听模式，在辅听模式下采集环境声音，具体可以通过设置在耳机上的耳道外麦克风来采集环境声音，环境声音中包括环境噪声和人声，本实施例可以提取与环境声音中的人声对应的声音信号，并通过耳机对其进行播放，以便用户能够听清楚外界与用户对话者的声音，其中，具体可以通过耳机中的耳道内扬声器对第一声音信号进行播放。
55.需要说明的是，在将耳机切换至辅听模式之后，在控制耳机对环境声音中第一声音信号进行播放的同时，还应继续通过振动传感器采集用户耳道内的振动信号，并在依据振动信号确定出用户没有对外交流时，具体可以在确定出在一定时长(20s)内用户的语音能量值均小于预设值时，说明此时用户已经完成与外界人员的面对面交流，因此可以再将耳机切换至音频播放模式，使耳机继续对当前所播放的音频文件进行播放。
56.具体的，本发明实施例中的第一声音信号可以包括人的声音信号和/或拟人声音信号。
57.进一步的，语音参数包括语音能量，则依据振动信号获取对应的语音参数，并依据语音参数判断用户是否在对外交流的过程为：
58.依据振动信号获取对应的语音能量，并依据语音能量判断对应的语音能量值是否达到预设值，若是，则用户在对外交流，若否，则用户没有对外交流。
59.具体的，根据振动信号获取语音能量后，语音能量值大于预设值说明用户声音说话声音较大，此时在与外界交流，语音能量值没有达到预设值说明用户声音说话声音较小，此时没有与外界进行交流。
60.进一步的，上述s130中依据振动信号获取对应的语音能量，并依据语音能量判断对应的语音能量值是否达到预设值的过程，具体可以为：
61.对振动信号进行噪声消除处理，以便提取出与用户的语音对应的第一振动信号；
62.对第一振动信号进行语音能量检测获取对应的语音能量值，并判断该语音能量值是否达到预设值。
63.需要说明的是，由于在实际应用中当用户说话时振动信号包括用户说话时所引起的耳道振动信号以及环境声音引起的耳道振动信号，故为了使得到的用户的语音能量值更加准确，因此本实施例中对采集到的振动信号进行噪声消除处理，将振动信号中的环境声音作为噪声进行消除，其中，环境声音包括环境噪声和环境中的人声，然后得到仅包括与用户的语音对应的第一振动信号，再对第一振动信号进行能量检测，得到第一振动信号的语音能量值，具体可以根据第一振动信号在预设时长(5ms)内的峰值平均值得到对应的语音能量值，然后判断该语音能量值是否达到预设值，进一步确定用户是否在与外界人员进行面对面交流，以便确定是否将耳机切换至辅听模式。
64.更进一步的，在上述对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断语音能量值是否达到预设值之前，该方法还可以包括：
65.将第一振动信号发送至终端设备，以便对用户进行身份识别；
66.接收识别结果，并当识别结果为识别成功时进入下一步。
67.具体的，在得到与用户对应的第一振动信号后，本发明实施例中还可以将第一振动信号发送至终端设备，以便对用户进行身份识别，具体可以预先存储与用户的声音信号对应的标准振动信号，然后将第一振动信号与标准振动信号进行匹配，两者相同的用户身份识别通过，两者不同则说明使用耳机的人不是用户本人，此时身份识别失败，终端设备可以将识别结果返回至耳机，耳机在根据识别结果来进一步确定是否需要对第一振动信号进行语音能量检测，在身份识别通过后再进行语音能量检测。其中，对于tws耳机，具体可以将第一振动信号经过蓝牙语音编码后再通过蓝牙协议栈发送至与耳机进行蓝牙连接的移动终端。
68.进一步的，上述s140中采集环境声音并将环境声音中第一声音信号通过耳机进行播放的过程，具体可以为：
69.采集环境声音并对环境声音进行噪声消除处理，得到环境声音中第一声音信号；
70.将第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，并将混合声音信号通过耳机进行播放。
71.需要说明的是，在辅听模式中用户需要与外界人员进行面对面交流，因此可以通过耳道外麦克风拾取环境声音，并对环境声音进行噪声消除处理，提取出环境声音中第一声音信号，为了使用户在收听音频的同时能够听到外界与其对话者的声音，本实施例中可以将所提取出的第一声音信号与当前正在播放的音频信号进行混音处理，并将混音处理后的混合声音信号通过耳机进行播放，使耳机播放包含外界人声的音乐信号。
72.其中，针对tws耳机，在蓝牙协议栈根据当前音频文件输出已编码的音频数据，并且蓝牙音频解码后得到pcm格式的音频数据，对该音频数据进行音效后处理后得到渲染音频，然后将渲染音频与上述从环境声音中提取出的第一声音信号进行混音处理，具体可以将两者按照一定比例进行混音处理，得到混合声音信号，其中，具体比例可以根据实际需要进行确定，本申请对此不做特性限定。
73.更进一步的，在上述将第一声音信号与当前正在播放的音频信号进行混音处理后
得到混合声音信号之前，该方法还可以包括：
74.对第一声音信号进行响度补偿处理，得到补偿后的声音信号；
75.拾取用户耳道内的声音信号，并从用户耳道内的声音信号中提取出共鸣声音信号；
76.对共鸣声音信号进行处理，得到共鸣声音抑制信号；
77.需要说明的是，入耳式耳机的堵耳效应是影响耳机佩戴舒适度的主要因素之一，当入耳式耳机佩戴后，用户外耳道共鸣腔的中频提升会弱化，用户说话时的低频共鸣不仅会使得用户听自己的声音产生严重的失真，还会使用户听到与其对话者的声音产生失真，影响交谈的流畅度。因此，本实施例中为了使用户能够更加清楚的听到与其对话者的声音，可以在从环境声音中提取出第一声音信号后，一方面可以对第一声音信号进行响度补偿处理，得到补偿后的声音信号，另一方面可以通过耳道内麦克风拾取用户耳道内的声音信号，用户耳道内的声音信号包括喇叭根据第一声音信号所播放的声音信号、以及产生的共鸣声音信号，然后从该用户耳道内的声音信号中提取出共鸣声音信号，并对共鸣声音信号进行抑制处理后得到共鸣声音抑制信号，其中，具体可以通过产生与共鸣声音信号对应的等幅反相的声音信号，并将该声音信号作为共鸣音抑制信号。
78.则相应的，上述将第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号的过程，具体可以为：
79.将补偿后的声音信号、共鸣声音抑制信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，从而可以使用户更加清楚的听到与其对话者的声音，以便用户能够流畅的与其进行交谈。
80.可见，该方法能够在耳机处于音频播放模式时对当前音频文件进行音频播放，并在音频播放的过程中通过设置在耳机上的振动传感器采集用户耳道内的振动信号，然后依据该振动信号判断用户的语音能量值是否达到预设值，若达到预设值，则说明用户需要与外界人员进行面对面的交流，此时将耳机切换至辅听模式，辅听模式为采集环境声音然后将环境声音中第一声音信号通过耳机进行播放，以便用户能够听到外界人员说话的声音，并与其进行交流；本发明能够为用户的使用提供便利，提升用户的使用体验。
81.在上述实施例的基础上，本发明实施例还提供了一种入耳式耳机的音频播放装置，具体请参照图2。该装置应用于设有振动传感器的入耳式耳机，包括：
82.播放模块21，用于在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
83.获取模块22，用于在音频播放的过程中通过振动传感器获取用户耳道内的振动信号；
84.判断模块23，用于依据振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则触发控制模块24；若否，则触发播放模块21；
85.控制模块24，用于将耳机切换至辅听模式，辅听模式为采集环境声音并将环境声音中第一声音信号通过耳机进行播放，第一声音信号包括与用户对应的对话者的声音信号。
86.需要说明的是，本发明实施例中所提供的入耳式耳机的音频播放装置具有与上述实施例所提供的入耳式耳机的音频播放方法相同的有益效果，并且对于本实施例中所涉及
到的入耳式耳机的音频播放方法的具体介绍请参照上述实施例，本申请在此不再赘述。
87.在上述实施例的基础上，本发明实施例还提供了一种入耳式耳机的音频播放系统，具体请参照图3至图5，该系统包括处理31、存储器32和设置于入耳式耳机上的、用于采集用户耳道内的振动信号的振动传感器33；其中：
88.存储器31，用于存储计算机程序；
89.处理器32，用于执行计算机程序时实现如上述入耳式耳机的音频播放方法的步骤。
90.其中，本实施例中的振动传感器33可以设置于入耳式耳机的声腔内，振动传感器的接触点331位于声腔外壁上用于贴合用户耳道的位置处，如图4和图5所示。
91.需要说明的是，本实施例中的处理器具体可以用于实现在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；依据所述振动信号获取对应的语音参数，并依据语音参数判断所述用户是否在对外交流，若是，则将耳机切换至辅听模式，辅听模式为采集环境声音并将所述环境声音中第一声音信号通过所述耳机进行播放，第一声音信号包括与用户对应的对话者的声音信号；若否，则继续保持当前的音频播放模式。
92.在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述入耳式耳机的音频播放方法的步骤。
93.该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
94.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
95.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
96.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。