耳机控制方法、装置、电子设备及存储介质与流程

1.本公开涉及控制技术领域，尤其涉及一种耳机控制方法、装置、电子设备及存储介质。


背景技术：

2.耳机已经成为日常生活中重要的一种音频播放设备，通过耳机可以播放音乐以及各种音频。在各种音频或者视频播放设备不方便外放或者不能外放时，可以通过耳机与音/视频播放设备连接，即可通过耳机播放相应的音频。
3.耳机的种类中多种多样，功能也不尽相同，操作方式也会有所不同。不同的交互操作方式会带给用户不同的使用体验。


技术实现要素：

4.本公开提供一种耳机控制方法、装置、电子设备及存储介质。
5.本公开实施例的第一方面，提供一种耳机控制方法，所述耳机包括反馈麦克风，所述方法包括：通过所述反馈麦克风采集耳道内的音频信号，得到耳道音频信号；其中，所述耳道音频信号包含：当所述耳机处于被用户佩戴的状态下，所述用户在自己的头部的目标区域进行交互操作时，所述交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号；对所述耳道音频信号进行特征提取，得到音频信号特征参数；获取所述耳机在当前佩戴状态下的松紧等级；根据所述音频信号特征参数和所述松紧等级，生成待识别音频特征；将所述待识别音频特征输入预设的交互操作识别模型中，输出识别结果，其中，所述识别结果包括交互操作标识；确定与所述交互操作标识对应的控制指令；根据所述控制指令控制所述耳机的播放状态。
6.在一个实施例中，每隔预定时间，对所述耳机在当前佩戴状态下的松紧程度进行检测，得到所述松紧等级，并存储所述松紧等级。
7.在一个实施例中，所述耳机包括扬声器，所述对所述耳机在当前佩戴状态下的松紧程度进行检测，得到所述松紧等级，包括：通过所述反馈麦克风采集耳道内的超声波反射信号，其中，所述超声波反射信号为超声波在耳道内传播时被耳道反射后得到的音频信号，所述超声波为所述扬声器按照预定频率发出；计算所述超声波反射信号的能量，得到超声波反射能量；根据所述超声波反射能量和预存的超声波发射能量，得到所述松紧等级。
8.在一个实施例中，所述计算超声波反射信号的能量，得到超声波反射能量，包括：根据所述超声波反射信号中至少一帧信号帧中各个采样点的能量，得到所述超声波反射能量。
9.在一个实施例中，所述根据所述超声波反射能量和预存的超声波发射能量，得到所述松紧等级，包括：根据所述超声波反射能量和所述超声波发射能量的能量差，确定所述松紧等级；其中所述能量差和所述松紧等级之间具有预设映射关系。
10.在一个实施例中，在计算所述超声波反射信号的能量，得到超声波反射能量之前，
还包括：对所述超声波反射信号进行滤波处理，得到滤波后的所述超声波反射信号。
11.在一个实施例中，在所述对所述耳道音频信号进行特征提取，得到音频信号特征参数之前，还包括：对所述耳道音频信号进行低通滤波，得到滤波后的所述耳道音频信号。
12.在一个实施例中，所述交互操作识别模型为预先采用机器学习的方式通过训练样本集对初始神经网络模型进行训练得到。
13.在一个实施例中，所述训练样本集包括正样本集，所述正样本集包括多个正样本；每个所述正样本包括：目标交互操作音频特征、所述松紧等级和第一标签；所述目标交互操作音频特征为当用户在佩戴耳机的状态下，当用户在目标区域进行目标操作时，通过所述耳机采集耳道内的声音信号并对所述声音信号进行处理后得到的音频特征，所述第一标签用于标识所述目标操作和所述松紧等级。
14.在一个实施例中，所述训练样本集还包括负样本集，所述负样本集包括多个负样本；每个所述负样本包括：非目标交互操作音频特征、所述松紧等级和第二标签；所述非目标交互操作音频特征为当用户在佩戴耳机的状态下，当用户在目标区域进行非目标操作时，通过所述耳机采集耳道内的声音信号并对所述声音信号进行处理后得到的音频特征；所述第二标签用于标识所述非目标操作和所述松紧等级。
15.本公开实施例的第二方面提供一种耳机控制装置，所述耳机包括反馈麦克风，所述装置包括：耳道音频信号采集模块，用于通过所述反馈麦克风采集耳道内的音频信号，得到耳道音频信号；其中，所述耳道音频信号包含：当所述耳机处于被用户佩戴的状态下，所述用户在自己的头部的目标区域进行交互操作时，所述交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号；音频信号特征参数确定模块，用于对所述耳道音频信号进行特征提取，得到音频信号特征参数；松紧等级确定模块，用于获取所述耳机在当前佩戴状态下的松紧等级；待识别音频特征确定模块，用于根据所述音频信号特征参数和所述松紧等级，生成待识别音频特征；识别结果确定模块，用于将所述待识别音频特征输入预设的交互操作识别模型中，输出识别结果，其中，所述识别结果包括交互操作标识；控制指令确定模块，用于确定与所述交互操作标识对应的控制指令；控制模块，用于根据所述控制指令控制所述耳机的播放状态。
16.本公开实施例的第三方面提供一种电子设备，包括：
17.处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：处理器用于运行所述可执行指令时，所述可执行指令执行上述任一实施例所述的方法。
18.本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。
19.本公开的实施例提供的技术方案可以包括以下有益效果：
20.本公开实施例可以应用于耳机，该耳机具有反馈麦克风，通过该反馈麦克风采集耳道内的音频信号得到耳道音频信号，该耳道音频信号包括当耳机处于被用户佩戴的状态下，用户在自己的头部的目标区域进行交互操作时，交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号。然后对耳道音频信号进行特征提取得到音频信号特征参数。获取耳机在当前佩戴状态下的松紧等级，将根据音频信号特征参数和松紧等级得到的待识别音频特征输入至预设的交互操作识别模型，得到识别结果，该识别结果中包括交互
操作标识。然后根据确定的与该交互操作标识对应的控制指令控制耳机的播放状态。
21.该实施例的方案无需在耳机中安装压力传感器或者其他操作感应器检测用户的操作，节省了耳机的内部空间，同时还节省了耳机的成本，减小了耳机的大小，可以为其他部件提供安装空间。另一方面，减少了由于用户不能准确触碰耳机中检测用户操作的传感器导致的操作难度较大的问题，降低了用户的操作难度，用户通过在肢体中的目标区域，如作用在头部、脸部或者处于佩戴状态的耳机等区域的操作即可控制耳机，提供了更大的操作空间，从而提高了用户的使用体验。
22.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
23.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
24.图1是根据一示例性实施例示出的一种耳机控制方法的流程示意图；
25.图2是根据一示例性实施例示出的一种耳机的示意图；
26.图3是根据一示例性实施例示出的一种耳机处于佩戴状态时的示意图；
27.图4是根据一示例性实施例示出的一种堵耳效应对于耳道内的耳道音频信号进行放大的示意图；
28.图5是根据一示例性实施例示出的一种确定松紧等级的示意图；
29.图6是根据一示例性实施例示出的一种耳机控制装置的结构示意图；
30.图7是根据一示例性实施例示出的一种终端设备的框图。
具体实施方式
31.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
32.随着技术的发展，耳机提供了越来越多的功能，如真无线立体声(tws)耳机，具有多种交互功能。例如，用户佩戴蓝牙耳机时，需要多种的交互方式，比如上滑、下滑耳机柄调节音量。由于耳机的腔体很小，而用户的交互需求又很多，因而需要更多维度的交互方法，提供更多更自然的交互体验。
33.通常情况下，耳机的交互功能通常采用传感器的方式来实现。在耳机柄上设置有压力传感器，作用在传感器上的点击或滑动等操作会存在不同方式的压力，通过对压力的分析，耳机可以识别用户的操作行为，以进行对应的功能响应。
34.因为用户看不见佩戴在耳朵上的耳机，手指不能很精准的作用在传感器的位置上，从而带来一定的操作难度。另外，新增的传感器需要新的硬件成本。
35.参考图1，为本公开技术方案提供的一种耳机控制方法的流程示意图。耳机包括反馈麦克风，该方法包括：
36.步骤s100，通过反馈麦克风采集耳道内的音频信号，得到耳道音频信号；其中，耳
道音频信号包含：当耳机处于被用户佩戴的状态下，用户在自己的头部的目标区域进行交互操作时，交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号。
37.步骤s200，对耳道音频信号进行特征提取，得到音频信号特征参数。
38.步骤s300，获取耳机在当前佩戴状态下的松紧等级。
39.步骤s400，根据音频信号特征参数和所述松紧等级，生成待识别音频特征。
40.步骤s500，将待识别音频特征输入预设的交互操作识别模型中，输出识别结果，其中，识别结果包括交互操作标识。
41.步骤s600，确定与交互操作标识对应的控制指令。
42.步骤s700，根据控制指令控制耳机的播放状态。
43.耳机可以是不同形状的耳机，包括入耳式、半入耳式和头戴式等不同形式的耳机。
44.耳机中的反馈麦克风可以位于耳机的出音通道附近，耳机处于佩戴状态时，反馈麦克风位于耳道内，可以采集耳道内的音频信号，例如入耳式耳机。在耳机为其他形式的耳机时，如半入耳式耳机和头戴式耳机等，在耳机处于佩戴状态时反馈麦克风可以采集耳道内的音频信号即可。
45.对于步骤s100，在耳机处于佩戴状态时，对耳道产生一定的堵塞，形成一定程度的堵耳效应，产生原因是有部分声音会经人的骨头传导到内耳，例如，用户在自己的头部的目标区域进行交互操作时，交互操作产生的震动通过骨传导的方式被传递至耳道而产生的音频信号。在耳机未处于佩戴状态时，骨传导来的声音一部分也经外耳向外扩散，但是在耳机处于佩戴状态时，声音向外扩散的耳道在一定程度上被堵住，减少了骨传导来的声音通过耳道向外扩散的扩散量，形成一定程度的闭塞效应。闭塞效应产生的声音特性表现为低频加强、高频衰弱。
46.由于耳机对耳道产生一定的堵塞，形成不同程度的堵耳效应，在产生堵耳效应后，耳机阻挡了外界音频信号进入耳道，减少了外界音频信号对耳道内音频信号的影响。反馈麦克风可以采集耳道内的音频信号得到耳道音频信号，该耳道音频信号包括当耳机处于被用户佩戴的状态下，用户在自己的头部的目标区域进行交互操作时，交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号。目标区域可以是用户的头部、脸部和颈部等区域，这里的交互操作可以包括触摸和敲击等操作，可以是单次触摸，单次敲击，还可以是连续触摸和连接敲击等。交互操作还可以是作用在处于佩戴状态的耳机上的操作，同样可以通过骨传导的方式将交互操作产生的震动传递至耳道从而产生音频信号。
47.在形成一定程度的堵耳效应后，交互操作产生的震动可以通过脸部、头部等骨传导至耳道，产生第一频率范围的音频信号，如100hz至1000hz的音频信号，堵耳效应可以放大第一频率范围的音频信号，从而可以便于反馈麦克风采集耳道音频信号。反馈麦克风可以直接采集第一频率范围内的音频信号作为耳道音频信号，也可以采集放大后的第一频率的音频信号作为耳道音频信号。
48.对于步骤s200，在得到耳道音频信号后，可以对耳道音频信号进行特征提取，得到音频信号特征参数。特征提取方式可以包括多种，例如通过特征提取算法提取相应的特征，得到的音频信号特征参数可以是梅尔谱系数和梅尔倒谱系数(mfcc)等，梅尔谱系数和梅尔倒谱系数都可以是40维的特征参数。当然还可以是耳道音频信号的其他特征。
49.对于步骤s300，在耳机处于佩戴状态时，通过反馈麦克风可以确定耳机在当前佩
戴状态下的松紧等级，具体的确定过程在这里并不进行限定。例如，反馈麦克风可以采集耳机的扬声器发出的音频信号，可以基于反馈麦克风采集的扬声器发出的音频信号确定耳机在当前佩戴状态下的松紧等级。不同的佩戴状态对应的松紧等级可能不同。
50.在一个实施例中，不同的松紧等级对应的耳机和耳道之间的缝隙可能不同，缝隙越大说明松紧等级越小，缝隙越小说明松紧等级越大。松紧等级越大，说明耳机佩戴的越紧，松紧等级越小，说明耳机佩戴的越松。当然，还可以是松紧等级越小，说明耳机佩戴的越紧，松紧等级越大，说明耳机佩戴的越松，松紧等级和耳机佩戴的松紧之间的关系可以根据实际使用需求进行确定。
51.在一个实施例中，松紧等级可以根据实际的使用需求进行等级的划分，例如一级、二级
…
五级等，等级越高表明松紧等级越大，也可以等级越高松紧等级越小，可以根据实际需求进行确定。
52.当然，还可以是根据反馈麦克风通过其他方式确定耳机在当前佩戴状态下的松紧等级的方法，该实施例只是例举了其中一种，只要是通过反馈麦克风确定松紧等级的方式，都在该所述的保护范围之内。
53.在一个实施例中，步骤s300和步骤s100之间没有必然的先后顺序关系，步骤s300和步骤s200之间没有必然的先后顺序关系，可以先执行步骤s100和步骤s200，在执行步骤s300，也可以先执行步骤s300，在执行步骤s100和步骤s200。步骤s300可以与步骤s100和步骤s200是并列的关系。
54.对于步骤s400，在确定松紧等级和音频信号特征参数后，可以根据松紧等级和音频信号参数生成待识别音频特征。例如可以将松紧等级和音频信号参数共同作为一个待识别音频特征，待识别音频特征中包括松紧等级和音频信号参数两个维度的信息，用于确定交互操作对应的交互操作标识。
55.根据不同的松紧等级和音频信号特征参数，得到的待识别音频特征不同。在松紧等级和音频信号特征参数中的至少一个发生变化时，待识别音频特征则发生变化，这样可以减少在松紧等级和音频信号特征参数同时发生变化时，得到的待识别音频特征不变的情况，从而可以提高识别结果的准确度。
56.对于步骤s500，在生成待识别音频特征后，可以根据待识别音频特征确定出交互操作标识，交互操作标识与交互操作之间具有对应关系，在确定交互操作标识后即可根据交互操作标识确定出对应的交互操作。交互操作标识可以表示对应的交互操作，例如一个交互操作标识对应一个交互操作，交互操作标识和交互操作之间为一一对应的关系。
57.例如，可以通过交互操作识别模型，将待识别音频特征输入至交互操作识别模型，交互操作识别模型输出识别结果，识别结果中包括交互操作标识，该交互操作标识对应有交互操作。该交互操作识别模型为根据交互操作标识和待识别音频特征提前训练完成的模型。
58.当然还可以通过其他方式确定，如映射表等，映射表中包括待识别音频特征和交互操作标识之间的映射关系，通过查找映射表，根据待识别音频特征可以确定作用在目标区域的交互操作所对应的交互操作标识。
59.例如，松紧程度为2级，音频信号特征参数为m，将根据松紧程度为2级，音频信号特征参数为m得到的待识别音频特征输入至交互操作模型，或者查找映射表，则可以确定出交
互操作为点击脸部的交互操作标识的识别结果。
60.根据不同的松紧等级和不同的目标音频信号确定的作用在目标区域的交互操作标识不同。
61.对于步骤s600，在确定交互操作标识后，即可根据交互操作标识确定出对应的控制指令，进而根据控制指令控制耳机的播放状态。交互操作标识和控制指令之间具有预设的对应关系，在确定交互操作标识后，根据交互操作标识和控制指令之间具有预设的对应关系，可以确定出交互操作标识对应的控制指令。
62.不同的交互操作对应的交互操作标识不同，不同的交互操作标识对应的控制指令不同，不同的控制指令可以对耳机进行不同的控制。
63.例如，交互操作标识x1对应控制指令y1，交互操作标识x1为单次点击脸部区域的操作的标识。交互操作标识x2对应控制指令y2，交互操作标识x2为双次点击脸部的操作的标识。交互操作标识x3对应控制指令y3等，交互操作标识x3为触摸脸部的操作的标识。
64.在一个实施例中，交互操作标识和控制指令之间具有预设的对应关系，可以是以关系表的形式存在，通过查表的方式确定控制指令。
65.对于步骤s700，在确定出控制指令后，即可根据控制指令控制耳机的播放状态。例如控制指令为控制指令y1，对应的控制操作为增大音量，则可以根据控制指令y1增大耳机的音量。控制指令为控制指令y2，对应的控制操作为减小音量，则可以根据控制指令y1减小耳机的音量。控制指令为控制指令y3，对应的控制操作为暂停操作，则可以根据控制指令y1暂停耳机的播放。
66.本方案通过反馈麦克风采集耳道的耳道音频信号，对耳道音频信号进行特征提取等解析，识别用户的交互操作，从而控制耳机进行相应的功能响应。利用已有的内置麦克风，无需新的硬件成本，无需在耳机中安装压力传感器或者其他操作感应器检测用户的操作，节省了耳机的内部空间，同时还节省了耳机的成本，减小了耳机的大小，可以为其他部件提供安装空间。另一方面，减少了由于用户不能准确触碰耳机中检测用户操作的传感器导致的操作难度较大的问题，降低了用户的操作难度，减低了误操作和无效操作的概率，用户通过在肢体中的目标区域，如作用在头部、脸部或者处于佩戴状态的耳机等区域的操作即可控制耳机，提供了更大的操作空间，提供更多的交互方式，从而提高了用户的使用体验。
67.参考图2，为一种耳机的示意图，包括反馈麦克风a，在耳机处于佩戴状态时，该反馈麦克风a可以位于耳道内。该耳机还可以包括前馈麦克风b，前馈麦克风b可以位于耳机柄上，在耳机处于佩戴状态时，前馈麦克风位于耳道外，可以采集外部环境的环境音频信号。耳机还可以包括通话麦克风c，在通话状态下采集用户发出的音频信号。反馈麦克风a比前馈麦克风b采集到的音频信号的信噪比更高，所以通过反馈麦克风a采集到噪声更少、质量更高的耳道音频信号。
68.在耳机为头戴式耳机时，也会形成一定程度的堵耳效应，在耳机处于佩戴状态时，反馈麦克风a可以位于耳道外或者朝向耳道，能够采集耳道音频信号即可。
69.参考图3，为一种耳机处于佩戴状态时的示意图，耳机1对耳道2形成一定程度的堵塞，形成堵耳效应。反馈麦克风采集的耳道音频信号包括：作用在用户的脸部或头部等区域的触摸或者敲击等交互操作产生的震动可以通过骨传导的方式被传递至耳道而产生音频
信号，即音频信号3。
70.图4为一种堵耳效应对于耳道内的耳道音频信号进行放大的示意图，l1为一种不在堵耳效应下，通过骨传导的方式将交互操作产生的震动传递至耳道而产生音频信号的能量曲线图，l3为l1在堵耳效应下的能量曲线图。l2为另一种不在堵耳效应下，通过骨传导的方式将交互操作产生的震动传递至耳道而产生音频信号的能量曲线图，l4为l2在堵耳效应下的能量曲线图。显而易见地，大概在100hz至1000hz的范围内，堵耳效应将同一种音频信号的能量明显放大，而通过骨传导的方式将交互操作产生的震动传递至耳道而产生音频信号的频率通常会在该频率范围内。
71.在一个实施例中，在形成一定程度的堵耳效应后，耳道内还可以包括除了当耳机处于被用户佩戴的状态下，用户在自己的头部的目标区域进行交互操作时，交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号之外的噪声信号。即耳道音频信号还可以包括除了交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号之外的音频信号。
72.在反馈麦克风采集到耳道音频信号后，则可以进行对耳道音频信号进行滤波处理，将除了交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号之外的音频信号过滤，得到滤波后的耳道音频信号。然后再对过滤后的耳道音频信号进行特征提取，得到音频信号特征参数。
73.通过对耳道音频信号进行上述过滤操作，可以减少除了交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号之外的音频信号，对交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号之外的影响，减少除了交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号之外的音频信号对识别结果的影响，从而提高了耳道音频信号的信噪比，也提高了识别结果的准确度，有利于更准确的根据识别结果确定控制指令，进而提高对耳机进行控制的精确度。
74.在另一实施例中，在获取耳机在当前佩戴状态下的松紧等级时，可以在预定的时间间隔获取耳机的松紧等级，每隔预定时间，对耳机在当前佩戴状态下的松紧程度进行检测，得到耳机的松紧等级。在得到耳机的松紧等级后，还可以存储当前得到的耳机的松紧等级。
75.通过每隔预定时间检测一次耳机在当前佩戴状态下的松紧程度，从而可以更新耳机在当前佩戴状态下的松紧等级，根据更新后的松紧等级，可以有利于更准确地确定出识别结果。
76.在另一实施例中，耳机还具有扬声器，扬声器用于输出音频信号，例如可以位于靠近耳机出音通道的位置。在耳机处于佩戴状态时，扬声器发出的音频信号可以向耳道传播。参考图2，示出了一种耳机，该耳机中包括扬声器d。
77.参考图5，为一种确定松紧等级的示意图，步骤s300，通获取所述耳机在当前佩戴状态下的松紧等级，包括：
78.步骤s301，通过反馈麦克风采集耳道内的超声波反射信号，其中，超声波反射信号为超声波在耳道内传播时被耳道反射后得到的音频信号，超声波为扬声器按照预定频率发出。
79.步骤s302，计算超声波反射信号的能量，得到超声波反射能量。
80.步骤s303，根据超声波反射能量和预存的超声波发射能量，得到松紧等级。
81.在确定耳机在当前佩戴状态下的松紧等级时，通过扬声器输出超声波，超声波在耳道内传播，耳道可以将超声波进行反射，反馈麦克风可以采集到超声波在耳道内经过传播后被耳道反射后得到的音频信号，即超声波反射信号。在该实施例中，反馈麦克风采集到的超声波反射信号不同于扬声器输出的超声波信号。
82.在一个实施例中，扬声器可以按照预定频率发射超声波。
83.由于超声波信号和超声波反射信号不同，并且在耳机处于不同的松紧等级时，超声波反射信号也不同。根据超声波信号和超声波反射信号之间的差异可以确定耳机松紧等级。
84.例如，松紧等级越大，耳机与耳道之间的缝隙可能越小，超声波向耳道外传输量越小，超声波和超声波反射信号之间的差异越小。松紧等级越小，耳机与耳道之间的缝隙越大，超声波向耳道外传输量越大，超声波和超声波反射信号之间的差异越大。松紧等级越大，形成堵塞效应的效果越好，骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号的分贝越高，反馈麦克风越容易采集到骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号，反馈麦克风采集到的耳道音频信号的信号强度越大。
85.超声波和超声波反射信号之间的差异和松紧等级之间可以根据预设的对应关系确定，预设的对应关系可以根据实际需求确定。超声波和超声波反射信号之间的差异并不限定具体哪些方面的差异，只要能根据这两种音频信号确定出松紧等级即可，可以是能量之间的差异，还可以是其他方面的差异。
86.在该实施例中，在反馈麦克风采集到超声波反射信号后，可以计算超声波反射信号的能量，进而得到超声波反射能量。扬声器发射超声波的超声波发射能量可以是预存的，例如预存在耳机内部的处理器中，也可以是在扬声器发射超声波时确定出来的。确定超声波发射能量和超声波反射能量的过程并不在该实施例中限定，可以参数后续实施例。
87.可以根据超声波反射能量和扬声器发射超声波的超声波发射能量，确定耳机的松紧等级。例如，根据超声波反射能量和超声波发射能量之间的能量差，确定松紧等级。
88.通过扬声器发射超声波，然后根据超声波和超声波反射信号确定耳机的松紧等级时，由于人耳对超声波不是很敏感，听不见超声波，所以通过超声波确定松紧等级时可以不影响用户的正常使用，不会对用户产生听觉上的干扰，可以在用户无感知的情况下确定耳机的松紧等级，减少对用户的影响，提高用户的使用体验。
89.在另一实施例中，超声波的频率不同于耳道音频信号的频率，这样可以减少在确定松紧等级和采集耳道音频信号时，超声波和耳道音频信号之间相互的影响。超声波和超声波反射信号的频率可以是相同的，在确定松紧等级时可以对超声波反射信号进行滤波处理，滤除超声波反射信号频率以外的其他音频信号，从而可以减少其他音频信号对采集超声波反射信号的影响，进而减少对确定耳机的松紧等级的影响，提高确定耳机的松紧等级的准确度。
90.在另一实施例中，计算超声波反射信号的能量，得到超声波反射能量，包括：
91.根据超声波反射信号中至少一帧信号帧中各个采样点的能量，得到超声波反射能量。根据超声波中至少一帧信号帧中各个采样点的能量，得到超声波发射能量。
92.在一个实施例中，确定超声波和超声波反射信号中某一帧信号的能量可以通过公
式(1)确定：
[0093][0094]
其中，l表示帧长，ki表示该帧信号帧中第i个采样点的能量，帧长l中共有l个采样点。l可以根据实际需求确定，ki可以在采集后确定。对于扬声器输出超声波信号可以通过耳机中的具有音频信号采集功能的器件采集，超声波反射信号通过反馈麦克风采集。采集后可以传输至相应的处理器件确定ki，如控制器。
[0095]
超声波中的一帧信号帧的能量可以通过公式(2)确定：
[0096][0097]
xi表示超声波中的某一信号帧中第i个采样点的能量。
[0098]
超声波反射信号中的一帧信号帧的能量可以通过公式(3)确定：
[0099][0100]
yi表示超声波反射信号中的某一信号帧中第i个采样点的能量。
[0101]
在另一实施例中，超声波发射能量可以是预存的，可以不通过上述公式(2)确定。
[0102]
在另一实施例中，可以是根据超声波发射能量和超声波反射能量之间的能量差确定松紧等级，能量差和松紧等级之间具有预设映射关系，在确定能量差之后即可根据预设映射关系确定松紧等级。
[0103]
能量差可以通过公式(4)表示：
[0104]
δe＝e
1-e2ꢀꢀꢀꢀꢀ
(4)
[0105]
根据δe与松紧等级之间具有的预设映射关系，在确定δe后即可确定松紧等级。表1为该实施例提供的一种预设映射关系示例。
[0106]
表1：
[0107]
δe松紧等级大于17db1大于14db小于17db2大于11db小于14db3大于8db小于11db4小于8db5
[0108]
表1中，δe越小，等级对应的数字越大，则表明松紧等级越高，形成堵塞效应的效果越好，骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号的分贝越高，反馈麦克风越容易采集到骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号，反馈麦克风采集到的耳道音频信号的信号强度越大。
[0109]
在另一实施例中，还可以根据超声波反射信号中的一帧信号帧的能量和超声波中的一帧信号帧的能量确定松紧等级。还可以根据超声波反射信号中的多帧信号帧的能量和超声波中的多帧信号帧的能量确定松紧等级。
[0110]
在根据超声波中的多帧信号帧的能量和超声波反射信号中的多帧信号帧的能量
确定松紧等级时，可以根据超声波中的多帧信号帧的能量的平均能量，和超声波反射信号中的多帧信号帧的能量的平均能量之间的能量差，确定松紧等级。
[0111]
在另一实施例中，步骤s100，通过反馈麦克风采集耳道内的耳道音频信号，包括：
[0112]
在反馈麦克风采集到的耳道音频信号包括耳机的扬声器输出超声波时，过滤超声波，得到过滤后的耳道音频信号；
[0113]
和/或，
[0114]
在反馈麦克风采集到的耳道音频信号包括除了超声波和通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号之外的音频信号时，例如音乐等音频信号。对耳道音频信号进行滤波，将除了超声波和通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号之外的音频信号过滤，得到滤波后的耳道音频信号。
[0115]
在形成一定程度的堵耳效应后，在采集耳道音频信号时，耳机中的扬声器可能会输出超声波，和/或，除了超声波和通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号之外的音频信号。除了超声波和通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号之外的音频信号可以是用户正常需求的音频，如歌曲或视频的音频等。在通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号，超声波，和/或，除了超声波和通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号之外的音频信号同时存在时，可以将超声波，和/或，除了超声波和通过骨传导的方式将交互操作产生的震动传递至耳道而产生的音频信号之外的音频信号过滤，这样可以减少其他音频信号对耳道音频信号的影响，提高采集耳道音频信号的准确度。对耳道音频信号进行过滤可以通过耳机的控制器或者其他具有滤波功能的器件实现，如通过回声消除算法等。
[0116]
在另一实施中，耳机的松紧等级较低时，耳机和耳道之间的存在缝隙时，外界环境中的音频信号也可以传播至耳道，将外界环境中的音频信号记为环境音频信号，环境音频信号可以是耳机所在环境中的音频信号。此时反馈麦克风采集到的耳道音频信号中包括环境音频信号，对耳道音频信号进行滤波，将环境音频信号过滤，得到滤波后的耳道音频信号,，从而减少了环境音频信号对耳道音频信号的影响，提高采集耳道音频信号的信噪比和准确度。
[0117]
在另一实施例中，在耳机处于佩戴状态时，前馈麦克风位于耳道外，可以通过耳机中的前馈麦克风采集环境音频信号。参考图2中所示的b。
[0118]
在一个实施例中，在反馈麦克风采集耳道音频信号时，如果耳道音频信号中包括超声波信号，则可以通过低通滤波等方式进行对耳道音频信号进行滤波。
[0119]
在一个实施例中，反馈麦克风在采集到耳道音频信号后，耳机中的控制器可以识别耳道音频信号是否包括超声波，结合前馈麦克风采集的环境噪声，可以识别耳道音频信号是否包括环境噪声等。
[0120]
在另一实施例中，交互操作识别模型为预先采用机器学习的方式通过训练样本集对初始神经网络模型进行训练得到。初始神经网络模型的结构并不进行限定，在通过机器学习的方式通过训练样本集进行训练后，能够根据待识别音频特征输出识别结果即可。
[0121]
在一个实施例中，训练样本集包括正样本集，正样本集包括多个正样本；
[0122]
每个正样本包括：目标交互操作音频特征、耳机的松紧等级和第一标签；
[0123]
目标交互操作音频特征为当用户在佩戴耳机的状态下，当用户在目标区域进行目标操作时，通过耳机采集耳道内的声音信号并对声音信号进行处理后得到的音频特征，第一标签用于标识目标操作和耳机的松紧等级。
[0124]
目标交互操作音频特征可以是用户在目标区域进行目标操作时，耳机内部处理器等对反馈麦克风采集的耳道内的声音信号进行处理并且进行特征提取得到的音频特征。将每个正样本中的目标交互操作音频特征和当前佩戴状态下耳机的松紧等级作为初始神经网络模型的输入，第一标签作为初始神经网络模型的输出。正样本集中正样本的数量可以根据实际需求进行确定，数量越多，训练得到的交互操作识别模型的准确度越高。
[0125]
用户在目标区域进行的目标操作至少可以包括：对脸部区域的单次点击、双次点击以及更多次的连续点击等；对头部区域的单次点击、双次点击以及更多次的连续点击等；对颈部区域的单次点击、双次点击以及更多次的连续点击等。可以根据实际的使用需求确定目标操作和目标区域。
[0126]
目标交互操作音频特征可以包括梅尔谱特征参数和梅尔倒谱特征参数等，梅尔谱系数和梅尔倒谱系数都可以是40维的系数。不同的正样本中，耳机在佩戴状态下的松紧等级不同，和/或，目标交互操作音频特征不同。
[0127]
在另一实施例中，训练样本集还包括负样本集，负样本集包括多个负样本；
[0128]
每个负样本包括：非目标交互操作音频特征、耳机的松紧等级和第二标签；
[0129]
非目标交互操作音频特征为当用户在佩戴耳机的状态下，当用户在目标区域进行非目标操作时，通过耳机采集耳道内的声音信号并对声音信号进行处理后得到的音频特征；第二标签用于标识非目标操作和耳机的松紧等级。
[0130]
非目标交互操作音频特征可以是用户在目标区域进行非目标操作时，耳机内部处理器等对反馈麦克风采集的耳道内的声音信号进行处理并且进行特征提取得到的音频特征。将每个负样本中的非目标交互操作音频特征和当前佩戴状态下耳机的松紧等级作为初始神经网络模型的输入，第二标签作为初始神经网络模型的输出。负样本集中负样本的数量可以根据实际需求进行确定，数量越多，训练得到的交互操作识别模型的准确度越高。
[0131]
用户在目标区域进行的非目标操作至少可以包括：对脸部区域的单次触摸、双次触摸以及更多次的连续触摸等；对头部区域的单次触摸、双次触摸以及更多次的连续触摸等；对颈部区域的单次触摸、双次触摸以及更多次的连续触摸等；对脸部区域的单次拍打、双次拍打以及更多次的连续拍打等。可以根据实际的使用需求确定非目标操作和目标区域。
[0132]
非目标交互操作音频特征可以包括梅尔谱特征参数和梅尔倒谱特征参数等，梅尔谱系数和梅尔倒谱系数都可以是40维的系数。不同的负样本中，耳机在佩戴状态下的松紧等级不同，和/或，非目标交互操作音频特征不同。
[0133]
非目标操作不同于目标操作，通过正样本集和负样本集对初始神经网络模型进行训练，得到的交互操作识别模型的准确度更高，可以提高输出的识别结果的准确度，从而提高对耳机控制的准确度。
[0134]
结合耳机在佩戴状态下的松紧等级，利用正样本和负样本训练初始神经网络模型，得到交互操作识别模型。利用目标音频信号的梅尔谱系数和梅尔倒谱系数两个维度的信息，在结合耳机在佩戴状态下的松紧等级这一维度的信息，共三个维度的信息训练网络
模型，可以提高交互操作识别模型的识别能力，得到的识别结果更加准确。
[0135]
在另一实施例中，参考图6，为一种耳机控制装置的结构示意图，所述耳机包括反馈麦克风，该装置包括：
[0136]
耳道音频信号采集模块1，用于通过所述反馈麦克风采集耳道内的音频信号，得到耳道音频信号；其中，所述耳道音频信号包含：当所述耳机处于被用户佩戴的状态下，所述用户在自己的头部的目标区域进行交互操作时，所述交互操作产生的震动通过骨传导方式被传递至耳道而产生的音频信号；
[0137]
音频信号特征参数确定模块2，用于对所述耳道音频信号进行特征提取，得到音频信号特征参数；
[0138]
松紧等级确定模块3，用于获取所述耳机在当前佩戴状态下的松紧等级；
[0139]
待识别音频特征确定模块4，用于根据所述音频信号特征参数和所述松紧等级，生成待识别音频特征；
[0140]
识别结果确定模块5，用于将所述待识别音频特征输入预设的交互操作识别模型中，输出识别结果，其中，所述识别结果包括交互操作标识；
[0141]
控制指令确定模块6，用于确定与所述交互操作标识对应的控制指令；
[0142]
控制模块7，用于根据所述控制指令控制所述耳机的播放状态。
[0143]
在另一实施例中，松紧等级确定模块，还用于每隔预定时间，对所述耳机在当前佩戴状态下的松紧程度进行检测，得到所述松紧等级，并存储所述松紧等级。
[0144]
在另一实施例中，所述耳机包括扬声器，松紧等级确定模块，包括：
[0145]
超声波反射信号采集单元，用于通过所述反馈麦克风采集耳道内的超声波反射信号，其中，所述超声波反射信号为超声波在耳道内传播时被耳道反射后得到的音频信号，所述超声波为所述扬声器按照预定频率发出；
[0146]
超声波反射能量确定单元，用于计算所述超声波反射信号的能量，得到超声波反射能量；
[0147]
松紧等级确定单元，用于根据所述超声波反射能量和预存的超声波发射能量，得到所述松紧等级。
[0148]
在另一实施例中，超声波反射能量确定单元，还用于：
[0149]
根据所述超声波反射信号中至少一帧信号帧中各个采样点的能量，得到所述超声波反射能量。
[0150]
在另一实施例中，所松紧等级确定单元，还用于：
[0151]
根据所述超声波反射能量和所述超声波发射能量的能量差，确定所述松紧等级；其中所述能量差和所述松紧等级之间具有预设映射关系。
[0152]
在另一实施例中，所述装置还包括：
[0153]
第一滤波模块，用于在计算所述超声波反射信号的能量，得到超声波反射能量之前，对所述超声波反射信号进行滤波处理，得到滤波后的所述超声波反射信号。
[0154]
在另一实施例中，所述装置还包括：
[0155]
第二滤波模块，用于在所述对所述耳道音频信号进行特征提取，得到音频信号特征参数之前，对所述耳道音频信号进行低通滤波，得到滤波后的所述耳道音频信号。
[0156]
在另一实施例中，所述交互操作识别模型为预先采用机器学习的方式通过训练样
本集对初始神经网络模型进行训练得到。
[0157]
在另一实施例中，所述训练样本集包括正样本集，所述正样本集包括多个正样本；
[0158]
每个所述正样本包括：目标交互操作音频特征、所述松紧等级和第一标签；
[0159]
所述目标交互操作音频特征为当用户在佩戴耳机的状态下，当用户在目标区域进行目标操作时，通过所述耳机采集耳道内的声音信号并对所述声音信号进行处理后得到的音频特征，所述第一标签用于标识所述目标操作和所述松紧等级。
[0160]
在另一实施例中，所述训练样本集还包括负样本集，所述负样本集包括多个负样本；
[0161]
每个所述负样本包括：非目标交互操作音频特征、所述松紧等级和第二标签；
[0162]
所述非目标交互操作音频特征为当用户在佩戴耳机的状态下，当用户在目标区域进行非目标操作时，通过所述耳机采集耳道内的声音信号并对所述声音信号进行处理后得到的音频特征；所述第二标签用于标识所述非目标操作和所述松紧等级。
[0163]
在另一实施例中，还提供了一种电子设备，包括：
[0164]
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：
[0165]
处理器用于运行所述可执行指令时，所述可执行指令执行上述任一实施例所述的方法。
[0166]
在另一实施例中，还提供了一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。
[0167]
需要说明的是，本公开实施例中的“第一”和“第二”仅为表述和区分方便，并无其他特指含义。
[0168]
图7是根据一示例性实施例示出的一种终端设备的框图。例如，终端设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0169]
参照图7，终端设备可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0170]
处理组件802通常控制终端设备的整体操作，诸如与展示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0171]
存储器804被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0172]
电力组件806为终端设备的各种组件提供电力。电力组件806可以包括电源管理系
统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
[0173]
多媒体组件808包括在终端设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶展示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0174]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当终端设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0175]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0176]
传感器组件814包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件814可以检测到终端设备的打开/关闭状态，组件的相对定位，例如组件为终端设备的展示器和小键盘，传感器组件814还可以检测终端设备或终端设备一个组件的位置改变，用户与终端设备接触的存在或不存在，终端设备方位或加速/减速和终端设备的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0177]
通信组件816被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，4g或5g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于发频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0178]
在示例性实施例中，终端设备可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0179]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0180]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并
且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。