一种声音增强方法、耳机控制方法、装置及耳机与流程

1.本技术实施例涉及通信技术领域，尤其涉及一种声音增强方法、耳机控制方法、装置及耳机。


背景技术：

2.近年来，耳机用户越来越多，用户对耳机的功能诉求也越来越有差异化。比如有的用户在佩戴耳机时不想听见外界噪声，可以通过主动降噪(active noise control，anc)功能对耳朵的噪声进行消除。有的用户想听见耳机外的声音，需要通过环境声透传(hear through，ht)功能来实现与不带耳机一样感受外界声音。有的用户可能听觉有障碍，需要获得想要的外界信号，同时滤除不想要的信号。但是目前耳机并不能根据用户需求来实现用户想要达到的听觉增强的效果。


技术实现要素：

3.本技术实施例提供一种声音增强方法、耳机控制方法、装置及耳机，用以根据用户需求实现用户想到达到的听觉效果。
4.第一方面，本技术提供一种声音增强方法，所述方法应用于第一耳机，所述第一耳机与终端设备建立通信连接，所述第一耳机至少支持主动降噪anc功能和环境声透传ht功能，所述第一耳机包括第一参考麦克风、误差麦克风、第一通话麦克风和扬声器；所述方法包括：通过所述第一参考麦克风采集第一参考信号，所述第一参考信号用于表征所述第一参考麦克风所处环境的声音；通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；通过所述第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音；获取所述第二耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号；其中，所述第二耳机与所述第一耳机为一套配对的耳机；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；获取方向性透传的指令，所述方向性透传的指令用于指示所述第一耳机透传外部环境中来自目标方向的声音；对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号；至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述目标方向的声音的信噪比；通过所述扬声器播放所述目标信号。
5.通过上述方案，针对来自特定方向上的声音信号能够透传给用户，使得用户能够更好的感知该特定方向上的声音，并且能够降低其它方向上的噪声，进一步提高用户的听觉感受。
6.本技术实施例中涉及到的目标方向是在耳机所处的空间中，以耳机或者终端设备为参考基准的一个用户感兴趣方向范围。本技术实施例中所述的方向范围可以包括以佩戴
耳机的用户为中心的水平方向的环360度范围中的一个角度范围、以终端设备为中心的水平方向的环360度范围中的一个角度范围、以耳机为中心的水平方向的环360度范围中的一个角度范围，或者以用户为中心的水平方向的环360度延伸方向范围中的一个角度范围。可以理解的是，一般用户佩戴耳机的情况下，终端设备与耳机之间的距离是小于一个距离值的，该距离值位于可以接受的误差范围内，因此可以以终端设备作为参考基准确定目标方向。参考基准可以是一个参考的方向范围，或者一个预设的参考方向。
7.作为一种示例，目标方向可以是目标声源所在方向与参考方向的夹角。比如，参考方向可以是某个麦克风的开孔的朝向，或者可以是佩戴耳机的用户的面部朝向。可以根据左耳机的通话麦克风、参考麦克风以及右耳机的通话麦克风、参考麦克风的位置来确定。比如，左耳机的通话麦克风与右耳机的通话麦克风的连线的垂直方向作为参考方向，再比如，左耳机的参考麦克风与右耳机的参考麦克风的连线的垂直方式作为参考方向。参考方向也可以根据左耳机的通话麦克风、参考麦克风以及右耳机的通话麦克风、参考麦克风中的至少一个耳机的开孔朝向来确定。
8.在一种可能的设计中，针对采集的信号提升所述目标方向的声音的信噪比，包括：针对采集的信号增强所述目标方向的声音；或者，针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。上述设计，提供三种可能的实现提升目标方向的声音的信噪比的方式，简单易实现。
9.需要说明的是，在目标信号中，目标方向的声音解释为有效信号，目标信号中的其它方向的声音解释为噪声，所述目标信号中所述目标方向的声音的信噪比，可以解释为目标信号中目标方向的声音信号功率与其它方向的声音信号功率的比例。在第一参考信号中，目标方向的声音解释为有效信号，第一参考信号中的其它方向的声音解释为噪声，第一参考信号中所述目标方向的声音的信噪比，可以解释为第一参考信号中目标方向的声音信号功率与其它方向的声音信号功率的比例。
10.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述目标方向上的声音信号得到方向性透传信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
11.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述第一参考信号、第一误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述目标方向上的声音信号和所述第一参考信号得到方向性透传信号；利用所述 anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
12.在一种可能的设计中，对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号，包括：根据参考时钟信号，对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话
信号进行同步处理；对同步后的所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号。
13.在一种可能的设计中，所述方向性透传的指令包括目标方向相对于预设的参考方向的角度偏移量。预设的参考方向，比如可以是垂直于左右耳机的连线的方向。或者东南西北中的任一个方向等。
14.在一种可能的设计中，获取方向性透传的指令，包括：接收终端设备发送的所述方向性透传的指令。
15.在一种可能的设计中，所述目标信号中所述目标方向的声音的信噪比大于所述第一信号中所述目标方向的声音的信噪比。所述目标信号中目标方向的声音的信噪比越大，可以表明目标信号中目标信号声音的能量占比越大。
16.第二方面，本技术实施例提供一种声音增强方法，所述方法应用于耳机，所述耳机至少支持主动降噪anc功能和环境声透传ht功能，所述耳机包括参考麦克风、误差麦克风、麦克风阵列和扬声器，所述方法包括：通过所述参考麦克风采集参考信号，所述参考信号用于表征所述参考麦克风所处环境的声音；通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；通过所述麦克风阵列采用n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；获取方向性透传的指令，所述方向性透传的指令用于指示透传外部环境声音中来自目标方向的声音；至少对所述n路信号进行波束形成处理获得所述目标方向上的声音信号；至少利用所述anc功能和所述ht功能对所述参考信号、误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述目标方向的声音的信噪比；通过所述扬声器播放所述目标信号。
17.在一种可能的设计中，针对采集的信号提升所述目标方向的声音的信噪比，包括：针对采集的信号增强所述目标方向的声音；或者，针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
18.在一种可能的设计中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。麦克风阵列采用线阵排布是指，多个麦克风在耳机中成一线型排布。麦克风采用面阵排布是指，多个麦克风在耳机中排布在一个平面上。
19.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述目标方向上的声音信号得到方向性透传信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
20.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述目标方向上的声音信号和所述参考信号得到方向性透传信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；对所述方向性透传信号、所述第一反相信号和所
述第二反相信号进行混音处理得到所述目标信号。
21.在一种可能的设计中，所述方向性透传的指令包括目标方向相对于预设的参考方向的角度偏移量。
22.在一种可能的设计中，获取方向性透传的指令，包括：
23.接收终端设备发送的所述方向性透传的指令。
24.在一种可能的设计中，所述目标信号中所述目标方向的声音的信噪比大于所述第一信号中所述目标方向的声音的信噪比。
25.第三方面，本技术实施例提供一种声音增强方法，所述方法应用于第一耳机，所述第一耳机至少支持主动降噪anc功能和环境声透传ht功能，所述第一耳机包括第一参考麦克风、误差麦克风、第一通话麦克风和扬声器，所述方法包括：通过所述第一参考麦克风采集第一参考信号，所述第一参考信号用于表征所述第一参考麦克风所处环境的声音；通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；通过所述第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音；获取所述第二耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号；其中，所述第二耳机与所述第一耳机为一套配对的耳机；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；获取方向性抑制的指令，所述方向性抑制的指令用于指示抑制外部环境声音中来自目标方向的声音；对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得除所述目标方向以外其它方向的声音信号；至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述其它方向的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号降低所述目标方向的声音的信噪比；通过所述扬声器播放所述目标信号。通过上述方案，针对来自特定方向上的干扰信号能够滤除掉，提高用户的听觉感受。比如，针对某一方向上存在装修的声音，通过上述方式处理后，可以将该方向上的干扰声音去除，提高用户感受。
26.在一种可能的设计中，针对采集的信号提升除所述目标方向以外其它方向的声音的信噪比，包括：针对采集的信号增强除所述目标方向以外其它方向的声音；或者，针对采集的信号减弱所述目标方向的声音；或者，针对采集的信号减弱所述目标方向的声音，增强除所述目标方向以外的其它方向的声音。
27.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述其它方向的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述其它方向的声音信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
28.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述其它方向的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述其它方向的声音信号和所述第一参考信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误
差信号进行反相处理得到第二反相信号；至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
29.在一种可能的设计中，所述方向性抑制的指令包括目标方向相对于预设的参考方向的角度偏移量。
30.在一种可能的设计中，获取方向性抑制的指令，包括：接收终端设备发送的所述方向性抑制的指令。
31.在一种可能的设计中，所述目标信号中所述目标方向的声音的信噪比小于所述第一信号中所述目标方向的声音的信噪比。
32.第四方面，本技术实施例提供一种声音增强方法，所述方法应用于耳机，所述耳机至少支持主动降噪anc功能和环境声透传ht功能，所述耳机包括参考麦克风、误差麦克风、麦克风阵列和扬声器，所述方法包括：通过所述参考麦克风采集参考信号，所述参考信号用于表征所述参考麦克风所处环境的声音；通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；通过所述麦克风阵列采集n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；获取方向性抑制的指令，所述方向性抑制的指令用于指示抑制外部环境声音中来自目标方向的声音；至少对所述n路信号进行波束形成处理获得除所述目标方向以外其它方向的声音信号；至少利用所述anc功能和所述ht功能对所述参考信号、误差信号和其它方向的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升除所述目标方向以外其它方向的声音信号的信噪比；通过所述扬声器播放所述目标信号。
33.在一种可能的设计中，针对采集的信号提升除所述目标方向以外其它方向的声音的信噪比，包括：针对采集的信号增强除所述目标方向以外其它方向的声音；或者，针对采集的信号减弱所述目标方向的声音；或者，针对采集的信号减弱所述目标方向的声音，增强除所述目标方向以外的其它方向的声音。
34.在一种可能的设计中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
35.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述其它方向的声音进行目标处理得到目标信号，包括：利用ht功能透传所述其它方向的声音信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
36.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述其它方向的声音进行目标处理得到目标信号，包括：利用ht功能透传所述其它方向的声音信号和所述参考信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
37.在一种可能的设计中，所述方向性抑制的指令包括所述目标方向相对于预设的参考方向的角度偏移量。
38.在一种可能的设计中，获取方向性抑制的指令，包括：接收终端设备发送的所述方向性抑制的指令。
39.在一种可能的设计中，所述目标信号中所述目标方向的声音的信噪比小于所述第一信号中所述目标方向的声音的信噪比。
40.第五方面，本技术实施例提供一种声音增强方法，所述方法应用于耳机，所述耳机至少支持主动降噪anc功能和环境声透传ht功能，所述耳机包括参考麦克风、误差麦克风、麦克风阵列和扬声器，所述方法包括：通过所述参考麦克风采集参考信号，所述参考信号用于表征所述耳机所处环境的声音；通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；通过所述麦克风阵列采集n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；获取事件声音透传的指令，从所述参考信号中分离出m个事件声音信号，所述事件声音为外部环境中满足预设事件条件的声音，m为正整数；根据所述n路信号和所述m个事件声音信号进行声源定位后得到m个事件声音中任一个事件声音所在的方向；向终端设备发送所述m个事件声音所在方向，所述m个事件声音所在方向用于所述终端设备生成方向界面；所述方向界面包括所述m个事件声音的方向，所述方向界面用于从所述m个事件声音中选择目标事件声音，所述目标事件声音用于控制所述耳机对来自所述目标事件声音所在方向的声音进行透传。
41.在一种可能的设计中，向终端设备发送所述m个事件声音所在方向之后，所述方法还包括：接收所述终端设备发送的选择指令，所述选择指令用于指示所述m个事件声音中第一事件声音；至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述第一事件声音的信噪比；通过所述扬声器播放所述目标信号。
42.在一种可能的设计中，针对采集的信号提升所述第一事件声音的信噪比，包括：针对采集的信号增强所述第一事件声音；或者，针对采集的信号减弱除所述第一事件声音以外的其它声音；或者，针对采集的信号增强所述第一事件声音，减弱除所述第一事件声音以外的其它声音。
43.在一种可能的设计中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
44.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述第一事件声音信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
45.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述第一事件声音信号和所述参考信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
46.在一种可能的设计中，所述选择指令包括所述第一事件声音的方向。
47.在一种可能的设计中，还包括：根据所述n路信号和所述m个事件声音信号进行声源定位后还得到m个事件声音中任一个事件声音的类型；向终端设备发送所述m个事件声音的类型；所述选择指令包括所述第一事件声音的方向和类型。
48.第六方面，本技术实施例提供一种声音增强方法，所述方法应用于耳机，所述耳机至少支持主动降噪anc功能和环境声透传ht功能，所述耳机包括参考麦克风、误差麦克风、麦克风阵列和扬声器，所述方法包括：通过所述参考麦克风采集参考信号，所述参考信号用于表征所述参考麦克风所处环境的声音；通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；通过所述麦克风阵列采集n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；获取事件声音抑制的指令，从所述参考信号中分离出m个事件声音信号，所述事件声音为外部环境中满足预设事件条件的声音，m为正整数；根据所述n路信号和所述m个事件声音信号进行声源定位后得到m个事件声音中任一个事件声音所在的方向；向终端设备发送所述m 个事件声音所在方向；所述m个事件声音所在方向用于所述终端设备生成方向界面；所述方向界面包括所述m个事件声音的方向，所述方向界面用于从所述m个事件声音选择目标事件声音，所述目标事件声音用于控制所述耳机对来自所述目标事件声音所在方向的声音进行透传。
49.在一种可能的设计中，向终端设备发送所述m个事件声音所在方向之后，所述方法还包括：接收所述终端设备发送的选择指令，所述选择指令用于指示所述m个事件声音中第一事件声音；从所述参考信号获得除所述第一事件声音以外的声音信号；至少利用所述anc 功能和所述ht功能对所述参考信号、所述误差信号和所述参考信号中除所述第一事件声音以外的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升除所述第一事件声音以外的声音信号的信噪比；通过所述扬声器播放所述目标信号。
50.在一种可能的设计中，针对采集的信号提升除所述第一事件声音以外的声音信号的信噪比，包括：针对采集的信号减弱所述第一事件声音；或者，针对采集的信号增强除所述第一事件声音以外的其它声音；或者，针对采集的信号减弱所述第一事件声音，增强除所述第一事件声音以外的其它声音。
51.在一种可能的设计中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
52.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，包括：利用ht功能透传除所述第一事件声音以外的声音信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
53.在一种可能的设计中，至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述参考信号中除所述第一事件声音以外的声音信号进行目标处理得到目标信号，包括：利用ht功能透传除所述第一事件声音以外的声音信号和所述参考信号得到透传声音信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；至少对所述透传声
音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
54.在一种可能的设计中，所述选择指令包括所述第一事件声音的方向。
55.在一种可能的设计中，还包括：根据所述n路信号和所述m个事件声音信号进行声源定位后还得到m个事件声音中任一个事件声音的类型；向终端设备发送所述m个事件声音的类型；所述选择指令包括所述第一事件声音的方向和类型。
56.第七方面，本技术实施例提供一种耳机控制方法，所述方法应用于终端设备，所述终端设备与耳机建立通信连接，所述耳机支持透传ht功能；所述方法包括：在确定开启所述耳机的方向性透传的功能时，确定目标方向，所述目标方向用于表示所述耳机所在空间中，以所述耳机或所述终端设备为参考基准的一个用户感兴趣方向范围；所述方向性透传表示所述耳机对所述空间中局部方向范围内的声音进行透传；控制所述耳机针对所述空间中所述目标方向范围内的声音进行透传。
57.在一种可能的设计中，控制所述耳机针对所述空间中来自所述目标方向的声音进行透传，可以包括，控制所述耳机仅对所述空间中来自所述目标方向的声音进行透传。
58.在一种可能的设计中，所述耳机还支持主动降噪anc功能，所述方法还包括：控制所述耳机至少利用所述anc功能和所述ht功能对所述耳机采集的信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述目标方向的声音的信噪比。
59.在一种可能的设计中，控制所述耳机针对采集的信号提升所述目标方向的声音的信噪比，包括：控制所述耳机针对采集的信号增强所述目标方向的声音；或者，控制所述耳机针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，控制所述耳机针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
60.在一种可能的设计中，所述目标方向所对应的水平方向范围为：[θ1,θ2)或者(θ1, θ2]，θ2-θ1小于180度且大于0度。
[0061]
在一种可能的设计中，所述确定目标方向，包括：显示第一界面，所述第一界面包括 m个方向选项，不同的方向选项对应不同的方向范围，m为正整数；响应于用户在所述第一界面执行的第一操作，确定所述目标方向；其中，所述第一操作是所述用户在所述m个方向选项中的选择操作。
[0062]
在一种可能的设计中，所述m个方向选项中每个方向选项的显示内容包括所述耳机所处环境中存在的来自对应的方向的事件声音的类型，所述事件声音为外部环境中符合预设事件条件的声音。
[0063]
在一种可能的设计中，所述确定目标方向，包括：显示第一界面，所述第一界面包括第一控件，所述第一控件在所述第一界面中能够移动的范围为所述第一界面中的第一区域，所述第一控件在所述第一区域移动的不同轨迹段指示不同的方向范围；
[0064]
响应于用户在所述第一界面执行的第一操作，确定所述目标方向；所述第一操作是所述用户移动所述第一控件到所述第一区域上的第一位置移动到第二位置产生的，移动所述第一位置到所述第二位置的轨迹段对应于所述目标方向。
[0065]
在一种可能的设计中，显示第一界面之前，接收所述耳机发送的m个方向信息，所述第一界面是基于所述m个方向信息生成的。
[0066]
在一种可能的设计中，控制所述耳机针对所述空间中来自所述目标方向的声音进行透传，包括：向耳机发送控制信令，所述控制信令包括所述目标方向；所述控制信令用于
指示所述耳机透传外部环境中来自所述目标方向的声音。
[0067]
在一种可能的设计中，控制所述耳机针对所述空间中所述目标方向范围内的声音进行透传，包括：向耳机发送控制信令，所述控制信令包括所述目标方向和来自所述目标方向的事件声音的类型；所述控制信令用于指示所述耳机透传外部环境中来自所述目标方向的声音。
[0068]
在一种可能的设计中，确定所述耳机的方向性透传的功能开启，包括：接收耳机发送的指示信息，则确定开启所述耳机的方向性透传的功能，所述指示信息用于指示所述耳机的方向性透传的功能开启。
[0069]
在一种可能的设计中，确定所述耳机的方向性透传的功能开启，包括：检测到用于开启所述耳机的方向性透传的功能的信号，则确定开启所述耳机的方向性透传的功能。
[0070]
在一种可能的设计中，确定所述耳机的方向性透传的功能开启，包括：显示第二界面，所述第二界面包括方向性透传的功能选项；响应于所述用户选择所述方向性透传的功能选项的操作，则确定开启所述耳机的方向性透传的功能开启。
[0071]
第八方面，本技术实施例提供一种耳机控制方法，所述方法应用于终端设备，所述终端设备与耳机建立通信连接，所述耳机支持透传ht功能；所述方法包括：在确定开启所述耳机的方向性抑制的功能时，确定目标方向，所述目标方向用于表示所述耳机所在空间中，以所述耳机或所述终端设备为参考基准的一个方向范围；控制所述耳机针对所述空间中来自所述目标方向的声音进行抑制。
[0072]
第九方面，本技术实施例提供一种声音增强方法，所述方法应用于第一耳机，所述第一耳机与终端设备建立通信连接，所述第一耳机至少支持环境声透传ht功能，所述第一耳机包括第一参考麦克风、第一通话麦克风和扬声器；所述方法包括：通过所述第一参考麦克风采集第一参考信号，所述第一参考信号用于表征所述第一参考麦克风所处环境的声音；通过所述第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音；获取所述第二耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号；其中，所述第二耳机与所述第一耳机为一套配对的耳机；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；获取方向性透传的指令，所述方向性透传的指令用于指示所述第一耳机透传外部环境中来自目标方向的声音；对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号；至少利用所述ht功能对所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对所述目标方向上的声音信号进行透传。
[0073]
上述设计中，利用ht功能对外部环境中来自目标方向上的声音进行透传。
[0074]
在一种可能的设计中，所述第一耳机还支持主动降噪anc功能，所述第一耳机还包括误差麦克风，所述误差麦克风用于采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；至少利用所述ht功能对所述目标方向上的声音信号进行目标处理得到目标信号，包括：利用ht功能透传所述目标方向上的声音信号得到方向性透传信号；利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0075]
在一种可能的设计中，针对采集的信号提升所述目标方向的声音的信噪比，包括：针对采集的信号增强所述目标方向的声音；或者，针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
[0076]
第十方面，本技术实施例还提供一种声音增强装置，所述装置应用于第一耳机，所述第一耳机至少支持环境声透传ht功能；所述第一耳机包括第一参考麦克风、误差麦克风、第一通话麦克风和扬声器；声音增强装置包括相应的功能模块，分别用于实现以上第一方面的方法中的步骤，或者用于实现以上第三方面的方法中的步骤，或者用于实现以上第九方面的方法中的步骤。具体参见方法示例中的详细描述，此处不做赘述。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
[0077]
第十一方面，本技术实施例还提供一种声音增强装置，所述装置应用于耳机，所述耳机至少支持环境声透传ht功能；所述耳机包括参考麦克风、误差麦克风、麦克风阵列和扬声器；声音增强装置包括相应的功能模块，分别用于实现以上第二方面的方法中的步骤，或者用于实现以上第四方面的方法中的步骤，或者用于实现以上第五方面的方法中的步骤，或者用于实现以上第六方面的方法中的步骤。具体参见方法示例中的详细描述，此处不做赘述。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
[0078]
第十一方面，本技术实施例提供一种目标耳机，包括左耳机和右耳机，左耳机用于实现第一方面或者第一方面的任一设计所述的方法，或者，右耳机用于实现第一方面或者第一方面的任一设计所述的方法。
[0079]
在一种可能的设计中，左耳机和右耳机采用的处理模式不同。
[0080]
第十二方面，本技术实施例提供一种模式控制装置，装置应用于终端设备。装置包括相应的功能模块，分别用于实现以上第七方面-第八方面的方法中的步骤，具体参见方法示例中的详细描述，此处不做赘述。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
[0081]
第十三方面，本技术实施例提供一种终端设备，包括存储器、处理器和显示器；所述显示器，用于显示界面；所述存储器，用于存储程序或指令；所述处理器，用于调用所述程序或指令，以使得所述终端设备执行第七方面-第八方面的方法中的步骤。
[0082]
第十四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被耳机备执行时，使得耳机执行上述第一方面-第六方面的任意可能的设计中的方法，使得耳机执行上述第九方面的任意可能的设计中的方法。
[0083]
第十五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被终端设备执行时，使得耳机执行上述第七方面或第八方面的任意可能的设计中的方法。
[0084]
第十六方面，本技术提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被耳机执行时，实现上述第一方面-第六方面、第九方面的任意可能的实现方式中的方法。
[0085]
第十七方面，本技术提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被耳机执行时，实现上述第七方面-第八方面的任意可能的实现方式中的方法。
[0086]
上述第十方面至第十七方面中任一方面可以达到的技术效果可以参照上述第一方面-第九方面中有益效果的描述，此处不再重复赘述。
附图说明
[0087]
图1为本技术实施例中终端设备100的硬件结构示意图；
[0088]
图2为本技术实施例中终端设备100的软件结构框图；
[0089]
图3为本技术实施例中一种耳机的硬件结构示意图；
[0090]
图4为本技术实施例中另一种耳机的硬件结构示意图；
[0091]
图5为本技术实施例中anc、ht通路流程示意图；
[0092]
图6a为本技术实施例中一种方向性透传的处理流程示意图；
[0093]
图6b为本技术实施例中另一种方向性透传的处理流程示意图；图6c为本技术实施例中又一种方向性透传的处理流程示意图；
[0094]
图7为本技术实施例中方向性抑制流程示意图；
[0095]
图8a为本技术实施例中一种事件声音透传的处理流程示意图；
[0096]
图8b为本技术实施例中另一种事件声音透传的处理流程示意图；
[0097]
图8c为本技术实施例中又一种事件声音透传的处理流程示意图；
[0098]
图9a为本技术实施例中又一种事件声音透传的处理流程示意图；
[0099]
图9b为本技术实施例中再一种事件声音透传的处理流程示意图；
[0100]
图10a为本技术实施例中一种固定干扰源抑制的处理流程示意图；
[0101]
图10b为本技术实施例中另一种固定干扰源抑制的处理流程示意图；
[0102]
图10c为本技术实施例中又一种固定干扰源抑制的处理流程示意图；
[0103]
图11a为本技术实施例中第一种控制界面示意图；
[0104]
图11b为本技术实施例中第二种控制界面示意图；
[0105]
图11c为本技术实施例中第三种控制界面示意图；
[0106]
图11d为本技术实施例中第四种控制界面示意图；
[0107]
图12a为本技术实施例中第五种控制界面示意图；
[0108]
图12b为本技术实施例中第六种控制界面示意图；
[0109]
图12c为本技术实施例中第七种控制界面示意图；
[0110]
图12d为本技术实施例中第八种控制界面示意图；
[0111]
图12e为本技术实施例中第九种控制界面示意图；
[0112]
图13a为本技术实施例中第十种控制界面示意图；
[0113]
图13b为本技术实施例中第十一种控制界面示意图；
[0114]
图13c为本技术实施例中第十二种控制界面示意图；
[0115]
图13d为本技术实施例中第十三种控制界面示意图；
[0116]
图14a为本技术实施例中第十四种控制界面示意图；
[0117]
图14b为本技术实施例中第十五种控制界面示意图；
[0118]
图14c为本技术实施例中第十六种控制界面示意图；
[0119]
图14d为本技术实施例中第十七种控制界面示意图；
[0120]
图15为本技术实施例中装置1500结构示意图；
[0121]
图16为本技术实施例中装置1600结构示意图；
[0122]
图17为本技术实施例中装置1700结构示意图。
具体实施方式
[0123]
下面将结合附图，对本技术实施例进行详细描述。本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释，而非旨在限定本技术。显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0124]
以下，先对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
[0125]
1)主动降噪(active noise control，anc)功能，用于降低用户佩戴耳机时不想听到的外界噪声。
[0126]
2)环境声透传(hear through，ht)功能，用于透传外部环境中的声音，来实现与用户不带耳机一样感受外界声音。
[0127]
3)增强功能(augment hearing，ah)，可以认为是anc功能和ht功能同时启动，用于实现将用户想要的声音信号输送给用户，滤除不想要的声音信号。
[0128]
4)本技术实施例涉及的应用(application，app)，为能够实现某项或多项特定功能的软件程序。通常，终端设备中可以安装多个应用。比如，相机应用、邮箱应用、耳机控制应用等。下文中提到的应用，可以是终端设备出厂时已安装的系统应用，也可以是用户在使用终端设备的过程中从网络下载或从其他终端设备获取的第三方应用。
[0129]
5)本技术实施例中“至少一个(项)”是指一个(项)或者多(项)，“多个(项)”是指两个(项)或两个(项)以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个) 的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a、b、c、a-b、a-c、b-c或 a-b-c，其中a、b、c可以是单个，也可以是多个。本技术中，符号“(a，b)”表示开区间，范围为大于a且小于b；“[a，b]”表示闭区间，范围为大于或等于a且小于或等于b；“(a， b]”表示半开半闭区间，范围为大于a且小于或等于b；“(a，b]”表示半开半闭区间，范围为大于a且小于或等于b。以及，除非有相反的说明，本技术实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的大小、内容、顺序、时序、优先级或者重要程度等。
[0130]
本技术实施例提供一种系统，系统包括终端设备100和耳机200。终端设备100与耳机连接200，连接可以是无线连接，也可以为有线连接。对于无线连接，比如可以是终端设备通过蓝牙技术、无线高保真(wireless fidelity，wi-fi)技术、红外(infrared radiation，ir)技术、超宽带技术与所述耳机连接。
[0131]
本技术实施例中，终端设备100是具备显示界面功能的设备。终端设备100例如可以为手机、显示器、平板电脑、车载设备等具有显示界面的产品，以及智能手表、智能手环等智能显示穿戴产品等备。本技术实施例对上述移动终端的具体形式不做特殊限制。
[0132]
耳机200包括挂在耳朵边上的两个发音单元。适配于左耳朵的可以称为左耳机，适配于右耳朵的可以称为右耳机。从佩戴角度来说，本技术实施例中耳机200可以是头戴式耳机、耳挂式耳机、颈挂式耳机或者耳塞式耳机等。耳塞式耳机还包括入耳式耳机(或者称为耳道式耳机)或者半入耳式耳机。耳机200具备anc功能和ht功能。作为一种举例，当耳机的anc功能和ht功能均开启时，可以将该anc功能和ht功能结合的功能称为 ah功能。
[0133]
作为一种示例，以入耳式耳机为例。左耳机和右耳机采用的结构类似。左耳机或者右耳机均可以采用如下所描述的耳机结构。耳机结构(左耳机或右耳机)包括可以塞入耳道内的胶套、贴近耳朵的耳包、悬挂在耳包上的耳机杆。胶套将声音导向耳道，耳包内包括电池、扬声器、传感器等器件，耳机杆上可布置麦克风、物理按键等。耳机杆可以是圆柱、长方体、椭圆体等形状。布置在耳朵内部的麦克风可以称为误差麦克风，布置在耳机外部的麦克风称为参考麦克风。误差麦克风用于采集外部环境的声音。参考麦克风，在用户佩戴该耳机时，采集佩戴耳机的用户耳道内部环境的声音。两个麦克风即可以是模拟麦克风、也可以是数字麦克风。在用户佩戴耳机后，两个麦克风与扬声器摆放位置关系是：误差麦克风在耳朵内部，靠近耳机胶套。扬声器位于误差麦克风与参考麦克风之间。参考麦克风靠近耳朵外部结构，可以布置在耳机杆上部。误差麦克风的管道可面向扬声器、也可以面向耳道内部。参考麦克风附近有耳机开孔，用于透传外部环境声音进入参考麦克风。
[0134]
本技术实施例中，耳机200在同时实现anc功能和ht功能下，进一步地，ah功能可以但不仅限于包括事件声音透传功能、方向性透传功能、方向性抑制功能或者固定干扰抑制功能中的一项或者多项。
[0135]
一些实施例中，终端设备100，用于向耳机200发送下行音频信号和/或控制指令。比如，控制指令可以用于对耳机200事件声音透传功能、方向性透传功能、方向性抑制功能或者固定干扰抑制功能等进行控制。
[0136]
事件声音透传功能用于实现耳机外部环境的声音中目标事件声音的透传。方向性透传功能用于实现耳机外部环境的声音中来自某个方向的声音的透传，或者解释为所述方向性透传用于表示所述耳机对所述耳机所在空间中局部方向范围内的声音进行透传。方向性透传还可以用于实现耳机外部环境的声音中来自某个方向的事件声音的透传。固定干扰抑制功能用于实现耳机外部环境中的声音中固定干扰源的声音的滤除。方向性抑制功能可以用于对耳机外部环境中来自某个方向的声音进行抑制。方向性抑制功能可以用于对耳机外部环境中来自某个方向的事件声音进行抑制。所述事件声音为外部环境中满足预设事件条件的声音。固定干扰源可以是与耳机相对位置固定的干扰源。其中，事件声音是指外部环境中的预设声音，或者事件声音满足预设频谱。比如事件声音包括火车站中的报站声音或者鸣笛声音；则事件声音满足火车站中的报站声音的频谱或者鸣笛声音的频谱。再比如，事件声音可以包括飞机航站楼中的通知声音，飞机上的广播声音等；再比如饭店的叫号的声音等等，再比如警报声音、说话声音以及哭闹声等等。
[0137]
作为一种示例，终端设备100还可以控制耳机200采用的处理功能，比如指示不作任何处理的空模式、指示实现anc功能、指示实现ht功能，指示同时开启anc功能和ht 功能。
[0138]
应理解的是，耳机200包括左耳机和右耳机，左耳机和右耳机可以同时实现相同的目标增强功能或者不同的目标增强功能。左耳机与右耳机同时实现相同的目标增强功能时，用户佩戴左耳机的左耳朵和佩戴右耳机的右耳朵听觉感知可以相同。当左耳机与右耳机实现不同的目标增强功能时，用户佩戴左耳机的左耳朵和佩戴右耳机的右耳朵听觉感知不同。以左耳机采用anc和右耳机采用ht为例，当左耳机采用anc模式时，能够减弱耳机用户的左耳朵对当前外部环境的声音以及佩戴所述耳机的用户左耳朵耳道内部的环境声音的感知。当右耳机采用ht模式时，能够强化用户的右耳朵对当前外部环境的声音的感知。
[0139]
图1示出了终端设备100的一种可选的硬件结构示意图。
[0140]
终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池 142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim) 卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0141]
可以理解的是，本发明实施例示意的结构并不构成对终端设备100的具体限定。在本技术另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0142]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器 (application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器 (digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0143]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0144]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0145]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路 (inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s) 接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universalasynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus， usb)接口等。
[0146]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110 与触摸传感器180k通过i2c总线接口通信，实现终端设备100的触摸功能。
[0147]
i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过耳机200(比如蓝牙耳机)接听电话的功能。
[0148]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块 170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机200接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0149]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块 160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart 接口向无线通信模块160传递音频信号，实现通过蓝牙耳机200播放音乐的功能。
[0150]
mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface， dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现终端设备100 的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现终端设备100的显示功能。
[0151]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0152]
usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb 接口，usb type c接口等。usb接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机200，通过耳机200播放音频。该接口还可以用于连接其他终端设备，例如ar设备等。
[0153]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本技术另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0154]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130 接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0170]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端设备 100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0171]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如相机应用)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如摄像头采集的图像等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器 121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端设备100的各种功能应用以及数据处理。内部存储器121还可以存储本技术实施例提供的下行音频信号。内部存储器121中还可以存储用于实现控制耳机200功能的代码。当内部存储器121中存储的用于实现控制耳机200功能的代码被处理器110运行时，控制耳机200实现相应的功能，比如anc功能、ht功能或者ah功能。当然，本技术实施例提供的用于实现控制耳机200 功能的代码还可以存储在外部存储器中。这种情况下，处理器110可以通过外部存储器接口120运行存储在外部存储器中实现控制耳机200功能的相应数据，以控制耳机200实现相应功能。
[0172]
终端设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0173]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器 110中。
[0174]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170a收听音乐，或收听免提通话。
[0175]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0176]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。终端设备100可以设置至少一个麦克风170c。在另一些实施例中，终端设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0177]
耳机接口170d用于连接有线耳机。当本技术实施例提供的耳机200为有线耳机时，终端设备100通过耳机接口170d与耳机连接。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0178]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。终端设备 100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180a检测所述触摸操作强度。终端设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0179]
陀螺仪传感器180b可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定终端设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测终端设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
[0180]
气压传感器180c用于测量气压。在一些实施例中，终端设备100通过气压传感器180c 测得的气压值计算海拔高度，辅助定位和导航。
[0181]
磁传感器180d包括霍尔传感器。终端设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当终端设备100是翻盖机时，终端设备100可以根据磁传感器 180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0182]
加速度传感器180e可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用。
[0183]
距离传感器180f，用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备100可以利用距离传感器180f测距以实现快速对焦。
[0184]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180g检测用户手持终端设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0185]
环境光传感器180l用于感知环境光亮度。在一些实施例中，终端设备100可以根据环境光传感器180l感知的环境光亮度来确定图像的曝光时间。在一些实施例中，终端设备100 可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测终端设备 100是否在口袋里，以防误触。
[0186]
指纹传感器180h用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹
解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0187]
温度传感器180j用于检测温度。在一些实施例中，终端设备100利用温度传感器180j 检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，终端设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备100对电池142加热，以避免低温导致终端设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备100 对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0188]
触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于终端设备100的表面，与显示屏194所处的位置不同。
[0189]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0190]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。
[0191]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0192]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0193]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和终端设备100的接触和分离。终端设备100可以支持1个或n3个 sim卡接口，n3为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡， sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在终端设备100 中，不能和终端设备100分离。
[0194]
终端设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的android系统为例，示例性说明终端设备100的软件结构。
[0195]
图2是本发明实施例的终端设备100的软件结构框图。
[0196]
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
[0197]
如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
[0198]
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
[0199]
如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
[0200]
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
[0201]
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
[0202]
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
[0203]
电话管理器用于提供终端设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
[0204]
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
[0205]
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。
[0206]
android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
[0207]
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
[0208]
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
[0209]
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
[0210]
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
[0211]
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
[0212]
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
[0213]
2d图形引擎是2d绘图的绘图引擎。
[0214]
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，耳机驱动、传感器驱动。
[0215]
下面结合捕获播放音频场景，示例性说明终端设备100软件以及硬件的工作流程。
[0216]
当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为音频应用图标的控件为例，音频应用调用应用框架层的接口，启动耳机控制应用，进而通过调用内核层启动耳机驱动，并向耳机发送音频信号，通过耳机200播放音频信号。
[0217]
图3示出了耳机200的一种可选的硬件结构示意图。耳机200包括左耳机和右耳机。左耳机和右耳机采用的结构类似。耳机(包括左耳机和右耳机)的结构均可以包括参考麦克风(reference mic，ref mic)301、误差麦克风(error mic，err mic)302以及通话麦克风 303。耳机中还可以包括处理器304和扬声器305。应理解的是，后续所描述的耳机可解释为左耳机，也可以解释为右耳机。
[0218]
参考麦克风301用于采集当前外部环境的声音、或者说用于采集参考麦克风301所处环境的声音。当用户佩戴上该耳机时，参考麦克风301位于耳机外侧，或者说参考麦克风 301位于耳朵外部。当用户佩戴上耳机的情况下，误差麦克风302采集误差麦克风302所处用户耳道环境的声音。当用户佩戴上该耳机时，误差麦克风302位于耳机内部贴近耳道。通话麦克风303用于采集通话信号，也可以称为主麦克风(main mic)。通话麦克风303可以位于耳机外侧，当用户佩戴上耳机时，通话麦克风303相对于参考麦克风301来说，更靠近用户的嘴部，更侧重于拾音。
[0219]
需要说明的是，参考麦克风301用于采集当前外部环境的声音，这里的外部环境的声音可以解释为，参考麦克风301所处的外部环境的声音，比如在火车上，外部环境的声音为参考麦克风301的周围环境的声音。左耳机上的参考麦克风301采用的左耳机的参考麦克风301的外部环境的声音。右耳机上的参考麦克风301采集右耳机的参考麦克风301外部环境的声音。
[0220]
需要说明的是，耳道内部环境的声音可以理解为用户的耳朵带上耳机之后，结合耳机可能播放的声音、耳机正在采用的算法(如降噪、透传等)、人体耳朵环境等因素对环境声音的综合声音感知。
[0221]
例如，如果耳机不播音频也不开算法，用户耳道环境的声音可以理解为但不限于误差麦克风采集到的环境声音结合人体耳朵环境的综合声音体现。
[0222]
例如，如果耳机播音频但不开算法，用户耳道环境的声音可以理解为但不限于误差麦克风采集到的环境声音结合耳机麦克风播放声音以及人体耳朵环境的综合声音体现。
[0223]
例如，如果耳机播放音频又开了算法，用户耳道环境的声音可以理解为但不限于误差麦克风采集到的环境声音结合耳机麦克风播放经算法处理后的声音以及人体耳朵环境的综合声音体现。
[0224]
应理解，参考信号和误差信号具体的信号分量跟环境相关，变化因素较多，因此难
以用量化的概念来详细描述，但对于本领域技术人员是清楚的概念。
[0225]
为了便于区分，将参考麦克风301采集的信号称为参考信号，将误差麦克风302采集的信号称为误差信号。将通话麦克风303(主麦克风)采集的信号称为通话信号。本技术实施例中涉及的麦克风可以是模拟麦克风，也可以是数字麦克风。麦克风为模拟麦克风时，在对麦克风采集的信号进行滤波处理之前，可以将模拟信号转换为数字信号。本技术实施例中以参考麦克风、误差麦克风和通话麦克风均为数字麦克风为例进行说明，参考信号、误差信号和通话信号均为数字信号。
[0226]
处理器304用于下行音频信号和/或麦克风(包括参考麦克风301、误差麦克风302或者通话麦克风303)采集的信号进行处理，比如执行anc处理、ht处理或ah(anc+ht) 处理等。示例性地，处理器304可以包括第一处理单元和第二处理单元。第一处理单元用于用户针对耳机操作产生控制命令或者接收来自终端设备的控制命令等。第一处理单元还可以场景检测、语音增强或滤波器参数控制等处理。第二处理单元用于根据控制命令对下行音频信号以及麦克风(包括参考麦克风301、误差麦克风302或通话麦克风303)采集的信号进行anc处理、ht处理或者ah处理(包括事件声音透传、方向性透传、方向性抑制或者固定干扰抑制)。
[0227]
左耳机和右耳机还可以包括存储器，存储器用于存储处理器304执行的程序或者指令。处理器304根据存储器存储的程序或者指令执行anc处理、ht处理或者同时执行anc和 ht处理(ah处理)。存储器可以包括随机存取存储器(random access memory，ram)、闪存、只读存储器(read-only memory，rom)、可编程只读存储器(programmablerom， prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中的一个或者多个。
[0228]
第一处理单元，例如可以由arm处理芯片、中央处理器(central processing unit，cpu)、片上系统(system on chip，soc)、数字信号处理器(digital signal processing，dsp)或者微控制单元(micro controller unit，mcu)中的一项或多项实现。第二处理单元例如可以包括编译解码(coder-decoder，codec)芯片或者高保真(high-fidelity，hifi)芯片等。以第二处理单元包括codec芯片为例，codec中硬化有滤波器、均衡器(equaliser,，eq)、动态范围控制器(dynamic range control，drc)、限幅器(limiter)、增益调节器(gain)、混音器(mixer)等，主要用于对信号做滤波、混音、增益调节等处理。
[0229]
耳机中还可以包括无线通信单元，用于通过终端设备100中的无线通信模块160与终端设备200建立通信连接。无线通信单元可以提供应用在耳机上的包括无线局域网(wirelesslocal area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth， bt)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信单元可以是集成至少一个通信处理模块的一个或多个器件。比如，无线通信模块160可以是蓝牙，无线通信单元也为蓝牙，耳机200和终端设备100 通过蓝牙连接。
[0230]
作为一种举例，图4示出了另一种耳机200的示意图。图4中为头戴式耳机。头戴式耳机同样包括左耳机和右耳机。头戴式耳机(包括左耳机和右耳机)的结构均包括参考麦克风301、误差麦克风302。头戴式耳机还包括麦克风阵列303a。示例性地，参见图4所示，麦克
风阵列303a可以位于左耳机和右耳机的连接杆上。头戴式耳机的左耳机和右耳机也同样包括处理器304和扬声器305，针对处理器304和扬声器305的描述如前所述，此处不再赘述。麦克风阵列303a中包括的麦克风的数量大于或者等于2。图4中以麦克风阵列303a 中包括5个麦克风为例。除了上述头戴式耳机上可以外设麦克风阵列以外，颈挂式、耳挂式等耳机上，也可以外设麦克风阵列，本技术对此不作具体限定。比如，麦克风阵列303a 可以包括n个麦克风，用于采集n路信号。n路信号用于表征麦克风阵列303a所处环境的声音。作为一种举例，外设的麦克风阵列可以采用线阵方式或者面阵方式排布在耳机上。麦克风阵列采用线阵排布是指，多个麦克风在耳机中成一线型排布。麦克风采用面阵排布是指，多个麦克风在耳机中排布在一个平面上。
[0231]
作为一种可能的示例，以耳机支持三种处理模式，分别为anc、ht和ah为例进行说明。针对三种不同的处理模式，通过三个通路输出，分别为anc输出通路、ht输出通路以及ah输出通路，ah输出通路可以是anc输出通路与ht输出通路的叠加。不同的输出通路采用的处理方式不同，参见图5所示。以上不同的输出通路是针对耳机中的左耳机或者右耳机来说，也就是左耳机具有以上三个输出通路，右耳机也同样具有上述三个输出通路。
[0232]
一种可能的示例中，主动降噪(anc)输出通路可以但不仅限于包括：利用对参考麦克风采集的参考信号的反相信号和误差麦克风采集的误差信号的反相信号进行噪声抑制。 anc输出通路中包括参考信号的反相信号和误差信号的反相信号。需要说明的是，参考信号与参考信号的反相信号的相位差为180
°
。扬声器输出参考信号的反相信号与误差信号的反相信号叠加后的信号，从而使得扬声器播放的当前外部环境的声音与耳朵实际听见的外部环境的声音进行了抵消而达到主动去噪的效果。因此，耳机采用anc模式时，能够减弱耳机用户对当外部环境的声音以及所述用户耳道内部的环境声音的感知。
[0233]
在获取参考信号的反相信号和误差信号的反相信号时，可以采用第一滤波处理和第三滤波处理。例如，第一滤波处理可以是前馈(feed forward，ff)滤波处理，可以由前馈滤波器来实现。第三滤波处理可以是反馈(feed back，fb)滤波处理，可以由反馈滤波器来实现。参见图5所示，ff滤波与fb滤波采用并行处理架构来增强降噪效果。
[0234]
另一种可能的示例中，ht传输通路中的ht处理可以但不仅限于包括：对麦克风阵列或者麦克风阵列和参考麦克风采集的多路信号进行语音增强处理，将经过语音增强处理后的信号进行第二滤波处理。或者，对左右耳机的参考麦克风以及左右耳机的通话麦克风采集的4路信号进行语音增强处理，将经过语音增强处理后的信号进行第二滤波处理。例如第二滤波处理可以是透传(ht)滤波处理，可以由透传滤波器来实现。扬声器播放的音频信号是根据参考信号与通话信号(或者麦克风阵列的n路信号)得到的，从而使得扬声器播放的音频信号后，用户能够通过耳机听见外部环境中的声音，相比未执行ht处理时所听见的外部环境的声音有所增强，效果更好。因此，耳机采用ht处理时，能够强化用户对所述用户当前所处环境的声音的强度的感知。本技术实施例中语音增强处理可以用于实现透传外部环境中来自目标方向的声音、或者实现抑制外部环境中目标方向的声音、或者透传外部环境中的事件声音、或者针对外部环境中固定干扰进行抑制等。
[0235]
又一种可能的示例中，ah传输通路中anc处理和ht处理并行执行，anc处理输出的信号与ht处理的信号进行混音处理后，通过扬声器播出。扬声器输出的信号与耳朵实际听见的环境中的声音进行了抵消而达到主动去噪的效果，并且输出环境中的事件声音，使得
用户能够清楚的听到环境中用户所需的预设信号。因此，耳机采用ah模式时，能够强化耳机用户对当前外部环境的声音包括的事件声音的感知。在ah传输通路中，在执行anc 处理时，可以获得参考麦克风采集的参考信号的反相信号、误差麦克风采集的误差信号与经过ht处理信号叠加后的反相信号，以对外部环境噪声进行抑制。进一步将anc处理得到的信号与ht处理得到的信号进行混音得到ah传输通路的输出信号。
[0236]
可选地，用户通过耳机播放音频时，即耳机输入有下行音频信号时，在anc处理中，具体可以包括：利用下行音频信号和ht处理的输出信号进行滤波补偿处理，然后再与参考麦克风采集的信号进行混音后通过fb滤波。
[0237]
在ah传输通路中，不同的增强模式(事件声音透传、方向性透传或者固定干扰抑制) 下，所执行的语音增强处理不同，后续对此进行详细说明。
[0238]
应当理解的是，下行音频信号、参考信号、误差信号、通话信号或者麦克风阵列产生的每路信号可以均为一帧信号或者一段时间的信号。比如，下行音频信号、参考信号、误差信号和通话信号均为一帧信号时，下行音频信号、参考信号、误差信号以及通话信号分别属于三路信号流，下行音频信号的信号帧与参考信号的信号帧、误差信号的信号帧和通话信号的信号帧在同一时间段内或者在时间上存在重叠等。本技术实施例中在执行功能处理(比如事件声音透传、方向性透传、方向性抑制或者固定干扰抑制)时，是针对下行音频信号所在的信号流以及参考信号所在的信号流、误差信号的信号流、通话信号的信号流、或者麦克风阵列的信号流等持续执行功能处理。
[0239]
下面针对方向性透传的处理流程进行详细说明。
[0240]
参见图6a和图6b所示，为方向性透传的处理流程示意图。终端设备100向耳机200 发送的下行音频信号，后续描述以称为第二音频信号为例。第二音频信号可以是通话信号、音乐信号等。一些实施例中，终端设备可以不播放音频，在该情况下，终端设备100则不会向耳机200发送下行音频信号。比如，在播放音频的情况下，执行方向性透传时，用户感知到的声音中可以包括播放的下行音频的声音和外部环境中来自目标方向的声音。在不播放音频的情况，依然能够实现方向性透传，用户感知到的声音中可以包括外部环境来自目标方向的声音。
[0241]
以参考麦克风采集的信号称为参考信号，误差麦克风采集的信号称为误差信号为例进行说明。耳机采用ah模式中的方向性透传模式。耳机上包括麦克风阵列，麦克风阵列采集 n路信号。比如耳机为头戴式耳机、挂耳式耳机等等。当耳机未设置有麦克风阵列的情况下，可以将左耳机和右耳机包括的两个主麦克风组成麦克风阵列，或者将左耳机和右耳机包括的两个主麦克、以及两个参考麦克风组成麦克风阵列，比如耳机中的左耳机和右耳机通过有线连接，再比如，耳机中的左耳机和右耳机通过无线通信连接等。本实施例中以左耳机为例对方向性透传的处理流程进行说明。图6a中以左耳机和右耳机包括的两个通话麦克风、以及两个参考麦克风组成麦克风阵列为例。本实施例中为了便于区分，将左耳机的参考麦克风称为第一参考麦克风，右耳机的参考麦克风称为第二参考麦克风，左耳机的通话麦克风称为第一通话麦克风、右耳机的通话麦克风称为第二通话麦克风。以左耳机执行方向性透传处理为例。第一参考麦克风采集第一参考信号，第一参考信号用于表征所述第一参考麦克风所处环境的声音；误差麦克风采集误差信号，误差信号用于表征所述误差麦克风所处用户耳道环境的声音；第一通话麦克风采集第一通话信号，所述第一通话信号用于表
征所述第一通话麦克风所处环境的声音。
[0242]
以左耳机执行为例，左耳机获取右耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；左耳机获取方向性透传的指令，所述方向性透传的指令用于指示所述左耳机透传外部环境中来自第一目标方向的声音。
[0243]
然后左耳机对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述第一目标方向上的声音信号。
[0244]
进一步地，右耳机至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述第一目标方向的声音的信噪比。
[0245]
其中，提升第一目标方向的声音的信噪比，可以包括增强第一目标方向的信噪比，或者包括增强第一目标方向的声音的信噪比，以及减弱非第一目标方向的声音的信噪比。又或者包括减弱非第一目标方向的声音的信噪比。非第一目标方向的声音可以为采集的信号中除第一目标方向以外的其它方向的声音信号。
[0246]
在目标信号中，目标方向的声音可以解释为有效信号，目标信号中的其它方向的声音可以解释为噪声，所述目标信号中所述目标方向的声音的信噪比可以解释为目标信号中目标方向的声音信号功率与其它方向的声音信号功率的比例。在第一参考信号中，目标方向的声音可以是解释为有效信号，第一参考信号中的其它方向的声音可以解释为噪声，第一参考信号中所述目标方向的声音的信噪比可以解释为第一参考信号中目标方向的声音信号功率与其它方向的声音信号功率的比例。
[0247]
下面结合图6a、图6b针对具体的目标处理(方向性透传处理)的流程进行详细说明。
[0248]
s601，获取右耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号。
[0249]
作为一种示例，左耳机和右耳机可以是有线连接，也可以无线连接，比如蓝牙连接。
[0250]
s602，对左耳机的第一参考麦克风采集的第一参考信号进行第一滤波处理得到第一滤波信号。在图6b中，第一滤波信号也可以称为信号b1。
[0251]
s603，对左耳机的第一参考麦克风采集的误差信号、左耳机的第一通话麦克风采集的第一通话信号、第二参考信号和第二通话信号进行第一增强处理得到第一目标方向上的声音信号，第一增强处理包括波束形成处理，比如超指向性波束形成处理。可选地，第一增强处理还可以包括增益调整。一种示例中，第一目标方向可以由用户通过终端设备提供的 ui界面来选择的，从而终端设备将用户选择的第一目标方向信息发送给左耳机，后续针对 ui界面选择第一目标方向的方式进行详细说明。另一种示例中，耳机中可以设置方向性透传的方向调整按钮或者旋钮。比如，用户通过旋转旋钮来选择目标方向，从而耳机检测到用户旋转旋钮的操作，确定目标方向。在图6b中，将第一目标方向上的声音信号称为信号 b2。其中，左耳机的第一参考麦克风、第一通话麦克风以及右耳机的第二参考麦克风、第二通话麦克风在采集信号时，是同步地。比如左耳机和右耳机的参考时钟是同步的，然后根据
参考时钟对第一参考麦克风、第一通话麦克风、第二参考麦克风和第二通话麦克风进行同步处理后，再进一步执行波束形成处理。
[0252]
超指向性波束形成处理中，能够在第一目标方向上实现一个拾音波束，进而可以实现增强拾音波束所指向的目标区域内的声音，抑制非目标区域内的声音。
[0253]
本技术实施例中涉及到的目标方向(第一目标方向或者第二目标方向等)是在耳机所处的空间中，以耳机或者终端设备为参考基准的一个方向范围。比如以佩戴耳机的用户为中心的水平方向的环360度范围中的一个角度范围。比如以终端设备为中心的水平方向的环360度范围中的一个角度范围。可以理解的是，一般用户佩戴耳机的情况下，终端设备与耳机之间的距离是小于一个距离值的，该距离值位于可以接受的误差范围内，因此可以以终端设备作为参考基准确定目标方向。参考基准可以是一个参考的方向范围，或者一个预设的参考方向。
[0254]
作为一种示例，第一目标方向可以是目标声源所在方向与参考方向的夹角。比如，参考方向可以是某个麦克风的开孔的朝向，或者可以是佩戴耳机的用户的面部朝向。可以根据左耳机的通话麦克风、参考麦克风以及右耳机的通话麦克风、参考麦克风的位置来确定。比如，左耳机的通话麦克风与右耳机的通话麦克风的连线的垂直方向作为参考方向，再比如，左耳机的参考麦克风与右耳机的参考麦克风的连线的垂直方式作为参考方向。参考方向也可以根据左耳机的通话麦克风、参考麦克风以及右耳机的通话麦克风、参考麦克风中的至少一个耳机的开孔朝向来确定。
[0255]
作为一种可选的方式，在耳机中设置有麦克风阵列时，比如麦克风阵列中包括n个麦克风，在获得第一目标方向上的声音信号时，可以对n个麦克风采集的n路信号进行超指向性波束形成处理，进而得到所述第一目标方向上的声音信号。
[0256]
s604，对第一目标方向上的声音信号进行第二滤波处理(ht滤波)得到第二滤波信号。在图6b中，将第二滤波信号称为信号b3。
[0257]
可选地，在对第一目标方向上的声音信号进行第二滤波处理之前，可以先对第一目标方向上的声音信号进行增益调整，比如进行增益放大处理。
[0258]
s605，对所述第二滤波信号和来自所述终端设备的第二音频信号进行混音处理得到第三音频信号。在图6b中，将第三音频信号称为信号b4。
[0259]
s606，对所述第三音频信号进行补偿处理得到第四音频信号。在图6b中，将第四音频信号称为信号b5。
[0260]
s606，对所述第四音频信号和所述误差信号进行混音处理得到第五音频信号。在图6b 中，将第五音频信号称为信号b6。
[0261]
s608，对第五音频信号进行第三滤波处理(fb滤波)得到第三滤波信号。在图6b中，将第三滤波信号称为信号b6。
[0262]
s609，对所述第一滤波信号、第二滤波信号和第三滤波信号进行混音处理得到所述目标信号。在图6b中，将目标信号称为信号b8。
[0263]
需要说明的是，当无下行音频信号的情况下，也就是终端设备未向耳机发送第二音频信号的情况下，无需执行s605。在步骤s606中对第二滤波信号进行补偿处理。
[0264]
在图6b中，以处理器304包括codec和dsp为例。图6b以耳机中外置麦克风阵列的流程示意图。图6c中以耳机中未外置麦克风阵列的方式进行说明。图6c中以左耳机实现方向
性透传功能为例。耳机(比如左耳机)中包括ht滤波器、fb滤波器、ff滤波器、第一混音器、第二混音器、第三混音器以及滤波补偿器。dsp用于执行第一增强处理。耳机200中第一参考麦克风拾取参考信号，输入到ff滤波器以及dsp。ff滤波器对参考信号进行ff滤波处理得到信号b1。图6b中，dsp对麦克风阵列采集的n路信号进行超指向性波束形成处理，并对超指向性波束形成处理得到的来自目标方向的声音信号进行增益调整得到信号b2，输入到ht滤波器中。图6b中，dsp对第一参考麦克风、第二参考麦克风、第一通话麦克风和第二通话麦克风进行超指向性波束形成处理，并对超指向性波束形成处理得到的来自目标方向的声音信号进行增益调整得到信号b2。ht滤波器对信号b2 进行ht滤波处理得到信号b3。信号b3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号b3和下行音频信号进行混音处理得到信号b4，信号b4输入到滤波补偿器。滤波补偿器对信号b4进行滤波补偿处理得到信号b5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号b5进行混音处理得到信号b6，输入到fb滤波器。 fb滤波器对信号b6进行fb滤波处理得到信号b6。ht滤波器将信号b3输入到第三混音器，ff滤波器将信号b1输入到第三混音器，fb滤波器将信号b6输入到第三混音器，第三混音器对信号b1、信号b3和信号b6进行混音处理得到信号b8，信号b8输入到扬声器进行播放。
[0265]
针对滤波系数(包括ff滤波、fb滤波以及ht滤波)来说，一种方式中，可以采用方向性透传模式下默认的ff滤波系数。另一种方式中，可以由用户通过终端设备提供的ui 控件来向耳机指示方向性透传模式下ff滤波系数。
[0266]
通过本技术实施例提供的方案，在方向性透传模式下，通过耳机增加麦克风阵列或者使用同步的左右耳的麦克风构成麦克风阵列，进行超指向性波束形成处理，从而透传目标方向上声音信号，抑制其它方向上的声音信号，使得用户听到的设定方向的声音信号。作为一种举例，用户观看电视，在佩戴耳机的情况下，在耳机处于方向性透传模式时，可以透传位于第一目标方向上的电视的声音信号。在电视声音较小的情况下，用户也能够更清晰的听见电视播放的声音。
[0267]
下面针对方向性抑制的处理流程进行详细说明。方向性抑制与方向性透传类似，区别在于，方向性透传用于实现针对耳机外部环境中来自目标方向的声音进行透传，而方向性抑制，是用于实现针对耳机外部环境中来自目标方向的声音进行抑制。具体的，将图6a中的步骤s603替换为：对左耳机的第一参考麦克风采集的误差信号、左耳机的第一通话麦克风采集的第一通话信号、第二参考信号和第二通话信号进行超指向性波束形成处理获得非第一目标方向的声音信号。非第一目标方向的声音信号，即耳机外部环境中除第一目标方向以外的其它方向的声音信号。进一步地，s604替换为，对非第一目标方向上的声音信号进行第二滤波处理(ht滤波)。
[0268]
参见图7所示，结合codec和dsp对方向性抑制的处理流程进行详细说明。耳机中包括主麦克风，左耳机和右耳机分别包括的参考麦克风和主麦克风可以组成麦克风阵列，或者耳机中包括参考麦克风和误差麦克风以外，还包括麦克风阵列。以参考麦克风采集的信号称为参考信号，误差麦克风采集的信号称为误差信号。麦克风阵列采集n路信号。耳机采用ah模式中的方向性抑制模式。耳机200中参考麦克风拾取参考信号，输入到ff滤波器以及dsp。麦克风阵列用于拾取n路信号。ff滤波器对参考信号进行ff滤波处理得到信号d1。dsp对n路信号进行第二目标方向上的第一超指向性波束形成处理得到信号 d2(除第二目标方
向以外的其它方向的声音信号)，输入到ht滤波器中。为了与方向性透传中采用的超指向性波束形成处理进行区分，将本实施例中的超指向性波束形成处理称为第一超指向性波束形成处理。第一超指向性波束形成处理能够在第二目标方向上实现一个拾音波束，进而可以实现抑制拾音波束所指向的目标区域内的声音，保留非目标区域内的声音。ht滤波器对信号d2进行ht滤波处理得到信号d3。信号d3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号d3和下行音频信号进行混音处理得到信号d4，信号d4输入到滤波补偿器。滤波补偿器对信号d4进行滤波补偿处理得到信号d5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号d5进行混音处理得到信号d6，输入到fb滤波器。fb滤波器对信号d6进行fb滤波处理得到信号d7。ht滤波器将信号d3输入到第三混音器，ff滤波器将信号d1输入到第三混音器，fb滤波器将信号d7输入到第三混音器，第三混音器对信号d1、信号d3和信号d7进行混音处理得到信号d8，信号d8输入到扬声器进行播放。
[0269]
下面针对事件声音透传的处理流程进行详细说明。
[0270]
一种可能的应用场景中，参见图8a和图8b所示，为事件声音透传的处理流程示意图。终端设备100向耳机200发送的下行音频信号，后续描述以称为第二音频信号为例。第二音频信号可以是通话信号、音乐信号等。以参考麦克风采集的信号称为参考信号，误差麦克风采集的信号称为误差信号为例进行说明。耳机开启事件声音透传功能，可以是终端设备控制耳机开启，也可以是耳机上设置事件声音透传的功能按钮，通过按钮开启事件声音透传功能。在一些可能的应用场景中，终端设备在未播放音频的情况，则不会产生下行音频信号。在未播放音频的情况，也可以开启ht功能或者anc+ht的功能，以进一步实现事件声音透传、方向性透传、方向性抑制或者固定干扰抑制等功能。
[0271]
需要说明的是，在本技术实施例中，终端设备100向耳机200中的左耳机和右耳机发送的下行音频信号可以是相同的信号，也可以是不同的信号。比如，终端设备采用立体声效果，终端设备100向耳机200发送不同的下行音频信号，以实现立体声效果。当然，终端设备还可以向左耳机和右耳机发送相同的下行音频信号，左耳机和右耳机采用的立体声处理，从而达到立体声效果。左耳机或者右耳机可以根据用户的控制执行图8a或图8b的处理。
[0272]
s801，对参考麦克风采集的参考信号进行第一滤波处理得到第一滤波信号。在图8b中将第一滤波信号简称为信号a1。例如，第一滤波处理为ff滤波。
[0273]
s802，对所述参考信号进行第二增强处理得到第一增强信号，所述第二增强处理包括但不仅限于从参考信号过滤出满足所述目标事件声音的类型的事件声音信号。
[0274]
在图8b中将第一增强信号称为信号a2。目标事件声音的类型可以是预设在耳机中的，也可以是由终端设备向耳机下发的，后续对终端设备向耳机触发目标事件声音的类型的方式进行详细说明，此处不再重复描述。
[0275]
在一种可能的实施方式中，在执行第二增强处理时，可以采用如下方式的任一种方式：
[0276]
第一种可能的实现方式：对所述参考信号进行事件声音检测，事件声音检测用于检测参考信号中是否包括满足预设事件条件的事件声音信号。若确定参考信号中不包括事件声音信号，第一增强信号可以为空信号。若确定参考信号中包括事件声音信号，可以过滤掉所述参考信号中的事件声音信号，即从参考信号中获得事件声音信号。可选的，进一步可以对获得的事件声音信号进行增益调节，比如，对获得的事件声音信号进行增益放大处理。
[0277]
作为一种举例，在对所述参考信号进行事件声音检测时，可以通过人工智能(artificialintelligence，ai)检测模型来实现，例如深度神经网络(deep neural networks，dnn)模型。
[0278]
第二种可能的实现方式：对所述参考信号进行事件声音分离处理，将分离处理得到的事件声音信号进行增益调节，比如对分离得到的事件声音信号进行增益放大处理。作为一种示例，在对参考信号进行事件声音分离处理时，可以采用盲源分离技术来实现。
[0279]
可选地，在对参考信号进行事件声音分离处理之前，可以先执行事件声音检测，当检测到参考信号存在事件声音信号时，对参考信号进行事件声音分离处理。当检测到参考信号中不存在事件声音信号时则不再执行事件声音分离处理，即将透传的信号增益置为0。
[0280]
通过上述第一种可能的实现方式或者第二种可能的实现方式，能够较好的抑制非事件声音。
[0281]
第三种可能的实现方式：对所述参考信号进行降噪处理，降噪处理用于抑制非事件声音信号，保留事件声音信号。例如，降噪处理可以是逐帧处理方式。示例性地，可以采用 ai降噪模型对参考信号进行降噪处理，来抑制非事件声音信号，保留事件声音信号。可选地，在对参考信号进行降噪处理后，可以对降噪处理后得到的事件声音信号进行增益放大处理，使得在播放器播放的声音中突出事件声音。
[0282]
采用第三种可能的实现方式，即通过ai降噪的方式来过滤出事件声音信号，时延较小，比如时延小于10ms。需要说明的是，当时延较大时，用户通过耳朵听到外部环境中的事件声音会早于用户通过扬声器听到的事件声音，因此用户会在不同的时刻听到两个相同的事件声音。通过第三种可能的实现方式，使得用户能够在无感知的情况通过扬声器清晰的听到透传的事件声音信号，不会在不同的时刻听到两个相同的事件声音。
[0283]
s803，对所述第一增强信号进行第二滤波处理(比如，ht滤波)得到第二滤波信号。在图8b中将第二滤波信号称为信号a3。
[0284]
s804，对所述第二滤波信号和来自所述终端设备的第二音频信号进行混音处理得到第三音频信号。在图8b中将第三音频信号称为信号a4。
[0285]
s805，对所述第三音频信号进行补偿处理得到第四音频信号。在图8b中将第四音频信号称为信号a5。
[0286]
应理解的是，在本技术实施例中，针对来自终端设备的下行音频信号和第二滤波信号进行补偿处理，为一种可选地的方式，即步骤s805为可选步骤。在不执行针对来自终端设备的下行音频信号和第二滤波信号的补偿处理时，可以将下行音频信号、第二滤波信号以及误差麦克风采集的误差信号直接进行混音处理。
[0287]
通过针对来自终端设备的下行音频信号和第二滤波信号进行补偿处理，可以改善音质和减少信号传输带来的损伤。
[0288]
s806，对所述第四音频信号和所述误差信号进行混音处理得到第五音频信号。在图8b 中将第五音频信号称为信号a6。
[0289]
s807，对第五音频信号进行第三滤波处理(fb滤波)得到第三滤波信号。在图8b中将第三滤波信号称为信号a7。
[0290]
s808，对所述第一滤波信号、第二滤波信号和第三滤波信号进行混音处理得到所述目标信号。在图8b中将目标信号称为信号a8。
[0291]
需要说明的是，当无下行音频信号的情况下，也就是终端设备未向耳机发送第二音频信号的情况下，无需执行s803。在步骤s804中对第二滤波信号进行补偿处理。
[0292]
在图8b中，以处理器304包括codec和dsp为例。耳机中codec包括ht滤波器、 fb滤波器、ff滤波器、第一混音器、第二混音器、第三混音器以及滤波补偿器。dsp用于执行第二增强处理。耳机200中参考麦克风拾取参考信号，输入到ff滤波器以及dsp。ff 滤波器对参考信号进行ff滤波处理得到信号a1。dsp对参考信号进行事件声音检测，在确定参考信号中包括事件声音信号时，对事件声音信号进行增益放大处理得到信号a2，输入到ht滤波器中。ht滤波器对信号a2进行ht滤波处理得到信号a3。信号a3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号a3和下行音频信号进行混音处理得到信号a4，信号a4输入到滤波补偿器。滤波补偿器对信号a4进行滤波补偿处理得到信号a5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号a5进行混音处理得到信号a6，输入到fb滤波器。fb滤波器对信号a6进行fb滤波处理得到信号a7。ht滤波器将信号a3输入到第三混音器，ff滤波器将信号a1输入到第三混音器， fb滤波器将信号a7输入到第三混音器，第三混音器对信号a1、信号a3和信号a7进行混音处理得到信号a8，信号a8输入到扬声器进行播放。
[0293]
针对滤波系数(包括ff滤波、fb滤波以及ht滤波)来说，一种方式中，可以采用事件声音透传模式下默认的ff滤波系数。另一种方式中，可以由用户通过终端设备提供的 ui控件来向耳机指示事件声音透传模式下ff滤波系数。
[0294]
上述图8a和图8b中，在过滤事件声音信号时，基于参考麦克风拾取的参考信号。作为一种可能的实现方式中，在过滤事件声音信号时，可以基于参考麦克风拾取的参考信号以及主麦克风提取的通话信号(或者麦克风阵列提取的n路信号)。参见图8c所示，以基于参考麦克风拾取的参考信号以及主麦克风提取的通话信号来过滤出事件声音信号为例。
[0295]
在图8c中，以处理器304包括codec和dsp为例。耳机中包括ht滤波器、fb滤波器、ff滤波器、第一混音器、第二混音器、第三混音器以及滤波补偿器。dsp用于执行第二增强处理。耳机200中参考麦克风拾取参考信号，输入到ff滤波器以及dsp。ff滤波器对参考信号进行ff滤波处理得到信号a1。主麦克风拾取的通话信号输入到dsp。dsp 对参考信号和通话信号进行事件声音检测，在确定参考信号和通话信号中包括事件声音信号时，对事件声音信号进行增益放大处理得到的信号a2，输入到ht滤波器中。ht滤波器对信号a2进行ht滤波处理得到信号a3。信号a3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号a3和下行音频信号进行混音处理得到信号a4，信号a4 输入到滤波补偿器。滤波补偿器对信号a4进行滤波补偿处理得到信号a5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号a5进行混音处理得到信号a6，输入到fb滤波器。fb滤波器对信号a6进行fb滤波处理得到信号a7。ht滤波器将信号 a3输入到第三混音器，ff滤波器将信号a1输入到第三混音器，fb滤波器将信号a7输入到第三混音器，第三混音器对信号a1、信号a3和信号a7进行混音处理得到信号a8，信号a8输入到扬声器进行播放。
[0296]
通过本技术实施例提供的方案，在事件声音透传模式下，当耳机所处的环境中出现事件声音信号时，针对环境声音进行增强处理，并且去除噪声，使得用户能够在不遗漏重要的事件声音的同时享受到一定程度的降噪体验。
[0297]
另一种可能的应用场景中，可以对来自第一目标方向的事件声音进行透传。
[0298]
一种示例中，以耳机单独配置麦克风阵列为例。耳机中参考麦克风采集参考信号，参考信号用于表征所述耳机所处环境的声音；误差麦克风采集误差信号，误差信号用于表征所述误差麦克风所处用户耳道环境的声音；麦克风阵列采集n路信号，n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数。耳机获得事件声音透传的指令。比如，耳机接收来自终端设备的事件声音透传的指令。耳机从所述参考信号(或者参考信号和n路信号)中分离出m个事件声音信号，所述事件声音为外部环境中满足预设事件条件的声音，m为正整数。进一步地，耳机根据所述n路信号和所述m个事件声音信号进行声源定位后得到m个事件声音中任一个事件声音所在的方向；向终端设备发送所述m个事件声音所在方向。终端设备根据m个事件声音所在方向生成显示界面，用于为用户选择目标事件声音。针对显示界面的相关说明，后续会详细描述，此处不再赘述。从而耳机接收终端设备发送的选择指令，选择指令用于指示所述m个事件声音中第一事件声音(即目标事件声音)；至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，所述目标处理包括提升采集的信号中所述第一事件声音的信噪比。
[0299]
应理解的是，提升来自目标方向的目标事件声音的信噪比，可以包括增强目标事件声音的信噪比，或者包括增强目标事件声音的信噪比，以及减弱非目标事件声音的信噪比。在目标信号中，目标事件声音可以解释为有效信号，目标信号中的非目标事件声音可以解释为噪声，所述目标信号中目标事件声音的信噪比可以解释为目标信号中目标事件声音信号功率与其它声音信号功率的比例。在第一参考信号中，目标事件声音可以是解释为有效信号，第一参考信号中的其它声音可以解释为噪声，第一参考信号中所述目标事件声音的信噪比可以解释为第一参考信号中目标事件声音信号功率与其它声音信号功率的比例。
[0300]
下面结合图9a针对具体的目标处理(事件声音透传处理)的流程进行详细说明。耳机200中参考麦克风拾取参考信号，输入到ff滤波器以及dsp。ff滤波器对参考信号进行 ff滤波处理输入到第三混音器。一种示例中，通话麦克风拾取的通话信号以及参考麦克风拾取的参考信号、麦克风阵列拾取n路信号的输入到dsp。dsp对参考信号和通话信号以及n路信号进行事件声音检测。另一种示例中，麦克风阵列拾取n路信号的输入到dsp， dsp对参考信号和通话信号以及n路信号进行事件声音检测。在检测到m个(正整数)事件声音信号时，对m个事件声音信号进行声源定位以获得m个事件声音所在的方向。在事件声音检测时，即确定m个事件声音的类型。耳机将m个事件声音所在的方向(还可以包括类型)发送给终端设备。终端设备显示给用户周围哪些方向存在事件声音类型，在显示界面上进行标注，从而用户可以选择目标事件声音，然后向耳机发送控制指令以指示透传目标事件声音。作为一种举例，控制指令可以携带方向，从而耳机侧能够根据方向确定目标事件声音，控制指令也可以携带方向和类型。进一步可以对事件声音信号进行增益放大处理得到的信号a2，输入到ht滤波器中。ht滤波器对信号a2进行ht滤波处理得到信号a3。信号a3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号a3 和下行音频信号进行混音处理得到信号a4，信号a4输入到滤波补偿器。滤波补偿器对信号a4进行滤波补偿处理得到信号a5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号a5进行混音处理得到信号a6，输入到fb滤波器。fb滤波器对信号a6 进行fb滤波处理得到信号a7。ht滤波器将信号a3输入到第三混音器，ff滤波器将信号 a1输入到第三混音器，fb滤波器将信号a7输入到第三混音器，第三混音器对信号a1、信号a3和信号a7进行混音处理得到信号a8，信号a8输入到
扬声器进行播放。
[0301]
通过本技术实施例提供的方案，在事件声音透传功能下，当耳机所处的环境中出现事件声音信号时，通过终端设备提示给用户，从而用户根据需求决定透传那种事件声音，并且去除噪声，使得用户能够在不遗漏重要的事件声音的同时享受到一定程度的降噪体验。
[0302]
另一种示例中，以耳机未单独配置麦克风阵列为例。可以通过左右耳机分别包括的通话麦克风和参考麦克风，4个麦克风组成麦克风阵列来进行声源定位。以左耳机执行事件声音透传为例。
[0303]
本实施例中为了便于区分，将左耳机的参考麦克风称为第一参考麦克风，右耳机的参考麦克风称为第二参考麦克风，左耳机的通话麦克风称为第一通话麦克风、右耳机的通话麦克风称为第二通话麦克风。以左耳机执行方向性透传处理为例。第一参考麦克风采集第一参考信号，第一参考信号用于表征所述第一参考麦克风所处环境的声音；误差麦克风采集误差信号，误差信号用于表征所述误差麦克风所处用户耳道环境的声音；第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音。麦克风阵列采集n路信号，n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1 的整数。左耳机获得事件声音透传的指令。比如，左耳机接收来自终端设备的事件声音透传的指令。左耳机从所述第一参考信号中(或者第一参考信号、第二参考信号、第一通话信号和第二通话信号)分离出m个事件声音信号。进一步地，左耳机根据第一参考信号、第二参考信号、第一通话信号、第二通话信号和所述m个事件声音信号进行声源定位后得到m个事件声音中任一个事件声音所在的方向；向终端设备发送所述m个事件声音所在方向。终端设备根据m个事件声音所在方向生成显示界面，用于为用户选择目标事件声音。针对显示界面的相关说明，后续会详细描述，此处不再赘述。从而耳机接收终端设备发送的选择指令，选择指令用于指示所述m个事件声音中第一事件声音(即目标事件声音)；至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，所述目标处理包括提升采集的信号中所述第一事件声音的信噪比。
[0304]
下面结合图9b针对具体的目标处理(事件声音透传处理)的流程进行详细说明。左耳机中第一参考麦克风拾取第一参考信号，输入到ff滤波器以及dsp。ff滤波器对第一参考信号进行ff滤波处理输入到第三混音器。一种示例中，第一通话麦克风拾取的通话信号以及第一参考麦克风拾取的第一参考信号、第二通话麦克风拾取的第二通话信号和第二参考麦克风拾取的第二参考信号的输入到dsp。dsp对第一参考信号(或者第一参考信号、第二参考信号、第一通话信号和第二通话信号)进行事件声音检测。在检测到m个(正整数)事件声音信号时，对m个事件声音信号进行声源定位以获得m个事件声音所在的方向。在事件声音检测时，即确定m个事件声音的类型。耳机将m个事件声音所在的方向(还可以包括类型)发送给终端设备。终端设备显示给用户周围哪些方向存在事件声音类型，在显示界面上进行标注，从而用户可以选择目标事件声音，然后向耳机发送控制指令以指示透传目标事件声音。作为一种举例，控制指令可以携带方向，从而耳机侧能够根据方向确定目标事件声音，控制指令也可以携带方向和类型。进一步可以对事件声音信号进行增益放大处理得到的信号a2，输入到ht滤波器中。ht滤波器对信号a2进行ht滤波处理得到信号a3。信号a3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号a3和下行音频信号进行混音
处理得到信号a4，信号a4输入到滤波补偿器。滤波补偿器对信号a4进行滤波补偿处理得到信号a5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号a5进行混音处理得到信号a6，输入到fb滤波器。fb滤波器对信号a6进行fb滤波处理得到信号a7。ht滤波器将信号a3输入到第三混音器，ff滤波器将信号a1输入到第三混音器，fb滤波器将信号a7输入到第三混音器，第三混音器对信号 a1、信号a3和信号a7进行混音处理得到信号a8，信号a8输入到扬声器进行播放。
[0305]
下面针对固定干扰抑制的处理流程进行详细说明。
[0306]
本技术实施例中，固定干扰源的声音信号是指在用户使用耳机的场景下，在耳机的某个特定方向上存在的特定设备的声音干扰。该声音干扰短时不会移动，即与耳机的相对位置固定。该声音干扰具有长时性并且产生干扰的设备是固定的。比如车载中fm设备产生的声音干扰、家中电视干扰或者家附近固定位置的装修干扰等。
[0307]
固定干扰抑制的模式下，可以仅对来自设定方向的固定干扰源的声音信号进行抑制，也可以不限定设定方向。耳机中包括麦克风阵列的情况下，可以对来自设定方向的固定干扰源的声音信号进行抑制。在耳机中未设置有麦克风阵列的情况下，可以通过左右耳机的主麦克风和参考麦克风来构成麦克风阵列。
[0308]
如下先对不限定设定方向的固定干扰源的声音信号进行抑制的处理流程进行详细说明。参见图10a和图10b所示，以参考麦克风采集的信号称为参考信号，误差麦克风采集的信号称为误差信号，以主麦克风采集的信号称为通话信号为例进行说明。耳机采用ah模式中的固定干扰抑制模式。终端设备100向耳机200发送的下行音频信号，后续描述以称为第二音频信号为例。第二音频信号可以是通话信号、音乐信号等。
[0309]
s1001，对所述参考信号进行第一滤波处理(以ff滤波为例)得到第一滤波信号。在图10b中将第一滤波信号简称为信号c1。
[0310]
s1002，对所述参考信号(或者参考信号和通话信号)进行第三增强处理得到第三增强信号，所述第三增强处理包括滤除所述参考信号(或者参考信号和通话信号)中固定干扰源的声音信号。第三增强处理还可以包括增益调整，比如增益放大或者增益减小。在图10b 中将第三增强信号称为信号c2。
[0311]
在一种可能的实施方式中，在执行滤除参考信号中固定干扰源的声音信号时，一种方式中，可以采用人工智能盲信号分离(blind signal separation，bss)技术从参考信号中分离出固定干扰源的声音信号以及非固定干扰源的声音信号，然后将固定干扰源的声音信号从参考信号中过滤掉。另一种方式中，可以对参考信号进行降噪处理，来抑制固定干扰源的声音信号，保留非固定干扰源的声音信号。比如采用ai降噪模型对参考信号进行降噪处理，来抑制固定干扰源的声音信号，并保留非固定干扰源的声音信号。又一种方式中，可以对参考信号进行延时滤波处理来过滤掉参考信号中的固定干扰源的声音信号。比如，通过固定干扰信号传递函数的相对稳定特征来执行延时滤波处理从参考信号中将固定干扰源的声音信号过滤掉。
[0312]
可选地，在耳机中包括主麦克风(通话麦)的情况下，可以针对参考信号和通话信号执行第三增强处理，在过滤参考信号和通话信号中的固定干扰源的声音信号后，进一步执行增益放大处理，可以使得用户能够清晰听到自己说话的声音。
[0313]
s1003，对所述第三增强信号进行第二滤波处理(以ht滤波为例)得到第二滤波信
号。在图10b中将第二滤波信号称为信号c3。
[0314]
s1004，对所述第二滤波信号和来自所述终端设备的第二音频信号进行混音处理得到第三音频信号；在图10b中将第三音频信号称为信号c4。
[0315]
s1005，对所述第三音频信号进行补偿处理得到第四音频信号；在图10b中将第四音频信号称为信号c5。
[0316]
s1006，对所述第四音频信号和所述误差信号进行混音处理得到第五音频信号；在图10b 中将第五音频信号称为信号c6。
[0317]
s1007，对第五音频信号进行第三滤波处理(以fb滤波为例)得到第三滤波信号；在图10b中将第三滤波信号称为信号c7。
[0318]
s1008，对所述第一滤波信号、第二滤波信号和第三滤波信号进行混音处理得到所述目标信号。在图10b中将目标信号称为信号c8。
[0319]
应理解的是，在本技术实施例中，针对来自终端设备的下行音频信号和第二滤波信号进行补偿处理，为一种可选地的方式。在本实施例中，步骤s1004为可选步骤。在不执行针对来自终端设备的下行音频信号和第二滤波信号的补偿处理时，可以将下行音频信号、第二滤波信号以及误差麦克风采集的误差信号直接进行混音处理。
[0320]
在图10b中，结合codec和dsp对固定干扰抑制的处理流程进行详细说明。耳机中 codec包括ht滤波器、fb滤波器、ff滤波器、第一混音器、第二混音器、第三混音器以及滤波补偿器。dsp用于执行第三增强处理。耳机200中参考麦克风拾取参考信号，输入到ff滤波器以及dsp。主麦克风用于拾取通话信号。ff滤波器对参考信号进行ff滤波处理得到信号c1。dsp对参考信号(或者参考信号和通话信号)进行第三增强处理得到得到信号c2，输入到ht滤波器中。ht滤波器对信号c2进行ht滤波处理得到信号c3。信号c3和来自终端设备的下行音频信号输入到第一混音器，第一混音器对信号c3和下行音频信号进行混音处理得到信号c4，信号c4输入到滤波补偿器。滤波补偿器对信号c4进行滤波补偿处理得到信号c5，输入到第二混音器。第二混音器将误差麦克风拾取的误差信号与信号c5进行混音处理得到信号c6，输入到fb滤波器。fb滤波器对信号c6进行fb滤波处理得到信号c7。ht滤波器将信号c3输入到第三混音器，ff滤波器将信号c1输入到第三混音器，fb滤波器将信号c7输入到第三混音器，第三混音器对信号c1、信号c3和信号c7进行混音处理得到信号c8，信号c8输入到扬声器进行播放。
[0321]
下面通过终端设备侧控制耳机的实现具体的增强功能的角度对本技术实施例进行详细说明。
[0322]
耳机启动执行方向性透传、方向性抑制、事件声音透传、固定干扰抑制等等增强功能的哪一个，可以由用户在耳机上的操作来启动，也可以由用户通过与耳机建立通信连接的终端设备来启动。
[0323]
一种示例中，由用户在耳机上的操作来启动时，耳机上可以配有按钮，比如方向性透传的按钮，当方向性透传的按钮被按下时，耳机开启方向性透传的功能。
[0324]
另一种示例中，由终端设备来控制耳机的方向性透传、方向性抑制、事件声音透传、固定干扰抑制等等功能的启动时，终端设备提供ui界面，用户通过ui界面来选择启动耳机实现哪个功能，终端设备检测到用户的操作后，向耳机指示目标增强功能，比如方向性透传。
[0325]
耳机可以支持方向性透传功能、方向性抑制功能、事件声音透传功能、固定干扰抑制功能等中一种功能或多种功能。
[0326]
当耳机仅支持一个增强功能时，比如耳机支持事件声音透传功能，当ah功能的选项使能时，终端设备控制耳机实现事件声音透传功能。无需终端设备执行增强功能的选择。或者，在ht功能的选项使能后，进一步显示事件声音透传功能的选项，该事件声音透传功能的选项使能时，控制耳机开启ht功能和anc功能。
[0327]
当耳机支持多个增强功能时，终端设备可以为用户提供多个选项，不同的选项对应不同的增强功能。
[0328]
下面以举例的方式，对耳机的目标增强功能的确定方式进行说明。
[0329]
终端设备1提供控制界面1，供用户根据需求选择耳机200(左耳机和右耳机)目标增强模式：事件声音透传模式、方向性透传模式或方向性抑制模式。目标增强模式用于实现目标增强功能，比如方向性透传模式用于实现方向性透传功能。应理解的是，控制界面1 上供用户选择的耳机的目标增强模式均为耳机支持的增强模式。另外需要说明的是，左耳机采用的增强模式和右耳机采用的增强模式可以相同也可以不同。在相同的情况下，终端设备100通过控制界面上的单个控件来控制左耳机和右耳机。左耳机和右耳机支持的增强功能相同。比如，左耳机和右耳机支持方向性透传功能、方向性抑制功能、事件声音透传功能、固定干扰抑制功能等中一项或者多项。比如，终端设备安装有适配耳机200的耳机应用，在适配过程中，能够获知耳机所具备的增强功能。再比如，耳机200与终端设备建立连接的通信过程中，通过向终端设备传输功能参数，从而终端设备能够根据功能参数确定耳机所具备的增强功能。
[0330]
作为一种举例，耳机支持单独开启anc功能、单独开启ht功能。例如，以左耳机和右耳机分别支持anc功能和ht功能为例。终端设备提供控制界面2，控制界面2用于提供能够供用户选择耳机200的处理模式的选项。例如，处理功能的选项包括anc功能选项和ht功能选项，当ht功能选项均使能时，终端设备进一步控制耳机开启目标增强功能。再例如，处理功能的选项中包括anc功能选项、ht功能选项和ah功能选项。当ah功能选项使能时，终端设备进一步控制耳机开启目标增强功能。
[0331]
终端设备100响应于用户通过控制界面2在耳机支持的处理模式中选择ah模式(或者同时开启anc功能和ht功能)时，控制左右耳机均开启anc功能和ht功能。终端设备显示控制界面1，控制界面1中包括不同的增强功能对应的功能选项。比如，耳机支持事件声音透传、方向性透传以及固定干扰抑制时，控制界面1中包括事件声音透传选项、方向性透传选项以及固定干扰抑制选项。此处仅是例举三种增强功能，耳机支持的功能可以包括该三个，还可以包括其它的增强功能。耳机支持的功能还可以仅包括以上三种中的至少一项。
[0332]
在一种可能的应用场景中，以用户在控制界面1中选择事件声音透传选项为例。
[0333]
作为一种示例，参见图11a所示。以事件声音透传选项为例，终端设备100响应于用户点击事件声音透传选项的操作，向耳机200发送控制指令1，控制指令1指示目标增强模式为事件声音透传模式，比如控制指令1包括事件声音透传模式的标识。进一步的，耳机 200(左耳机和右耳机)接收到来自终端设备的控制指令1后，根据控制指令1执行s801-s808 得到目标信号，通过扬声器播放所述目标信号。
[0334]
可选地，终端设备可以通过一个控制指令将ah模式和事件声音透传模式合并指示
给耳机200。终端设备100响应于用户通过控制界面2在耳机支持的处理模式中选择ah模式时，显示控制界面1，响应于用户点击事件声音透传按钮的操作时，向耳机200发送控制指令 11，控制指令11中包括事件声音透传模式标识和ah模式标识，或者控制指令11中包括事件声音透传模式标识。
[0335]
在一种可能的示例中，在事件声音透传模式下，终端设备100还提供事件声音透传模式下的事件音类型的选项。终端设备100响应于用户点击事件声音透传选项的操作，显示控制界面3，例如参见图11b所示，控制界面3中包括事件声音的类型1、类型2、
……
，类型n的选项。作为一种举例，比如，类型1为鸣笛声音、类型2为报站声音、类型3为警报声音、类型4为说话声音、类型5为哭闹声音。比如，在用户过马路的场景下，用户可以选择类型1。再比如，在航站楼或者火车站、汽车站的场景下，用户可以选择类型2。又比如，在景区等场景下，用户可以选择类型3。又比如，在多人吃饭聊天的场景下，用户可以选择类型4。又比如，在家里并且有孩子睡觉的场景下，用户可以选择类型5。以用户选择类型1为例，终端设备100响应于用户在控制界面3上选择类型1的选项的操作时，向耳机200发送类型1。耳机200(包括左耳机和右耳机)接收到类型1后，执行步骤s801-s808 的流程。并且在步骤s602，对参考信号(或者参考信号和通话信号)执行增强处理时，从参考信号中过滤出满足类型1的事件声音信号。增强处理采用的方式可以是第一种可能的实现方式-第三种可能的实现方式中的任一种。在一些场景中，外部环境的可能不包括类型 1的事件声音信号，dsp在对耳机中的参考麦克风采集的参考信号，或者参考麦克风采集的参考信号和通话麦克风采集的通话信号进行事件音检测时，则检测不到类型1的事件声音信号，则透传的信号的增益为0。
[0336]
可选地，用户在选择目标事件声音的类型时，可以选择一项，也可以选择多项，本技术实施例对此不作限定。
[0337]
在又一种可能的示例中，在事件声音透传模式下，终端设备100还提供时延类型的选项。例如时延类型包括高时延和低时延。终端设备100响应于用户点击事件声音透传选项的操作，显示控制界面4，例如参见图11c所示，控制界面4中包括高时延选项和低时延选项。终端设备100响应于用户通过控制界面4上选择低时延的按钮的操作时，向耳机200 指示低时延。耳机200(包括左耳机和右耳机)接收到终端设备指示的低时延后，执行步骤 s801-s808的流程。并且在步骤s802，对参考信号(或者参考信号和通话信号)执行第二增强处理时，采用的方式是第三种可能的实现方式。在显示控制界面4时，用户选择高时延时，响应于用户在控制界面4上选择高时延的选项的操作时，向耳机200指示高时延。耳机200(包括左耳机和右耳机)接收到终端设备指示的高时延后，执行步骤s601-s608的流程。并且在步骤s602，对参考信号(或者参考信号和通话信号)执行第二增强处理时，采用的方式是第一种或者第二种可能的实现方式。
[0338]
在一种可能的示例中，在事件声音透传模式下，终端设备100还提供事件音类型和时延类型的选择控件。例如，选择控件中包括时延类型的选项和事件音类型的选项。选择可以采用下拉菜单的方式，也可以采用弹出选择窗口的方式，或者其它能够提供选项的方式，本技术对此不作限定。参见图11d所示，以下拉菜单的方式为例。以事件类型的选择包括类型1-类型5为例，以时延类型包括低时延和高时延。终端设备100响应于用户通过控制界面2在耳机支持的处理模式中选择ah模式时，显示控制界面2，响应于用户点击事件声音透传按钮的操作时，显示控制界面5，用户在时间类型的选择下拉菜单中选择类型1，在时延类型的
选择下拉菜单中选择低时延，终端设备100响应于用户选择类型1和低时延，向耳机200指示类型1和低时延。耳机200(包括左耳机和右耳机)接收到终端设备指示的低时延后，执行步骤s601-s608的流程。并且在步骤s602，对参考信号(或者参考信号和通话信号)执行第一增强处理时，从参考信号中过滤出满足类型1的事件声音信号。第一增强处理采用的方式可以是第三种可能的实现方式。
[0339]
在另一种可能的应用场景中，以选择事件声音透传功能为例。事件声音透传用于透传目标方向上的事件声音。比如，用户在控制界面1中选择事件声音透传的功能选项。终端设备100响应于用户点击事件声音透传选项的操作，向耳机200发送控制指令21，控制指令21指示目标增强模式为事件声音透传模式，比如控制指令21包括事件声音透传模式的标识。耳机接收到事件声音透传的控制指令21后，执行图9a或者图9b所述的事件声音检测和声源定位处理获得m个事件声音的方向(还可以包括类型)。耳机将m个事件声音的方向(还可以包括类型)发送给终端设备。
[0340]
一种可能的实施方式中，终端设备在控制界面21中显示m个方向选项，终端设备响应于用户选择m个方向选项中的目标方向，向耳机指示目标方向对应的m个事件声音中的目标事件声音。需要说明的是，用户可以根据需求选择透传的事件声音信号所在的目标方向。
[0341]
作为一种举例，参见图12a所示，一种可能的控制界面21的示意图。控制界面21中包括3个选项，通过小空心圆点来表示。不同的选项位于方向图的不同位置，用于指示选项对应的方向。用户可以通过点击小空心圆点来选择透传的方向对应的事件声音。例如，小空心圆点被选中后，小空心圆点中添加黑色圆点。
[0342]
一个方向所对应的水平方向范围可以为：[θ1,θ2)或者(θ1,θ2]，θ2-θ1小于180 度且大于0度。比如方向图可以是圆环形，包括多个圆弧段，不同的圆弧段表示不同的方向。例如，每30
°
为一个方向。不同的圆弧段可以对应不同方向标识。终端设备100在向耳机200发送第一目标方向时，可以通过方向标识来指示。图12a中是以耳机或者终端设备的水平360度方向划分为4个方向为例。参见图12b所示，为另一种方向划分方式。圆环中不同的弧度值范围对应不同的方向，参见图13b所示。例如，(0，30]对应方向1，(30， 60]对应方向2，(60，90]对应方向3，(90，120]对应方向4，(120，150]对应方向5，(150， 180]对应方向6，(180，210]对应方向7，(210，240]对应方向8，(240，270]对应方向9，(270，300]对应方向10，(300，330]对应方向11，330，360]对应方向12。
[0343]
作为另一种举例，参见图12c所示，另一种可能的控制界面21的示意图。控制界面21 中包括3个选项，不同的选型的显示内容包括事件声音的类型。参见12b所示，事件声音类型包括装修声音、电视声音以及说话声音。通过小空心圆点来表示。用户可以通过点击小空心圆点来选择透传的方向对应的事件声音。例如，小空心圆点被选中后，小空心圆点中添加黑色圆点。
[0344]
作为又一种举例，参见图12d所示，又一种可能的控制界面21的示意图。控制界面 21中第一控件，第一控件在控制界面21上仅能够在设定区域内移动。作为一种示例，设定区域可以为圆环形或者条形等等。第一控件在设定区域的不同位置范围表示耳机所处的空间中，以耳机或者终端设备为参考基准的不同的方向范围。设定区域中的m个位置包括m 个标记，不同的标记用于标识不同的事件声音。用户可以移动第一控件到不同的标记所在的位置范围，从而能够选择不同的方向的事件声音。结合图12c来说，第一控件为黑色圆点，设定
区域为环形区域。
[0345]
另一种可能的实施方式中，终端设备显示控制界面21，控制界面21包括第一控件，所述第一控件在控制界面21界面中能够移动的范围为所述第一界面中的第一区域，所述第一控件在所述第一区域移动的不同轨迹段指示不同的方向范围；终端设备响应于用户移动所述第一控件到所述第一区域上的第一位置移动到第二位置的操作，来确定透传的事件声音所在的目标方向；所述第一位置移动到所述第二位置的轨迹段对应于所述目标方向。
[0346]
可选地，终端设备可以根据接收到的m个事件声音的方向(和类型)，在控制界面21 的第一区域的相应位置显示方向信息。举例来说，方向信息中可以包括事件声音的类型。
[0347]
参见图12e所示，为一种可能的控制界面21的显示方式。当用户在圆环中的第一位置。比如0度位置，执行点击操作，则显示第一控件，用户可以移动第一控件由第一位置到第二位置，比如90度位置，终端设备响应于用户移动第一控件由第一位置到第二位置的操作，确定用于选中电视声音，则确定选中的目标方向为电视声音所在的方向，从而控制耳机执行针对电视声音的事件声音透传。
[0348]
在另一种可能的应用场景中，在另一种可能的实施方式中，以用户选择方向性透传功能选项为例。
[0349]
终端设备100响应于用户点击方向性透传按钮的操作，向耳机200发送控制指令31，控制指令31指示目标增强模式为方向性透传模式，比如控制指令31包括方向性透传模式的标识。进一步的，耳机200(左耳机和右耳机)接收到来自终端设备的控制指令31后，根据控制指令31执行s601-s609得到目标信号，通过扬声器播放所述目标信号。需要说明的是，用户可以根据需求选择透传的信号所在的第一目标方向。若用户未作选择，一种方式中，可以将上一次用户选择方向性透传模式时所选择的方向作为第一目标方向发送给耳机。另一种方式中，终端设备可以将默认的方向作为第一目标方向发送给耳机，比如默认的方向为用户朝向的方向。又一种方式中，用户未作选择时，终端设备100可以不向耳机 200发送用于指示第一目标方向的控制指令，耳机200可以采用上一次用户选择方向性透传时选择的方向作为第一目标方向，或者耳机200可以采用用户朝向的方向作为第一目标方向。
[0350]
在一种可能的示例中，在方向性透传模式下，终端设备100还提供方向选择的控制界面31。控制界面31中包括控件2，控件2在区域1的任意两个不同位置范围指示两个不同的方向。用户通过移动控件2在显示屏的区域1位置来实现对不同的方向的选择。区域1 可以是一个圆环形区域或者一个条形区域，或者其它形状的区域。
[0351]
一种示例中，以区域1为圆环形为例，圆环(或者圆周)上的突出显示的黑色圆点表示用户选择第一目标方向的控件2，用户可以通过在圆周上移动黑色圆点的位置，来实现对不同方向的选择，参见图13a所示。终端设备100响应于用户点击方向性透传按钮的操作，向耳机200发送控制指令31，并显示控制界面31，参见图13a所示。用户移动控件2在区域1上的位置来选择第一目标方向。响应于所述用户在控制界面31上执行的操作1，向耳机200发送控制指令32，控制指令32包括第一目标方向，比如操作1是所述用户移动所述区域1位于所述控件2上的所述第一目标方向对应的区域内产生的。耳机200(包括左耳机和右耳机)接收到方向性透传模式以及第一目标方向后，根据方向性透传模式以及第一目标方向执行s601-s609得到目标信号，通过扬声器播放所述目标信号。在执行s603的超指向性波束形成处理时，增强来自第一目标方向的声音信号，并抑制来自非目标方向的声音信号。
[0352]
作为一种示例，区域1包括多个圆弧段，不同的圆弧段表示不同的方向，例如，每30
°
为一个方向。不同的圆弧段可以对应不同方向标识。终端设备100在向耳机200发送第一目标方向时，可以通过方向标识来指示。
[0353]
作为另一种示例，终端设备100在向耳机200发送第一目标方向时，可以通过弧度来指示，耳机200根据弧度所在的范围可以确定对应第一目标方向。不同的弧度值范围对应不同的方向，参见图13b所示。例如，(0，30]对应方向1，(30，60]对应方向2，(60，90] 对应方向3，(90，120]对应方向4，(120，150]对应方向5，(150，180]对应方向6，(180， 210]对应方向7，(210，240]对应方向8，(240，270]对应方向9，(270，300]对应方向10， (300，330]对应方向11，330，360]对应方向12。
[0354]
另一种示例中，以控件1为条形为例。可选地，控件1可以划分为多个条形段，不同的条形段可以对应于不同的方向。条形段的数量可以根据耳机超指向性波束形成处理中拾音波束的方向的数量来确定。控件2在控件1的同一条形段的不同位置指示同一个方向。参见图13c和图13d所示，控件2通过黑色条形来表示。用户可以通过在白色空心条形上移动黑色条形的位置，来实现对不同方向的选择，参见图13c或图13d所示。
[0355]
在又一种可能的实施方式中，以用户在选择控件2中选择方向性抑制为例。
[0356]
终端设备100响应于用户点击方向性抑制选项的操作，向耳机200发送控制指令41，控制指令41指示目标增强模式为方向性抑制模式，比如控制指令41包括方向性抑制模式的标识。进一步的，耳机200(左耳机和右耳机)接收到来自终端设备的控制指令41后，根据控制指令41执行方向性抑制的处理得到目标信号，通过扬声器播放所述目标信号。
[0357]
作为一种可选地的实现方式，用户可以根据需求选择需要抑制的信号所在的第二目标方向。终端设备可以为用户提供用于选择需要抑制的信号的所在的第二目标方向的控制界面41。当终端设备显示控制界面41时，若用户未作选择，一种方式中，可以将上一次用户选择的方向性抑制模式时所选择的方向作为第二目标方向发送给耳机。另一种方式中，终端设备可以将在方向性抑制模式下的默认的方向作为第二目标方向发送给耳机，比如方向性抑制模式下默认的方向为用户朝向的方向。又一种方式中，用户未作选择时，终端设备100可以不向耳机200发送用于指示方向性抑制模式下的第二目标方向的控制指令，耳机 200可以采用上一次用户选择方向性抑制模式时选择的方向作为第二目标方向，或者耳机 200可以采用用户朝向的方向作为方向性抑制模式下的第二目标方向。
[0358]
在一种可能的示例中，在方向性抑制模式下，终端设备100向用户提供的控制界面41 的形状可以是圆环形、条形或者其它形状。例如，控制界面41中包括区域11和控件12，控件12在区域11的任意两个不同位置指示两个不同的方向。用户通过移动控件12在显示屏的区域11位置来实现对不同的方向的选择。
[0359]
一种示例中，以区域11为圆环形为例，圆环(或者圆周)上的突出显示的黑色圆点表示用户选择第二目标方向的控件12，用户可以通过在圆周上移动黑色圆点的位置，来实现对不同方向的选择，参见图14a所示。用户移动控制界面41中的控件12在区域11上的位置来选择第二目标方向。响应于所述用户在控制界面41上执行的操作11，向耳机200发送控制指令32，控制指令32包括第二目标方向，比如操作11是所述用户移动所述区域11位于所述控件12上的所述第二目标方向对应的区域内产生的。耳机200(包括左耳机和右耳机)接收到方向性抑制模式以及第二目标方向后，根据方向性抑制模式以及第二目标方向执行
s801-s808得到目标信号，通过扬声器播放所述目标信号，以实现增强来自非第二目标方向的声音信号，并抑制来自第二目标方向的声音信号。
[0360]
可选地，在方向性抑制模式下，用户可以选择所需抑制的目标方向，也可以不进行目标方向的选择。作为一种举例，控制界面41中还可以包括用于指示不进行目标方向选择的选项，例如参见图14b所示，默认方式选项指示不进行目标方向选择。
[0361]
作为一种示例，区域11包括多个圆弧段，不同的圆弧段表示不同的方向，例如，每30
°
为一个方向。不同的圆弧段可以对应不同方向标识。终端设备100在向耳机200发送第二目标方向时，可以通过方向标识来指示。
[0362]
作为另一种示例，终端设备100在向耳机200发送第二目标方向时，可以通过弧度来指示，耳机200根据弧度所在的范围可以确定对应第二目标方向。不同的弧度值范围对应不同的方向。例如，(0，30]对应方向1，(30，60]对应方向2，(60，90]对应方向3，(90， 120]对应方向4，(120，150]对应方向5，(150，180]对应方向6，(180，210]对应方向7，(210， 240]对应方向8，(240，270]对应方向9，(270，300]对应方向10，(300，330]对应方向11， 330，360]对应方向12。
[0363]
另一种示例中，以控制界面41为条形为例。可选地，区域11可以划分为多个条形段，不同的条形段可以对应于不同的方向。条形段的数量可以根据耳机超指向性波束形成处理中拾音波束的方向的数量来确定。控件12在区域11的同一条形段的不同位置指示同一个方向。参见图14c和图14d所示，控件12通过黑色条形来表示。用户可以通过在白色空心条形上移动黑色条形的位置，来实现对不同方向的选择，参见图14c所示。
[0364]
在一种可能的应用场景中，用户选择方向性抑制时，确定方向界面或者方式与方向性透传的确定方式类似，此处不再赘述。
[0365]
可以理解的是，为了实现上述方法实施例中功能，耳机包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本技术中所公开的实施例描述的各示例的模块及方法步骤，本技术能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
[0366]
基于与上述方法同样的发明构思，如图15所示，本技术实施例还提供一种声音增强装置1500。声音增强装置1500应用于耳机中。所述耳机具备anc功能、ht功能；所述耳机包括参考麦克风、误差麦克风；通话麦克风。一种可能的示例中，耳机还可以包括麦克风阵列。声音增强装置1500可以用于实现上述方法实施例中耳机的功能，因此可以实现上述方法实施例所具备的有益效果。装置可以包括通信模块1501、处理模块1502。
[0367]
一种示例中，装置1500应用于第一耳机：
[0368]
处理模块1502，用于通过所述第一参考麦克风采集第一参考信号，所述第一参考信号用于表征所述第一参考麦克风所处环境的声音；
[0369]
处理模块1502，还用于通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0370]
处理模块1502，还用于通过所述第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音；
[0371]
通信模块1501，用于获取所述第二耳机的第二参考麦克风采集的第二参考信号和
第二通话麦克风采集的第二通话信号；其中，所述第二耳机与所述第一耳机为一套配对的耳机；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；
[0372]
处理模块1502，还用于获取方向性透传的指令，所述方向性透传的指令用于指示所述第一耳机透传外部环境中来自目标方向的声音；
[0373]
处理模块1502，还用于对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号；
[0374]
处理模块1502，还用于至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述目标方向的声音的信噪比；
[0375]
处理模块1502，还用于通过所述扬声器播放所述目标信号。
[0376]
一种可能的实现方式中，针对采集的信号提升所述目标方向的声音的信噪比，包括：
[0377]
针对采集的信号增强所述目标方向的声音；或者，
[0378]
针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，
[0379]
针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
[0380]
一种可能的实现方式中，所述处理模块1502，具体用于：
[0381]
利用ht功能透传所述目标方向上的声音信号得到方向性透传信号；
[0382]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；
[0383]
至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0384]
一种可能的实现方式中，所述处理模块1502，具体用于：
[0385]
利用ht功能透传所述目标方向上的声音信号和所述第一参考信号得到方向性透传信号；
[0386]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；
[0387]
至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0388]
一种可能的实现方式中，所述处理模块1502，具体用于：
[0389]
根据参考时钟信号，对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行同步处理；
[0390]
对同步后的所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号。
[0391]
一种可能的实现方式中，所述方向性透传的指令包括目标方向相对于预设的参考方向的角度偏移量。
[0392]
一种可能的实现方式中，所述通信模块1501，还用于：接收终端设备发送的所述方向性透传的指令。
[0393]
一种可能的实现方式中，所述目标信号中所述目标方向的声音的信噪比大于所述第一信号中所述目标方向的声音的信噪比。
[0394]
另一种示例中：
[0395]
处理模块1502，用于通过所述参考麦克风采集参考信号，所述参考信号用于表征所述参考麦克风所处环境的声音；
[0396]
处理模块1502，用于通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0397]
处理模块1502，用于通过所述麦克风阵列采用n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；
[0398]
通信模块1501，用于获取方向性透传的指令，所述方向性透传的指令用于指示透传外部环境声音中来自目标方向的声音；
[0399]
处理模块1502，用于至少对所述n路信号进行波束形成处理获得所述目标方向上的声音信号；
[0400]
处理模块1502，用于至少利用所述anc功能和所述ht功能对所述参考信号、误差信号和所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述目标方向的声音的信噪比；
[0401]
处理模块1502，用于通过所述扬声器播放所述目标信号。
[0402]
一种可能的实现方式中，针对采集的信号提升所述目标方向的声音的信噪比，包括：
[0403]
针对采集的信号增强所述目标方向的声音；或者，
[0404]
针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，
[0405]
针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
[0406]
一种可能的实现方式中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
[0407]
一种可能的实现方式中，处理模块1502，具体用于：
[0408]
利用ht功能透传所述目标方向上的声音信号得到方向性透传信号；
[0409]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；
[0410]
至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0411]
一种可能的实现方式中，处理模块1502，具体用于：
[0412]
利用ht功能透传所述目标方向上的声音信号和所述参考信号得到方向性透传信号；
[0413]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；
[0414]
对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0415]
一种可能的实现方式中，所述方向性透传的指令包括目标方向相对于预设的参考
方向的角度偏移量。
[0416]
一种可能的实现方式中，所述通信模块1501，具体用于：
[0417]
接收终端设备发送的所述方向性透传的指令。
[0418]
一种可能的实现方式中，所述目标信号中所述目标方向的声音的信噪比大于所述第一信号中所述目标方向的声音的信噪比。
[0419]
又一种可能的示例中，装置应用于第一耳机，所述第一耳机至少支持主动降噪anc功能和环境声透传ht功能，所述第一耳机包括第一参考麦克风、误差麦克风、第一通话麦克风和扬声器，所述装置包括：
[0420]
处理模块1502，用于通过所述第一参考麦克风采集第一参考信号，所述第一参考信号用于表征所述第一参考麦克风所处环境的声音；
[0421]
处理模块1502，还用于通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0422]
处理模块1502，还用于通过所述第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音；
[0423]
通信模块1501，用于获取所述第二耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号；其中，所述第二耳机与所述第一耳机为一套配对的耳机；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；
[0424]
通信模块1501，还用于获取方向性抑制的指令，所述方向性抑制的指令用于指示抑制外部环境声音中来自目标方向的声音；
[0425]
处理模块1502，还用于对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得除所述目标方向以外其它方向的声音信号；
[0426]
处理模块1502，还用于至少利用所述anc功能和所述ht功能对所述第一参考信号、所述误差信号和所述其它方向的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号降低所述目标方向的声音的信噪比；
[0427]
处理模块1502，还用于通过所述扬声器播放所述目标信号。
[0428]
一种可能的实现方式中，针对采集的信号提升除所述目标方向以外其它方向的声音的信噪比，包括：
[0429]
针对采集的信号增强除所述目标方向以外其它方向的声音；或者，
[0430]
针对采集的信号减弱所述目标方向的声音；或者，
[0431]
针对采集的信号减弱所述目标方向的声音，增强除所述目标方向以外的其它方向的声音。
[0432]
一种可能的实现方式中，处理模块1502，具体用于利用ht功能透传所述其它方向的声音信号得到透传声音信号；
[0433]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0434]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0435]
一种可能的实现方式中，处理模块1502，具体用于利用ht功能透传所述其它方向
的声音信号和所述第一参考信号得到透传声音信号；
[0436]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0437]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0438]
一种可能的实现方式中，所述方向性抑制的指令包括目标方向相对于预设的参考方向的角度偏移量。
[0439]
一种可能的实现方式中，所述通信模块1501，具体用于
[0440]
接收终端设备发送的所述方向性抑制的指令。
[0441]
一种可能的实现方式中，所述目标信号中所述目标方向的声音的信噪比小于所述第一信号中所述目标方向的声音的信噪比。
[0442]
再一种可能的示例中，
[0443]
处理模块1502，用于通过所述参考麦克风采集参考信号，所述参考信号用于表征所述参考麦克风所处环境的声音；
[0444]
所述处理模块1502，还用于通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0445]
所述处理模块1502，还用于通过所述麦克风阵列采集n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；
[0446]
通信模块1501，用于获取方向性抑制的指令，所述方向性抑制的指令用于指示抑制外部环境声音中来自目标方向的声音；
[0447]
所述处理模块1502，还用于至少对所述n路信号进行波束形成处理获得除所述目标方向以外其它方向的声音信号；
[0448]
所述处理模块1502，还用于至少利用所述anc功能和所述ht功能对所述参考信号、误差信号和其它方向的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升除所述目标方向以外其它方向的声音信号的信噪比；
[0449]
所述处理模块1502，还用于通过所述扬声器播放所述目标信号。
[0450]
一种可能的实现方式中，针对采集的信号提升除所述目标方向以外其它方向的声音的信噪比，包括：
[0451]
针对采集的信号增强除所述目标方向以外其它方向的声音；或者，
[0452]
针对采集的信号减弱所述目标方向的声音；或者，
[0453]
针对采集的信号减弱所述目标方向的声音，增强除所述目标方向以外的其它方向的声音。
[0454]
一种可能的实现方式中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
[0455]
一种可能的实现方式中，所述处理模块1502，具体用于利用ht功能透传所述其它方向的声音信号得到透传声音信号；
[0456]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0457]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理
得到所述目标信号。
[0458]
一种可能的实现方式中，所述处理模块1502，具体用于利用ht功能透传所述其它方向的声音信号和所述参考信号得到透传声音信号；
[0459]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0460]
对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0461]
一种可能的实现方式中，所述方向性抑制的指令包括所述目标方向相对于预设的参考方向的角度偏移量。
[0462]
一种可能的实现方式中，所述通信模块1501，具体用于
[0463]
接收终端设备发送的所述方向性抑制的指令。
[0464]
一种可能的实现方式中，所述目标信号中所述目标方向的声音的信噪比小于所述第一信号中所述目标方向的声音的信噪比。
[0465]
再一种可能的示例中：
[0466]
处理模块1502，用于通过所述参考麦克风采集参考信号，所述参考信号用于表征所述耳机所处环境的声音；
[0467]
所述处理模块1502，还用于通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0468]
所述处理模块1502，还用于通过所述麦克风阵列采集n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；
[0469]
通信模块1501，用于获取事件声音透传的指令，从所述参考信号中分离出m个事件声音信号，所述事件声音为外部环境中满足预设事件条件的声音，m为正整数；
[0470]
所述处理模块1502，还用于根据所述n路信号和所述m个事件声音信号进行声源定位后得到m个事件声音中任一个事件声音所在的方向；
[0471]
通信模块1501，还用于向终端设备发送所述m个事件声音所在方向，所述m个事件声音所在方向用于所述终端设备生成方向界面；所述方向界面包括所述m个事件声音的方向，所述方向界面用于从所述m个事件声音中选择目标事件声音，所述目标事件声音用于控制所述耳机对来自所述目标事件声音所在方向的声音进行透传。
[0472]
一种可能的实现方式中，所述通信模块1501，还用于向终端设备发送所述m个事件声音所在方向之后，接收所述终端设备发送的选择指令，所述选择指令用于指示所述m个事件声音中第一事件声音；
[0473]
所述处理模块1502，还用于至少利用所述anc功能和所述ht功能对所述参考信号、所述误差信号和所述第一事件声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述第一事件声音的信噪比；通过所述扬声器播放所述目标信号。
[0474]
一种可能的实现方式中，针对采集的信号提升所述第一事件声音的信噪比，包括：
[0475]
针对采集的信号增强所述第一事件声音；或者，
[0476]
针对采集的信号减弱除所述第一事件声音以外的其它声音；或者，
[0477]
针对采集的信号增强所述第一事件声音，减弱除所述第一事件声音以外的其它声音。
[0478]
一种可能的实现方式中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
[0479]
一种可能的实现方式中，所述处理模块1502，具体用于利用ht功能透传所述第一事件声音信号得到透传声音信号；
[0480]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0481]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0482]
一种可能的实现方式中，所述处理模块1502，具体用于利用ht功能透传所述第一事件声音信号和所述参考信号得到透传声音信号；
[0483]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0484]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0485]
一种可能的实现方式中，所述选择指令包括所述第一事件声音的方向。
[0486]
一种可能的实现方式中，还包括：
[0487]
根据所述n路信号和所述m个事件声音信号进行声源定位后还得到m个事件声音中任一个事件声音的类型；
[0488]
向终端设备发送所述m个事件声音的类型；
[0489]
所述选择指令包括所述第一事件声音的方向和类型。
[0490]
再一种可能的示例中：
[0491]
处理模块1502，用于通过所述参考麦克风采集参考信号，所述参考信号用于表征所述参考麦克风所处环境的声音；
[0492]
所述处理模块1502，还用于通过所述误差麦克风采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0493]
所述处理模块1502，还用于通过所述麦克风阵列采集n路信号，所述n路信号用于表征所述麦克风阵列所处环境的声音，n为大于1的整数；
[0494]
通信模块1501，用于获取事件声音抑制的指令，从所述参考信号中分离出m个事件声音信号，所述事件声音为外部环境中满足预设事件条件的声音，m为正整数；
[0495]
所述处理模块1502，还用于根据所述n路信号和所述m个事件声音信号进行声源定位后得到m个事件声音中任一个事件声音所在的方向；
[0496]
所述通信模块1501，还用于向终端设备发送所述m个事件声音所在方向；所述m个事件声音所在方向用于所述终端设备生成方向界面；所述方向界面包括所述m个事件声音的方向，所述方向界面用于从所述m个事件声音选择目标事件声音，所述目标事件声音用于控制所述耳机对来自所述目标事件声音所在方向的声音进行透传。
[0497]
一种可能的实现方式中，还用于向终端设备发送所述m个事件声音所在方向之后，接收所述终端设备发送的选择指令，所述选择指令用于指示所述m个事件声音中第一事件声音；从所述参考信号获得除所述第一事件声音以外的声音信号；
[0498]
所述处理模块1502，还用于至少利用所述anc功能和所述ht功能对所述参考信号、
所述误差信号和所述参考信号中除所述第一事件声音以外的声音信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升除所述第一事件声音以外的声音信号的信噪比；通过所述扬声器播放所述目标信号。
[0499]
一种可能的实现方式中，针对采集的信号提升除所述第一事件声音以外的声音信号的信噪比，包括：
[0500]
针对采集的信号减弱所述第一事件声音；或者，
[0501]
针对采集的信号增强除所述第一事件声音以外的其它声音；或者，
[0502]
针对采集的信号减弱所述第一事件声音，增强除所述第一事件声音以外的其它声音。
[0503]
一种可能的实现方式中，所述麦克风阵列采用线阵排布在所述耳机中或者采用面阵排布在所述耳机中。
[0504]
一种可能的实现方式中，所述处理模块1502，具体用于利用ht功能透传除所述第一事件声音以外的声音信号得到透传声音信号；
[0505]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0506]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0507]
一种可能的实现方式中，所述处理模块1502，具体用于利用ht功能透传除所述第一事件声音以外的声音信号和所述参考信号得到透传声音信号；
[0508]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述透传声音信号和所述误差信号进行反相处理得到第二反相信号；
[0509]
至少对所述透传声音信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0510]
一种可能的实现方式中，所述选择指令包括所述第一事件声音的方向。
[0511]
一种可能的实现方式中，所述处理模块1502，还用于根据所述n路信号和所述m个事件声音信号进行声源定位后还得到m个事件声音中任一个事件声音的类型；
[0512]
所述通信模块1501，还用于向终端设备发送所述m个事件声音的类型；
[0513]
所述选择指令包括所述第一事件声音的方向和类型。
[0514]
再一种可能的示例中，装置1500应用于第一耳机，所述第一耳机与终端设备建立通信连接，所述第一耳机至少支持环境声透传ht功能，所述第一耳机包括第一参考麦克风、第一通话麦克风和扬声器；所述装置包括：
[0515]
处理模块1502，用于通过所述第一参考麦克风采集第一参考信号，所述第一参考信号用于表征所述第一参考麦克风所处环境的声音；
[0516]
所述处理模块1502，还用于通过所述第一通话麦克风采集第一通话信号，所述第一通话信号用于表征所述第一通话麦克风所处环境的声音；
[0517]
所述处理模块1502，还用于获取所述第二耳机的第二参考麦克风采集的第二参考信号和第二通话麦克风采集的第二通话信号；其中，所述第二耳机与所述第一耳机为一套配对的耳机；所述第二参考信号用于表征所述第二参考麦克风所处环境的声音；所述第二通话信号用于表征所述第二通话麦克风所处环境的声音；
[0518]
通信模块1501，用于获取方向性透传的指令，所述方向性透传的指令用于指示所述第一耳机透传外部环境中来自目标方向的声音；
[0519]
所述处理模块1502，还用于对所述第一参考信号、所述第一通话信号、所述第二参考信号和所述第二通话信号进行波束形成处理获得所述目标方向上的声音信号；
[0520]
所述处理模块1502，还用于至少利用所述ht功能对所述目标方向上的声音信号进行目标处理得到目标信号，所述目标处理包括针对所述目标方向上的声音信号进行透传。
[0521]
在一种可能的实现方式中，所述第一耳机还支持主动降噪anc功能，所述第一耳机还包括误差麦克风，所述误差麦克风用于采集误差信号，所述误差信号用于表征所述误差麦克风所处用户耳道环境的声音；
[0522]
所述处理模块1502，具体用于利用ht功能透传所述目标方向上的声音信号得到方向性透传信号；
[0523]
利用所述anc功能对所述第一参考信号进行反相处理得到第一反相信号以及对所述方向性透传信号和所述误差信号进行反相处理得到第二反相信号；
[0524]
至少对所述方向性透传信号、所述第一反相信号和所述第二反相信号进行混音处理得到所述目标信号。
[0525]
在一种可能的实现方式中，针对采集的信号提升所述目标方向的声音的信噪比，包括：
[0526]
针对采集的信号增强所述目标方向的声音；或者，
[0527]
针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，
[0528]
针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
[0529]
可以理解的是，为了实现上述方法实施例中功能，终端设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本技术中所公开的实施例描述的各示例的模块及方法步骤，本技术能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
[0530]
基于与上述方法同样的发明构思，如图16所示，本技术实施例还提供一种耳机控制装置1600。耳机控制装置1600应用于终端设备100，可以用于实现上述方法实施例中终端设备的功能，因此可以实现上述方法实施例所具备的有益效果。所述耳机支持透传ht功能；
[0531]
一种耳机控制装置包括检测模块1601，处理模块1602。一些可能的场景中，还可以包括显示模块1603。一些可能的场景中，还可以包括通信模块1604。
[0532]
检测模块1601，用于确定开启所述耳机的方向性透传的功能；
[0533]
处理模块1602，用于在检测模块1601确定开启所述耳机的方向性透传的功能时，确定目标方向，所述目标方向用于表示所述耳机所在空间中，以所述耳机或所述终端设备为参考基准的一个感兴趣的方向范围；
[0534]
处理模块1602，用于控制所述耳机针对所述空间中所述目标方向范围的声音进行透传。
[0535]
在一种可能的实现方式中，所述耳机还支持主动降噪anc功能，所述处理模块1602，还用于：
[0536]
控制所述耳机至少利用所述anc功能和所述ht功能对所述耳机采集的信号进行目标处理得到目标信号，所述目标处理包括针对采集的信号提升所述目标方向的声音的信噪比。
[0537]
在一种可能的实现方式中，处理模块1602，具体用于控制所述耳机针对采集的信号增强所述目标方向的声音；或者，
[0538]
控制所述耳机针对采集的信号减弱除所述目标方向以外的其它方向的声音；或者，
[0539]
控制所述耳机针对采集的信号增强所述目标方向的声音，减弱除所述目标方向以外的其它方向的声音。
[0540]
在一种可能的实现方式中，所述目标方向所对应的水平方向范围为：[θ1,θ2)或者(θ 1,θ2]，θ2-θ1小于180度且大于0度。
[0541]
在一种可能的实现方式中，还包括：
[0542]
显示模块1603，用于显示第一界面，所述第一界面包括m个方向选项，不同的方向选项对应不同的方向范围，m为正整数；
[0543]
所述处理模块1602，还用于响应于用户在所述第一界面执行的第一操作，确定所述目标方向；其中，所述第一操作是所述用户在所述m个方向选项中的选择操作。
[0544]
在一种可能的实现方式中，所述m个方向选项中每个方向选项的显示内容包括所述耳机所处环境中存在的来自对应的方向的事件声音的类型，所述事件声音为外部环境中符合预设事件条件的声音。
[0545]
在一种可能的实现方式中，显示模块1603，用于显示第一界面，所述第一界面包括第一控件，所述第一控件在所述第一界面中能够移动的范围为所述第一界面中的第一区域，所述第一控件在所述第一区域移动的不同轨迹段指示不同的方向范围；
[0546]
所述处理模块1602，还用于响应于用户在所述第一界面执行的第一操作，确定所述目标方向；所述第一操作是所述用户移动所述第一控件到所述第一区域上的第一位置移动到第二位置产生的，移动所述第一位置到所述第二位置的轨迹段对应于所述目标方向。
[0547]
在一种可能的实现方式中，通信模块1604，用于在显示模块1603显示第一界面之前，接收所述耳机发送的m个方向信息。
[0548]
在一种可能的实现方式中，所述通信模块1604，还用于：
[0549]
向耳机发送控制信令，所述控制信令包括所述目标方向；所述控制信令用于指示所述耳机透传外部环境中来自所述目标方向的声音。
[0550]
在一种可能的实现方式中，所述通信模块1604，还用于：
[0551]
向耳机发送控制信令，所述控制信令包括所述目标方向和来自所述目标方向的事件声音的类；所述控制信令用于指示所述耳机透传外部环境中来自所述目标方向的声音。
[0552]
在一种可能的实现方式中，所述通信模块1604，还用于：
[0553]
接收耳机发送的指示信息，则确定开启所述耳机的方向性透传的功能，所述指示信息用于指示所述耳机的方向性透传的功能开启。
[0554]
在一种可能的实现方式中，所述检测模块1601，具体用于：
[0555]
发起开启所述耳机的方向性透传的功能的信号，则开启所述耳机的方向性透传的功能。
[0556]
在一种可能的实现方式中，还包括：
[0557]
显示模块1603，用于显示第二界面，所述第二界面包括方向性透传的功能选项；
[0558]
所述处理模块1602，还用于响应于所述用户选择所述方向性透传的功能选项的操作，则确定所述耳机的方向性透传的功能开启。
[0559]
基于此，本技术实施例中还提供一种终端设备，参见图17所示，终端设备中包括处理器1701、存储器1702、通信接口1703和显示器1704。存储器1702用于存储处理器1701 执行的指令或程序，或存储处理器1701运行指令或程序所需要的输入数据，或存储处理器 1701运行指令或程序后产生的数据。处理器1701用于运行存储器1702存储的指令或者程序执行上述方法中终端设备所执行的功能。
[0560]
一种可能的场景中，处理器1701用于执行检测模块1601和通信模块1604、显示模块 1603、处理模块1602的功能。或者，处理器1701用于执行检测模块1601和处理模块1602 的功能。通信模块1604的功能由通信接口1703实现，显示模块1603的功能可以由显示器 1704实现。
[0561]
可以理解的是，本技术的实施例中的处理器可以是中央处理模块(central processing unit， cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(fieldprogrammable gate array，fpga)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
[0562]
本技术的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，ram)、闪存、只读存储器(read-only memory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasable prom， eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于终端设备中。当然，处理器和存储介质也可以作为分立组件存在于终端设备中。
[0563]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，dvd)；还可以是半导体介质，例如，固
态硬盘(solid state drive，ssd)。
[0564]
在本技术的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0565]
尽管结合具体特征及其实施例对本技术进行了描述，显而易见的，在不脱离本技术的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明，且视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。
[0566]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术实施例的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。