本申请实施例涉及音频处理,特别涉及一种人声透传方法、装置、耳机、存储介质及程序产品。
背景技术:
1、随着生活水平的提高,耳机已成为人们必不可少的生活用品。在机场、地铁、餐厅等嘈杂环境中,耳机的降噪功能能够最大限度消除外界噪音的干扰。但在用户需要接受外界语音以及外界环境噪音等场景下,耳机还需要具备透传功能,将外界的声音信号透传给用户,使用户无需摘下耳机即可听到外界的声音。
2、相关技术中,耳机的透传功能是将用户需要听到的目标声源信号以及其他声源信号均透传给用户,因此用户听到的声音中包含了目标声源以及其他声源,使得透传效果降低。
技术实现思路
1、本申请实施例提供了一种人声透传方法、装置、耳机、存储介质及程序产品,所述技术方案如下:
2、一方面,本申请实施例提供了一种人声透传方法,所述方法用于耳机,所述方法包括:
3、对采集到的外界音频信号进行人声识别;
4、在识别出所述外界音频信号中包含人声信号的情况下,从所述外界音频信号中分离所述人声信号;
5、对分离得到所述人声信号和降噪信号进行混音处理,得到混音信号,所述降噪信号用于进行主动降噪;
6、基于所述混音信号驱动扬声器发声。
7、另一方面,本申请实施例提供了一种人声透传装置,所述装置用于耳机,所述装置包括:
8、人声识别模块,用于对采集到的外界音频信号进行人声识别;
9、分离模块,用于在识别出所述外界音频信号中包含人声信号的情况下,从所述外界音频信号中分离所述人声信号;
10、混音模块,用于对分离得到所述人声信号和降噪信号进行混音处理,得到混音信号,所述降噪信号用于进行主动降噪;
11、驱动模块,用于基于所述混音信号驱动扬声器发声。
12、另一方面,本申请实施例提供了一种耳机,所述耳机包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的人声透传方法。
13、另一方面,本申请实施例提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的人声透传方法。
14、另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。处理器从计算机可读存储介质读取该计算机指令,并执行该计算机指令,以执行上述方面提供的人声透传方法。
15、本申请提供的技术方案可以包括以下有益效果:
16、在本申请实施例中,耳机首先对采集到的外界音频信号进行人声识别,在识别出外界音频信号中包含人声信号的情况下,再将该人声信号从外界音频信号中分离出来,并将分离出的人声信号和降噪信号混音,生成一路信号驱动扬声器发声,从而实现了耳机的透传功能。在本申请实施例中,耳机仅将人声信号进行透传,使得用户在享受耳机降噪的同时又方便听到周围的人声,提高了耳机的透传效果,另外,耳机先对外界音频信号进行人声识别,在识别出外界音频信号中包含人声信号的情况下再进行人声分离,减小了耳机的功耗。
1.一种人声透传方法,其特征在于,所述方法用于耳机,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对采集到的外界音频信号进行人声识别,包括:
3.根据权利要求2所述的方法,其特征在于,所述信号类型包括说话人声信号、环境噪声信号和音乐人声信号中的至少一种;
4.根据权利要求3所述的方法,其特征在于,所述vad分类器基于包含样本信号类型标签的样本音频信号训练得到,所述样本音频信号由样本说话人声信号、样本环境噪声信号以及样本音乐人声信号中的至少两种信号混合得到。
5.根据权利要求2所述的方法,其特征在于,所述通过人声分离网络从所述外界音频信号中分离所述人声信号,包括:
6.根据权利要求5所述的方法,其特征在于,所述人声分离网络采用u-net;
7.根据权利要求5所述的方法,其特征在于,所述人声分离网络训练过程中采用的训练指标包括分离准确度指标以及分离速度指标,其中,所述分离准确度指标用于指导优化所述人声分离网络的网络参数,所述分离速度指标用于指导优化所述人声分离网络的网络架构。
8.根据权利要求1至7任一所述的方法,其特征在于,所述方法还包括:
9.根据权利要求1至7任一所述的方法,其特征在于,
10.一种人声透传装置,其特征在于,所述装置用于耳机,所述装置包括:
11.一种耳机,其特征在于,所述耳机包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的人声透传方法。
12.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的人声透传方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至9任一所述的人声透传方法。