音频信号处理方法、装置、电子设备及存储介质与流程

文档序号:34542858发布日期:2023-06-27 18:21阅读:64来源:国知局
音频信号处理方法、装置、电子设备及存储介质与流程

本公开涉及通信,尤其涉及音频信号处理方法、装置、电子设备及存储介质。


背景技术:

1、随着音频技术的发展以及人们日常生活的娱乐需求,越来越多的用户通过手机或者平板等终端设备上的应用程序开展点歌、k歌等娱乐活动。在用户进行歌唱过程中,用户可以利用麦克风收录唱歌时的声音信号,与此同时,采用外放背景音乐的方式,实现将背景音乐与用户的声音信号进行混合,这样背景音乐会被麦克风同时收录,从而干扰收录的声音信号的清晰度。

2、目前,针对音频信号处理的方法,为了避免背景音乐的直接干扰,用户通常采用佩戴耳机的方式,先由麦克风收录用户的声音信号,将声音信号传输至终端设备,由终端设备对用户的声音信号和背景音乐与进行混音,得到混音后的音频信号,再将混音后的音频信号处理至耳机,通过耳机反馈至用户。

3、然而,目前的音频信号处理方法中,混音后的音频信号经过多端传输,最终才能通过耳机反馈至用户,传输过程中容易造成音频信号的损耗。


技术实现思路

1、本公开提供一种音频信号处理方法、装置、电子设备及存储介质,以至少解决相关技术中音频信号传输损耗、音频信号传输延迟问题。本公开的技术方案如下:

2、根据本公开实施例的第一方面,提供一种音频信号处理方法,所述方法应用于音频信号反馈设备,所述方法包括:

3、接收音频信号收录设备收录的待处理音频信号,所述待处理音频信号至少包括目标对象的声音信号;

4、基于预先训练的音频净化模型对所述待处理音频信号、所述待处理音频信号对应的背景音频信号进行处理,得到初始音频信号;

5、基于预设的音频属性处理策略,对所述初始音频信号进行音频属性处理,得到处理后的目标音频信号;

6、将所述目标音频信号与所述背景音频信号进行混音处理,得到混音音频信号,并输出所述混音音频信号。

7、在一示例性实施例中,所述基于预先训练的音频净化模型对所述待处理音频信号、所述待处理音频信号对应的背景音频信号进行处理,得到初始音频信号之前,所述方法还包括:

8、根据所述待处理音频信号,确定与所述待处理音频信号对应的背景音频信号;

9、根据所述背景音频信号的音频信号标识,向音频存储设备获取所述背景音频信号的音频数据。

10、在一示例性实施例中,所述音频净化模型包括卷积层、门控循环单元、全连接层和激活层,所述基于预先训练的音频净化模型对所述待处理音频信号、所述待处理音频信号对应的背景音频信号进行处理,得到初始音频信号,包括:

11、对所述待处理音频信号和所述待处理音频信号对应的背景音频信号进行预处理,得到所述待处理音频信号对应的待处理音频特征和所述背景音频信号对应的背景音频特征;

12、将所述待处理音频特征和所述背景音频特征同时输入至所述音频净化模型中,依次通过所述音频净化模型中的卷积层、门控循环单元、全连接层和激活层对所述待处理音频特征和所述背景音频特征进行相关性比对和音频特征处理,输出所述待处理音频信号的音频净化后的初始音频信号。

13、在一示例性实施例中,所述对所述待处理音频信号和所述待处理音频信号对应的背景音频信号进行预处理,得到所述待处理音频信号对应的待处理音频特征和所述背景音频信号对应的背景音频特征,包括:

14、对所述待处理音频信号和所述待处理音频信号对应的背景音频信号进行短时傅里叶变换处理,得到处理后频域上的第一转换信号和第二转换信号;

15、根据预设的采样策略对频域上的所述第一转换信号和所述第二转换信号进行采样,分别得到第一转换信号对应的多个采样点数据以及所述第二转换信号对应的多个采样点数据;

16、对所述第一转换信号对应的多个采样点数据以及所述第二转换信号对应的多个采样点分别进行压缩分带处理,得到所述待处理音频信号对应的待处理音频特征和所述背景音频信号对应的背景音频特征。

17、在一示例性实施例中,所述基于预设的音频属性处理策略,对所述初始音频信号进行音频属性处理,得到处理后的目标音频信号,包括:

18、对所述初始音频信号进行音色特征处理和声场特征处理,得到处理后的第三音频信号;

19、对所述第三音频信号进行混响处理,得到混响处理后的第四音频信号,并对所述第四音频信号进行音频信号目标幅度范围的动态压缩处理,得到目标音频信号。

20、根据本公开实施例的第二方面,提供一种音频信号处理系统,所述系统包括:

21、音频信号收录设备,用于收录待处理音频信号,并将所述待处理音频信号处理至音频信号反馈设备,所述待处理音频信号包括目标对象的声音信号和啸叫信号;

22、所述音频信号反馈设备,用于接收所述音频信号收录设备收录的待处理音频信号,所述待处理音频信号包括目标对象的声音信号和啸叫信号;基于预先训练的音频净化模型对所述待处理音频信号、所述待处理音频信号对应的背景音频信号进行处理,得到初始音频信号;

23、基于预设的音频属性处理策略,对所述初始音频信号进行音频属性处理,得到处理后的目标音频信号;将所述目标音频信号与所述背景音频信号进行混音处理,得到混音音频信号,并输出所述混音音频信号。

24、在一示例性实施例中,所述音频信号反馈设备包括均衡器单元、混响单元和动态压缩单元;

25、所述均衡器单元,用于对所述初始音频信号进行音色特征处理和声场特征处理,得到处理后的第三音频信号;

26、所述混响单元,用于对所述第三音频信号进行混响处理,得到混响处理后的第四音频信号;

27、所述动态压缩单元,用于对所述第四音频信号进行音频信号目标幅度范围的动态压缩处理,得到目标音频信号。

28、在一示例性实施例中,所述音频信号反馈设备还包括无线传输单元;

29、所述无线传输单元,用于与所述音频信号收录设备之间构建无线传输通道,并通过所述无线传输通道接收所述音频信号收录设备传输的所述待处理音频信号。

30、根据本公开实施例的第三方面,提供一种音频信号处理装置,所述装置应用于音频信号反馈设备,所述装置包括:

31、接收单元,被配置为执行接收音频信号收录设备收录的待处理音频信号,所述待处理音频信号包括目标对象的声音信号和啸叫信号;

32、第一处理单元,被配置为执行基于预先训练的音频净化模型对所述待处理音频信号、所述待处理音频信号对应的背景音频信号进行处理,得到初始音频信号;

33、第二处理单元,被配置为执行基于预设的音频属性处理策略,对所述初始音频信号进行音频属性处理,得到处理后的目标音频信号;

34、混音单元,被配置为执行将所述目标音频信号与所述背景音频信号进行混音处理,得到混音音频信号,并输出所述混音音频信号。

35、在一示例性实施例中,所述装置还包括:

36、确定单元,被配置为执行根据所述待处理音频信号,确定与所述待处理音频信号对应的背景音频信号;

37、获取单元,被配置为执行根据所述背景音频信号的音频信号标识,向音频存储设备获取所述背景音频信号的音频数据。

38、在一示例性实施例中,所述音频净化模型包括卷积层、门控循环单元、全连接层和激活层,所述第一处理单元,包括:

39、预处理子单元,被配置为执行对所述待处理音频信号和所述待处理音频信号对应的背景音频信号进行预处理,得到所述待处理音频信号对应的待处理音频特征和所述背景音频信号对应的背景音频特征;

40、处理子单元,被配置为执行将所述待处理音频特征和所述背景音频特征同时输入至所述音频净化模型中,依次通过所述音频净化模型中的卷积层、门控循环单元、全连接层和激活层对所述待处理音频特征和所述背景音频特征进行相关性比对和音频特征处理,输出所述待处理音频信号音频净化后的初始音频信号。

41、在一示例性实施例中,所述预处理子单元具体用于对所述待处理音频信号和所述待处理音频信号对应的背景音频信号进行短时傅里叶变换处理,得到处理后频域上的第一转换信号和第二转换信号;

42、根据预设的采样策略对频域上的所述第一转换信号和所述第二转换信号进行采样,分别得到第一转换信号对应的多个采样点数据以及所述第二转换信号对应的多个采样点数据;

43、对所述第一转换信号对应的多个采样点数据以及所述第二转换信号对应的多个采样点分别进行压缩分带处理,得到所述待处理音频信号对应的待处理音频特征和所述背景音频信号对应的背景音频特征。

44、在一示例性实施例中,所述第二处理单元包括:

45、特征处理子单元,被配置为执行对所述初始音频信号进行音色特征处理和声场特征处理,得到处理后的第三音频信号;

46、混响处理子单元,被配置为执行对所述第三音频信号进行混响处理,得到混响处理后的第四音频信号,并对所述第四音频信号进行音频信号目标幅度范围的动态压缩处理,得到目标音频信号。

47、根据本公开实施例的第四方面,提供一种电子设备,包括:

48、处理器;

49、用于存储所述处理器可执行指令的存储器;

50、其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的音频信号处理方法。

51、根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述第一方面中任一项所述的音频信号处理方法。

52、根据本公开实施例的第五方面,提供一种计算机程序产品,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行上述第一方面中任一项所述的音频信号处理方法。

53、本公开的实施例提供的技术方案至少带来以下有益效果:

54、采用本方法,接收音频信号收录设备收录的待处理音频信号,在音频信号反馈设备中直接对待处理音频信号和该待处理音频信号对应的背景音频信号进行音频净化处理和音频属性处理,得到处理后的目标音频信号。将目标音频信号和背景音频信号进行混音处理,得到混音音频信号。然后,直接将混音音频信号输出反馈。在音频信号反馈设备中对待处理音频信号进行处理,降低音频信号的传输损耗,简化了音频信号的传输路径,降低混音音频信号处理延时。

55、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1