由电子设备执行的方法、电子设备和存储介质与流程

文档序号:42291321发布日期:2025-06-27 18:23阅读:40来源:国知局

本技术涉及信号处理,具体而言,本技术涉及一种由电子设备执行的对音频信号进行处理的方法、电子设备和存储介质。


背景技术:

1、个人声音放大产品(personal sound amplification products,psap)作为可穿戴电子产品,旨在为非聋哑或听力障碍人士放大声音。宽动态范围压缩(wide dynamicrange compression,wdrc)是一种声音放大技术,可以根据用户的听力图放大或减少不同频率或频段的声音。wdrc是psap中的一个重要模块,其可用于具有“环境声音放大”功能的真无线立体声(true wireless stereo,tws)耳机,用以提高听力正常或听力受损者的听觉感知质量。psap要求低延迟(<=3ms),如果tws播放的声音与耳朵直接听到的声音相比延迟超过3ms,那么用户听到的声音会不清楚。wdrc可用于针对有听力缺陷的频段提供听力补偿。wdrc算法中的子带数越多,听力补偿越精细,扩音效果越好。

2、如何准确地对声音进行放大和补偿,满足用户需求,是本领域技术人员一直在努力研究的技术问题。


技术实现思路

1、为了至少解决现有技术中存在的上述问题,本发明提供了一种由电子设备执行的方法、电子设备和存储介质。

2、根据本技术实施例的第一方面,提供了一种由电子设备执行的方法,包括:确定对待处理的第一音频信号进行放大处理的第一处理时延、以及通过所述放大处理获得的第二音频信号;如果所述第一处理时延与对前一个第一音频信号进行放大处理的处理时延不同,则基于所述第二音频信号确定第三音频信号;以及输出所述第三音频信号。

3、可选地,确定对待处理的第一音频信号进行放大处理的第一处理时延、以及通过所述放大处理获得的第二音频信号的步骤包括:基于所述第一音频信号,通过使用级联的多个第一神经网络中的各第一神经网络,获得处理后的音频信号及其对应的预测概率;基于所述预测概率确定所述第一处理时延和所述第二音频信号。

4、可选地,基于所述预测概率确定所述第一处理时延和所述第二音频信号的步骤包括:针对所述多个第一神经网络中的各第一神经网络:如果基于该第一神经网络获得的预测概率将与该第一神经网络对应的处理时延确定为所述第一处理时延,则将通过该第一神经网络获得的音频信号确定为所述第二音频信号;如果基于该第一神经网络获得的预测概率未将与该第一神经网络对应的处理时延确定为所述第一处理时延,则根据通过下一个第一神经网络获得的预测概率来确定所述第一处理时延和所述第二音频信号。

5、可选地,基于所述预测概率确定所述第一处理时延和所述第二音频信号的步骤还包括:针对所述多个第一神经网络中的各第一神经网络,如果基于该第一神经网络获得的预测概率未将与该第一神经网络对应的处理时延确定为所述第一处理时延,则将该第一神经网络获得的处理后的音频信号、以及该第一神经网络中除了最后一个网络层之外的至少一个网络层的输出特征输入到下一个第一神经网络。

6、可选地,基于所述第一音频信号,通过使用级联的多个第一神经网络中的各第一神经网络,获得处理后的音频信号及其对应的预测概率的步骤包括:针对所述多个第一神经网络中的第一个第一神经网络,基于所述目标放大增益和该第一神经网络对应的待处理的第一音频信号,使用该第一神经网络获得处理后的音频信号及其对应的预测概率;针对所述多个第一神经网络中的其他各第一神经网络,基于以下至少一项,使用该第一神经网络获得处理后的音频信号及其对应的预测概率:上一个第一神经网络获得的处理后的音频信号、所述上一个第一神经网络的所述输出特征、以及与该第一神经网络对应的待处理的第一音频信号中除了与所述上一个第一神经网络对应的待处理的第一音频信号以外的音频信号。

7、可选地,基于所述预测概率确定所述第一处理时延和所述第二音频信号的步骤包括:针对所述多个第一神经网络中的各第一神经网络,如果该第一神经网络获得的预测概率大于第一预定阈值,则将与该第一神经网络对应的处理时延确定为所述第一处理时延,并将通过该第一神经网络获得的处理后的音频信号确定为所述第二音频信号。

8、可选地,与每个第一神经网络对应的处理时延按照所述多个第一神经网络级联的顺序依次增大;与每个第一神经网络对应的待处理的第一音频信号的时间长度与相应的第一神经网络对应的处理时延对应。

9、可选地,确定对待处理的第一音频信号进行放大处理的第一处理时延、以及通过所述放大处理获得的第二音频信号的步骤包括:通过使用多个第四神经网络中的每个第四神经网络,分别基于与该第四神经网络对应的待处理的第一音频信号和目标放大增益,获得处理后的音频信号及其对应的预测概率,其中,每个第四神经网络对应于不同的处理时延;基于所述预测概率确定所述第一处理时延和所述第二音频信号。

10、可选地,基于所述预测概率确定所述第一处理时延和所述第二音频信号的步骤包括:如果至少一个第四神经网络获得的预测概率大于第二预定阈值,则将所述至少一个第四神经网络中对应于最低处理时延的第四神经网络所获得的音频信号确定为所述第二音频信号,并将与该第四神经网络对应的处理时延确定为所述第一处理时延;如果所述多个第四神经网络获得的预测概率均小于或等于第二预定阈值,则将所述多个第四神经网络中对应于最高处理时延的第四神经网络所获得的音频信号确定为所述第二音频信号,并将与该第四神经网络对应的处理时延确定为所述第一处理时延。

11、可选地,所述目标放大增益通过以下操作被获得:将预设时间长度的音频信号划分为多个子带信号;根据用户的听力信息,分别计算所述多个子带信号中的每个子带信号的放大增益;从计算出的多个放大增益中选择与待处理的第一音频信号对应的放大增益作为所述目标放大增益。

12、可选地,如果所述第一处理时延大于对所述前一个第一音频信号进行放大处理的处理时延,则所述方法还包括:基于针对所述前一个第一音频信号输出的音频信号和所述待处理的第一音频信号,通过第二神经网络,获得需要在所述第三音频信号之前填充的至少一个第四音频信号;以及输出所述至少一个第四音频信号。

13、可选地,基于所述第二音频信号确定第三音频信号的步骤包括:基于输出的第四音频信号,通过第三神经网络对所述第二音频信号进行校正,获得所述第三音频信号。

14、可选地,所述方法还包括:针对所述多个第一神经网络中的各第一神经网络,如果基于该第一神经网络获得的预测概率未将与该第一神经网络对应的处理时延确定为所述第一处理时延,则基于以下至少一项,通过第二神经网络确定需要在所述第三音频信号之前填充的第四音频信号:上一次输出的音频信号、该第一神经网络中除了最后一个网络层之外的至少一个网络层的输出特征、与所述多个第一神经网络中的第一个第一神经网络对应的待处理的第一音频信号;输出第四音频信号。

15、可选地,如果所述第一处理时延小于对所述前一个第一音频信号进行放大处理的处理时延,则所述方法还包括:基于上一次输出的音频信号,通过第三神经网络对所述第二音频信号进行校正,获得所述第三音频信号。

16、可选地,所述方法还包括:如果所述第一处理时延与对前一个第一音频信号进行放大处理的处理时延相同,则输出所述第二音频信号。

17、根据本技术实施例的第二方面,提供给了一种电子设备,包括:至少一个处理器;以及至少一个存储计算机可执行指令的存储器,其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行如上所述的由电子设备执行的方法。

18、根据本技术实施例的第三方面,提供了一种存储指令的计算机可读存储介质,其中,当所述指令被至少一个处理器运行时,促使所述至少一个处理器执行如上所述的由电子设备执行的方法。

19、本技术实施例提供的技术方案带来的有益效果,将在后文中结合具体的可选实施例进行说明,或者可以从对实施例的描述中获悉,或者可以通过实施例的实施而习知。

当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!