音频处理方法、装置、电子设备及存储介质与流程

本申请涉及音频处理，具体涉及一种音频处理方法、装置、电子设备及存储介质。

背景技术：

1、目前，在音频传输的应用中，编码端对原始音频进行编码后进行传输，解码端解码得到的音频与原始音频相比存在失真现象，尤其编码端对原始音频采用很低的码率进行编码时，使得原始音频失真更严重，音频的低频部分的内容受损且音频的高频部分丢失，使得音频的音质越差，进而影响用户的音质体验感。因此，如何对解码后的音频的音质进行提升，进而提升用户的音质体验感是亟待解决的问题。

技术实现思路

1、针对上述技术问题，本申请实施例提供了一种音频处理方法、装置、电子设备及存储介质，通过对待处理音频的低频信息进行修复，以及对待处理音频的高频信息进出补偿，以提升待处理音频的音质，进而提升了用户的音质体验感。

2、第一方面，本申请实施例提供一种音频处理方法，该方法包括：

3、获取待处理音频；

4、对待处理音频进行分帧，得到多个音频帧；

5、对每个音频帧进行频域变换，得到每个音频帧的第一频谱图和第二频谱图；

6、根据待处理音频的编码参数，获取第一参考参数和第二参考参数，其中，第一参考参数用于对每个音频帧的低频进行修复，第二参考参数用于对每个音频帧的高频进行补偿；

7、根据每个音频帧的第一频谱图和第一参考参数，对每个音频帧的低频进行修复，得到每个音频帧的第三频谱图；

8、根据每个音频帧的第一频谱图、第二频谱图，以及第二参考参数，对每个音频帧的高频进行补偿，得到每个音频帧的第四频谱图；

9、将每个音频帧的第三频谱图和第四频谱图进行融合，得到每个音频帧的目标频谱图；

10、对多个音频帧对应的多个目标频谱图进行时域变换，得到目标音频。

11、第二方面，本申请实施例提供一种音频处理装置，该装置包括：获取单元和处理单元；

12、获取单元，用于获取待处理音频；

13、处理单元，用于对待处理音频进行分帧，得到多个音频帧；

14、处理单元，用于对每个音频帧进行频域变换，得到每个音频帧的第一频谱图和第二频谱图；

15、处理单元，用于根据待处理音频的编码参数，获取第一参考参数和第二参考参数，其中，第一参考参数用于对每个音频帧的低频进行修复，第二参考参数用于对每个音频帧的高频进行补偿；

16、处理单元，用于根据每个音频帧的第一频谱图和第一参考参数，对每个音频帧的低频进行修复，得到每个音频帧的第三频谱图；

17、处理单元，用于根据每个音频帧的第一频谱图、第二频谱图，以及第二参考参数，对每个音频帧的高频进行补偿，得到每个音频帧的第四频谱图；

18、处理单元，用于将每个音频帧的第三频谱图和第四频谱图进行融合，得到每个音频帧的目标频谱图；

19、处理单元，用于对多个音频帧对应的多个目标频谱图进行时域变换，得到目标音频。

20、第三方面，本申请实施例提供一种电子设备，包括：处理器和存储器，处理器与存储器相连，存储器用于存储计算机程序，处理器用于执行存储器中存储的计算机程序，以使得电子设备执行如第一方面的方法。

21、第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序使得计算机执行如第一方面的方法。

22、第五方面，本申请实施例提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机可操作来使计算机执行如第一方面的方法。

23、实施本申请实施例，通过对待处理音频进行分帧，得到多个音频帧；然后对每个音频帧进行频域变换，得到每个音频帧的第一频谱图和第二频谱图；然后根据待处理音频的编码参数，获取第一参考参数和第二参考参数；然后根据每个音频帧的第一频谱图和第一参考参数，对每个音频帧的低频进行修复，得到每个音频帧的第三频谱图；以及根据每个音频帧第一频谱图、第二频谱图和第二参考参数，对每个音频帧的高频进行补偿，得到每个音频帧的第四频谱图；然后将每个音频帧的第三频谱图和第四频谱图进行融合，得到每个音频帧的目标频谱；最后将每个音频帧的目标频谱图进行时域变换，得到目标音频，修复了待处理音频的低频信息以及补偿了待处理音频的高频信息，提升了待处理音频的音质，进而提升了用户的音质体验感。

技术特征：

1.一种音频处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个音频帧的第一频谱图和所述第一参考参数，对所述每个音频帧的低频进行修复，得到所述每个音频帧的第三频谱图，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第i个音频帧的第一频谱图、所述第i个音频帧的前m个音频帧对应的m个第一频谱图以及所述第i个音频帧的后n个音频帧对应的n个第一频谱图，得到所述第i个音频帧的第一特征矩阵，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，

5.根据权利要求4所述的方法，其特征在于，所述根据所述第k个音频帧的第一频谱图和第二频谱图、所述第k个音频帧的前x个音频帧对应的x个第一频谱图和x个第二频谱图、以及所述第k个音频帧的后y个音频帧对应的y个第一频谱图和y个第二频谱图，得到所述第k个音频帧的第二特征矩阵，包括：

6.根据权利要求4或5所述的方法，其特征在于，

7.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述多个音频帧对应的多个目标频谱图进行时域变换，得到目标音频，包括：

8.根据权利要求1-7任一项所述的方法，其特征在于，所述编码参数包括所述待处理音频的码率、声道数和采样率中的一种或多种，所述码率小于预设阈值。

9.根据权利要求1-8任一项所述的方法，其特征在于，在所述根据所述待处理音频的编码参数，获取第一参考参数和第二参考参数之前，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述根据所述多个第一训练音频帧和所述多个第一训练音频帧标签，对第一训练模型的初始参数进行训练，得到第一目标模型的参考参数，包括：

11.根据权利要求10所述的方法，其特征在于，所述基于每个第一训练音频帧的第一频谱图中各个频点对应的修复系数和所述多个第一训练音频帧标签，对所述第一训练模型的初始参数进行训练，得到所述第一目标模型的参考参数，包括：

12.根据权利要求1-11任一项所述的方法，其特征在于，在所述根据所述待处理音频的编码参数，获取第一参考参数和第二参考参数之前，所述方法还包括：

13.根据权利要求12所述的方法，其特征在于，所述根据所述多个第三训练音频帧和所述多个第三训练音频帧标签，对第二训练模型的初始参数进行训练，得到第二目标模型的参考参数，包括：

14.根据权利要求13所述的方法，其特征在于，所述基于每个第三训练音频帧的高频频点的第二特征值和第三特征值、以及所述多个第三训练音频帧标签，对所述第二训练模型的初始参数进行训练，得到所述第二目标模型的参考参数，包括：

15.一种音频处理装置，其特征在于，所述装置包括：获取单元和处理单元；

16.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1-14中任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-14中任一项所述的方法。

技术总结
本申请实施例公开了一种音频处理方法、装置、电子设备及存储介质。该方法包括：获取待处理音频；对待处理音频进行分帧，得到多个音频帧；对每个音频帧进行频域变换，得到每个音频帧的第一频谱图和第二频谱图；根据待处理音频的编码参数，获取第一参考参数和第二参考参数；根据每个音频帧的第一频谱图和第一参考参数，得到每个音频帧的第三频谱图；根据每个音频帧的第一频谱图、第二频谱图，以及第二参考参数，得到每个音频帧的第四频谱图；将每个音频帧的第三频谱图和第四频谱图进行融合，得到每个音频帧的目标频谱图；对多个音频帧对应的多个目标频谱图进行时域变换，得到目标音频。

技术研发人员：武倩平
受保护的技术使用者：行吟信息科技（武汉）有限公司
技术研发日：
技术公布日：2024/3/24