音频处理方法、装置设备及存储介质与流程

本发明涉及音频，尤其涉及一种音频处理方法、装置设备及存储介质。

背景技术：

1、在纯净的语音信号加入各种各样的混响，让声音富有层次感和美感是音乐制作、扬声器算法中永恒的话题，常用的audition和pro tools等软件中，集成了大量的混响效果器，为用户提供了非常丰富的选择，但是，这些效果器都是离线算法，无法做到在dsp上实时运行；目前主流的实时算法包括了延迟线、梳妆滤波器、全通滤波器、反馈延迟网络（feedback delay network，fdn）等方法，它们在混响效果和运算量上各有优势，但是效果均不如时域卷积混响，时域卷积混响先通过声学录制或者镜像法得到混响的房间冲击响应（room impulse response，rir），然后让rir和音乐信号进行卷积，这样就为音乐加入了混响效果，该方法的混响效果非常逼真，直接缺点就是运算量大，此外，对于分帧处理的dsp系统而言，由于卷积后需要进行截断，而rir长度一般远大于一帧信号的长度，为了避免较大的误差需要将卷积操作转换为fir滤波器操作，而这一操作会进一步增加卷积混响的运算量，举个例子，若rir为1000个点，则卷积混响输出一个采样点的结果需要1000次乘法和999次加法，即1999个flops（在计算机中，时常将一次复数乘法或复数加法视为一个flop，以此分析算法的运算量），因此，如何在保证混响效果的情况下降低计算量成为了亟待解决的问题。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种音频处理方法、装置设备及存储介质，旨在解决如何在保证混响效果的情况下降低计算量的技术问题。

2、为实现上述目的，本发明提供了一种音频处理方法，所述方法包括以下步骤：

3、基于预设窗函数、短时傅里叶变换方式以及房间冲击混响确定传递函数矩阵；

4、根据音频信号对应的多个音频帧数据对与音频信号对应的初始音频矩阵进行更新，得到更新后的音频矩阵；

5、基于预设卷积方式对所述传递函数矩阵和更新后的音频矩阵进行卷积处理，得到卷积时域向量；

6、根据音频信号对应的初始音频向量和所述卷积时域向量得到目标输出向量。

7、可选地，所述基于预设窗函数、短时傅里叶变换方式以及房间冲击混响确定传递函数矩阵，包括：

8、根据预设数据重叠方式对房间冲击混响进行重叠处理，得到多个重叠向量；

9、根据预设窗函数对多个重叠向量进行加窗处理，得到多个加窗向量；

10、根据短时傅里叶变换方式对多个加窗向量进行格式转换，得到多个频域向量；

11、根据预设排列方式对多个频域向量进行排列处理，得到传递函数矩阵。

12、可选地，所述根据音频信号对应的多个音频帧数据对与音频信号对应的初始音频矩阵进行更新，得到更新后的音频矩阵，包括：

13、根据预设窗函数对多个音频帧数据进行加窗处理，得到多个加窗帧数据；

14、根据短时傅里叶变换方式对多个加窗帧数据进行格式转换，得到多个音频帧信号；

15、根据预设更新方式和多个音频帧信号更新与音频信号对应的初始音频矩阵，得到更新后的音频矩阵。

16、可选地，所述基于预设卷积方式对所述传递函数矩阵和更新后的音频矩阵进行卷积处理，得到卷积时域向量，包括：

17、根据预设计算方式计算所述传递函数矩阵和更新后的音频矩阵，得到混合计算矩阵；

18、根据所述混合计算矩阵得到混合计算向量；

19、根据预设窗函数、反短时傅里叶变换方式以及所述混合计算向量确定卷积时域向量。

20、可选地，所述根据所述混合计算矩阵得到混合计算向量，包括：

21、根据所述混合计算矩阵得到混合计算矩阵中各列对应的数据；

22、对混合计算矩阵中各列对应的数据进行计算，得到多个计算数据；

23、组合多个计算数据得到混合计算向量。

24、可选地，所述根据音频信号对应的初始音频向量和所述卷积时域向量得到目标输出向量，包括：

25、根据第一截取方式对卷积时域向量进行数据截取，得到第一截取向量；

26、根据预设运算方式对音频信号对应的初始音频向量和所述第一截取向量进行计算；

27、根据计算结果得到目标输出向量。

28、可选地，所述根据音频信号对应的初始音频向量和所述卷积时域向量得到目标输出向量之后，还包括：

29、根据第二截取方式对卷积时域向量进行数据截取，得到第二截取向量；

30、根据所述第二截取向量对音频信号对应的初始音频向量进行赋值；

31、根据赋值结果得到音频信号对应的赋值音频向量。

32、此外，为实现上述目的，本发明还提出一种音频处理装置，所述音频处理装置包括：

33、处理模块，用于基于预设窗函数、短时傅里叶变换方式以及房间冲击混响确定传递函数矩阵；

34、更新模块，用于根据音频信号对应的多个音频帧数据对与音频信号对应的初始音频矩阵进行更新，得到更新后的音频矩阵；

35、所述处理模块，还用于基于预设卷积方式对所述传递函数矩阵和更新后的音频矩阵进行卷积处理，得到卷积时域向量；

36、输出模块，用于根据音频信号对应的初始音频向量和所述卷积时域向量得到目标输出向量。

37、此外，为实现上述目的，本发明还提出一种音频处理设备，所述音频处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理程序，所述音频处理程序配置为实现如上文所述的音频处理方法的步骤。

38、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有音频处理程序，所述音频处理程序被处理器执行时实现如上文所述的音频处理方法的步骤。

39、本发明通过基于预设窗函数、短时傅里叶变换方式以及房间冲击混响确定传递函数矩阵；根据音频信号对应的多个音频帧数据对与音频信号对应的初始音频矩阵进行更新，得到更新后的音频矩阵；基于预设卷积方式对传递函数矩阵和更新后的音频矩阵进行卷积处理，得到卷积时域向量；根据音频信号对应的初始音频向量和卷积时域向量得到目标输出向量。通过预设窗函数和短时傅里叶处理房间冲击混响得到传递函数矩阵，根据预设卷积方式处理传递函数矩阵和更新后的音频矩阵得到卷积时域向量，根据初始音频向量和卷积时域向量得到目标输出向量，实现了在保证混响效果的同时降低了计算量。

技术特征：

1.一种音频处理方法，其特征在于，所述音频处理方法包括：

2.如权利要求1所述的方法，其特征在于，所述基于预设窗函数、短时傅里叶变换方式以及房间冲击混响确定传递函数矩阵，包括：

3.如权利要求1所述的方法，其特征在于，所述根据音频信号对应的多个音频帧数据对与音频信号对应的初始音频矩阵进行更新，得到更新后的音频矩阵，包括：

4.如权利要求1所述的方法，其特征在于，所述基于预设卷积方式对所述传递函数矩阵和更新后的音频矩阵进行卷积处理，得到卷积时域向量，包括：

5.如权利要求4所述的方法，其特征在于，所述根据所述混合计算矩阵得到混合计算向量，包括：

6.如权利要求1所述的方法，其特征在于，所述根据音频信号对应的初始音频向量和所述卷积时域向量得到目标输出向量，包括：

7.如权利要求1所述的方法，其特征在于，所述根据音频信号对应的初始音频向量和所述卷积时域向量得到目标输出向量之后，还包括：

8.一种音频处理装置，其特征在于，所述音频处理装置包括：

9.一种音频处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理程序，所述音频处理程序配置为实现如权利要求1至7中任一项所述的音频处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有音频处理程序，所述音频处理程序被处理器执行时实现如权利要求1至7任一项所述的音频处理方法的步骤。

技术总结
本发明属于音频技术领域，公开了一种音频处理方法、装置设备及存储介质。本发明通过基于预设窗函数、短时傅里叶变换方式以及房间冲击混响确定传递函数矩阵；根据音频信号对应的多个音频帧数据对与音频信号对应的初始音频矩阵进行更新，得到更新后的音频矩阵；基于预设卷积方式对传递函数矩阵和更新后的音频矩阵进行卷积处理，得到卷积时域向量；根据音频信号对应的初始音频向量和卷积时域向量得到目标输出向量。通过预设窗函数和短时傅里叶处理房间冲击混响得到传递函数矩阵，根据预设卷积方式处理传递函数矩阵和更新后的音频矩阵得到卷积时域向量，根据初始音频向量和卷积时域向量得到目标输出向量，实现了在保证混响效果的同时降低了计算量。

技术研发人员：李林峰,汪杨刚,万成
受保护的技术使用者：武汉海微科技有限公司
技术研发日：
技术公布日：2024/3/11