一种车内反馈音效的风格迁移方法

本发明涉及汽车行业，用于汽车座舱中的声音体验设计的，尤其涉及一种车内反馈音效的风格迁移方法。

背景技术：

1、随着汽车智能化程度和人们对汽车驾乘舒适度的要求的提高，各大车厂正争相打造沉浸式座舱体验，声音体验已经成为汽车座舱中无法忽略的一环。声音的风格迁移是生成座舱反馈音效的技术途径；传统的音效的风格迁移方法无法通过提取原有音频的音乐旋律，并进行音乐音色替换生成音效的风格迁移，然而传统的音效的风格迁移方法无法不能完整的保留原始音频旋律，导致迁移后的音频质量不高，大大降低了人们对汽车座舱迁移后的反馈音效的需求。

技术实现思路

1、本发明提供一种车内反馈音效的风格迁移方法，以克服上述技术问题。

2、为了实现上述目的，本发明的技术方案是：

3、一种车内反馈音效的风格迁移方法，包括以下步骤：

4、s1：采集原始风格音乐音频的双通道音乐样本生成音频样本集；

5、s2：对所述音频样本集中的音乐样本进行cqt变换特征提取，获取cqt频谱xcqt；

6、s3：通过风格迁移算法对所述cqt频谱xcqt进行音频风格迁移处理，获取目标风格音频；

7、s4：将获取的所述目标风格音频输出至汽车内，实现车内反馈音效的风格迁移过程。

8、进一步的，s2中所述获取cqt频谱xcqt，包括以下步骤：

9、s2.1：将所述音频样本集中的双通道音乐样本的数据格式统一转换为wav格式；

10、s2.2：将格式转换后的所述双通道音乐样本进行通道转换获取单通道音乐样本；且所述进行通道转换的公式为

11、x＝transform(music1m×c)

12、其中，x表示转换成单通道后的音乐样本数据；transform(*)表示将双通道的音乐样本转换为单通道；music1m×c是大小为m×c的二维音乐样本矩阵；m表示音乐样本在时间序列上的长度；c表示音乐样本的通道数；

13、s2.3：对所述单通道音乐样本进行分帧操作，获取单通道音乐样本的分量向量；且所述进行分帧操作的计算公式为

14、xn＝x[nm:nm+n-1],n∈[0,z)

15、其中，n表示帧索引值；z表示帧数；表示单通道音乐样本在第n帧处的分量向量；n表示帧长；m表示帧移；

16、s2.4：根据分帧操作后的单通道音乐样本的频率构建中心频率呈几何分布的滤波器组；且所述中心频率呈几何分布的滤波器组的表达式为

17、w(k,m)＝α+(1-α)cos(2πm/nk),α＝25/46,m∈[0,nk-1]

18、其中，w(k,m)表示中心频率呈几何分布的滤波器组；α表示给定系数；nk表示随频率变换的滤波器窗口长度；m表示音乐样本在时间序列上的长度；k表示音乐样本分帧操作后的时间序列的数量；

19、s2.5：基于所述中心频率呈几何分布的滤波器组对所述单通道音乐样本的分量向量进行cqt变换特征提取半音的频谱序列，获取cqt变换的单通道音乐样本的各谱分量；

20、所述获取cqt变换的单通道音乐样本的各谱分量的计算公式为

21、

22、其中，表示用来保存中心频率为fk的第k个半音的频谱能量；xn(m)为经过分帧处理后的单通道音乐数据的时域信号；表示长度为nk的窗函数；j表示复数单位；q表示常量参数；nk表示随频率变换的滤波器窗口长度；

23、s2.6：将所述获取cqt变换的单通道音乐样本的各谱分量通过concat函数进行拼接联合操作，获得cqt频谱xcqt；且所述得cqt频谱xcqt的表达式为

24、

25、其中，表示包含各个频谱分量的分音矩阵。

26、进一步的，s3中所述通过风格迁移算法对所述cqt频谱xcqt进行音频风格迁移，包括以下步骤：

27、s3.1：定义风格迁移算法的前向扩散过程权重项βt(t＝1,2,...,t)，并根据所述前向扩散过程权重项βt设置风格迁移算法参数αt＝1-βt；

28、s3.2：通过前向扩散过程公式对所述cqt频谱xcqt进行前向扩散，获得经过t步前向扩散后的最终频谱图xt；且所述前向扩散过程公式为

29、

30、

31、其中，xt表示经过t步前向扩散后的谱图；x1表示未经过前向扩散的原始cqt频谱；ε表示服从高斯分布的噪声；n表示高斯分布；i表示单位矩阵；

32、s3.3：构建含有目标音色的音乐样本的目标音色特征矩阵prompt，并将所述目标音色特征矩阵prompt与经过t步前向扩散后的所述最终频谱图xt，通过所述风格迁移算法的反向生成过程，获得具有目标音色的音乐音频。

33、进一步的，s3.3中所述构建含有目标音色的音乐样本的目标音色特征矩阵prompt，包括以下步骤：

34、s3.3.1：给定目标音乐样本，并基于快速傅里叶变换将所述目标音乐样本的数据信号从时域信号转换为频域信号，更新所述目标音乐样本；

35、所述目标音乐样本从时域信号转换为频域信号的计算公式为

36、

37、其中，f表示经过快速傅里叶变换后的频域信号；y表示音乐样本经过采样后的时域信号；fs表示时域中的采样点总数；j表示复数单位；n表示帧长；

38、s3.3.2：计算更新后的所述目标音乐样本的频谱质心；所述频谱质心的计算公式为

39、

40、其中，cn表示目标音乐样本第n帧的频谱质心；ln表示第n帧信号经过快速傅里叶变换后子带w中频率的最小值；hn表示第n帧信号经过快速傅里叶变换后子带w中频率的最大值；fn(w)表示第n帧中子带w经过时域信号转换为频域信号的输出；

41、并基于所述频谱质心获取频谱质心的一阶导数cn′与频谱质心的二阶导数cn″；所述频谱质心的一阶导数cn′与二阶导数cn″的表达式为

42、cn′＝(cn+1-cn)/cn

43、cn″＝(cn+1′-cn′)/cn′

44、其中，cn表示目标音乐样本第n帧的频谱质心；cn+1表示目标音乐样本第n+1帧的频谱质心；

45、s3.3.3：计算更新后的所述目标音乐样本的频谱带宽；且所述频谱带宽的计算公式为

46、

47、其中，sn表示目标音乐样本第n帧的频谱带宽；w0表示常量参数；cn表示目标音乐样本第n帧的频谱质心；fn(w)表示第n帧中子带w经过时域信号转换为频域信号的输出；

48、并基于所述频谱带宽获取频谱带宽的一阶导数sn′与频谱带宽的二阶导数sn″；所述频谱带宽的一阶导数sn′与二阶导数sn″的表达式为

49、sn′＝(sn+1-sn)/sn

50、sn″＝(sn+1′-sn′)/sn′

51、其中，sn表示目标音乐样本第n帧的频谱带宽；sn+1表示目标音乐样本第n+1帧的频谱带宽；

52、s3.3.4：将所述频谱质心、频谱质心的一阶导数cn′与二阶导数cn″以及频谱带宽的一阶导数sn′与二阶导数sn″通过concat函数进行拼接联合操作，获得目标音色特征矩阵prompt；

53、所述目标音色特征矩阵prompt的表达式为

54、prompt＝concat(cn,cn′,cn″,sn,sn′,sn″)。

55、进一步的，s3.3中通过所述风格迁移算法的反向生成过程，获得具有目标音色的音乐音频，具体为

56、将s3.2获取的最终频谱图xt输入至带有relu激活函数的第一卷积层中进行卷积处理，获得优化频谱图；

57、out1＝relu(conv1d(xt))

58、其中，out1表示第一卷积层的输出；conv1d表示一维卷积层；

59、将s3.3.4获取的目标音色特征矩阵prompt输入到第二卷积层中，通过卷积操作对目标音色特征矩阵prompt中的目标音色特征进行特征表达；

60、out2＝conv1d(prompt)

61、其中，out2表示第二卷积层的输出；

62、将所述第一卷积层的输出out1与第二卷积层的输出out2通过concat函数进行拼接联合操作并输出联合结果out3；

63、out3＝concat(out1,out2)

64、将联合结果out3输入到第三卷积层中进行卷积运算；并将所述第三卷积层的输出out输入至所述风格迁移算法的反向生成过程，获取具有目标音色的音乐音频；所述风格迁移算法的反向生成过程的计算公式为

65、out＝conv1d(out3)

66、

67、其中，out表示第三卷积层卷积后的输出；outt表示经过反向生成过程得到的具有目标音色的音乐音频；βt表示前向扩散过程权重项；ε表示服从高斯分布的噪声。

68、有益效果：本发明提供了一种车内反馈音效的风格迁移方法，通过对音频样本集中的音乐样本进行cqt变换特征提取获取cqt频谱xcqt；并基于风格迁移算法对cqt频谱xcqt进行音频风格迁移，获取目标风格音频；将获取的所述目标风格音频输出至汽车内，实现车内反馈音效的风格迁移。使得在保留原始音频旋律的同时实现音乐音色的转变，生成高质量的音频，大大提升了人们对汽车座舱迁移后的反馈音效的需求；有效的解决了现有方法生成的音频质量不高，无法完整保留原始音频旋律的问题。