一种背景音效作品生成系统及方法与流程

本发明涉及背景音效生成，尤其涉及一种背景音效作品生成系统及方法。

背景技术：

1、背景音效作品的创作是一个复杂的过程，需要作曲者具有高度的创造力和背景音效造诣。传统的背景音效创作主要依赖人工经验，效率较低。近年来，计算机技术在背景音效创作领域得到广泛应用。

2、随着深度学习技术的进步，各类神经网络模型被广泛应用于背景音效创作任务，如循环神经网络、卷积神经网络、生成对抗网络等。这些模型可以学习背景音效训练数据的深层特征，并生成连贯流畅的背景音效作品。在现有技术中：(1)基于规则的算法作曲方法：利用背景音效理论与数学模型进行背景音效创作，代表技术有马尔可夫链、语法生成等，这类方法背景音效规则性强，但创造性有限。(2)基于统计模型的生成方法：使用隐马尔可夫模型等统计学习方法模拟背景音效序列模式，能反映背景音效整体样式，但背景音效连贯性较差。(3)基于深度学习的生成模型：采用rnn、cnn、gan等深度神经网络对背景音效进行建模并生成，可以创造性地产生背景音效，但需要大量训练数据，模拟能力仍有局限。(4)迁移学习方法：使用图像或文本领域的预训练网络，通过微调用于背景音效生成任务，可以利用其他领域知识，但模型的适用性仍然有限。(5)标注与回归方法：需加入额外信息(文本、标签等)指导背景音效生成，或使用回归模型预测背景音效质量，以优化生成背景音效。

3、综上所述，提出一种能够自动生成高质量背景音效作品的背景音效作品生成系统及方法是十分有必要的。

技术实现思路

1、本发明的目的在于提供一种背景音效作品生成系统及方法，实现了能够自动生成高质量的背景音效作品。

2、为实现上述目的，本发明采用的一种背景音效作品生成系统，包括背景音效特征提取模组和背景音效生成模组，所述背景音效生成模组与所述背景音效特征提取模组连接；

3、所述背景音效生成模组包括音乐特征采集模块、神经网络生成模块、后处理模块和声码器，所述音乐特征采集模块与所述背景音效特征提取模组连接，所述神经网络生成模块与所述音乐特征采集模块连接，所诉神经网络生成模块与所述音乐特征采集模块连接，所述后处理模块分别与所述神经网络生成模块和所述声码器连接。

4、其中，所述背景音效生成模组还包括语音波形输出模块，所述语音波形输出模块与所述声码器连接。

5、其中，所述音乐特征采集模块用于采集所述背景音效特征提取模组中的音乐特征；

6、所述神经网络生成模块用于采用神经网络生成模型生成音乐；

7、所述后处理模块用于对生成的音乐进行处理；

8、所述声码器用于学习语音的高维条件信息，并生成语音波形。

9、其中，所述语音波形输出模块用于输出语音波形。

10、其中，所述背景音效特征提取模组包括背景音效特征语料库、音乐数据预处理模块、音乐特征提取模块和背景音效特征处理模块，所述音乐数据预处理模块与所述背景音效特征语料库连接，所述音乐特征提取模块与所述音乐数据预处理模块连接，所述背景音效特征处理模块分别与所述音乐特征提取模块和所述音乐特征采集模块连接。

11、其中，所述背景音效特征语料库用于集成多种音频库，保存背景音效数据；

12、所述音乐数据预处理模块用于对所有背景音效数据进行预处理，使背景音效数据成为统一的特征输入；

13、所述音乐特征提取模块用于对背景音效进行特征提取，特征包括音高、节奏、响度的低层背景音效要素特征和音色、曲调轮廓的高层背景音效特征；

14、所述背景音效特征处理模块用于根据提取的特征，生成语音特征。

15、本发明还提供一种背景音效作品生成系统的背景音效作品生成方法，包括如下步骤：

16、建立所述背景音效特征提取系统；

17、对所有背景音效数据进行预处理，将背景音效数据成为统一的特征输入；

18、提取背景音效特征；

19、对背景音效特征进行处理，生成背景音效；

20、输出背景音效的语音波形。

21、其中，在建立所述背景音效特征提取系统的步骤中：

22、选择midi音频库用于训练背景音效特征模型；

23、提取出的背景音效特征通过神经网络生成进行训练；

24、通过分类模型学习音频库对应的各种背景音效特征的特点。

25、其中，在对所有背景音效数据进行预处理，将背景音效数据成为统一的特征输入的步骤中：

26、将所有背景音效转换为单声道，并将背景音效数据采样至标准采样频率fs＝16khz；

27、使用阶数为6的butterworth带通数字滤波器对背景音效数据进行滤波；

28、使用无穷范数对每个背景音效数据进行归一化。

29、其中，在提取背景音效特征的步骤中：

30、提取代表音高、节奏、响度的低层背景音效要素特征，并使用数字化的形式表示要素特征；

31、建立高层特征的抽象表示；

32、综合全部提取出的特征，构成背景音效的数字指纹；

33、使用特征选择的方法，找到对背景音效识别任务关键的特征子集。

34、本发明的一种背景音效作品生成系统及方法，通过所述背景音效特征提取模组集成多种音频库，保存背景音效数据；所述神经网络生成模块采用神经网络生成模型生成音乐；所述后处理模块对生成的音乐进行处理；所述声码器学习语音的高维条件信息，并生成语音波形；在生成过程中：建立所述背景音效特征提取系统；对所有背景音效数据进行预处理，将背景音效数据成为统一的特征输入；提取背景音效特征；对背景音效特征进行处理，生成背景音效；输出背景音效的语音波形；实现了能够自动生成高质量的背景音效作品。

技术特征：

1.一种背景音效作品生成系统，其特征在于，

2.如权利要求1所述的背景音效作品生成系统，其特征在于，

3.如权利要求2所述的背景音效作品生成系统，其特征在于，

4.如权利要求3所述的背景音效作品生成系统，其特征在于，

5.如权利要求1所述的背景音效作品生成系统，其特征在于，

6.如权利要求5所述的背景音效作品生成系统，其特征在于，

7.一种背景音效作品生成方法，应用于如权利要求5所述的背景音效作品生成系统，其特征在于，包括如下步骤：

8.如权利要求7所述的背景音效作品生成方法，其特征在于，在建立所述背景音效特征提取系统的步骤中：

9.如权利要求7所述的背景音效作品生成方法，其特征在于，在对所有背景音效数据进行预处理，将背景音效数据成为统一的特征输入的步骤中：

10.如权利要求7所述的背景音效作品生成方法，其特征在于，在提取背景音效特征的步骤中：

技术总结
本发明涉及背景音效生成技术领域，具体涉及一种背景音效作品生成系统及方法；包括背景音效特征提取模组和背景音效生成模组，背景音效生成模组包括音乐特征采集模块、神经网络生成模块、后处理模块和声码器，神经网络生成模块与音乐特征采集模块连接，所诉神经网络生成模块与音乐特征采集模块连接，后处理模块分别与神经网络生成模块和声码器连接；生成方法为：建立所述背景音效特征提取系统；对所有背景音效数据进行预处理，将背景音效数据成为统一的特征输入；提取背景音效特征；对背景音效特征进行处理，生成背景音效；输出背景音效的语音波形，通过上述方式，实现了能够自动生成高质量的背景音效作品。

技术研发人员：段艺博,丁卓
受保护的技术使用者：南京龙垣信息科技有限公司
技术研发日：
技术公布日：2024/5/19