一种音乐生成方法、装置、系统以及存储介质与流程

本公开涉及多媒体内容处理，尤其涉及一种音乐生成方法、装置、系统以及存储介质。

背景技术：

1、人工智能音乐创作是当前技术的热点，在自动音乐生成方面取得了一些进展。但是，就目前技术而言，基于人工智能系统虽可以生成各种各样的音乐，但在生成过程中无法实现个人定制。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种音乐生成方法、装置、系统以及存储介质。

2、第一方面，本公开提供了一种音乐生成方法，所述方法包括：

3、获取文本信息，并对所述文本信息进行语音合成，得到所述文本信息对应的语音音频；

4、获取初始音乐音频，所述初始音乐音频包括音乐关键点，所述初始音乐音频的音乐特征在所述音频关键点的位置处存在突变；

5、基于所述音乐关键点的位置，将所述语音音频与所述初始音乐音频进行合成，得到目标音乐音频；在所述目标音乐音频中，所述语音音频出现在所述初始音乐音频的所述音乐关键点的位置处。

6、在一些实施例中，所述对所述文本信息进行语音合成，得到所述文本信息对应的语音音频包括：

7、采用文本到语音方式将所述文本信息转换为对应的语音；

8、响应于选择音色的操作，从多种预设的音色中选择目标音色；

9、基于所述目标音色，将所述文本信息对应的语音转换为语音音频。

10、在一些实施例中，所述获取初始音乐音频，包括：

11、响应于选择音乐类别的操作，从多个预设音乐类别中选择目标音乐类别；

12、从所述目标音乐类别对应的多个音乐音频中，选择一个音乐音频作为初始音乐音频。

13、在一些实施例中，所述从所述目标音乐类别对应的多个音乐音频中，选择一个音乐音频作为初始音乐音频，包括：

14、获取所述目标音乐类别对应的多个音乐风格模板，所述音乐风格模板为基于旋律、和弦进行和谱写器乐创建的用于生成音乐的音频模板；

15、响应于选择音乐风格模板的操作，从所述多个音乐风格模板中选择目标音乐风格模板作为初始音乐音频；或者，从所述多个音乐风格模板中随机选择一个音乐风格模板作为初始音乐音频。

16、在一些实施例中，所述音频关键点位于所述音乐风格模板中多个预设位置中的任一位置，其中，所述多个预设位置包括以下至少一个：

17、所述音乐风格模板中合唱之前的预设位置，所述音乐风格模板中节拍强度大于或等于预设阈值的位置，所述音乐风格模板中短语之前或短语之后的预设位置。

18、在一些实施例中，所述基于所述音乐关键点的位置，将所述语音音频与所述初始音乐音频进行合成，得到目标音乐音频包括：

19、将所述语音音频与至少一个音乐关键点进行随机匹配，且不同的语音音频匹配不同的音乐关键点；

20、基于所述随机匹配的结果，将所述语音音频注入所述初始音乐音频中匹配的音乐关键点，并将注入的语音音频与所述初始音乐音频合成为目标音乐音频。

21、在一些实施例中，所述基于所述音乐关键点的位置，将所述语音音频与所述初始音乐音频进行合成，得到目标音乐音频包括：

22、将所述语音音频与至少一个音乐关键点按照预设策略匹配，且不同的语音音频匹配不同的音乐关键点；

23、基于所述按照预设策略匹配的结果，将所述语音音频注入所述初始音乐音频中匹配的音乐关键点，并将注入的语音音频与所述初始音乐音频合成为目标音乐音频。

24、在一些实施例中，所述将注入的语音音频与所述初始音乐音频合成为目标音乐音频包括：

25、将注入的语音音频与所述初始音乐音频进行混响处理、延迟处理、压缩处理和音量处理中的至少一种处理，得到目标音乐音频。

26、第二方面，本公开还提出一种音乐生成装置，所述装置包括：

27、第一获取单元，用于获取文本信息；

28、第一合成单元，用于对所述文本信息进行语音合成，得到所述文本信息对应的语音音频；

29、第二获取单元，用于获取初始音乐音频，所述初始音乐音频包括音乐关键点，所述初始音乐音频的音乐特征在所述音频关键点的位置处存在突变；

30、第二合成单元，用于基于所述音乐关键点的位置，将所述语音音频与所述初始音乐音频进行合成，得到目标音乐音频；在所述目标音乐音频中，所述语音音频出现在所述初始音乐音频的所述音乐关键点的位置处。

31、第三方面，本公开还提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述音乐生成方法的步骤。

32、第四方面，本公开还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储程序或指令，当所述程序或指令被至少一个计算装置运行时，使至少一个计算装置执行如上所述音乐生成方法的步骤。

33、本公开实施例提供的技术方案与现有技术相比具有如下优点：

34、本公开实施例提供的技术方案通过获取文本信息，并将文本信息转换为对应的语音音频；以及，获取初始音乐音频，初始音乐音频包括音乐关键点，初始音乐音频的音乐特征在音频关键点的位置处存在突变；从而，基于音乐关键点的位置，将语音音频与初始音乐音频进行合成，得到目标音乐音频；在目标音乐音频中，语音音频出现在初始音乐音频的音乐关键点的位置处，实现了由文本信息到音乐音频的生成，由于用户可以定制文本信息的内容以及定制初始音乐音频，因此可以实现个性音乐定制的目的，弥补目前无法实现个性化音乐定制的不足。

技术特征：

1.一种音乐生成方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述对所述文本信息进行语音合成，得到所述文本信息对应的语音音频包括：

3.根据权利要求1所述的方法，其中，所述获取初始音乐音频，包括：

4.根据权利要求3所述的方法，其中，所述从所述目标音乐类别对应的多个音乐音频中，选择一个音乐音频作为初始音乐音频，包括：

5.根据权利要求4所述的方法，其中，所述音频关键点位于所述音乐风格模板中多个预设位置中的任一位置，其中，所述多个预设位置包括以下至少一个：

6.根据权利要求1所述的方法，其中，所述基于所述音乐关键点的位置，将所述语音音频与所述初始音乐音频进行合成，得到目标音乐音频包括：

7.根据权利要求1所述的方法，其中，所述基于所述音乐关键点的位置，将所述语音音频与所述初始音乐音频进行合成，得到目标音乐音频包括：

8.根据权利要求6或7所述的方法，其中，所述将注入的语音音频与所述初始音乐音频合成为目标音乐音频包括：

9.一种音乐生成装置，所述装置包括：

10.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至8任一项所述音乐生成方法的步骤。

11.一种计算机可读存储介质，其中，所述计算机可读存储介质存储程序或指令，当所述程序或指令被至少一个计算装置运行时，使至少一个计算装置执行如权利要求1至8任一项所述音乐生成方法的步骤。

技术总结
本公开涉及一种音乐生成方法、装置、系统以及存储介质，本公开实施例通过获取文本信息，并将文本信息转换为对应的语音音频；以及，获取初始音乐音频，初始音乐音频包括音乐关键点，初始音乐音频的音乐特征在音频关键点的位置处存在突变；从而，基于音乐关键点的位置，将语音音频与初始音乐音频进行合成，得到目标音乐音频；在目标音乐音频中，语音音频出现在初始音乐音频的音乐关键点的位置处，实现了由文本信息到音乐音频的生成，由于用户可以定制文本信息的内容以及定制初始音乐音频，因此可以实现个性音乐定制的目的，弥补目前无法实现个性化音乐定制的不足。

技术研发人员：安德鲁·肖,章奕林,陈纪同,维伯特·蒂奥,肖陈正义,徐良钦,薛愉凡
受保护的技术使用者：脸萌有限公司
技术研发日：
技术公布日：2024/1/16