音频的合成方法和装置、存储介质及电子设备与流程

本技术涉及计算机领域，具体而言，涉及一种音频的合成方法和装置、存储介质及电子设备。

背景技术：

1、唱歌是一种低门槛且具有需求的用户行为。在互联网时代，用户对音乐不仅有收听的需求，还有强烈的参与欲望，其中包括合唱。

2、目前，传统的合唱音频合成方式是通过直播间让用户实时参与合唱，或者通过不定时的用户录音，由业务方对录制内容进行合成。然而对于一些片段歌曲，在参与录制的用户较少的情况下，呈现给用户的合成音频仅包括较少的用户声音的合成音频。

3、换言之，采用相关技术中提供的音频的合成方式，仍然存在着合成的音频较为单一的技术问题。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种音频的合成方法和装置、存储介质及电子设备，以至少解决合成的音频较为单一的技术问题。

2、根据本技术实施例的一个方面，提供了一种音频的合成方法，包括：

3、根据本技术实施例的另一方面，还提供了一种音频的合成装置，包括：获取单元，用于获取与目标曲目的合唱任务关联的目标原始歌曲音频，其中，所述目标原始歌曲音频为所述目标曲目的原始演唱对象所演唱的歌曲音频；调整单元，用于基于所述目标原始歌曲音频对从模板语音音频库中获取到的目标模板语音音频进行调整，得到候选歌曲音频，其中，所述候选歌曲音频与所述目标原始歌曲音频之间的音频相似度大于预定阈值，所述模板语音音频库中包括分别具有不同语音音频特征的模板语音音频；合成单元，用于利用所述候选歌曲音频、当前获取到的已参与所述合唱任务的对象账号所提供的参考歌曲音频以及所述目标曲目的背景音乐音频，合成所述目标曲目的合唱音频。

4、可选地，在本实施例中，上述调整单元包括：第一处理模块，用于通过音频处理网络对目标原始歌曲音频、目标原始歌曲音频所对应的目标原始歌曲音频特征、目标模板语音音频以及目标模板语音音频的目标模板语音音频特征进行音频处理，得到参考歌曲音频，其中，目标原始歌曲音频特征是从目标原始歌曲音频所在曲目音频库中得到的，曲目音频库中包括多个曲目中的各个曲目各自对应的音乐音频、原始歌曲音频、背景音乐音频以及原始音频特征，音乐音频包括原始歌曲音频和背景音乐音频；第一识别模块，用于识别参考歌曲音频中携带有关键字段的音频片段；第一确定模块，用于在参考歌曲音频中并未识别出携带有关键字段的音频片段的情况下，将参考歌曲音频确定为第一候选子歌曲音频，其中，候选歌曲音频中包括多个候选子歌曲音频。

5、可选地，在本实施例中，上述第一处理模块还用于：在音频处理网络中对目标原始歌曲音频、目标原始歌曲音频特征、目标模板语音音频以及目标模板语音音频特征执行第i次音频处理，得到第i音频，其中，i大于或等于1；将第i音频的音频参数调整至与目标曲目的合唱模式标签所匹配的目标数值，得到调整后的第i音频，其中，音频参数包括音频混响参数和音频延迟参数以及音频音量参数；在调整后的第i音频与目标原始歌曲音频之间的音频相似度大于或等于预定阈值的情况下，将调整后的第i音频确定为参考歌曲音频；

6、在调整后的第i音频与目标原始歌曲音频之间的音频相似度小于预定阈值的情况下，将目标原始歌曲音频、目标原始歌曲音频特征、第i音频以及第i音频的音频特征，输入至音频处理网络执行第i+1次音频处理。

7、可选地，在本实施例中，上述装置还包括：第一处理单元，用于在参考歌曲音频中识别到携带有关键字段的音频片段的情况下，通过音频处理网络对目标原始歌曲音频、目标原始歌曲音频特征、参考歌曲音频以及参考歌曲音频的音频特征进行音频处理，得到处理后的参考歌曲音频；第一确定单元，用于在处理后的参考歌曲音频中并未识别出携带有关键字段的音频片段的情况下，将处理后的参考歌曲音频确定为第二候选子歌曲音频。

8、可选地，在本实施例中，上述第一处理单元包括：第一获取单元，用于获取利用音频处理网络对目标原始歌曲音频、目标原始歌曲音频特征、参考歌曲音频以及参考歌曲音频的音频特征执行第j次音频处理所输出的第j音频，其中，j大于或等于1；第一调整单元，用于将第j音频的音频参数调整至与目标曲目的合唱模式标签所匹配的目标数值，得到调整后的第j音频，其中，音频参数包括音频混响参数和音频延迟参数以及音频音量参数；第二确定单元，用于在j大于或等于n的情况下，将调整后的第j音频确定为处理后的参考歌曲音频，其中，n大于或等于j；第一输入单元，用于在j小于n的情况下，目标原始歌曲音频、目标原始歌曲音频特征、第j音频以及第j音频的音频特征，输入至音频处理网络执行第j+1次音频处理。

9、可选地，在本实施例中，上述装置还包括：第二获取单元，用于获取模板语音音频集合，并提取模板语音音频集合中各个模板语音音频各自对应的模板语音音频特征，得到模板语音音频特征集合，其中，模板语音音频特征包括音域特征、音色特征以及声音频谱特征；第一添加单元，用于将模板语音音频集合和语音音频特征集合添加至模板语音音频库中。

10、可选地，在本实施例中，上述装置还包括：第三获取单元，用于获取音乐音频集合，其中，音乐音频集合中包括多个曲目中各个曲目各自对应的音乐音频，多个曲目包括目标曲目；第四获取单元，用于基于各个曲目各自对应的歌曲音频，得到各个曲目各自对应的原始歌曲音频，以及各个曲目各自对应的背景音乐音频；第一提取单元，用于在各个曲目各自对应的原始歌曲音频中提取中各个曲目各自对应的原始歌曲音频特征，其中，原始歌曲音频特征包括声音频谱特征；第一存储单元，用于将各个曲目各自对应的音乐音频、各个曲目各自对应的原始音频和各个曲目各自对应的背景音乐音频以及各个曲目各自对应的原始歌曲音频特征，存储至曲目音频库中；第一关联单元，用于为各个曲目分别关联所匹配的合唱模式标签，其中，合唱模式标签用于确定曲目所对应的音频参数的数值。

11、可选地，在本实施例中，上述装置还包括：第一合成单元，用于利用目标曲目的合唱音频与参考媒体文件，合成目标媒体文件，其中，参考媒体文件为与目标曲目存在关联关系的视频文件、图像文件中的至少之一；合成单元，用于在目标媒体文件中目标时刻的媒体画面中添加目标弹幕信息，其中，目标弹幕信息中包括目标曲目的曲目标识和用于执行合唱任务的邀请控件；第一发送单元，用于将目标媒体文件发送给终端，以使终端播放目标媒体文件；第二发送单元，用于在接收到终端发送的合唱任务参与请求的情况下，将已参与合唱任务的参考对象的对象标识发送给终端，以使终端在合唱任务参与界面中显示参考对象的对象标识，其中，合唱任务参与请求是基于邀请控件触发的。

12、可选地，在本实施例中，上述装置还包括：第二合成单元，用于在并未获取到参考歌曲音频的情况下，利用候选歌曲音频和背景音乐音频，合成目标曲目的合唱音频。

13、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述音频的合成方法。

14、根据本技术实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上音频的合成方法。

15、根据本技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的音频的合成方法。

16、在本技术实施例中，获取与目标曲目的合唱任务关联的目标原始歌曲音频，其中，目标原始歌曲音频为目标曲目的原始演唱对象所演唱的歌曲音频。然后，基于目标原始歌曲音频对从模板语音音频库中获取到的目标模板语音音频进行调整，得到候选歌曲音频，其中，候选歌曲音频与目标原始歌曲音频之间的音频相似度大于预定阈值，模板语音音频库中包括分别具有不同语音音频特征的模板语音音频。接着，利用候选歌曲音频、当前获取到的已参与合唱任务的对象账号所提供的参考歌曲音频以及目标曲目的背景音乐音频，合成目标曲目的合唱音频。换句话说，采用本技术实施例，利用目标原始歌曲音频、目标模板语音音频以及用户所提供的参考歌曲音频，来合成目标曲目的合唱音频的方式，使得即使是在参与录制的用户较少的情况下，仍然能合成内容丰富的合唱音频，从而避免了相关技术中存在的合成音频较为单一的技术问题，达到了提升合唱音频的丰富度的技术效果。