歌曲编辑处理方法、装置、电子设备及存储介质与流程

文档序号:16521302发布日期:2019-01-05 09:59阅读:217来源:国知局
歌曲编辑处理方法、装置、电子设备及存储介质与流程

本公开涉及信息处理领域,尤其是一种歌曲编辑处理方法、装置、电子设备及存储介质。



背景技术:

互联网的飞速发展逐渐改变了当代人的生活方式,当代人对精神文化的需求也越来越高,歌唱逐渐成为了人们喜爱的娱乐活动之一。特别是各种k歌软件产品的普及,使越来越多的人随时随地演唱或者录制自己的歌唱声音。k歌软件产品是一种将用户的歌声合成在软件提供的伴奏中,之后通过卡拉音频效果处理辑,得到品质较好的歌唱录音结果。

相关技术中,用户在使用k歌软件录制歌曲时,由于歌曲的编辑功能有限,只能单一选择与原唱曲目相同的曲目伴奏或者原唱伴奏作为录制歌曲的背景伴奏,使得最终生成的歌唱作品形式单一,缺乏个性和识别度。



技术实现要素:

为克服相关技术中存在的问题,本公开提供一种歌曲编辑处理方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面,提供一种歌曲编辑处理方法,包括如下步骤:

获取待执行的用户指令;

根据所述用户指令调用目标音乐的第一音频文件和第二音频文件,其中,所述第二音频文件派生于所述第一音频文件;

将所述第一音频文件和所述第二音频文件进行混音处理生成混音文件,并播放所述混音文件。

可选地,所述第一音频文件为混合音频文件,所述第二音频文件为伴奏音频文件。

可选地,所述获取第一请求信息之前,所述歌曲编辑处理方法还包括:

获取用户属性信息;

在预设曲库中识别所述用户属性信息对应的推荐曲目;

将所述推荐曲目发送至所述用户终端。

可选地,所述将所述第一音频文件和第二音频文件进行混音处理生成混音文件,并播放所述混音文件之后,还包括:

获取录音环境中的声音信息生成用户的歌唱音频,其中,所述声音信息包括:所述混音文件的播放声音和用户的唱歌声音;

根据预设的声音选区对所述歌唱音频进行截取生成选定音频,其中,所述声音选区为所述目标音频进度条中选定的时间段。

可选地,所述将所述第一音频文件和第二音频文件进行混音处理生成混音文件,并播放所述混音文件之后,还包括:

在所述混音文件播放时间内获取用户的歌唱视频,其中所述歌唱视频包括用户的人脸图像;

根据预设的人脸情绪算法识别所述人脸图像表征的第一情绪信息;

在预设的表情库中匹配与所述第一情绪信息对应的表情数据包;

采用所述表情数据包渲染所述歌唱视频。

可选地,所述根据预设的人脸情绪算法识别所述人脸图像表征的第一情绪信息之后,还包括:

获取与所述歌唱视频对应的歌词文本的文本文档;

根据预设的文档识别模型识别所述文本文档表征的第二情绪信息;

将所述第一情绪信息与所述第二情绪信息进行比对,当所述第一情绪信息与所述第二情绪信息不一致时,在所述表情库中匹配与所述第二情绪信息对应的表情数据包,并将所述表情数据包覆盖在所述人脸图像上。

可选地,所述根据预设的声音选区对所述歌唱音频进行截取生成选定音频的之后,还包括:

获取第一视频文件;

对所述第一视频文件执行消音处理;

将经过消声处理的所述第一视频文件载入到所述选定音频对应的视频区域中,生成具有所述选定音频的第二视频文件。

可选地,所述根据预设的声音选区对所述歌唱音频进行截取生成选定音频的之后,还包括:

将所述选定音频作为作品文件存储在所述预设曲库中;

对所述作品文件设置许可权限信息,所述许可权限信息用于表征所述作品文件是否对其他用户开放使用。

根据本公开实施例的第二方面,提供一种歌曲编辑处理装置,包括:

获取单元,被配置为获取待执行的用户指令;

处理单元,被配置为根据所述用户指令调用目标音乐的第一音频文件和第二音频文件,其中,所述第二音频文件派生于所述第一音频文件;

执行单元,被配置为将所述第一音频文件和所述第二音频文件进行混音处理生成混音文件,并播放所述混音文件。

可选地,所述第一音频文件为混合音频文件,所述第二音频文件为伴奏音频文件。

可选地,所述歌曲编辑处理装置还包括:

第一获取单元,被配置为获取用户属性信息;

第一处理单元,被配置为在预设曲库中识别所述用户属性信息对应的推荐曲目;

第一执行单元,被配置为将所述推荐曲目发送至所述用户终端。

可选地,所述歌曲编辑处理装置还包括:

第二获取单元,被配置为获取录音环境中的声音信息生成用户的歌唱音频,其中,所述声音信息包括:所述混音文件的播放声音和用户的唱歌声音;

第二执行单元,被配置为根据预设的声音选区对所述歌唱音频进行截取生成选定音频,其中,所述声音选区为所述目标音频进度条中选定的时间段。

可选地,所述歌曲编辑处理装置还包括:

第三获取单元,被配置为在所述混音文件播放时间内获取用户的歌唱视频,其中所述歌唱视频包括用户的人脸图像;

第三处理单元,被配置为根据预设的人脸情绪算法识别所述人脸图像表征的第一情绪信息;

第一匹配单元,被配置为在预设的表情库中匹配与所述第一情绪信息对应的表情数据包;

第三执行单元,采用所述表情数据包渲染所述歌唱视频。

可选地,所述歌曲编辑处理装置还包括:

第四获取单元,被配置为获取与所述歌唱视频对应的歌词文本的文本文档;

第四处理单元,被配置为根据预设的文档识别模型识别所述文本文档表征的第二情绪信息;

第四执行单元,被配置为将所述第一情绪信息与所述第二情绪信息进行比对,当所述第一情绪信息与所述第二情绪信息不一致时,在所述表情库中匹配与所述第二情绪信息对应的表情数据包,并将所述表情数据包覆盖在所述人脸图像上。

可选地,所述歌曲编辑处理装置还包括:

第五获取单元,被配置为获取第一视频文件;

第五处理单元,被配置为对所述第一视频文件执行消音处理;

第五执行单元,被配置为将经过消声处理的所述第一视频文件载入到所述选定音频对应的视频区域中,生成具有所述选定音频的第二视频文件。

可选地,歌曲编辑处理装置还包括:

存储单元,被配置为将所述选定音频作为作品文件存储在所述预设曲库中;

设置单元,被配置为对所述作品文件设置许可权限信息,所述许可权限信息用于表征所述作品文件是否对其他用户开放使用。

根据本申请公开实施例的第三方面,提供一种电子设备,包括处理器,用于存储处理器可执行指令的存储器,所述处理器被配置为上述歌曲编辑处理方法的步骤。

根据本申请公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述歌曲编辑处理方法的步骤。

根据本申请公开实施例的第五方面,提供计算机程序产品,包括计算机程序代码,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述歌曲编辑处理方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果:获取待执行的用户指令,根据用户指令调用目标音乐的第一音频文件和第二音频文件,将第一音频文件和第二音频文件进行混音处理生成混音文件,并播放混音文件,实现了用户在演唱目标音乐之前,通过编辑第一音频文件和第二音频文件,实现了混音文件的个性化定制,使混音文件取代了以往单一的原声伴奏,增加了伴奏音频的多样性,丰富歌唱活动内容,体现了歌唱作品的个性化特点,从而提高歌唱作品的识别度。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种歌曲编辑处理方法的流程图。

图2是根据一示例性实施例示出的推荐曲目的一种实施方式流程图。

图3是根据一示例性实施例示出的截取歌唱音频的一种实施方式流程图。

图4是根据一示例性实施例示出的识别歌唱视频的表情数据包的一种实施方式流程图。

图5是根据一示例性实施例示出的表情数据包渲染视频的示意图。

图6是根据一示例性实施例示出的识别歌唱视频的表情数据包的另外一种实施方式流程图。

图7是根据一示例性实施例示出的合成第二视频文件的流程图。

图8是根据一示例性实施例示出的一种歌曲编辑处理装置的框图。

图9是根据一示例性实施例示出的一种移动终端的框图。

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种歌曲编辑处理方法的流程图,如图1所示,歌曲编辑处理方法用于终端中,包括以下步骤:

s1100:获取待执行的用户指令;

具体地,终端检测到用户在音乐模式界面中选取目标音乐的声音选区,例如,用户选取目标音乐的第30秒作为演唱的起始点,第80秒作为演唱的结束点,也就是将目标音乐中的第30秒到第80秒的歌曲片段作为声音选区;若终端检测到用户在演唱界面中还设置了播放参数信息,则获取该播放参数信息;若终端未检测到播放参数信息发生变化,则将默认的播放参数信息作为目标音乐的播放参数信息;将该目标音乐、声音选区或者播放参数信息作为用户指令发送给服务端。

在一些实施方式中,音乐模式界面是指用户录制演唱目标音乐的移动界面,播放参数信息包括第一音频文件、第二音频文件、第一音频文件的输出音量值和第二音频文件的输出音量值。

s1200:根据所述用户指令调用目标音乐的第一音频文件和第二音频文件,其中,所述第二音频文件派生于所述第一音频文件;

服务端根据用户指令中的目标音乐,在预设曲库中调用目标音乐数据包,其中,目标音乐数据包括目标音乐歌词文件、目标音乐的第一音频文件和目标音乐的第二音频文件。第二音频文件包括目标音乐的伴奏曲风,例如,伴奏曲风包括但不限于蓝调、嘻哈或者dj等。

s1300:将所述第一音频文件和所述第二音频文件进行混音处理生成混音文件,并播放所述混音文件。

根据用户指令中的播放参数信息,分别将第一音频文件和第二音频文件的播放音量调节到与播放参数信息相同值;并将调节好播放音量的第一音频文件和第二音频文件进行混音处理成混音文件后,启动播放程序,以播放混音文件。

混音处理一般指将多个音频文件、线路输入音频信号混音后,合成单独的音频文件。在本实施方式中,混合处理是将第一音频文件和第二音频文件处理为单独的混音文件。

在一些实施方式中,第一音频文件为混合音频文件,所述第二音频文件为伴奏音频文件。其中,混合音频文件是由原唱音频文件和伴奏音频文件合成,即混合音频文件由人声音频和原歌曲伴奏音频组成。第二音频文件是区别于第一音频文件的伴奏音频,而是由用户自定义的伴奏曲风的伴奏音频文件,其伴奏曲风的伴奏音频文件是根据第一音频文件进行改编的伴奏音频文件,例如,第一音频文件由钢琴伴奏音频和人声音频组成的混合音频文件,第二音频文件为爵士的伴奏音频文件,当将第一音频文件和第二音频文件进行混音处理生成混音文件时,该混音文件包含爵士的伴奏音频。

通过获取待执行的用户指令,根据用户指令调用目标音乐的第一音频文件和第二音频文件,将第一音频文件和第二音频文件进行混音处理生成混音文件,并播放混音文件,通过编辑第一音频文件和第二音频文件,实现了混音文件的个性化定制,使混音文件取代了以往单一的原声伴奏,增加了伴奏音频的多样性,丰富歌唱活动内容,体现了歌唱作品的个性化特点,从而提高歌唱作品的识别度。

请参阅图2,图2为本实施例示出的推荐曲目的一种实施方式流程图。如图2所示,在执行步骤s1100之前,歌曲编辑处理方法具体还包括下述步骤:

s1111:获取用户属性信息;

用户属性信息包括但不限于用户的年龄、性别、关注的音乐风格、演唱过的曲目、播放的音乐历史记录等等。服务端根据用户的登录账号在后台数据库中获取该登录账号的用户属性信息。

s1112:在预设曲库中识别所述用户属性信息对应的推荐曲目;

预设曲库是按照预设的排列方式,将各种曲目进行归类排序。预设的排列方式包括但不限于音乐风格、点唱歌曲的热度或者歌手等。根据用户属性信息,建立一个歌曲关联度,并在预设曲库中获取与该歌曲关联度对应的推荐曲目。

在一些实施方式中,对每个用户属性信息按照预设的打分表进行记分,其中,打分表记录了每个用户属性信息的分数值,例如,音乐风格为嘻哈的分数为2分。将计分后的用户属性信息进行累加得到总分数,在预设曲库中查找与该总分数对应的歌曲,以使用户属性信息与总分数对应的歌曲建立歌曲关联度,并将总分数对应的歌曲作为推荐歌曲。

s1113:将所述推荐曲目发送至所述用户终端。

根据用户的登录账号,将识别到的推荐曲目发送到用户终端。

通过在预设曲库中识别与用户属性信息对应的推荐曲目,使用户能直接选择具有针对性的合适曲目,能高效满足用户的个性化需求,提升用户体验感。

请参阅图3,图3为本实施例示出的截取歌唱音频的一种实施方式流程图。如图3所示,在执行步骤s1300之后,歌曲编辑处理方法具体还包括下述步骤:

s1311:获取录音环境中的声音信息生成用户的歌唱音频,其中,所述声音信息包括:所述混音文件的播放声音和用户的唱歌声音;

在混音文件播放过程中,终端录取用户演唱目标音乐的人声音频,并将混音文件的播放声音与用户的人声音频经过混音处理成歌唱音频。将播放声音和唱歌声音分别录取再混合处理的方式,有利于提高用户的人声的辨析度和清晰度,提升人声音频的音质,其中,歌唱音频包括了整首目标音乐的混音文件和混音文件对应的歌词文本。

s1312:根据预设的声音选区对所述歌唱音频进行截取生成选定音频,其中,所述声音选区为所述目标音频进度条中选定的时间段。

预设的声音选区为用户在目标音频进度条中选定的时间段,例如,当选取目标音乐的目标音频进度条中的时间段为第10秒-第30秒时,截取歌唱音频中的第10秒-第30秒作为选定音频。需要说明的是,服务端将用户提交的选定音频作为用户的演唱作品上传至歌唱平台,并在默认情况下对该演唱作品设置使用权限。当服务端检测到用户执行许可操作时,例如,当用户取消演唱作品的使用权限设置,服务端解锁该演唱作品的使用权限,以使其他用户能共同使用该演唱作品,起到共享的作用,从而提高用户之间在歌唱平台的互动性,例如,其他用户使用某一个演唱作品作为自己录制视频的配乐,增加视频的录制效果,吸引更多用户对该视频的关注和评论,增加视频的关注热度。

根据预设的声音选区对歌唱音频截取生成选定音频,有利于为用户高效剪辑音频,提高录制歌唱音频的效率。

请参阅图4,图4为本实施例示出的识别歌唱视频的表情数据包的一种实施方式流程图。如图4所示,在执行步骤s1300之后,歌曲编辑处理方法具体还包括下述步骤:

s1321:在所述混音文件播放时间内获取用户的歌唱视频,其中所述歌唱视频包括用户的人脸图像;

当终端检测到用户在视频模式界面中点击录制视频时,终端向服务端发送请求指令,以使服务端根据请求指令调用终端上的摄影程序;在混音文件播放的同时,在视频模式界面展示混音文件对应的歌词文本;获取用户根据歌词文本录制的歌唱视频;根据预设的人脸检测算法,检测每一视频帧中的人脸位置,并提取人脸图像。

具体地,预设的人脸检测算法采用的是cascadecnn(级联型卷积神经网络),通过将视频帧上的图像区分为人脸区域和非人脸区域,将人脸区域的边框进行校正,最终识别出人脸图像。

s1322:根据预设的人脸情绪算法识别所述人脸图像表征的第一情绪信息;

预设的人脸情绪算法是采用卷积神经网络,将标注好的情绪类别的人脸图片输入到该卷积神经网络中训练,输出属于每种情绪的概率值,若某种情绪的概率值超过预设阈值,则确定当前人脸呈现该种情绪,否则通过反向传播不断更新卷积神经网络中的参数值,直至训练出的每种情绪都大于或者等于预设阈值为止,最终得到各情绪种类的分类器。

第一情绪信息包括开心、忧伤、惊喜、沮丧或者生气等情绪信息。

将每一视频帧中的人脸图像代入到人脸情绪算法中,筛选得到每一人脸图像表征的情绪信息。当一视频帧中的人脸图像为多个时,即一视频帧中有多个第一情绪信息,分别计算视频帧中的每种第一情绪信息在视频帧中的所有第一情绪信息的占比值,以占比值最大的作为该视频帧中的人脸图像的第一情绪信息。例如,若一视频帧中的人脸图像有4个,其中,分别识别出第一情绪信息中的开心的有3个,忧伤的有1个,则分别计算出开心和忧伤的占比值分别为0.75和0.25,可得视频帧的人脸图像表征的第一情绪信息为开心。

s1323:在预设的表情库中匹配与所述第一情绪信息对应的表情数据包;

预设的表情库是根据情绪种类将表情数据包进行归类排序,表情数据包包括各情绪对应的静态背景图像、动态背景图像等背景压缩图像。例如,忧伤的表情数据包为雨滴动态图像,开心的表情数据库包为粉色花花动态图像,生气的表情数据包为冒烟的火山动态图像。

s1324:采用所述表情数据包渲染所述歌唱视频。

将表情数据包解析得到与移动设备界面大小的图像发送至视频帧的非人脸区域,并对视频帧执行渲染,从而为歌唱视频添加背景内容。

通过预设的人脸情绪算法识别歌唱视频中人脸图像表征的第一情绪信息,在预设的表情库中匹配与第一情绪信息对应的表情数据包,采用表情数据包渲染歌唱视频,丰富了歌唱视频的背景风格,增加歌唱视频的趣味性,同时,增强了人机之间的互动性。

请参阅图5,图5为本实施例示出的表情数据包渲染视频的示意图。如图5所示,在视频模式界面中,也就是由音乐模式界面切换到mv模式界面中,在混音文件播放的过程中,显示歌唱视频和混音文件对应的歌词文本,以及根据“昨天在记忆里生根发芽”的歌词文本表征的第一情绪信息为开心,第一情绪信息开心对应的数据包为花花背景图像。

请参阅图6,图6为本实施例示出的识别歌唱视频的表情数据包的另外一种实施方式流程图。如图6所示,在执行步骤s1300之后,歌曲编辑处理方法具体还包括下述步骤:

s1331:获取与所述歌唱视频对应的歌词文本的文本文档;

根据歌唱视频的时间段,获取与歌唱视频对应的歌词文本的文本文档,文本文档包括了歌词演唱时间和歌词文本。例如,在歌唱视频的歌词演唱时间为55秒时,其对应的歌词文本为“确认过眼神,我遇上对的人”。

s1332:根据预设的文档识别模型识别所述文本文档表征的第二情绪信息;

预设的文档识别模型为已经训练好每个文本文档中文字所表征的情绪分类器,能识别出每个文本文档表达的第二情绪信息的模型。其中,第二情绪信息同第一情绪信息一样,第二情绪信息包括开心、忧伤、惊喜、沮丧或者生气等情绪信息。例如,文本文档为“怀念啊我们的青春啊”表征的第二情绪信息为忧伤。

s1333:将所述第一情绪信息与所述第二情绪信息进行比对,当所述第一情绪信息与所述第二情绪信息不一致时,在所述表情库中匹配与所述第二情绪信息对应的表情数据包,并将所述表情数据包覆盖在所述人脸图像上。

当第一情绪信息与第二情绪信息不一致时,也就是人脸图像表征的情绪与文本文档表征的情绪不一样时,以第二情绪信息为基准,在表情库中匹配与第二情绪信息的表情数据包;根据人脸图像的位置,将解析的表情数据包覆盖在人脸图像上,其覆盖过程是在采用第一情绪信息对应的表情数据包渲染歌唱视频之后执行的。

当第一情绪信息与第二情绪信息一致时,不采用第二情绪信息对应的表情数据包,也就是说,此时的歌唱视频采用第一情绪信息对应的表情数据包渲染。

继续引用上述步骤s1332的例子,当用户演唱“怀念啊我们的青春啊”所表征的第一情绪信息是开心,而文本文档表征的第二情绪信息是忧伤时,以忧伤为基准,在表情库中匹配到的是哭脸的emoji表情,将该emoji表情覆盖在人脸图像所在位置上。

通过识别的歌词文本的文本文档表征的第二情绪信息,比对第一情绪信息与第二情绪信息是否一致,从而根据比对结果对歌唱视频执行不同的特效渲染方式,例如,将表情数据包覆盖在人脸图像上,这不仅丰富了歌唱视频的内容,而且进提高了用户与机器的互动性。

请参阅图7,图7为本实施例示出的合成第二视频文件的流程图。如图7所示,在执行步骤s1312之后,歌曲编辑处理方法具体还包括下述步骤:

s1313:获取第一视频文件,其中,所述第一视频文件包括通过视频链接加载的视频文件;

第一视频文件的获取除了通过视频链接加载的视频文件,例如,通过加载分享的视频链接,还可以通过加载用户选中的存储在移动设备的视频文件。

s1314:对所述第一视频文件执行消音处理;

消音处理指去除第一视频文件的音频,也就是删除视频音轨,得到无声的第一视频文件。

s1315:将经过消声处理的所述第一视频文件载入到所述选定音频对应的视频区域中,生成具有所述选定音频的第二视频文件。

选定音频所在

第二视频文件包括第一视频文件的视频和选定音频,使得生成的第二视频文件不局限于录制视频,也可以从其他渠道中获取视频资源,同时,能根据用户的喜好,为选定音频匹配用户需要的视频文件,选定音频和视频的自由组合,丰富了用户的歌唱作品的形式。

具体地,歌曲编辑处理方法具体还包括:

将所述选定音频作为作品文件存储在所述预设曲库中;对所述作品文件设置许可权限信息,所述许可权限信息用于表征所述作品文件是否对其他用户开放使用。

进一步地,将选定音频作为文件作品存储在预设曲库中的同时,将该文件作品展示在歌唱平台的共享区域中。当服务端检测到文件作品的作者将该文件作品设置对外公开的选项时,设置该文件作品的许可权限信息,该许可权限信息表征作品文件对其他用户开放使用,使得其他用户能使用该文件作品作为歌唱的伴奏曲目或者短视频的培元,实现了文件作品的资源共享和重复使用的功能,增强用户间的互动性,增加文件作品的推广和使用热度。图8是根据一示例性实施例示出的一种歌曲编辑处理装置框图。参照图8,该装置包括获取单元110、处理单元120和执行单元130。其中,获取单元110,被配置为获取待执行的用户指令;处理单元120,被配置为根据用户指令调用目标音乐的第一音频文件和第二音频文件,其中,第二音频文件派生于第一音频文件;执行单元130,被配置为将第一音频文件和第二音频文件进行混音处理生成混音文件,并播放混音文件。

在一些实施方式中,第一音频文件为混合音频文件,第二音频文件为伴奏音频文件。

在一些实施方式中,歌曲编辑处理装置还包括:第一获取单元、第一处理单元和第一执行单元。其中,第一获取单元,被配置为获取用户属性信息;第一处理单元,被配置为在预设曲库中识别用户属性信息对应的推荐曲目;第一执行单元,被配置为将推荐曲目发送至用户终端。

在一些实施方式中,歌曲编辑处理装置还包括:第二获取单元和第二执行单元。其中,第二获取单元,被配置为获取录音环境中的声音信息生成用户的歌唱音频,其中,声音信息包括:混音文件的播放声音和用户的唱歌声音;第二执行单元,被配置为根据预设的声音选区对歌唱音频进行截取生成选定音频,其中,声音选区为目标音频进度条中选定的时间段。

在一些实施方式中,歌曲编辑处理装置还包括:第三获取单元、第三处理单元、第一匹配单元和第三执行单元。其中,第三获取单元,被配置为在混音文件播放时间内获取用户的歌唱视频,其中歌唱视频包括用户的人脸图像;第三处理单元,被配置为根据预设的人脸情绪算法识别人脸图像表征的第一情绪信息;第一匹配单元,被配置为在预设的表情库中匹配与第一情绪信息对应的表情数据包;第三执行单元,采用表情数据包渲染歌唱视频。

在一些实施方式中,歌曲编辑处理装置还包括:第四获取单元、第四处理单元和第四执行单元。其中,第四获取单元,被配置为获取与歌唱视频对应的歌词文本的文本文档;第四处理单元,被配置为根据预设的文档识别模型识别文本文档表征的第二情绪信息;第四执行单元,被配置为将第一情绪信息与第二情绪信息进行比对,当第一情绪信息与第二情绪信息不一致时,在表情库中匹配与第二情绪信息对应的表情数据包,并将表情数据包覆盖在人脸图像上。

在一些实施方式中,歌曲编辑处理装置还包括:第五获取单元、第五处理单元和第五执行单元。其中,第五获取单元,被配置为获取第一视频文件;第五处理单元,被配置为对第一视频文件执行消音处理;第五执行单元,被配置为将经过消声处理的第一视频文件载入到选定音频对应的视频区域中,生成具有选定音频的第二视频文件。

在一些实施方式中,歌曲编辑处理装置还包括:存储单元和设置单元。其中,存储单元,被配置为将所述选定音频作为作品文件存储在所述预设曲库中;设置单元,被配置为对所述作品文件设置许可权限信息,所述许可权限信息用于表征所述作品文件是否对其他用户开放使用。

关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种用于歌曲编辑处理的移动终端900的框图。例如,移动终端900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图9,移动终端900可以包括以下一个或多个组件:处理组件902,存储器904,电力组件906,多媒体组件909,音频组件910,输入/输出(i/o)的接口912,传感器组件914,以及通信组件916。

处理组件902通常控制移动终端900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件902可以包括一个或多个单元,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体单元,以方便多媒体组件909和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在移动终端900的操作。这些数据的示例包括用于在移动终端900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电源组件906为移动终端900的各种组件提供电力。电源组件906可以包括电源管理系统,一个或多个电源,及其他与为移动终端900生成、管理和分配电力相关联的组件。

多媒体组件909包括在所述移动终端900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件909包括一个前置摄像头和/或后置摄像头。当移动终端900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(mic),当移动终端900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。

i/o接口912为处理组件902和外围接口单元之间提供接口,上述外围接口单元可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器,用于为移动终端900提供各个方面的状态评估。例如,传感器组件914可以检测到设备900的打开/关闭状态,组件的相对定位,例如所述组件为移动终端900的显示器和小键盘,传感器组件914还可以检测移动终端900或移动终端900一个组件的位置改变,用户与移动终端900接触的存在或不存在,移动终端900方位或加速/减速和移动终端900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件916被配置为便于移动终端900和其他设备之间有线或无线方式的通信。移动终端900可以接入基于通信标准的无线网络,如wifi,运营商网络(如2g、3g、4g或5g),或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(nfc)单元,以促进短程通信。例如,在nfc单元可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,移动终端900可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述歌曲编辑处理方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由移动终端900的处理器920执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图10是根据一示例性实施例示出的一种用于歌曲编辑处理的电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图10,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的单元。此外,处理组件1922被配置为执行指令,以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm或类似。

一种计算机程序产品,包括计算机程序代码,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行权上述歌曲编辑处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1