一种实时生成演唱视频的方法和系统与流程

文档序号:15637174发布日期:2018-10-12 21:37阅读:229来源:国知局

本发明涉及多媒体技术领域,特别涉及一种实时生成演唱视频的方法和系统。



背景技术:

随着屏幕技术的发展,人们对屏幕内容(无论是图片或视频)的展示效果要求越来越高,现有的2d展示效果不够丰富,例如ktv点歌系统的电视界面等,不仅显示单调,而且互动性不够,让人容易产生视觉疲劳,无法满足人们的要求。特别是现在随着网络的发展,人们越来越喜欢重复观看一些经典旧视频,而这些经典旧视频由于当年拍摄硬件的限制,显示分辨率很低,而由于各种原因其显示分辨率无法提高,或者分辨率提高成本比较高,如重新拍摄。因此这些经典旧视频在现在高分辨率的大尺寸电视上显示效果非常差。并且目前的演唱形式只有歌曲的mv视频播放,视频mv画面效果比较固定和单一,缺乏互动性和趣味性。

为解决上述的技术问题,常用的技术手段是通过将这些旧视频叠在高分辨率背景视频上,经典旧视频按较低尺寸显示,可以改善显示效果。而这样的解决办法仅仅只能改善显示清晰度,在视频的显示效果上仍然是显示单调,缺乏互动性和趣味性。



技术实现要素:

为此,需要提供一种实时生成演唱视频的方法,用以解决现有技术中视频只能改善显示清晰度,但显示效果单调、缺乏互动性和趣味性的问题。具体的技术方案如下:

一种实时生成演唱视频的方法,包括步骤:播放歌曲的视频画面和/或音频,实时获取基础素材;选择预置的渲染模板;根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面;实时获取追加素材;根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示。

进一步的,所述步骤“实时获取追加素材;根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示”具体为:实时获取追加素材;发送所述追加素材至数字终端可访问的位置;数字终端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示;或实时获取追加素材并发送至云端;云端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;将所述渲染后的歌曲视频画面发送到数字终端可访问的位置;数字终端获取所述渲染后的歌曲视频画面后进行实时显示。

进一步的,所述根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示中,所述实时渲染操作具体为:将追加素材读取到显存中作为gpu处理的输入;gpu执行预制着色语言程序(shader)对显存中的追加素材实时处理输出到framebuffer中待显示;其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。

进一步的,所述“选择预置的渲染模板;根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面”,还包括步骤:在云端预置渲染模板;发送所述演唱视频和所述基础素材至云端;云端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;将渲染后的歌曲视频画面发送至数字终端可访问的位置;或在云端预置渲染模板;发送所述基础素材至云端;云端根据所述渲染模板对基础素材进行预渲染,形成初步渲染素材;发送所述初步渲染素材至数字终端可访问的位置;数字终端将所述初步渲染素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;或在数字终端预置渲染模板;发送所述基础素材、歌曲视频画面至数字终端可访问的位置;数字终端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

进一步的,所述“获取基础素材”,包括步骤:获取移动终端、云端或数字终端多媒体素材,和/或通过摄像头实时获取多媒体素材,和/或获取特定网页。

进一步的,所述“获取基础素材”后,还包括步骤:对所述基础素材进行预编辑,所述预编辑操作包括下列中的一种或两种以上:调整文字字体、大小,调整图片显示效果,添加壁纸或音频变声。

进一步的,所述“渲染模板”包括下列中的一种或两种以上:辅助效果素材、3d模型、贴图、特效、动画、滤镜或素材与特效组合显示。

进一步的,还包括步骤:数字终端将渲染后的歌曲视频画面及用户演唱声音编码合成视频,保存合成后的视频,并生成与所述合成视频对应的二维码或将合成视频上传至云端;移动终端与数字终端进行绑定,移动终端获取合成后的视频,并进行分享;或移动终端与数字终端进行绑定,数字终端将合成后的视频发送至云端,移动终端从云端获取合成后的视频。

为解决上述技术问题,还提供了一种实时生成演唱视频的系统,具体技术如下:

一种实时生成演唱视频的系统,包括:移动终端、云端和数字终端;所述数字终端用于:播放歌曲的视频画面和/或音频;所述移动终端用于:实时获取基础素材;所述云端或所述数字终端至少有一个用于:选择预置的渲染模板;根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面;所述移动终端用于:实时获取追加素材;所述云端或所述数字终端至少有一个用于:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示。

进一步的,所述移动终端还用于:实时获取追加素材;发送所述追加素材至数字终端可访问的位置;所述数字终端还用于:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示;或所述移动终端还用于:实时获取追加素材并发送至云端;所述云端还用于:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;将所述渲染后的歌曲视频画面发送到数字终端可访问的位置;所述数字终端还用于:获取所述渲染后的歌曲视频画面后进行实时显示。

进一步的,所述云端或数字终端还用于:将追加素材读取到显存中作为gpu处理的输入;gpu执行预制着色语言程序(shader)对显存中的追加素材实时处理输出到framebuffer中待显示;其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。

进一步的,所述移动终端用于:发送所述演唱视频和所述基础素材至云端;所述云端用于:预置渲染模板,根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;将渲染后的演唱视频画面发送至数字终端可访问的位置;或所述移动终端用于:发送所述基础素材至云端;所述云端用于:预置渲染模板,根据所述渲染模板对基础素材进行预渲染,形成初步渲染素材;发送所述初步渲染素材至数字终端可访问的位置;所述数字终端用于:将所述初步渲染素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;或所述移动终端用于:发送所述基础素材、歌曲视频画面至数字终端可访问的位置;所述数字终端用于:预置渲染模板;所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

进一步的,所述移动终端或云端或数字终端还用于:获取移动终端、云端或数字终端多媒体素材,和/或通过摄像头实时获取多媒体素材,和/或获取特定网页。

进一步的,所述移动终端或云端或数字终端还用于:对所述基础素材进行预编辑,所述预编辑操作包括下列中的一种或两种以上:调整文字字体、大小,调整图片显示效果,添加壁纸或音频变声。

进一步的,所述“渲染模板”包括下列中的一种或两种以上:辅助效果素材、3d模型、贴图、特效、动画、滤镜或素材与特效组合显示。

进一步的,所述数字终端还用于:将渲染后的歌曲视频画面及用户演唱声音编码合成视频,保存合成后的视频,并生成与所述合成视频对应的二维码或将合成视频上传至云端;所述移动终端绑定所述数字终端;所述移动终端还用于:获取合成后的视频,并进行分享;或所述移动终端绑定所述数字终端;所述数字终端还用于:将合成后的视频发送至云端;所述移动终端还用于:从云端获取合成后的视频。

本发明的有益效果是:

1、用户可通过多种渠道实时自定义基础素材,基础素材资源丰富,且可对基础素材进行预编辑,使得显示效果更加丰富的同时用户体验性更好;渲染模板的制作采用3d建模和3d引擎技术,渲染模板包含多种特效组合,使得显示效果更加生动酷炫、视觉效果更加好;渲染后的视频播放过程中,可以多个用户实时追加素材,对于追加素材将优先被播放,可实现多用户间的实时互动,大大提高互动性和趣味性。

2、演唱视频的整个渲染过程能实时编码分享出去,极大地提高了趣味性,用户体验更好。

3、可通过云端对基础素材进行预渲染,或云端根据渲染模板将基础素材实时渲染至演唱视频,大大降低了数字终端的负载。

4、根据渲染模板将基础素材实时渲染至演唱视频后,可以遮盖一些原本并不清晰的演唱视频,提高用户体验。

附图说明

图1为具体实施方式所述一种实时生成演唱视频的方法的流程图;

图2为具体实施方式所述生成追加素材的流程图;

图3为具体实施方式所述生成追加素材发送至云端的流程图;

图4为具体实施方式所述一种实时生成演唱视频的方法中在云端预置渲染模板的流程图;

图5为具体实施方式所述一种实时生成演唱视频的方法中在云端进行预渲染的流程图;

图6为具体实施方式所述一种实时生成演唱视频的方法中在数字终端预置渲染模板流程图;

图7为具体实施方式所述分享视频的流程图;

图8为具体实施方式所述一种实时生成演唱视频的系统的模块图。

附图标记说明:

800、实时生成演唱视频的系统,

801、移动终端,

802、云端,

803、数字终端。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。

请参阅图1至图7,在本实施方式中,一种实时生成演唱视频的方法可应用于移动终端和数字终端上,在部分实施方式中还涉及到云端。

其中移动终端可以为任何可安装特定app,并能与数字终端进行交互的设备,如:智能手机、平板电脑、台式pc、笔记本电脑、pda、智能手表等等。

数字终端可以为任何支持3d渲染的显示设备,如:平板电脑、台式pc、笔记本电脑、点歌机、服务器等等。

云端可被移动终端和数字终端访问。

在本实施方式中,一种实时生成演唱视频的方法可应用于数字视听场所的唱歌的场景。数字视听场所包括多个包厢,每个包厢中设有数字终端和显示屏。

在本实施方式中,提到的数字终端可访问的位置可以为:数字终端同一局域网内的位置、或数字终端本地存储设备、或数字终端可访问的云端。

在本实施方式中,以:移动终端为智能手机,数字终端为点歌机为例,对一种实时生成演唱视频的方法的实施方式进行具体说明,本实施例可以应用在数字视听场所k歌的场景,数字终端还可以为场所中的服务器,具体方法如下:

步骤s101:播放歌曲的视频画面和/或音频。可采用如下方式:通过智能手机或直接在点歌屏选取一首歌曲,该歌曲可被点歌机播放,歌曲的mv视频画面和/或音频在显示屏上显示。

步骤s102:实时获取基础素材。可采用如下方式:以下a\b\c三种方式可只选其中一种方式生成基础素材,亦可以两种以上方式结合生成基础素材。

a、获取移动终端、云端或数字终端多媒体素材。具体如下:可在智能手机上实时选取多媒体素材,如:图片、文字、视频、音频等等,亦可以通过与云端或数字终端进行通信连接,实时获取云端或数字终端上的多媒体素材。

b、通过摄像头实时获取多媒体素材。具体如下:通过智能手机摄像头实时拍摄照片和视频、录制音频等方式获取多媒体素材。

c、获取特定网页。具体如下:选取特定网页作为基础素材,即将网页显示页面嵌入至演唱视频页面中实时渲染出来。如在android系统上,将网页显示webview控件上,并将webview嵌入至渲染模板中显示。

以上所获取到的基础素材均可以在智能手机上进行预编辑,所述预编辑操作包括下列中的一种或两种以上:调整文字字体、大小,调整图片显示效果,添加壁纸、视频滤镜、裁剪长短、音频变声等等。

步骤s103:选择预置的渲染模板。可采用如下方式:所述“渲染模板”包括下列中的一种或两种以上:辅助效果素材、3d模型、贴图、特效、动画、滤镜或素材与特效组合显示。

以上步骤s101、s102、s103并不存在先后次序关系,可任意顺序执行,即:可先执行步骤s102,再执行步骤s101和步骤s103,亦可以先执行步骤s103,再执行步骤s101和步骤s102。

在以上三个步骤均执行完后,执行步骤s104:根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面。

步骤s105:实时获取追加素材。

步骤s106:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示。

用户可通过多种渠道实时自定义基础素材,基础素材资源丰富,且可对基础素材进行预编辑,使得显示效果更加丰富的同时用户体验性更好;渲染模板包含多种特效组合,使得显示效果更加生动酷炫、视觉效果更加好;整个过程大大提高趣味性。且渲染后的视频播放过程中,可以多个用户实时追加素材,对于追加素材将优先被播放,可实现多用户间的实时互动,大大提高互动性和趣味性。

请参阅图2和图3,在本实施方式中,所述步骤“实时获取追加素材;根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示”(即以上步骤s105和步骤s106),可采用如下两种方式:

第一种:

步骤s201:实时获取追加素材。可采用如下方式:追加素材类型与基础素材类型相同,可以为:图片、文字、视频、音频等。具体可为在歌曲视频播放页面显示一个二维码(例如包厢中的电视显示屏),任意用户的移动终端均可通过扫描该二维码,实现移动终端与数字终端的绑定,且进入追加素材界面,进行追加素材选取与编辑,再发送给绑定的机顶盒。其中生成追加素材的操作与生成基础素材的操作是一样的,在此不做重复说明。在其他实施方式中,用户亦可以通过手机app上的入口实现与机顶盒绑定,然后实时追加素材。

生成追加素材后,执行步骤s202:发送所述追加素材至数字终端可访问的位置。

步骤s203:数字终端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示。可采用如下方式:在歌曲视频播放过程中,a用户生成追加素材,如:文字“high起来”,并发送追加素材至数字终端可访问的位置,此时数字终端会保留上一次未显示完成的资源,优先将该追加素材渲染至歌曲视频。在本实施方式中,对素材资源的管理类似于栈,数字终端接收到新素材资源时,将所述新素材资源推入栈中,每次取到的都是最后入栈的素材资源,确保渲染引擎每次需要刷新资源并显示的时候获取到的均是用户上传的最新资源,增强互动性和实时性。

通过以上方式,亦可以进行多用户之间的互动,如a用户发送与b用户的合照至点歌机屏幕上显示,b用户发送文字至点歌机屏幕上“非常怀念那些年”等,增强了视频演唱过程中的互动性和趣味性。

第二种:

步骤s301:实时获取追加素材并发送至云端。可采用如下方式:追加素材类型与基础素材类型相同,可以为:图片、文字、视频、音频等。具体可为在歌曲视频播放页面(例如包厢中的电视显示屏)显示一个二维码,任意用户均可通过扫描该二维码实现与包厢机顶盒的绑定,并进入追加素材界面,进行追加素材选取与编辑,其中生成追加素材的操作与生成基础素材的操作是一样的,在此不做重复说明。在其他实施方式中,用户亦可以通过手机app上的入口追加素材。

步骤s302:云端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

步骤s303:将所述渲染后的歌曲视频画面发送到数字终端可访问的位置。可采用如下方式:云端渲染后的歌曲视频是3d模板中的一个元素,可作为一个3d对象显示,视频是一个实时解码并实时更新纹理的3d对象。故追加素材对应的渲染后的视频,在数字终端的视频播放过程中是实时播放显示,实现素材追加的实时性。

步骤s304:数字终端获取所述渲染后的歌曲视频画面后进行实时显示。

通过云端处理渲染操作,使得数字终端占用资源大大减少,大大提升数字终端的播放性能。

在本实施方式中,所述根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示中,所述实时渲染操作具体为:将追加素材(图片、视频中一帧画面)读取到显存中作为gpu处理的输入;gpu执行预制着色语言程序(shader)对显存中的追加素材实时处理输出到framebuffer中待显示;其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。

在本实施方式中,将待显示framebuffer中内容在一帧渲染完成后,立即将framebuffer拷贝到显示设备上呈现出来。

请参阅图4,在本实施方式中,步骤s103和步骤s104可采用如下方式:

步骤s103为:步骤s401:在云端预置渲染模板。

步骤s104为:步骤s402至步骤s404,如下:

步骤s402:发送所述歌曲的视频画面和所述基础素材至云端。可采用如下方式:智能手机发送所述基础素材至云端,机顶盒发送所述歌曲的视频画面至云端。

发送完后,执行步骤s403:云端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

步骤s404:将渲染后的歌曲视频画面发送至数字终端可访问的位置。

发送完后,可通过智能手机操作通知点歌机开始播放渲染后的演唱视频。

请参阅图5,在本实施方式中,步骤s103和步骤s104可采用如下方式:

步骤s103为:步骤s501:在云端预置渲染模板。

步骤s104为:步骤s502至步骤s505,如下:

步骤s502:发送所述基础素材至云端。

步骤s503:云端根据所述渲染模板对基础素材进行预渲染,形成初步渲染素材。

步骤s504:发送所述初步渲染素材至数字终端可访问的位置。

步骤s505:数字终端将所述初步渲染素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

发送完后,可通过智能手机操作通知点歌机开始播放渲染后的演唱视频。

以上两种方式,通过在云端对基础素材进行部分预渲染或对演唱视频进行渲染,将渲染后的资源再发送至点歌机进行播放;相对于现有技术中大部分点歌机基于嵌入式设备,实时3d渲染时gpu负载比较高,以上两种方式将大大提高渲染效率,与降低点歌机负载。

请参阅图6,在本实施方式中,步骤s103和步骤s104可采用如下方式:

步骤s103为:步骤s601:在数字终端预置渲染模板。

步骤s104为:步骤s602至步骤s603,如下:

步骤s602:发送所述基础素材、歌曲视频画面至数字终端可访问的位置。

步骤s603:数字终端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

请参阅图7,在本实施方式中,播放视频渲染完成后,亦可以执行如下操作:

步骤s701:数字终端将渲染后的歌曲视频画面及用户演唱声音编码合成视频,保存合成后的视频,并生成与所述合成视频对应的二维码或将合成视频上传至云端。

步骤s702:移动终端与数字终端进行绑定,移动终端获取合成后的视频,并进行分享;或移动终端与数字终端进行绑定,数字终端将合成后的视频发送至云端,移动终端从云端获取合成后的视频。可采用如下方式:移动终端可将视频分享到互联网上,亦可以分享到朋友圈等各种社交软件上,亦可以保存到电子设备上。

在本实施方式中,对于android系统点歌机,可采用mediaprojection接口实现录屏,并将用户的声音录制好后,将视频与音频合成一个视频文件,供用户下载和分享。对于pc版点歌机可以采用ffmpeg实现录屏,系统录音接口实现录音。

演唱视频的整个渲染过程能实时编码分享出去,极大地提高了趣味性,用户体验更好。

在本实施方式中,可通过如下方式制作渲染模板:对于支持3d接口的设备,构建一个3d场景。3d场景通过定制的模型、贴图、动画、特效形成不同主题(生日、爱情、毕业等)和风格(小清新、科技感等)的场景或模拟现实生活中的某场景,如模拟婚礼现场等。3d场景可以通过3dsmax或maya等建模软件构建,保存成fbx格式,导入到3d渲染引擎中显示。在建模软件中,可以制作整体的环境推拉摇移以及多媒体素材3d对象展示,我们将多媒体素材展示的3d对象做上特殊标记,比如对象名;在3d引擎中可以读取对象名,并根据用户上传的素材,实时加载到3d对象中显示。在3d引擎中也可以继续叠加一些3d特效和动画,比如飘树叶、礼花爆炸等。让整体画面具有场景感,酷炫感,设计感。每套场景都对应一个标识,用户在手机上可以选择对应的模板。渲染模板的制作采用3d建模和3d引擎技术,使得显示效果更加生动酷炫、视觉效果更加好。

在本实施方式中,实时渲染可采用如下方式:点歌机播放原来歌曲的声音,运行基于opengles的渲染引擎,渲染引擎能读取fbx格式的模型、动画、贴图和材质球资源,能根据资源栈中取资源,并加载到模板对应的3d对象上,然后将3d对象实时渲染到显示屏幕上。对于图片、视频则更新到预制好的材质球上;对于音频则根据预制规则在指定时机播放,如渲染到播放某时刻,播放用户录音文件;文字贴在场景预设好的位置上。

在本实施方式中,网页显示页面嵌入至演唱视频页面中实时渲染出来,可采用如下方式:3d引擎将渲染模板载入内存,实时渲染。渲染模板将网页的最终渲染画面读取至3d场景中,作为一个纹理显示,并实时渲染出来,呈现在最终画面上。

请参阅图8,一种实时生成演唱视频的系统800的具体实施方式如下:

一种实时生成演唱视频的系统800,包括:移动终端801、云端802和数字终端803;所述数字终端803用于:播放歌曲的视频画面和/或音频;所述移动终端801用于:实时获取基础素材;所述云端802或所述数字终端803至少有一个用于:选择预置的渲染模板;根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面;所述移动终端801用于:实时获取追加素材;所述云端802或所述数字终端803至少有一个用于:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示。

其中移动终端801可以为任何可安装特定app,并能与数字终端803进行交互的设备,如:智能手机、平板电脑、台式pc、笔记本电脑、pda、智能手表等等。

数字终端803可以为任何支持3d渲染的显示设备,如:平板电脑、台式pc、笔记本电脑、点歌机、服务器等等。

云端802可被移动终端801和数字终端803访问。

在本实施方式中,提到的数字终端803可访问的位置可以为:数字终端803同一局域网内的位置、或数字终端803本地存储设备、或数字终端803可访问的云端802。

在本实施方式中,以:移动终端801为智能手机,数字终端803为点歌机为例,对一种实时生成演唱视频的系统800的实施方式进行具体说明,如下:

所述移动终端801用于:实时获取基础素材;所述云端802或所述数字终端803至少有一个用于:选择预置的渲染模板;根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面。可采用如下方式:以下a\b\c三种方式可只选其中一种方式生成基础素材,亦可以两种以上方式结合生成基础素材。a、获取移动终端801、云端802或数字终端803多媒体素材。具体如下:可在智能手机上选取多媒体素材,如:图片、文字、视频、音频等等,亦可以通过与云端802或数字终端803进行通信连接,获取云端802或数字终端803上的多媒体素材。b、通过摄像头实时获取多媒体素材。具体如下:通过智能手机摄像头实时拍摄照片和视频、录制音频等方式获取多媒体素材。c、获取特定网页。具体如下:选取特定网页作为基础素材,即将网页显示页面嵌入至演唱视频页面中实时渲染出来。如在android系统上,将网页显示webview控件上,并将webview嵌入至渲染模板中显示。

以上所获取到的基础素材均可以在智能手机上进行预编辑,所述预编辑操作包括下列中的一种或两种以上:调整文字字体、大小,调整图片显示效果,添加壁纸、视频滤镜、裁剪长短、音频变声等等。

所述“渲染模板”包括下列中的一种或两种以上:辅助效果素材、3d模型、贴图、特效、动画、滤镜或素材与特效组合显示。

用户可通过多种渠道实时自定义基础素材,基础素材资源丰富,且可对基础素材进行预编辑,使得显示效果更加丰富的同时用户体验性更好;渲染模板包含多种特效组合,使得显示效果更加生动酷炫、视觉效果更加好;整个过程大大提高趣味性。且渲染后的视频播放过程中,可以多个用户实时追加素材,对于追加素材将优先被播放,可实现多用户间的实时互动,大大提高互动性和趣味性。

进一步的,所述移动终端801用于:发送所述演唱视频和所述基础素材至云端802;所述云端802用于:预置渲染模板,根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;将渲染后的演唱视频画面发送至数字终端803可访问的位置;

所述移动终端801用于:发送所述基础素材至云端802;所述云端802用于:预置渲染模板,根据所述渲染模板对基础素材进行预渲染,形成初步渲染素材;发送所述初步渲染素材至数字终端803可访问的位置;所述数字终端803用于:将所述初步渲染素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;

所述移动终端801用于:发送所述基础素材、歌曲视频画面至至数字终端803可访问的位置;所述数字终端803用于:预置渲染模板;所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面。

通过在云端802对基础素材进行部分预渲染或对演唱视频进行渲染,将渲染后的资源再发送至点歌机进行播放;相对于现有技术中大部分点歌机基于嵌入式设备,实时3d渲染时gpu负载比较高,以上两种方式将大大提高渲染效率,与降低点歌机负载。

进一步的,所述移动终端801还用于:实时获取追加素材;发送所述追加素材至至数字终端803可访问的位置;所述数字终端803还用于:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,并进行实时显示;

所述移动终端801还用于:实时获取追加素材并发送至云端802;所述云端802还用于:根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面,得到渲染后的歌曲视频画面;将所述渲染后的歌曲视频画面发送到数字终端803可访问的位置。所述数字终端803还用于:获取所述渲染后的歌曲视频画面后进行实时显示。

可采用如下方式:在演唱视频播放页面显示一个二维码,任意用户的移动终端801均可通过扫描该二维码,实现移动终端801与数字终端803(如机顶盒)的绑定,且进入追加素材界面,进行追加素材选取与编辑,再发送给绑定的机顶盒。其中生成追加素材的操作与生成基础素材的操作是一样的,在此不做重复说明。在其他实施方式中,用户亦可以通过手机app上的入口实现与机顶盒绑定,然后追加素材。

在演唱视频播放过程中,a用户生成追加素材,如:文字“high起来”,并发送追加素材至数字终端803可访问的位置,此时数字终端803会保留上一次未显示完成的资源,优先将该追加素材渲染至演唱视频。在本实施方式中,对素材资源的管理类似于栈,数字终端803接收到新素材资源时,将所述新素材资源推入栈中,每次取到的都是最后入栈的素材资源,确保渲染引擎每次需要刷新资源并显示的时候获取到的均是用户上传的最新资源,增强互动性和实时性。

通过以上方式,亦可以进行多用户之间的互动,如a用户发送与b用户的合照至点歌机屏幕上显示,b用户发送文字至点歌机屏幕上“非常怀念那些年”等,增强了视频演唱过程中的互动性和趣味性。

进一步的,所述云端802或数字终端803还用于:将追加素材(图片、视频中一帧画面)读取到显存中作为gpu处理的输入;gpu执行预制着色语言程序(shader)对显存中的追加素材实时处理输出到framebuffer中待显示;其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。

进一步的,所述移动终端801或云端802或数字终端803还用于:获取移动终端801、云端802或数字终端803多媒体素材,和/或通过摄像头实时获取多媒体素材,和/或获取特定网页。

进一步的,所述移动终端801或云端802或数字终端803还用于:对所述基础素材进行预编辑,所述预编辑操作包括下列中的一种或两种以上:调整文字字体、大小,调整图片显示效果,添加壁纸或音频变声。

进一步的,所述“渲染模板”包括下列中的一种或两种以上:辅助效果素材、3d模型、贴图、特效、动画、滤镜或素材与特效组合显示。

进一步的,所述数字终端803还用于:将渲染后的演唱视频及用户演唱声音编码合成视频,保存合成后的视频,并生成与所述合成视频对应的二维码或将合成视频上传至云端802;所述移动终端801绑定所述数字终端803;所述移动终端801还用于:获取合成后的视频,并进行分享;

所述移动终端801绑定所述数字终端803;所述数字终端803还用于:将合成后的视频发送至云端802;所述移动终端801还用于:从云端802获取合成后的视频。

在本实施方式中,对于android系统点歌机,可采用mediaprojection接口实现录屏,并将用户的声音录制好后,将视频与音频合成一个视频文件,供用户下载和分享。对于pc版点歌机可以采用ffmpeg实现录屏,系统录音接口实现录音。

演唱视频的整个渲染过程能实时编码分享出去,极大地提高了趣味性,用户体验更好。

在本实施方式中,可通过如下方式制作渲染模板:对于支持3d接口的设备,构建一个3d场景。3d场景通过定制的模型、贴图、动画、特效形成不同主题(生日、爱情、毕业等)和风格(小清新、科技感等)的场景或模拟现实生活中的某场景,如模拟婚礼现场等。3d场景可以通过3dsmax或maya等建模软件构建,保存成fbx格式,导入到3d渲染引擎中显示。在建模软件中,可以制作整体的环境推拉摇移以及多媒体素材3d对象展示,我们将多媒体素材展示的3d对象做上特殊标记,比如对象名;在3d引擎中可以读取对象名,并根据用户上传的素材,实时加载到3d对象中显示。在3d引擎中也可以继续叠加一些3d特效和动画,比如飘树叶、礼花爆炸等。让整体画面具有场景感,酷炫感,设计感。每套场景都对应一个标识,用户在手机上可以选择对应的模板。渲染模板的制作采用3d建模和3d引擎技术,使得显示效果更加生动酷炫、视觉效果更加好。

在本实施方式中,实时渲染可采用如下方式:点歌机播放原来歌曲的声音,运行基于opengles的渲染引擎,渲染引擎能读取fbx格式的模型、动画、贴图和材质球资源,能根据资源栈中取资源,并加载到模板对应的3d对象上,然后将3d对象实时渲染到显示屏幕上。对于图片、视频则更新到预制好的材质球上;对于音频则根据预制规则在指定时机播放,如渲染到播放某时刻,播放用户录音文件;文字贴在场景预设好的位置上。

在本实施方式中,网页显示页面嵌入至演唱视频页面中实时渲染出来,可采用如下方式:3d引擎将渲染模板载入内存,实时渲染。渲染模板将网页的最终渲染画面读取至3d场景中,作为一个纹理显示,并实时渲染出来,呈现在最终画面上。

需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1