特效视频生成方法及装置制造方法

特效视频生成方法及装置制造方法
【专利摘要】本发明公开了一种特效视频生成方法，包括：录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像；若是，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件；视频录制结束后，将用户所选择的局部效果处理方式与所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频，相应的，本发明还公开了一种特效视频生成器及特效视频播放器，可在视频拍摄过程中，根据用户框定的目标对象，只针对视频局部进行特效处理。
【专利说明】特效视频生成方法及装置

【技术领域】
[0001]本发明涉及多媒体领域，尤其涉及一种特效视频的生成方法、特效视频生成器及特效视频播放器。

【背景技术】
[0002]随着智能手机及移动互联网的普及，视频拍摄不再需要专业摄像机，任何人都可以用手机随手拍视频，然后上传到各大社交网站上进行分享。普通的拍摄方式所拍摄的视频光影效果等都不够理想，因此人们希望自己拍摄的视频能够更个性化，随着这一需求的增加，各种APP处理软件层出不穷，如腾讯微视，美拍等，可以为视频增加场景、进行光影调节等。然而现有的这些技术，几乎都是将整个视频所有画面进行统一处理，用户操作空间有限，不能完全满足所有用户个性化需求。
[0003]另外现有的视频处理软件，直接在原视频帧上进行效果处理，无法从已经生成的新视频中重新提取出原视频，以至于用户无法重新将这段原视频加注其他效果。


【发明内容】

[0004]本发明的目的是提供一种特效视频生成方法和特性视频生成器，可根据用户在视频流上框定的目标对象，只针对视频局部进行特效处理。
[0005]为了实现上述发明目的，本发明提供了一种特效视频生成方法，包括:
[0006]录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像；
[0007]若是，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件；
[0008]视频录制结束后，将用户所选择的局部效果处理方式与所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频。
[0009]优选的，所述局部效果处理方式包括画面扭曲、马赛克处理、放大、叠加图片、色彩渲染、色度调节、明暗调节中的一种或多种方式。
[0010]优选的，所述方法还包括:将用户施加于目标图像的增强数据打包到特效数据文件内，所述增强数据包括交互元素和\或交互事件，其中交互元素包括图像、音频、网页、文本、3D模型、URI地址中的一种或多种。
[0011]优选的，所述对所框选的目标图像进行跟踪，采用CamShift算法、光流跟踪以及粒子滤波算法中的一种。
[0012]优选的，在所述检测用户是否在摄像头显示画面上框选目标图像步骤之前，还包括:在摄像头显示画面上进行多对象检测，将检测到的一个或多个对象分别框选出来，供用户进行目标图像选择。
[0013]相应的，本发明还提供了一种特效视频生成器，包括:
[0014]视频录制模块，用于调用摄像头进行视频录制；
[0015]检测模块，用于在录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像；
[0016]跟踪模块，用于当检测模块检测到用户在摄像头显示画面上框选目标图像，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件；
[0017]数据封装模块，用于将用户所选择的局部效果处理方式及所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频；所述数据封装模块内存储有多种局部效果处理方式，所述局部效果处理方式包括画面扭曲、马赛克处理、放大、叠加图片、色彩渲染、色度调节、明暗调节中的一种或多种方式。
[0018]优选的，所述数据封装模块还用于将用户施加于目标图像的增强数据封装于特效数据文件内，所述增强数据包括交互元素和\或交互事件，其中交互元素包括图像、音频、网页、文本、3D模型、URI地址中的一种或多种。
[0019]优选的，所述检测模块，还用于在视频录制之前或视频录制过程中，在摄像头显示画面上进行多对象检测，将检测到的一个或多个对象分别框选出来，供用户进行目标图像选择。
[0020]相应的，本发明还提供一种特效视频播放器，包括:
[0021]数据解析模块，用于解析特效视频数据，得到原视频数据和特效数据文件；
[0022]视频解码模块，用于对原视频数据进行解码并播放；
[0023]特效处理模块，用于在视频播放过程中，读取特效数据文件，根据特效数据文件指定的局部效果处理方式，对每一帧中目标图像进行局部效果处理。
[0024]优选的，所述特效视频播放器还包括渲染模块，或渲染模块和交互事件响应模块:
[0025]所述渲染模块，用于读取特效数据文件中的增强数据，根据目标区域位置信息，在相关帧的相应目标区域渲染输出对应的增强数据；
[0026]所述交互事件响应模块，用于在视频播放过程中，监听并响应用户的交互请求，直至视频播放完毕。
[0027]与现有技术相比，本发明具有如下有益效果:
[0028]本发明特别适用于移动端进行短视频拍摄，能针对视频局部进行特效处理，能满足用户个性化需求，例如拍摄过程中非常方便的为人脸打马赛克等局部处理，不需要将视频录制好后再逐帧进行后期制作。另外，由于本发明生成的特效视频是将录制的原始视频与所述特效数据文件封装融合，能从特效视频中重新提取出原始视频，用户可以重新将这段视频加注其他效果。

【专利附图】

【附图说明】
[0029]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图:
[0030]图1为本发明实施例特效视频生成方法的流程示意图；
[0031]图2为本发明实施例特效视频生成方法中框选目标图像示意图；
[0032]图3为本发明实施例特效视频生成方法中跟踪框选目标图像示意图；
[0033]图4为本发明实施例特效视频生成方法中视频局部效果处理示意图。

【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]下面将结合附图，描述本发明实施例。
[0036]参见图1，为本发明实施例一种特效视频生成方法流程示意图，包括如下步骤:
[0037]SlOl:录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像；
[0038]S102:若在步骤SlOl步骤检测到用户在摄像头显示画面上框选了目标图像，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件；所述对所框选的目标图像进行跟踪，采用CamShift算法、光流跟踪以及粒子滤波算法中的一种；
[0039]S103:视频录制结束后，将用户所选择的局部效果处理方式与所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频。所述局部效果处理方式包括画面扭曲、马赛克处理、放大、叠加图片、色彩渲染、色度调节、明暗调节中的一种或多种方式。
[0040]本实施例中，S102步骤中目标图像的跟踪还包括被跟踪区域的找回，找回可采用常用的特征匹配方法(如0RB)或滑动窗口遍历的匹配方法(TLD，TRACKING-LEARNING-DETECT1N)。当跟踪丢失无法找回时(例如连续5帧都未找回，即可认为其跟踪丢失无法找回)，提示用户重新框选目标；或当跟踪丢失无法找回时，将用户第一次框选目标图像与后续帧进行图像匹配，匹配成功后重新建立跟踪。
[0041]本实施例中，当检测到用户在摄像头显示画面上框选目标图像时，显示框选框，并在后续目标图像跟踪过程中，持续显示框选框。例如:步骤SlOl中用户框选目标图像的示意图可参见图2，步骤S102中目标跟踪示意图可参见图3，步骤S103中局部特效处理效果可参见图4，图4示意的是对目标图像(眼睛)进行放大处理。
[0042]优选的，本实施例特效视频生成方法还包括:将用户施加于目标图像的增强数据打包到特效数据文件内，所述增强数据包括交互元素和\或交互事件，其中交互元素可以为图像、音频、网页、文本、3D模型、URI地址等，如图4示意图上的文字标签。
[0043]在另一优选实施例中，为了使目标图像选择更智能化，在所述检测用户是否在摄像头显示画面上框选目标图像步骤之前，可以在摄像头显示画面上进行多对象检测，将检测到的一个或多个对象分别框选出来，供用户进行目标图像选择，用户可以通过点击实现目标图像的框选。
[0044]本发明实施例还提供了一种特效视频生成器，包括如下模块:
[0045]视频录制模块，用于调用摄像头进行视频录制；
[0046]检测模块，用于在录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像；
[0047]跟踪模块，用于当检测模块检测到用户在摄像头显示画面上框选目标图像，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件；
[0048]数据封装模块，用于将用户所选择的局部效果处理方式及所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频；所述数据封装模块内存储有多种局部效果处理方式，所述局部效果处理方式包括画面扭曲、马赛克处理、放大、叠加图片、色彩渲染、色度调节、明暗调节中的一种或多种方式。
[0049]在另一优选实施例中，为了使目标图像选择更智能化，所述检测模块，还用于在视频录制之前或视频录制过程中，在摄像头显示画面上进行多对象检测，将检测到的一个或多个对象分别框选出来，供用户进行目标图像选择，用户可以通过点击实现目标图像的框选。
[0050]本发明实施例还提供了一种特效视频播放器，包括:
[0051]数据解析模块，用于解析特效视频数据，得到原视频数据和特效数据文件；
[0052]视频解码模块，用于对原视频数据进行解码并播放；
[0053]特效处理模块，用于在视频播放过程中，读取特效数据文件，根据特效数据文件指定的局部效果处理方式，对每一帧中目标图像进行局部效果处理。
[0054]在另一实施例中，所述特效视频播放器还包括渲染模块，渲染模块用于读取特效数据文件中的增强数据，根据目标区域位置信息，在相关帧的相应目标区域渲染输出对应的增强数据。
[0055]在另一实施例中，所述特效视频播放器还既包括渲染模块，还包括交互事件响应模块，交互事件响应模块，用于在视频播放过程中，监听并响应用户的交互请求，直至视频播放完毕。
[0056]本发明特别适用于移动端进行短视频拍摄，能针对视频局部进行特效处理，能满足用户个性化需求，例如拍摄过程中非常方便的为人脸打马赛克等局部处理，不需要将视频录制好后再逐帧进行后期制作。另外，由于本发明生成的特效视频是将录制的原始视频与所述特效数据文件封装融合，能从特效视频中重新提取出原始视频，用户可以重新将这段视频加注其他效果。
[0057]本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0058]本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0059]本发明并不局限于前述的【具体实施方式】。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
【权利要求】
1.一种特效视频生成方法，其特征在于，包括: 录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像； 若是，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件； 视频录制结束后，将用户所选择的局部效果处理方式与所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频。
2.如权利要求1所述的特效视频生成方法，其特征在于，所述局部效果处理方式包括画面扭曲、马赛克处理、放大、叠加图片、色彩渲染、色度调节、明暗调节中的一种或多种方式。
3.如权利要求2所述的特效视频生成方法，其特征在于，所述方法还包括:将用户施加于目标图像的增强数据打包到特效数据文件内，所述增强数据包括交互元素和\或交互事件，其中交互元素包括图像、音频、网页、文本、3D模型、URI地址中的一种或多种。
4.如权利要求1至3中任一项所述的特效视频生成方法，其特征在于，所述对所框选的目标图像进行跟踪，采用CamShift算法、光流跟踪以及粒子滤波算法中的一种。
5.如权利要求4所述的特效视频生成方法，其特征在于，在所述检测用户是否在摄像头显示画面上框选目标图像步骤之前，还包括: 在摄像头显示画面上进行多对象检测，将检测到的一个或多个对象分别框选出来，供用户进行目标图像选择。
6.一种特效视频生成器，其特征在于，包括: 视频录制模块，用于调用摄像头进行视频录制； 检测模块，用于在录制视频前或视频录制过程中，检测用户是否在摄像头显示画面上框选目标图像； 跟踪模块，用于当检测模块检测到用户在摄像头显示画面上框选目标图像，则从框选帧开始对所框选的目标图像进行跟踪，并在视频录制过程中，将跟踪成功的视频帧图像的帧数、目标图像位置区域写入跟踪数据文件； 数据封装模块，用于将用户所选择的局部效果处理方式及所述跟踪数据文件打包形成特效数据文件，并将录制的原始视频与所述特效数据文件封装融合，生成特效视频；所述数据封装模块内存储有多种局部效果处理方式，所述局部效果处理方式包括画面扭曲、马赛克处理、放大、叠加图片、色彩渲染、色度调节、明暗调节中的一种或多种方式。
7.如权利要求6所述的特效视频生成器，其特征在于，所述数据封装模块还用于将用户施加于目标图像的增强数据封装于特效数据文件内，所述增强数据包括交互元素和\或交互事件，其中交互元素包括图像、音频、网页、文本、3D模型、URI地址中的一种或多种。
8.如权利要求6或7所述的特效视频生成器，其特征在于，所述检测模块，还用于在视频录制之前或视频录制过程中，在摄像头显示画面上进行多对象检测，将检测到的一个或多个对象分别框选出来，供用户进行目标图像选择。
9.一种特效视频播放器，其特征在于，包括: 数据解析模块，用于解析特效视频数据，得到原视频数据和特效数据文件； 视频解码模块，用于对原视频数据进行解码并播放； 特效处理模块，用于在视频播放过程中，读取特效数据文件，根据特效数据文件指定的局部效果处理方式，对每一帧中目标图像进行局部效果处理。
10.如权利要求9所述的特效视频播放器，其特征在于，所述特效视频播放器还包括渲染模块，或渲染模块和交互事件响应模块: 渲染模块，用于读取特效数据文件中的增强数据，根据目标区域位置信息，在相关帧的相应目标区域渲染输出对应的增强数据； 交互事件响应模块，用于在视频播放过程中，监听并响应用户的交互请求，直至视频播放完毕。
【文档编号】H04N21/44GK104394324SQ201410747893
【公开日】2015年3月4日 申请日期:2014年12月9日 优先权日:2014年12月9日
【发明者】金科, 陈卓 申请人:成都理想境界科技有限公司