，从而节省格式不同而需要解码转换的时间。格式是采样率为44100HZ、单通道、16位的采样深度。这样在进行拼接的时候并不需要把每个音频流都要接出pcm在进行拼接，大大加快了合成速度，减少用户等待时间(假如需要使用某些音频特效，比如变声或者加背景音乐，则需要解码后处理再编码为音频流)。
[0047]本实施例在具体使用时，其步骤如下:
(I)用户选取喜欢的素材，可以浏览别人录制处理过之后的视频，方便用户理解该处理的效果。
[0048](2)用户导入或者录制相应的视频；
(3)根据配置文件记录的素材视频的起始和终止点，对用户视频进行解码或直接读取YCbCr数据与此同时解码素材视频，并根据配置文件所记录的嵌入用户视频的位置融合两个YCbCr数据，同时进行编码形成视频流，根据配置文件的记录，同样输出对应音频流(如果需要，解码两个音频流并进行处理之后再编码生成音频流)；
(4)重复步骤(3)，生成音视频流并复用封装成视频格式。
[0049]本实施例在手机APP端使用时，具体步骤如下:
1、登录APP，可以选择使用哪个视频素材模板。
[0050]2、用户选择录制还是导入视频，如果是录制视频用户在录制时候就已经可以实时浏览到用户视频和素材视频处理过之后的效果，录制完成之后进入浏览界面，用户可以浏览和优化视频效果(如添加滤镜，添加背景音乐等)。如果选择倒入视频，在处理过之后，同样进入浏览界面，用户的优化视频效果会对应写入配置文件中。
[0051]3、根据配置文件内容生成用户所需要的视频。
[0052]实施例三
参见图5、图6，本实施例所述素材视频和用户视频融合的方式是素材视频和用户视频之间进行画面嵌套或是素材视频和用户视频之间进行素材植入。该方法是通过在用户视频的固定区域，植入某个已有素材，素材可以是挑选好的卡通形象短片，奢侈品短片等。是以用户视频为面板，植入素材的方法。本实施例方法中往用户视频中植入素材区别于上一种视频嵌套中的实现，素材视频中根据素材的颜色特点，会选取特定颜色为背景颜色(比如选取哆啦A梦为植入素材，会选取黑色为素材视频的背景颜色)，在植入到用户视频中时，通过特殊算法过滤掉素材视频中的背景颜色，仅仅将素材模型添加到用户视频中。
[0053]移动端为用户视频嵌套场景的方法的具体步骤如下:
(I)根据用户添加素材对应用户视频的时间点和设定的位置，从YCbCr文件中读取用户视频对应帧的YCbCr数据，判断该时间点是否需要添加素材，如果需要则开始解码素材，通过特定的融合算法，将素材YCbCr数据和用户视频该时间点的YCbCr数据融合，同时编码到输出的视频流。同时同样方法，处理用户音频和素材音频，添加到输出的音频流。
[0054](2)重复(I)步骤，生成音频流和视频流，并复用封装成视频格式。
[0055]本实施例用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件。当用户根据需要裁剪所需要导入视频的某个片段，该片段导入时也并非是根据时间戳在时间上裁剪然后生成视频，而是生成未编码的用户所选取片段的存储YCbCr文件和音频文件。该处所获取的YCbCr和音频文件是根据用户的选择的视频和对该视频用户选择的起始和终止时间解码得来，为了省去YCbCr文件和素材解码所得的帧格式不统一来回转换的时间，在该处会对用户导入视频片段进行相应的处理，例如:缩放，裁剪，补黑边等操作，统一格式后，将其存储。这样设计，可以省去用户在确认生成视频时解码原视频的步骤，减少用户等待时间，提升用户体验。当用户通过本app录制视频，所生成的其实并非是视频格式的视频，也是相应的存储YCbCr文件和音频文件，该YCbCr文件和音频文件的具体参数是事先定义好的统一的，方便读取视频所对应的帧。
[0056]当然用户视频在导入或录制时也可以是视频流格式，在步骤(3)中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。增加了解码的系统消耗，但有效减小了中间文件所占用的存储空间。
[0057]本实施例所述音频文件的格式是统一的，从而节省格式不同而需要解码转换的时间。格式是采样率为44100HZ、单通道、16位的采样深度。这样在进行拼接的时候并不需要把每个音频流都要接出pcm在进行拼接，大大加快了合成速度，减少用户等待时间(假如需要使用某些音频特效，比如变声或者加背景音乐，则需要解码后处理再编码为音频流)。
[0058]本实施例在具体使用时，其步骤如下:
(I)用户导入或者录制视频。
[0059](2)用户为用户视频选取素材，并拖动其素材选取合适位置；
(3)根据配置文件记录的素材视频的起始和终止点，对用户视频进行解码或直接读取yuv数据与此同时解码素材视频，并根据配置文件所记录的嵌入用户视频的位置融合两个yuv数据，同时进行编码形成视频流，根据配置文件的记录，同样输出对应音频流(如果需要，解码两个音频流并进行处理之后再编码生成音频流)；
(4)重复步骤(3)，生成音视频流并复用封装成视频格式。
[0060]本实施例在手机APP端使用时，具体步骤如下:
1、用户选择植入哪个视频素材。
[0061]2、用户选择录制还是导入视频，如果是录制视频用户在录制之前拖动素材确定位置和输入起始和终止时间点，录制时候就已经可以实时浏览到用户视频和素材视频处理过之后的效果，录制完成之后进入浏览界面，用户可以浏览和优化视频效果(如添加滤镜，添加背景音乐等)。如果选择倒入视频，导入之后需要用户拖动素材确定位置，在处理过之后，同样进入浏览界面，用户的优化视频效果会对应写入配置文件中。
[0062]3、根据配置文件内容生成用户所需要的视频。
【主权项】
1.移动端为用户视频嵌套场景的方法，其步骤如下: (1)在配置文件中配置需要融合视频的各融合起始时间点和终止时间点； (2)确定要融合的素材视频和用户视频； (3)对选定的视频进行解码或直接读取并根据配置文件设定的各融合起始时间点和终止时间点选取相应时间段的素材视频和用户视频，选取的同时进行编码形成音视频流； (4)重复步骤(3)，生成音视频流并复用封装成视频格式。2.如权利要求1所述的移动端为用户视频嵌套场景的方法，其特征在于:所述素材视频和用户视频融合的方式是素材视频和用户视频之间进行视频拼接、素材视频和用户视频之间进行画面嵌套或是素材视频和用户视频之间进行素材植入。3.如权利要求1所述的移动端为用户视频嵌套场景的方法，其特征在于:视频解码后生成相应的YCbCr文件和音频文件，YCbCr文件和音频文件根据配置文件的设定分开编码成相应的视频流和音频流，再进行音视频流复用封装。4.如权利要求3所述的移动端为用户视频嵌套场景的方法，其特征在于:用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件，在步骤(3)中，选取用户视频时直接读取YCbCr文件获取帧数据，选取素材视频时需要读取视频的帧再解码获取YCbCr数据。5.如权利要求3所述的移动端为用户视频嵌套场景的方法，其特征在于:用户视频是已有的视频或是实时录制的视频，在导入或录制时是视频流格式，在步骤(3 )中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。6.如权利要求1?5之一所述的移动端为用户视频嵌套场景的方法，其特征在于:在融合过程中用户可以分段浏览的素材视频和用户视频融合过后的效果，并且能在融合过程中删除某段视频重新录制或者导入。7.如权利要求6所述的移动端为用户视频嵌套场景的方法，其特征在于:所述音频文件的统一格式是采样率为44100HZ、单通道、16位的采样深度。
【专利摘要】移动端为用户视频嵌套场景的方法，其步骤如下：（1）在配置文件中配置需要融合视频的各融合起始点和终点；（2）确定要融合的素材视频和用户视频；（3）对选定的视频进行解码或直接读取并根据配置文件设定的各融合起始点和终点选取相应时间段的素材视频和用户视频，选取的同时进行编码形成音视频；（4）重复步骤（3），生成音视频流并复用封装成视频格式。
【IPC分类】H04N21/44, H04N21/442
【公开号】CN105681891
【申请号】CN201610064119
【发明人】党玉涛, 程龙, 甘文涛
【申请人】杭州秀娱科技有限公司
【公开日】2016年6月15日
【申请日】2016年1月28日