视频合成、播放和修改方法、视频合成系统及设备与流程

本发明属于视频处理技术领域，特别应用于短视频或手机录制的视频场景，尤其涉及视频合成、播放和修改方法、视频合成系统及设备。

背景技术：

用户在对短视频或手机录制视频编辑时，可以采用视频剪辑软件提供的滤镜及动态插件对视频进行特效编辑，在视频上传前对视频进行合成处理，将其特效固化在视频的每帧画面中，从而在播放时能够重现对用户使用的特效编辑效果。视频合成后将无法对其特效效果进行修改或去除，从而使原有的视频素材不可复用。降低了素材的复用效果。由于合成后的视频画面只具有播放功能，其显示内容单一且不具有交互性。

技术实现要素：

本发明实施方式提供视频合成、播放和修改方法、视频合成系统及设备，用于至少解决上述技术问题之一。

第一方面，本法的一种实施方式中提供了视频合成方法，包括以下步骤：

步骤S101，获取每帧视频及能够获取每帧对应的当前事件信息。

步骤S102，根据当前事件信息调用当前图形特效。

步骤S103，根据当前图形特效对所当前对应的每帧视频进行渲染获取每帧渲染视频。

步骤S104，根据录制时间线合成每帧视频及每帧渲染视频，获取当前合成视频。

在视频合成方法的一种优选的实施方式中，步骤S101中的当前事件信息为用户通过本地图形界面从本地预存的事件脚本中所触发的事件信息。

在视频合成方法的再一种优选的实施方式中，步骤S102包括：

步骤S1021，根据当前事件信息从图像特效集合中选取界面中获取当前图形特效信息，当前图形特效信息对应当前图形特效。图像特效集合选取界面中具有多个图形特效信息，多个图形特效信息为能够分别调用多个图形特效的信息。图像特效集合包括多个图形特效程序，多个图形特效程序通过实体-组件-系统ECS架构实现。

图像特效集合中包括骨骼动画、序列帧动画、网格动画、2D/3D粒子动画、2D/3D网格渲染、天空盒渲染、文字渲染及光照渲染。

2D/3D粒子动画中包括多个2D/3D粒子数据，多个2D/3D粒子数据共用多个图形属性。

当图像特效为2D/3D粒子动画时，根据多个图形属性的每一个属性获取对应的2D/3D粒子数据数列，根据每一图形属性的2D/3D粒子数据数列对多个2D/3D粒子数据进行存储。

步骤S1022，根据当前图形特效信息调用当前图形特效。

在视频合成方法的又一种优选的实施方式中，步骤S1021中多个图形特效信息包括文字信息及图标信息。

在视频合成方法的另一种优选的实施方式中，在步骤S104后还包括：

步骤S105，根据录制时间线将当前合成视频中的每帧视频部分合成为当前录制视频文件。

根据录制时间线将当前合成视频中每帧对应的当前事件信息合成为当前事件脚本文件。

根据录制时间线将当前合成视频中每帧对应的当前事件所调用的当前图形特效合成为当前图形特效文件。

第二方面，本发明实施方式提供一种视频播放方法，包括以下步骤，步骤S201，获取上述的视频合成方法所获取的当前合成视频。

步骤S202，播放当前合成视频。

第三方面，本发明实施方式提供一种视频修改方法，包括以下步骤，步骤S301，获取权利要求5的视频合成方法所获取的当前录制视频文件、当前事件脚本文件及当前图形特效文件。

步骤S302，修改当前事件脚本文件及当前图形特效文件，获取修改后的当前事件脚本文件及当前图形特效文件。

步骤S303，根据录制时间线，以每帧合成当前录制视频文件、修改后的当前事件脚本文件及当前图形特效文件，获取修改后的当前合成视频。

第四方面，本发明实施方式提供一种视频合成系统，包括，用户交互单元、图形合成单元及用户播放单元，其中：

用户交互单元，其配置为能够录制每帧视频且能够在录制每帧视频时，接收用户的触发信息。

图形合成单元，其配置为从用户交互单元获取每帧视频及能够获取每帧对应的当前事件信息。根据当前事件信息调用当前图形特效。根据当前图形特效对所当前对应的每帧视频进行渲染获取每帧渲染视频。根据录制时间线合成每帧视频及每帧渲染视频，获取当前合成视频。

用户播放单元，配置为播放图形合成单元所生成的当前合成视频。

在视频合成系统的又一种优选的实施方式中，还包括，文件分离单元及修改单元，其中，

文件分离单元，配置为根据录制时间线将当前合成视频中的每帧视频部分合成为当前录制视频文件。根据录制时间线将当前合成视频中每帧对应的当前事件信息合成为当前事件脚本文件。根据录制时间线将当前合成视频中每帧对应的当前事件所调用。

修改单元配置为：修改文件分离单元中获取的当前事件脚本文件及当前图形特效文件，获取修改后的当前事件脚本文件及当前图形特效文件。根据录制时间线，以每帧合成当前录制视频文件、修改后的当前事件脚本文件及当前图形特效文件，获取修改后的当前合成视频。

第五方面，本发明实施方式提供一种视频合成设备，包括，视频录像装置、触屏装置、处理装置及播放装置，其中：

视频录像装置，其配置为能够录制每帧视频。

触屏装置，其配置为能够在录制每帧视频时，接收用户的触发信息。

处理装置，其配置为从视频录像装置获取每帧视频，及从触屏装置能够获取每帧对应的当前事件信息。根据当前事件信息调用当前图形特效。根据当前图形特效对所当前对应的每帧视频进行渲染获取每帧渲染视频。根据录制时间线合成每帧视频及每帧渲染视频，获取当前合成视频。

播放装置元，配置为播放处理装置所生成的当前合成视频。

由此可知，本发明中的视频合成、播放和修改方法、视频合成系统及设备。通过将事件信息与特效信息分类，可实现对短视频或视频的在合成或上传网络后的编辑，提高的录制素材的复用率。同时，可在视频播放时进行动态特效的复用，进而可在视频播放时实现动态交互的，提高了视频显示的多样性及交互性。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施方式提供的一种视频合成方法的流程图。

图2为本发明另一实施方式提供的一种视频合成方法的流程图。

图3为本发明又一实施方式提供的一种视频合成方法的流程图。

图4为本发明一实施方式提供的一种视频播放方法的流程图。

图5为本发明一实施方式提供的一种视频修改方法的流程图。

图6为本发明一实施方式提供的一种视频合成系统的组成示意图。

图7为本发明另一实施方式提供的一种视频合成系统的组成示意图。

图8为本发明一实施方式提供的一种视频合成设备的组成示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本发明的第一方面提供了一种视频合成方法，如图1所示，包括以下步骤：

步骤S101，获取视频及事件信息。

在本步骤中，获取每帧视频及能够获取每帧对应的当前事件信息。

在用户端的设备上，配置脚本文件。该脚本文件中包括多个事件信息的响应程序，上述事件信息包括：用户触屏一次，用户触屏多次。用户按一个功能键、用户同时按下多个功能键等操作。上述多个事件信息的相应单元包括，例如当用户触屏一次时弹出特效选取界面等对应的程序调动。上述用户端设备包括具有录像功能的手持移动设备或智能设备。

用户使用用户端的手持移动设备或智能设备对视频进行现场录制，在录制过程中，用户对用户端的触屏或按键进行操作，触发上述脚本文件中的多个事件信息中的一个。从而用户端在接收到视频的同时，接收到了事件信息的接收。

步骤S102，调用当前图形特效。

在本步骤中，根据当前事件信息调用当前图形特效。根据步骤S101中获取的事件信息，如用户触屏一次后，弹出特效选取界面后，用户可以在图形特效选取界面上对一个或多个图形特效进行选取。从而获取当前的图形特效的当前图形特效，例如选择了特效1作为当前图形特效。

步骤S103，获取每帧渲染视频。

在本步骤中，根据当前图形特效对所当前对应的每帧视频进行渲染获取每帧渲染视频。根据在步骤S102中选取的图形特效，如特效1对步骤S101中相应帧的画面进行渲染。

步骤S104，获取当前合成视频。

在本步骤中，根据录制时间线合成每帧视频及每帧渲染视频，获取当前合成视频。步骤S101中录制的视频，其中在视频的全部帧画面中，用户未进行事件信息触发的部分使用原始的录制画面，在用户进行实践信息触发的部分使用经过步骤S103中渲染后的视频进行合成。从而根据录制的时间线将所有帧画面进行合成。

本发明中的视频合成方法中，在步骤S103所获取的每帧渲染视频，是根据步骤S101中录制的画面与当前图形特效进行实时合成后的视频画面，因此，其可以在合成后，在每帧画面通过对图形特效的反向运算还原视频画面，也可以在播放时，根据当前图形特效对视频画面进行实时的重新渲染。从而解决了画面合成后的更新及无法实时交互的问题。

在本发明另一种优选的实施方式中，步骤S101中的当前事件信息为用户通过本地图形界面从本地预存的事件脚本中所触发的事件信息。从而便于与用户端实现实时交互。

在本发明在一种优选的实施方式中，如图2所示，上述步骤S102包括：

步骤S1021，获取当前图形特效信息。

在本步骤中，根据当前事件信息从图像特效集合选取界面中获取当前图形特效信息，当前图形特效信息对应当前图形特效。图像特效集合选取界面为包括多个图形特效信息的界面，多个图形特效信息为能够分别调用多个图形特效的信息。图像特效集合包括多个图形特效程序，多个图形特效程序通过实体-组件-系统ECS架构实现。上述图像特效集合也可称为“专用图形引擎”。该专用图形引擎采用实体-组件-系统ECS架构(Entity实体-Component组件-System系统)。从而进一步加速了运算过程。

图像特效集合中包括：骨骼动画，序列帧动画，网格动画，2D/3D粒子动画，2D/3D网格渲染，天空盒渲染，文字渲染，光照渲染等图像特效。上述专用图形引擎为中小场景渲染(指场景实例在10000个以内)，内部多处使用静态内存分配方式，有别与大多数引擎的动态内存分配，这种方式在代码编译时确定分配大小，没有实际运行时的开销，速度非常快。

上述“专用图形引擎”内部也可针对多实例应用时采用连续内存存储。如在上述2D/3D粒子动画中包括多个2D/3D粒子数据，所述多个2D/3D粒子数据共用多个图形属性,如粒子1数据{属性1，属性2，属性3......属性N}。其粒子数据的存储如粒子存储{粒子1，粒子2，....粒子N}。

当所述图像特效为2D/3D粒子动画时，根据所述多个图形属性的每一个属性获取对应的2D/3D粒子数据数列。如；

属性1存储{粒子1属性1，粒子2属性1，......粒子N属性1}；

属性2存储{粒子1属性2，粒子2属性2，...粒子N属性2}；

属性3存储{粒子1属性3，粒子2属性3，...粒子N属性3}。

根据所述每一图形属性的2D/3D粒子数据数列对所述多个2D/3D粒子数据进行存储。如：粒子存储{属性1存储，属性2存储，属性3存储}

上述2D/3D粒子通常是以千为单位计数的，更新量非常大，将粒子属性进行内存连续排布，在更新同一种属性时可以提高内存访问速度。

上述粒子存储可采用双向链表容器Link，每个元素继承自链表节点基类，这样做之后，在进行插入操作时，没有额外的内存开销，在进行删除时，也不需要任何遍历开销。更快的插入和删除速度，更低的内存开销。

从而提升内存命中率，减少多次内存切换开销。且内部大量使用链表结构进行存储和查询，而大多数引擎采用数组结构，相比之下，增加和删除速度比传统引擎快，从而更适合频繁动态切换的小场景。在低内存占用，低功耗的同时确保了高性能。

步骤S1022，根据当前图形特效信息调用当前图形特效。

在本发明在一种优选的实施方式中，步骤S1021中多个图形特效信息包括文字信息及图标信息。从而便于在用户端设备进行展示，也更适合用户实现选取。

在本发明在一种优选的实施方式中，如图3所示，在步骤S104后还包括：

步骤S105，进行文件分离。

在本步骤中，根据录制时间线将当前合成视频中的每帧视频部分合成为当前录制视频文件。根据录制时间线将当前合成视频中每帧对应的当前事件信息合成为当前事件脚本文件。根据录制时间线将当前合成视频中每帧对应的当前事件所调用的当前图形特效合成为当前图形特效文件。从而在便于对文件进行保存的同时，也更便于后期的编辑。

在本发明的第二方面，提供了一种视频播放方法，如图4所示，包括以下步骤，

步骤S201，获取的当前合成视频。

本步骤中，获取根据本发明上述实施方式中视频合成方法所获取的当前合成视频。

步骤S202，播放当前合成视频。该当前合成视频可通过当前用户端设备播放，也可在其他具有或不具有与当前用户端(即步骤S101)中所配置的设备上给予播放。

在本发明的第三方面，提供了一种视频修改方法，如图5所示，包括以下步骤，

步骤S301，获取分离文件。

在本步骤中，获取权利要求5的视频合成方法所获取的当前录制视频文件、当前事件脚本文件及当前图形特效文件。

步骤S302，更新文件。

在本步骤中，修改当前事件脚本文件及当前图形特效文件，获取修改后的当前事件脚本文件及当前图形特效文件。

步骤S303，再次合成。

在本步骤中，根据录制时间线，以每帧合成当前录制视频文件、修改后的当前事件脚本文件及当前图形特效文件，获取修改后的当前合成视频。

在本发明的第四方面，提供了一种视频合成系统，如图6所示，视频合成系统包括，用户交互单元101、图形合成单元102及用户播放单元103，其中：

用户交互单元101，其配置为能够录制每帧视频且能够在录制每帧视频时，接收用户的触发信息。

图形合成单元102，其配置为从用户交互单元101获取每帧视频及能够获取每帧对应的当前事件信息。根据当前事件信息调用当前图形特效。根据当前图形特效对所当前对应的每帧视频进行渲染获取每帧渲染视频。根据录制时间线合成每帧视频及每帧渲染视频，获取当前合成视频。

用户播放单元103，配置为播放图形合成单元102所生成的当前合成视频。

在视频合成系统的另一种实施方式中，如图7所示，还包括，文件分离单元104及修改单元105，其中，

文件分离单元104，配置为根据录制时间线将当前合成视频中的每帧视频部分合成为当前录制视频文件。根据录制时间线将当前合成视频中每帧对应的当前事件信息合成为当前事件脚本文件。根据录制时间线将当前合成视频中每帧对应的当前事件所调用。

修改单元105配置为：修改文件分离单元104中获取的当前事件脚本文件及当前图形特效文件，获取修改后的当前事件脚本文件及当前图形特效文件。根据录制时间线，以每帧合成当前录制视频文件、修改后的当前事件脚本文件及当前图形特效文件，获取修改后的当前合成视频。

在本发明的第五方面，提供了一种视频合成设备，如图8所示，包括，视频录像装置201、触屏装置202、处理装置203及播放装置204。

其中，

视频录像装置201，其配置为能够录制每帧视频。

触屏装置202，其配置为能够在录制每帧视频时，接收用户的触发信息。

处理装置203，其配置为从视频录像装置201获取每帧视频，及从触屏装置202能够获取每帧对应的当前事件信息。根据当前事件信息调用当前图形特效。根据当前图形特效对所当前对应的每帧视频进行渲染获取每帧渲染视频。根据录制时间线合成每帧视频及每帧渲染视频，获取当前合成视频。

播放装置204元，配置为播放处理装置203所生成的当前合成视频。。

以上所描述的系统实施方式仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施方式或者实施方式的某些部分的方法。

最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。