视频生成方法、装置、设备及存储介质与流程

本发明涉及图像处理技术领域，尤其涉及一种视频生成方法、装置、设备及存储介质。

背景技术

随着终端技术的发展，越来越多的终端都配备了视频拍摄功能，人们可以通过终端来制作动图，或者小视频。

目前，视频制作方法主要是通过摄像机拍摄，或者通过相机连续采集多帧图像，然后再经过人工加工处理的方式生成视频，这种方法对视频帧的数量和质量均有较高要求。

但是，当摄像机获取的视频帧数较少，或者视频帧之间有缺失时，就很难制作出流畅高质量的视频。

技术实现要素：

本发明提供一种视频生成方法、装置及存储介质，实现基于较少的静态2d图制作流畅的视频，提高了制作视频的效率，并且可以制作任意静态人脸的表情变化视频。

第一方面，本发明实施例提供一种视频生成方法，包括：

获取目标人脸3d模型；

根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型，所述待变换表情为多个表情中的任一个；

提取所述中间人脸3d模型中的关键点坐标；所述关键点坐标包括：人脸五官轮廓的部分坐标；

将所述目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，并采集每次调整后获得的2d图像，共获得n张2d图像，所述n为大于1的整数；

根据所述n张2d图像，生成一段视频。

在一种可能的设计中，所述根据所述n张2d图像，生成一段视频，包括：

按照所述n张2d图像的采集顺序，将所述n张2d图像合成一段视频。

在一种可能的设计中，所述根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型，包括：

根据所述目标人脸3d模型和待变换表情，将所述待变换表情对应的预设人脸3d模型调整为最接近所述目标人脸3d模型，将调整后的待变换表情对应的预设人脸3d模型确定为中间人脸3d模型。

在一种可能的设计中，所述获取目标人脸3d模型，包括：

获取至少一张2d静态图片，每张2d静态图片中包括目标人脸图像；

根据所述至少一张2d静态图片，建立所述目标人脸3d模型。

在一种可能的设计中，在根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型之前，还包括：

根据m张样本图片，获得每张样本图片对应的人脸3d模型，所述m为大于0的整数，所述样本图片中的人脸表情为所述待变换表情；

将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的预设人脸3d模型。

在一种可能的设计中，所述将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的人脸3d模型，包括：

通过公式获得所述待变换表情对应的人脸3d模型；

其中，f表示所述待变换表情对应的人脸3d模型，f0表示预设的初始人脸3d模型，fi表示第i个样本图片对应的人脸3d模型，ai表示第i个样本图片对应的人脸3d模型的权重系数。

第二方面，本发明实施例提供一种视频生成装置，包括：

获取模块，用于获取目标人脸3d模型；

处理模块，用于根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型，所述待变换表情为多个表情中的任一个；

提取模块，用于提取所述中间人脸3d模型中的关键点坐标；所述关键点坐标包括：人脸五官轮廓的部分坐标；

调整模块，用于将所述目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，并采集每次调整后获得的2d图像，共获得n张2d图像，所述n为大于1的整数；

视频生成模块，用于根据所述n张2d图像，生成一段视频。

在一种可能的设计中，所述视频生成模块，具体用于：

按照所述n张2d图像的采集顺序，将所述n张2d图像合成一段视频。

在一种可能的设计中，所述处理模块，具体用于：

根据所述目标人脸3d模型和待变换表情，将所述待变换表情对应的预设人脸3d模型调整为最接近所述目标人脸3d模型，将调整后的待变换表情对应的预设人脸3d模型确定为中间人脸3d模型。

在一种可能的设计中，所述获取模块，具体用于：

获取至少一张2d静态图片，每张2d静态图片中包括目标人脸图像；

根据所述至少一张2d静态图片，建立所述目标人脸3d模型。

在一种可能的设计中，所述处理模块，还用于在根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型之前，根据m张样本图片，获得每张样本图片对应的人脸3d模型，所述m为大于0的整数，所述样本图片中的人脸表情为所述待变换表情；

将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的预设人脸3d模型。

在一种可能的设计中，所述将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的人脸3d模型，包括：

通过公式获得所述待变换表情对应的人脸3d模型；

其中，f表示所述待变换表情对应的人脸3d模型，f0表示预设的初始人脸3d模型，fi表示第i个样本图片对应的人脸3d模型，ai表示第i个样本图片对应的人脸3d模型的权重系数。

第三方面，本发明实施例提供一种视频生成设备，包括：处理器和存储器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的视频生成方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的视频生成方法。

第五方面，本发明实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得服务器实施第一方面本发明实施例任一所述的视频生成方法。

本发明提供的一种视频生成方法、装置、设备及存储介质，通过获取目标人脸3d模型；根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型，所述待变换表情为多个表情中的任一个；提取所述中间人脸3d模型中的关键点坐标；所述关键点坐标包括：人脸五官轮廓的部分坐标；将所述目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，并采集每次调整后获得的2d图像，共获得n张2d图像，所述n为大于1的整数；根据所述n张2d图像，生成一段视频。本发明可以实现基于较少的静态2d图制作流畅的视频，提高了制作视频的效率，并且可以制作任意静态人脸的表情变化视频。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一应用场景的原理示意图；

图2为本发明实施例一提供的视频生成方法的流程图；

图3为人脸嘴唇的关键点坐标的结构示意图；

图4为本发明实施例二提供的视频生成装置的结构示意图；

图5为本发明实施例三提高的视频生成设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明一应用场景的原理示意图，如图1所示，首先获取至少一张2d静态图片10，在该2d静态图片10中包含有人脸图像，根据现有的2d转3d技术，为2d静态图片10中的人脸图像建立目标人脸3d模型20。基于该目标人脸3d模型20，对预设人脸3d模型30进行调整，得到与所述目标人脸3d模型20最为接近的中间人脸3d模型40。由于中间人脸3d模型40中的人脸五官所对应的关键点坐标信息对应了待变换的人脸表情，因此，可以将所述目标人脸3d模型20的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型40的关键点坐标，并采集每次调整后获得的2d图像。将这些采集到的2d图像按照采集顺序构成一端视频流50，当播放该视频流50时，即可得到2d静态图片10变换为不同表情的视频。本实施例可以实现基于较少的静态2d图制作流畅的视频，提高了制作视频的效率，并且可以制作任意静态人脸的表情变化视频。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图2为本发明实施例一提供的视频生成方法的流程图，如图2所示，本实施例中的方法可以包括：

s101、获取目标人脸3d模型。

本实施例中，可以通过获取至少一张2d静态图片，且每张2d静态图片中包括目标人脸图像；根据所述至少一张2d静态图片，建立所述目标人脸3d模型。具体地，可以基于现有的2d转3d技术来建立目标人脸的3d模型，例如，采用photoanim动画软件、tikuwa软件等等。本实施例对2d图像转换为3d图像或者动画的技术不予限定。

s102、根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型。

在一种可选的实施方式中，可以根据m张样本图片，获得每张样本图片对应的人脸3d模型，所述m为大于0的整数，所述样本图片中的人脸表情为所述待变换表情；将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的预设人脸3d模型。

可选地，通过公式获得所述待变换表情对应的人脸3d模型；其中，f表示所述待变换表情对应的人脸3d模型，f0表示预设的初始人脸3d模型，fi表示第i个样本图片对应的人脸3d模型，ai表示第i个样本图片对应的人脸3d模型的权重系数。

本实施例中，待变换表情为多个表情中的任一个，例如：喜悦、悲伤、愤怒、忧愁等等。在一种可选的实施方式中，可以根据所述目标人脸3d模型和待变换表情，将所述待变换表情对应的预设人脸3d模型调整为最接近所述目标人脸3d模型，将调整后的待变换表情对应的预设人脸3d模型确定为中间人脸3d模型。具体地，以待变换表情为喜悦为例进行详细说明。预设人脸3d模型对应的是喜悦的表情，其中预设人脸3d模型中的关键点坐标是已知的，所述关键点坐标包括人脸五官轮廓的部分坐标(例如：嘴唇、眼睛、鼻子、眉毛、面部轮廓等等)。图3为人脸嘴唇的关键点坐标的结构示意图，如图3所示，嘴唇上一共有9个关键点60，且每个关键点60的坐标都是已知的。本实施例仅以嘴唇为例，其他五官的关键点划分与嘴唇的划分原理类似，需要说明的是，本实施例对关键点的位置和数量不予限定，本领域技术人员可以根据表情特点，对不同五官的关键点坐标进行调整。以预设人脸3d模型为基准，按照目标人脸3d模型，将预设人脸3d模型调整为与目标人脸3d模型最为接近的中间人脸3d模型。其中，调整后的中间人脸3d模型中的关键点坐标是已知的，这是因为在对预设人脸3d模型进行调整过程中，预设人脸3d模型的关键点坐标会根据调整动作(对应调整参数)进行变化，当调整完成时，中间人脸3d模型的关键点坐标也随之确定。

s103、提取所述中间人脸3d模型中的关键点坐标。

本实施例中，可以提取所述中间人脸3d模型中的关键点坐标作为调整目标人脸3d模型的依据，所述关键点坐标包括：人脸五官轮廓的部分坐标。具体地，假设待变换的表情为喜悦，则分别获取中间人脸3d模型的关键点坐标(可以是嘴唇的关键点坐标、眼睛的关键点坐标等等)。

s104、将所述目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，并采集每次调整后获得的2d图像，共获得n张2d图像，所述n为大于1的整数。

本实施例中，可以将目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，其中步长的设置可以任意设置。具体地，假设目标人脸3d模型的关键点坐标为(2,5,6)，其对应的中间人脸3d模型的关键点坐标为(3,7,8)，那么可以将坐标(2,5,6)先变换为坐标(2.5,6,7)，然后再将坐标(2.5,6,7)变换为(3,7,8)。需要说明的是，本实施例不限定步长的具体数值，理论上，步长越小，得到的2d图像的张数也就越多，那么最终呈现的视频也会越连贯。

s105、根据所述n张2d图像，生成一段视频。

本实施例中，可以按照所述n张2d图像的采集顺序，将所述n张2d图像合成一段视频。其具体过程可以参见图1所示实施例中的相关论述，此处不再赘述。

在一种可选地的实施方式中，还可以根据所述n张2d图像生成动图，其具体过程可以参见图1所示实施例中的相关论述，此处不再赘述。

本实施例，通过获取目标人脸3d模型；根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型，所述待变换表情为多个表情中的任一个；提取所述中间人脸3d模型中的关键点坐标；所述关键点坐标包括：人脸五官轮廓的部分坐标；将所述目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，并采集每次调整后获得的2d图像，共获得n张2d图像，所述n为大于1的整数；根据所述n张2d图像，生成一段视频。本发明可以实现基于较少的静态2d图制作流畅的视频，提高了制作视频的效率，并且可以制作任意静态人脸的表情变化视频。

图4为本发明实施例二提供的视频生成装置的结构示意图，如图4所示，本实施例的视频生成装置可以包括：

获取模块71，用于获取目标人脸3d模型；

处理模块72，用于根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型，所述待变换表情为多个表情中的任一个；

提取模块73，用于提取所述中间人脸3d模型中的关键点坐标；所述关键点坐标包括：人脸五官轮廓的部分坐标；

调整模块74，用于将所述目标人脸3d模型的关键点坐标根据预设渐变步长，逐步调整为中间人脸3d模型的关键点坐标，并采集每次调整后获得的2d图像，共获得n张2d图像，所述n为大于1的整数；

视频生成模块75，用于根据所述n张2d图像，生成一段视频。

在一种可能的设计中，所述视频生成模块75，具体用于：

按照所述n张2d图像的采集顺序，将所述n张2d图像合成一段视频。

在一种可能的设计中，所述处理模块72，具体用于：

根据所述目标人脸3d模型和待变换表情，将所述待变换表情对应的预设人脸3d模型调整为最接近所述目标人脸3d模型，将调整后的待变换表情对应的预设人脸3d模型确定为中间人脸3d模型。

在一种可能的设计中，所述获取模块71，具体用于：

获取至少一张2d静态图片，每张2d静态图片中包括目标人脸图像；

根据所述至少一张2d静态图片，建立所述目标人脸3d模型。

在一种可能的设计中，所述处理模块，还用于在根据所述目标人脸3d模型和待变换表情对应的预设人脸3d模型，获得中间人脸3d模型之前，根据m张样本图片，获得每张样本图片对应的人脸3d模型，所述m为大于0的整数，所述样本图片中的人脸表情为所述待变换表情；

将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的预设人脸3d模型。

在一种可能的设计中，所述将m个人脸3d模型通过加权计算处理，获得所述待变换表情对应的人脸3d模型，包括：

通过公式获得所述待变换表情对应的人脸3d模型；

其中，f表示所述待变换表情对应的人脸3d模型，f0表示预设的初始人脸3d模型，fi表示第i个样本图片对应的人脸3d模型，ai表示第i个样本图片对应的人脸3d模型的权重系数。

本实施例的视频生成装置，可以执行上述任一方法实施例的方法中的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明实施例三提高的视频生成设备的结构示意图，如图5所示，本实施例的视频生成设备80可以包括：处理器81和存储器82。

存储器82，用于存储计算机程序(如实现上述视频生成方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器82中。并且上述的计算机程序、计算机指令、数据等可以被处理器81调用。

处理器81，用于执行所述存储器82存储的所述计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。其中，存储器82、处理器81可以通过总线83耦合连接。

本实施例的服务器，可以执行上述任一方法实施例的方法中的技术方案，其实现原理和技术效果类似，此处不再赘述。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。