一种虚拟形象的视频制作方法、装置和终端与流程

本发明涉及计算机技术领域，具体涉及一种虚拟形象的视频制作方法、装置和终端。

背景技术

据统计，经常观看有关二次元虚拟形象的观众有3.5亿人之多。除了比较流行的哔哩哔哩和acfun(动漫幽默，animecomicfun)等平台之外，二次元的短视频内容也在蓬勃发展中。目前，二次元虚拟形象类的短视频内容的创造方式主要有三类：第一类是根据已有知名动漫公司形象和内容进行制作；第二类是团体原创的二次元虚拟形象和内容，在个别平台进行推广；第三类是根据已有二次元形象，用户个人通过一些较为简便的操作进行二次创造，完成在某种特定情境下的短视频内容。

上述三类二次元虚拟形象短视频制作的方式中，第一类和第二类都是通过传统的动画制作方式完成内容制作，技术门槛较高，创作耗时长，制作内容的拓展性差。用户需要学习视频制作的成本较高，每一个短视频制作过程都和传统的动画制作方式相似，需要有相关技术的人员进行长时间的设计和调整，无法形成类似于抖音的短视频制作平台，根据一个形象进行无门槛创作的过程。用户需要学习视频制作需要大量人力投入，不是单一用户的投入可以完成的，需要职能人员分工协作以及各种测试，常规用户的参与度难度大。制作的二次元视频是完全定制化的，无法完成对任意形象进行，任意文本内容和多种动作内容的设计。无法规避形象本身的过于暴力，色情或者恐怖，需要人工审核的干预，但用户需要的是一个较为纯洁的短视频制作应用平台。第三类有两种制作方式实现：第一，用户个人利用视频制作软件对用户原创内容进行视频剪辑和效果制作，然而，此类视频虽然立意新颖，但是制作效果较差；第二，通过真人模仿二次元角色扮演来进行录制，这种制作方法已经不属于二次元虚拟形象范畴，属于人为模仿的效果。

技术实现要素：

本发明实施例提供一种虚拟形象的视频制作方法、装置和终端，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种虚拟形象的视频制作方法，包括：

根据用户指定的虚拟形象选择对应的视频类型；

获取所述视频类型对应的视频播放内容；

在所述视频播放内容中添加至少一个标签后，生成视频脚本；

根据所述视频脚本生成所述虚拟形象的视频。

结合第一方面，本发明在第一方面的第一种实施方式中，在所述视频播放内容中添加至少一个标签后，生成视频脚本，包括：

在所述视频播放内容中标定添加位置；

将所述标签插入至所述添加位置，生成视频脚本，所述标签包括动作标签和表情标签。

结合第一方面的第一种实施方式，本发明在第一方面的第二种实施方式中，生成视频脚本之后，还包括：

根据所述虚拟形象以及所述视频类型判断是否选择对应的虚拟形象配音；

若是，则根据已选择的所述虚拟形象配音合成与所述视频播放内容对应的视频语音。

结合第一方面的第二种实施方式，本发明在第一方面的第三种实施方式中，

根据已选择的所述虚拟形象配音合成与所述视频播放内容对应的视频语音之后，还包括：

根据所述视频播放内容生成对应的口型信息；

将所述视频脚本中的所述表情标签和所述动作标签进行解析，生成表情参数和动作参数；

将所述口型信息、所述表情参数和所述动作参数进行融合，生成动画文件；

利用融合算法在素材库中调用与所述动画文件对应的动画素材，生成虚拟形象动画；

根据所述虚拟形象动画和所述视频语音，生成所述虚拟形象的视频。

结合第一方面，本发明在第一方面的第四种实施方式中，根据用户指定的虚拟形象选择对应的视频类型，包括：

获取用户指定的所述虚拟形象；

判断所述虚拟形象是否符合预设形象条件，若符合，则选择对应的所述视频类型。

第二方面，本发明提供了一种虚拟形象的视频制作装置，包括：

视频类型选择模块，用于根据用户指定的虚拟形象选择对应的视频类型；

播放内容获取模块，用于获取所述视频类型对应的视频播放内容；

视频脚本生成模块，用于在所述视频播放内容中添加至少一个标签后，生成视频脚本；

虚拟形象视频生成模块，用于根据所述视频脚本控制所述虚拟形象执行所述标签对应的内容，以生成所述虚拟形象的视频。

结合第二方面，本发明在第二方面的第一种实施方式中，所述视频脚本生成模块包括：

位置标定单元，用于在所述视频播放内容中标定添加位置；

标签添加单元，用于将所述标签插入至所述添加位置，生成视频脚本，所述标签包括动作标签和表情标签。

结合第二方面，本发明在第二方面的第二种实施方式中，所述装置还包括：

配音选择模块，用于根据所述虚拟形象以及所述视频类型判断是否选择对应的虚拟形象配音；

语音合成模块，用于根据已选择的所述虚拟形象配音合成与所述视频播放内容对应的视频语音。

结合第二方面，本发明在第二方面的第三种实施方式中，所述装置还包括：

口型信息生成模块，用于根据所述视频播放内容生成对应的口型信息；

脚本解析模块，用于将所述视频脚本中的所述表情标签和所述动作标签进行解析，生成表情参数和动作参数；

口型信息融合模块，用于将所述口型信息和所述情参数和所述动作参数进行融合，生成动画文件；

动画生成模块，用于利用融合算法在素材库中调用与所述动画文件对应的动画素材，生成虚拟形象动画。

结合第二方面的第三种实施方式，本发明在第四种实施方式中，所述虚拟形象视频生成模块还用于根据所述虚拟形象动画和所述视频语音，生成所述虚拟形象的视频。

结合第二方面，本发明在所述第二方面的第五种实施方式中，所述视频类型选择模块包括：

虚拟形象获取单元，用于获取用户指定的所述虚拟形象；

虚拟形象审核单元，用于判断所述虚拟形象是否符合预设形象条件；

视频类型选择单元，用于选择对应的所述视频类型。

第三方面，本发明实施例提供了一种虚拟形象的视频制作终端，包括处理器和存储器，所述存储器用于存储支持虚拟形象的视频制作终端装置执行上述第一方面中虚拟形象的视频制作方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述终端还可以包括通信接口，用于所述终端与其他设备或通信网络通信。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于一种虚拟形象的视频制作装置所用的计算机软件指令，其包括用于执行上述第一方面中虚拟形象的视频制作方法为虚拟形象的视频制作装置所涉及的程序。

上述技术方案中的一个技术方案具有如下优点或有益效果：本方案中，可以通过指定预存的虚拟形象，或者指定上传用户自身喜欢的虚拟形象，来满足用户对虚拟形象的多样化需求。用户根据自身需求，进行视频类型的选择，并获取已选择的视频类型对应的视频播放内容。不同视频播放内容可让用户进行不同的视频脚本设计。在视频播放内容中添加至少一个标签，例如，表情，动作等标签后，生成视频脚本。根据视频脚本生成虚拟形象的视频。本方案提供的虚拟形象的视频制作方法，使得用户制作视频的成本较低，投入的时间较少。制作过程中不需要其他职能人员配合，单人完成度高。不仅可以对虚拟形象可以进行自主设计，还可以对视频播放内容进行设计，添加用户需要的表情以及动作等，提高了虚拟形象的视频制作的自主设计性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明实施例提供的一种虚拟形象的视频制作方法流程图；

图2为本发明实施例提供的一种虚拟形象的视频制作方法示意图；

图3为本发明实施例提供的一种视频脚本合成视频的方法示意图；

图4为本发明实施例提供的一种虚拟形象的视频制作装置示意图；

图5为本发明实施例提供的另一种虚拟形象的视频制作装置流程图；

图6为本发明实施例提供的另一种虚拟形象的视频制作装置流程图；

图7为本发明实施例提供的一种虚拟形象的视频制作终端示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

实施例一

在一种具体的实施方式中，如图1和图2所示，提供了一种虚拟形象的视频制作方法，包括：

步骤s100：根据用户指定的虚拟形象选择对应的视频类型。

首先，获取用户指定的虚拟形象。用户指定的虚拟形象可以包括多种。例如，预存的虚拟形象。预存的虚拟形象包括2d和3d两种不同类型的虚拟形象可供用户选择。再如，用户上传的虚拟形象。用户点击上传指定虚拟形象的按钮，支持上传包含虚拟形象的特定格式和分辨率的图片，图片中虚拟形象应该是上半身的正面形象。通过获取用户指定的预存虚拟形象，或者获取用户指定上传的虚拟形象，来满足用户对虚拟形象的多样化需求。

获取虚拟形象之后，判断虚拟形象是否符合预设形象条件。例如，上传的虚拟形象图片是否符合图片的格式要求，虚拟形象是否为二次元形象，虚拟形象是否完整，以及虚拟形象是否涉及黄暴等。若符合上述预设形象条件，则进行选择对应的视频类型。若不符合，则不允许上传。

步骤s200：获取视频类型对应的视频播放内容。

视频类型可包括歌曲类别、舞蹈类别以及说话类别等。不同的视频类型对应不同的视频播放内容。例如，歌曲类别对应的视频播放内容可以包括各种曲库歌曲以及音乐作品；舞蹈类别对应的视频播放内容可以包括各个舞蹈作品；说话类别对应的视频播放内容可以包括用户根据需要编辑的说话文本，或者用户选择预存的说话文本等。用户可以为不同视频播放内容设置不同的视频脚本。

步骤s300：在视频播放内容中添加至少一个标签后，生成视频脚本。

选择的视频播放内容可以是文本的形式，便于在视频播放内容中添加标签。标签可以包括表情标签、动作标签、背景图片以及各种道具等。根据用户的需求将各个标签添加至视频播放内容中，构成视频脚本。视频脚本的格式可以为文本格式。

例如，在选好某一歌曲后，可以在音乐播放的任意时刻暂停，将标签放在暂停位置。然后继续播放该歌曲，并在该歌曲中加入动作标签、表情标签和道具，以及更换背景等。此外，可以点击标签本进行取消已添加的标签。在歌曲中调整标签后，构成歌曲类的视频脚本。

再如，在选好某一舞蹈作品之后，由于舞蹈作品中本身包括了一些预设动作，这些预设动作也是以标签形式存在，方便用户进行修改。用户可以对预设动作的标签进行增删改，使得表情动作等内容更加丰富。还可以在舞蹈类的视频播放内容中增加更多的动作标签和表情标签等，调整后构成舞蹈类的视频脚本。

再如，在选好预存的说话文本或者编辑好说话文本之后(预存的说话文本和编辑的说话文本中的内容有一定的字数和时长限制)，在说话文本中加入表情标签和动作标签等。例如，在某一文字的前后加入对应的表情标签和动作标签。将各个标签在文字之间进行拖拽进行调整，构成说话类视频脚本。

步骤s400：根据视频脚本生成虚拟形象的视频。

在运行视频播放内容的同时，在表情素材库中调用表情标签对应的表情动画，在动作素材库中调用动作标签对应的动作动画。由于舞蹈类视频本身就有歌曲或音乐背景，因此，形成的动作动画和原有的歌曲或音乐背景相配合构成舞蹈类视频。唱歌类视频和说话类视频则需要结合对应的语音之后，构成视频。

还可以对虚拟形象的视频进行优化调整。除了添加与虚拟形象相关的标签，还可以加入一些视频编辑常用的功能，例如剪切、合并、播放速度调整、光照调整以及色彩调整等，进行视频最后的优化。通过制作平台完成虚拟形象的视频制作和优化后，可以在虚拟形象的视频网站上进行上传和分享，供用户关注、欣赏、收藏和评论。

本实施例提供的虚拟形象的视频制作方法，使得用户制作视频的成本较低，投入的时间较少。制作过程中不需要其他职能人员配合，单人完成度高。不仅可以对虚拟形象可以进行自主设计，还可以对视频播放内容进行设计，添加用户需要的表情以及动作等，提高了虚拟形象的视频制作的自主设计性。

在上述实施方式中，在视频播放内容中添加至少一个标签后，生成视频脚本，包括：

在视频播放内容中标定添加位置；

将标签插入至添加位置，生成视频脚本，标签包括动作标签和表情标签。

在视频播放内容中标定添加位置，例如，可以将“hi大家好”的前后位置指定为添加位置，用于添加表情标签和动作标签。调整前的视频播放内容可以是“hi大家好……”。选取“微笑”和“张大嘴”以及“挥右手”等标签后，将标签拖到“hi”之前或者之后，得到视频脚本“【b微笑+张大嘴】{b挥右手}hi【e微笑+张大嘴】大家好{e挥右手}”。其中，“微笑”和“张大嘴”是表情标签，“挥右手”是动作标签。用字母b和e分别标记开始和结束，b和e同时出现。当然，也可以用其它类型的标记，均在本实施例的保护范围内。

需要指出的是，如果同样的表情标签或动作标签前后出现两次会自动匹配，默认第一个表示该动作或者表情的开始，第二个表示该动作或者表情的结束。

当然，上述仅仅是生成视频脚本的一种具体实施方式，还可以包括其他类型的视频脚本生成方法，均在本实施例的保护范围内。

在上述实施例的基础上，生成视频脚本之后，还包括：

根据虚拟形象以及视频类型判断是否选择对应的虚拟形象配音；

若是，则根据已选择的虚拟形象配音合成与视频播放内容对应的视频语音。

视频脚本完成之后，可根据虚拟形象选定视频中发音人的声音，不同的声音类型配合不同的虚拟形象。例如，可以提供几十种不同的声音，声音覆盖男女老幼，声音类型包括甜美、稳重、高亢以及低沉等。在选择的过程中，用户可以通过试听样音的方式进行选择。选择虚拟形象配音的视频类型包括歌曲类视频和说话类视频，在选取了视频类型之后，由于不是每个配音都适合唱歌，所以，歌曲类视频对发音人声音的选取范围会适当缩小。而说话类视频则正常进行虚拟形象配音的选取。

需要指出的是，并不是所有的视频类型都会选择虚拟形象配音，例如，舞蹈类视频。

在上述实施方式的基础上，根据已选择的虚拟形象配音合成与视频播放内容的视频语音之后，还包括：

根据视频播放内容生成对应的口型信息；

将所述视频脚本中的所述表情标签和所述动作标签进行解析，生成表情参数和动作参数；

将口型信息、所述表情参数和所述动作参数进行融合，生成动画文件；

利用融合算法在素材库中调用与动画文件对应的动画素材，生成虚拟形象动画；

根据虚拟形象动画和视频语音，生成虚拟形象的视频。

对于如唱歌类视频和说话类视频，仅仅生成视频脚本无法直接得到虚拟形象的视频，还需要将人物的口型融合进去，使虚拟形象更加生动。因此，如图3所示，融合了口型信息得到虚拟形象的视频的具体过程包括：首先，对已经制作好的视频脚本进行解析，得到视频播放内容和动画标记语言。其中，将视频脚本中描述虚拟形象的身体四肢运动的动作标签以及虚拟形象的表情标签定义为动画标记语言。其次，对动画标记语言进行动作表情解析，得到动作参数和表情参数。其中，动作参数是作为控制虚拟形象执行动作的参数，表情参数是作为控制虚拟形象执行表情的参数。以及，根据视频播放内容生成对应的口型信息，并将口型信息与动作参数、表情参数进行融合，生成动画文件。然后，利用融合算法，在素材库中调用与动画文件对应的动画素材，生成虚拟形象动画。其中，动画素材包括动作和表情等。最后，根据虚拟形象动画和视频语音，生成虚拟形象的视频。

为了更好的将虚拟形象的动作和表情进行连贯，更准确的表现动作和表情，可以先将动作标签与虚拟形象的身体特征对应绑定，表情标签与虚拟形象的脸部特征对应绑定，根据视频脚本控制身体特征执行动作，控制脸部特征执行表情。

实施例二

在一种具体的实施方式中，如图4所示，提供了一种虚拟形象的视频制作装置，包括：

视频类型选择模块10，用于根据用户指定的虚拟形象选择对应的视频类型；

播放内容获取模块20，用于获取视频类型对应的视频播放内容；

视频脚本生成模块30，用于在视频播放内容中添加至少一个标签后，生成视频脚本；

虚拟形象视频生成模块40，用于根据视频脚本生成虚拟形象的视频。

在上述实施方式的基础上，视频脚本生成模块30包括：

位置标定单元，用于在视频播放内容中标定添加位置；

标签添加单元，用于将标签插入至添加位置，生成视频脚本，标签包括动作标签和表情标签。

在上述实施方式的基础上，如图5所示，虚拟形象的视频制作装置还包括：

配音选择模块50，用于根据虚拟形象以及视频类型判断是否选择对应的虚拟形象配音；

语音合成模块60，用于根据已选择的虚拟形象配音合成与视频播放内容对应的视频语音。

在上述实施方式的基础上，如图6所示，虚拟形象的视频制作装置还包括：

口型信息生成模块70，用于根据视频播放内容生成对应的口型信息；

脚本解析模块80，用于将视频脚本中的表情标签和动作标签进行解析，生成表情参数和动作参数；

口型信息融合模块90，用于将口型信息、表情参数和动作参数进行融合，生成动画文件；

动画生成模块100，用于利用融合算法在素材库中调用与动画文件对应的动画素材，生成虚拟形象动画。

在上述实施方式的基础上，视频类型选择模块10包括：

虚拟形象获取单元，用于获取用户指定的虚拟形象；

虚拟形象审核单元，用于判断虚拟形象是否符合预设形象条件；

视频类型选择单元，用于选择对应的视频类型。

实施例三

本发明实施例提供了一种虚拟形象的视频制作终端，如图7所示，包括：

存储器400和处理器500，存储器400内存储有可在处理器500上运行的计算机程序。处理器500执行所述计算机程序时实现上述实施例中的虚拟形象的视频制作方法。存储器400和处理器500的数量可以为一个或多个。

通信接口600，用于存储器400和处理器500与外部进行通信。

存储器400可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

如果存储器400、处理器500以及通信接口600独立实现，则存储器400、处理器500以及通信接口600可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(isa，industrystandardarchitecture)总线、外部设备互连(pci，peripheralcomponent)总线或扩展工业标准体系结构(eisa，extendedindustrystandardcomponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器400、处理器500以及通信接口600集成在一块芯片上，则存储器400、处理器500及通信接口600可以通过内部接口完成相互间的通信。

实施例四

一种计算机可读存储介质，其存储有计算机程序，所述程序被处理器执行时实现如实施例一包括的任一所述的虚拟形象的视频制作方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。