角色模型的制作方法和系统与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种角色模型的制作方法、系统、计算机设备及计算机可读存储介质。


背景技术：

2.现有技术中，live2d技术广泛用在游戏和动画视频制作，虚拟直播等场景。live2d模型的制作通常由画师通过绘图工具(如，photoshop等)绘制好已经分层好的图层，为了方便后续在live2d editor中的使用，每个图层可以单独移动，然后通过live2d editor工具对各个图层分别设计形变器，通过网孔的位置排布实现部件的移动，渲染出live2d模型立体的动态效果。
3.然而，由于live2d模型需要提前绘制好立绘图像，然后再导入live2d模型制作工具中进行形变制作，一般制作过程都是通过人工完成，有较高的制作成本，并且需要专业知识和技能，才能绘制出好看的live2d模型。


技术实现要素：

4.本技术实施例的目的是提供一种角色模型的制作方法、系统、计算机设备及计算机可读存储介质，用于解决以下问题：live2d模型的制作成本较高，且需要有一定的绘画基础和软件编辑能力，使用门槛较高。
5.本技术实施例的一个方面提供了一种角色模型的制作方法，包括：
6.获取用户输入的角色图像；
7.对所述角色图像进行分割处理得到多个图层文件；
8.查找与所述多个图层文件匹配的目标模型文件；其中，所述目标模型文件具有对应于各个躯体的形变参数；
9.依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。
10.可选地，每个所述图层文件分别对应于角色躯体的各个部分；所述对所述角色图像进行分割处理得到多个图层文件，包括：
11.按照角色躯体的不同部分对所述角色图像进行分割处理，以得到所述多个图层文件。
12.可选地，所述按照角色躯体的不同部分对所述角色图像进行分割处理以得到所述多个图层文件，包括：
13.通过预置的图像处理模型，按照角色躯体的不同部分对所述角色图像进行分割处理以得到多个图层文件，确定所述多个图层文件中的被遮挡区域，并对所述被遮挡区域进行像素补全。
14.可选地，在所述对所述角色图像进行分割处理得到多个图层文件的步骤之前，还包括：
15.获取样本图像，以及所述样本图像对应的图层文件；
16.根据所述样本图像和所述图层文件对初始图像处理模型进行训练，以得到所述预置的图像处理模型。
17.可选地，所述查找与所述多个图层文件匹配的目标模型文件，包括：
18.分别确定所述多个图层文件与多个预设模型文件的匹配度；
19.确定匹配度最高的模型文件为所述目标模型文件。
20.可选地，所述角色模型为live2d模型。
21.本技术实施例的一个方面又提供了一种角色模型的制作装置，包括：
22.角色图像获取模块，用于获取用户输入的角色图像；
23.图像处理模块，用于对所述角色图像进行分割处理得到多个图层文件；
24.模型匹配模块，用于查找与所述多个图层文件匹配的目标模型文件；其中，所述目标模型文件具有对应于各个躯体的形变参数；
25.形变处理模块，用于依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。
26.可选地，每个所述图层文件分别对应于角色躯体的各个部分；所述图像处理模块，包括：
27.图像处理子模块，用于按照角色躯体的不同部分对所述角色图像进行分割处理，以得到所述多个图层文件。
28.可选地，所述图像处理子模块，包括：
29.图像处理单元，用于通过预置的图像处理模型，按照角色躯体的不同部分对所述角色图像进行分割处理以得到多个图层文件，确定所述多个图层文件中的被遮挡区域，并对所述被遮挡区域进行像素补全。
30.可选地，所述装置还包括：
31.样本图像获取模块，用于获取样本图像，以及所述样本图像对应的图层文件；
32.模型训练模块，用于根据所述样本图像和所述图层文件对初始图像处理模型进行训练，以得到所述预置的图像处理模型。
33.可选地，所述模型匹配模块，包括：
34.匹配度确定模块，用于分别确定所述多个图层文件与多个预设模型文件的匹配度；
35.模型文件确定模块，用于确定匹配度最高的模型文件为所述目标模型文件。
36.可选地，所述角色模型为live2d模型。
37.本技术实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述的角色模型的制作方法的步骤。
38.本技术实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行所述计算机程序时实现如上述的角色模型的制作方法的步骤。
39.本技术实施例提供的角色模型的制作方法、系统、设备及计算机可读存储介质，通过获取用户输入的角色图像；对所述角色图像进行分割处理得到多个图层文件；查找与所
述多个图层文件匹配的目标模型；其中，所述目标模型文件具有对应于各个躯体的形变参数；依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。从而用户仅需要提供一张图像就可以实现live 2d模型的制作，极大降低live 2d模型使用成本和门槛，无需任何相关的技术知识和经验，即可得到用户所需要效果的角色模型，提高角色模型的制作效率。
附图说明
40.图1示意性示出了根据本技术实施例的角色模型的制作方法的应用环境图；
41.图2示意性示出了根据本技术实施例一的角色模型的制作方法的流程图；
42.图3示意性示出了根据本技术实施例一的角色模型的制作方法的框架示意图；
43.图4示意性示出了根据本技术实施例二的角色模型的制作装置的框图；及
44.图5示意性示出了根据本技术实施例三的适于实现角色模型的制作方法的计算机设备的硬件架构示意图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.需要说明的是，在本技术实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
47.现有技术中，live 2d模型的制作过程需要用户有一定的绘画基础和软件编辑能力，对于零经验用户需要一段时间的学习，制作成本和门槛较高。因此，需要在live 2d模型的制作过程中，寻找机器可代替用户完成的步骤，帮助用户简化制作过程，降低制作成本，实现快速创作，甚至无需制作成本，实现全自动化的live2d模型制作。
48.有鉴于此，本技术旨在提出一种角色模型的制作方法，通过自动化的方法，基于用户给定的一张角色图像(如，卡通人物图像)，基于预先训练好的神经网络模型自动生成live 2d模型，用户无需手动操作，完全自动生成。对于制作过程中规则化、程序化的步骤，可以用机器代替执行，方便使用者更便捷地制作和使用模型，极大降低live 2d模型的使用成本和门槛，无需任何相关知识和经验即可得到用户想要的live 2d模型，可以应用于制作视频和直播等应用中。
49.具体的，通过获取用户输入的角色图像；对所述角色图像进行分割处理得到多个图层文件；查找与所述多个图层文件匹配的目标模型；其中，所述目标模型文件具有对应于各个躯体的形变参数；依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。从而用户仅需要提供一张图像就可以实现live 2d模型的制作，
极大降低live 2d模型使用成本和门槛，无需任何相关的技术知识和经验，即可得到用户所需要效果的角色模型，提高角色模型的制作效率。
50.本技术提供了多个实施例进一步介绍角色模型的制作方案，具体参照下文。
51.在本技术的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本技术及区别每一步骤，因此不能理解为对本技术的限制。
52.以下为本技术的术语解释：
53.live 2d：《live 2d》是一种应用于电子游戏的绘图渲染技术，该技术通过一系列的连续图像和人物建模来生成一种类似三维模型的二维图像，对于以动画风格为主的冒险游戏来说非常有用，缺点是live 2d模型的人物无法大幅度转身，开发商正设法让该技术可显示360度图像。
54.图1示意性示出了根据本技术实施例的环境应用示意图。如图1所示：
55.计算机设备10000可以通过网络20000连接客户端30000。
56.计算机设备10000可以提供服务，如进行网络调试，或返回角色模型的制作结果数据给客户端30000等。
57.计算机设备10000可以位于诸如单个场所之类的数据中心，或者分布在不同的地理位置(例如，在多个场所)中。计算机设备10000可以经由一个或多个网络20000提供服务。网络20000包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或类似。网络20000可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，其组合等。网络20000可以包括无线链路，诸如蜂窝链路，卫星链路，wi-fi链路等。
58.计算机设备10000可以由一个或多个计算节点实现。一个或多个计算节点可以包括虚拟化的计算实例。虚拟化的计算实例可以包括虚拟机，例如计算机系统，操作系统，服务器等的仿真。计算节点可以基于虚拟映像和/或定义用于仿真的特定软件(例如，操作系统，专用应用程序，服务器)的其他数据，由计算节点加载虚拟机。随着对不同类型的处理服务的需求改变，可以在一个或多个计算节点上加载和/或终止不同的虚拟机。可以实现管理程序来管理同一计算节点上不同虚拟机的使用。
59.客户端30000可以被配置为访问计算机设备10000的内容和服务。客户端30000可以包括任何类型的电子设备，诸如移动设备、平板设备、膝上型计算机、工作站、虚拟现实设备，游戏设备、机顶盒、数字流媒体设备、车辆终端、智能电视、机顶盒等。
60.客户端30000可以将角色模型的制作结果数据等输出(例如，显示、渲染、呈现)给用户。
61.以下将通过多个实施例介绍网络调试方案。该方案可以通过计算机设备10000实施。
62.实施例一
63.图2示意性示出了根据本技术实施例一的角色模型的制作方法的流程图。包括步骤s200-s206，其中，
64.步骤s200，获取用户输入的角色图像；
65.其中，角色图像可以为动漫人物的图像，或游戏中的人物角色的图像等，本实施例对此不作具体限制。在本实施例中，角色图像可以由用户手动输入并上传，通过在客户端上
提供一用户界面，该用户界面上包含上传角色图像的入口，用于输入角色图像并上传。
66.步骤s202，对所述角色图像进行分割处理得到多个图层文件；
67.在本实施例中，可以通过一些算法模型对角色图像进行分割处理得到多个图层文件，其中，每一个图层文件可以对应于角色的各个躯体部分，例如，比如左眼睛，右眼睛，左眉毛，右眉毛，上嘴唇，下嘴唇，前发，后发，腿部等等，角色的各个躯体部分都具有对应的图层文件，以便于单独移动角色的各个躯体部分。
68.在具体实现中，由于分割后的图层文件中有些躯体部分会被其他部分遮挡，因此，还可以对被遮挡部分进行像素补全，得到像素完整的图层文件，以避免在移动过程发生像素缺失的问题。
69.步骤s204，查找与所述多个图层文件匹配的目标模型；其中，所述目标模型文件具有对应于各个躯体部分的形变参数；
70.在本实施例中，可以预先建立live 2d模型库，该live 2d模型库中每一个模型文件都具有对应于各个躯体部分的形变参数，从live 2d模型库中从查找与多个图层文件匹配的目标模型文件，从而可以直接将目标模型文件对应的形变参数，应用到图层文件中实现角色的各个躯体部分的移动。具体的，可以在live2d模型制作工具中部署live 2d模型库，将处理得到的多个图层文件导入到live2d模型制作工具中，从live 2d模型库从查找与多个图层文件匹配的目标模型文件。
71.步骤s206，依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。
72.在本实施例中，通过以目标模型文件中对应于各个躯体部分的形变参数作为形变器，应用到多个图层文件中，以驱动多个图层文件中的角色的各个躯体部分进行移动或旋转等形变操作，生成具有立体动态效果的角色模型。
73.在具体实现中，还可以通过对目标模型文件和图层文件中的躯体部分进行简单的位置匹配，将目标模型文件中已有的形变参数适配过来，以将该目标模型文件的形变器应用到目标的模型上，实现角色模型的各个躯体部分的移动。其中，所述角色模型可以为live2d模型，因此，用户仅需要提供一张角色图像，就能够完成live2d模型的制作。
74.以下提供几个可选地实施例，以进行优化所述角色模型的制作方法，具体如下：
75.在本技术的一种优选实施例中，每个所述图层文件分别对应于角色躯体的各个部分；所述步骤s202可以包括如下步骤：按照角色躯体的不同部分对所述角色图像进行分割处理，以得到所述多个图层文件。
76.通过按照角色的不同躯体部分对角色图像进行分割处理，得到按照躯体部分进行分层的图层文件，以便于单独移动角色的各个躯体部分，其中，图层文件可以为psd格式文件。
77.在本技术的一种优选实施例中，所述按照角色躯体的不同部分对所述角色图像进行分割处理以得到所述多个图层文件，可以包括如下步骤：通过预置的图像处理模型，按照角色躯体的不同部分对所述角色图像进行分割处理以得到多个图层文件，确定所述多个图层文件中的被遮挡区域，并对所述被遮挡区域进行像素补全。
78.其中，预置的图像处理模型为预先训练完成的卷积神经网络模型，该预置的图像处理模型可以包含两个功能：图像分割和像素补全功能。在本实施例中，通过将角色图像输
入至预置的图像处理模型进行分割和像素补全处理，并输出多个图层文件，其中，预置的图像处理模型能够按照角色躯体的不同部分对所述角色图像进行分割处理以得到多个图层文件，确定所述多个图层文件中的被遮挡区域，并对所述被遮挡区域进行像素补全。
79.在本技术的一种优选实施例中，在所述对所述角色图像进行分割处理得到多个图层文件的步骤之前，还包括：获取样本图像，以及所述样本图像对应的图层文件；根据所述样本图像和所述图层文件对初始图像处理模型进行训练，以得到所述预置的图像处理模型。
80.在本实施例中，通过获取样本图像以及该样本图像对应的图层文件，根据样本图像和图层文件对初始图像处理模型进行训练，以得到预置的图像处理模型。作为一种示例，可以收集1000套live 2d模型的图像以及对应的psd文件作为样本，训练cnn网络模型，该cnn网络包含两种功能，分割和脑补图像，分割功能将角色图像按各个躯体部分进行划分，比如左眉毛，右眉毛，上嘴唇，下嘴唇，前发，后发，腿部等，因为有些躯体部分会被其他部分遮挡，所以还有像素补全功能，像素补全功能用于保证得到的分层文件的完整性。在训练时可以使用l2 loss损失函数进行模型监督，直到模型收敛效果达到预期，则输出训练好的模型。
81.在本技术的一种优选实施例中，所述查找与所述多个图层文件匹配的目标模型文件，包括如下步骤：分别确定所述多个图层文件与多个预设模型文件的匹配度；确定匹配度最高的模型文件为所述目标模型文件。
82.在本实施例中，通过预先建立live 2d模型库，该live 2d模型库中每一个模型文件都具有分别对应于各个躯体部分的形变参数。通过分别确定所述图层文件与live 2d模型库中的每一个预设模型文件的匹配度，然后确定匹配度最高的模型文件为目标模型文件。
83.在本实施例中，通过获取用户输入的角色图像；对所述角色图像进行分割处理得到多个图层文件；查找与所述多个图层文件匹配的目标模型；其中，所述目标模型文件具有对应于各个躯体的形变参数；依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。从而用户仅需要提供一张图像就可以实现live 2d模型的制作，极大降低live 2d模型使用成本和门槛，无需任何相关的技术知识和经验，即可得到用户所需要效果的角色模型，提高角色模型的制作效率。
84.为了进一步地描述本实施例的角色模型的制作方案，如图3所示的一种框架示意图，包含图像转化为图层和为图层匹配形变器两个部分的处理过程，处理数据的过程如下：图像转化为图层部分通过接收用户上传的一张图像，通过分割模型和脑补模型(像素补全)进行处理得到psd图层文件。为图层匹配形变器部分通过live 2d数据库进行模型匹配得到live 2d模板文件，live 2d模板文件的形变器应用到psd图层文件中进行模板匹配引擎处理，得到最终所需要的live 2d模型文件。
85.实施例二
86.图4示意性示出了根据本技术实施例二的角色模型的制作装置的框图，该角色模型的制作装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本技术实施例。本技术实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本技术实施例中
各程序模块的功能。
87.如图4所示，该角色模型的制作装置400可以包括如下模块：
88.角色图像获取模块410，用于获取用户输入的角色图像；
89.图像处理模块420，用于对所述角色图像进行分割处理得到多个图层文件；
90.模型匹配模块430，用于查找与所述多个图层文件匹配的目标模型文件；其中，所述目标模型文件具有对应于各个躯体的形变参数；
91.形变处理模块440，用于依据所述形变参数对所述多个图层文件进行形变处理，以生成具有立体动态效果的角色模型。
92.在本技术的一种优选实施例中，每个所述图层文件分别对应于角色躯体的各个部分；所述图像处理模块420，包括：
93.图像处理子模块，用于按照角色躯体的不同部分对所述角色图像进行分割处理，以得到所述多个图层文件。
94.在本技术的一种优选实施例中，所述图像处理子模块，包括：
95.图像处理单元，用于通过预置的图像处理模型，按照角色躯体的不同部分对所述角色图像进行分割处理以得到多个图层文件，确定所述多个图层文件中的被遮挡区域，并对所述被遮挡区域进行像素补全。
96.在本技术的一种优选实施例中，所述装置还包括：
97.样本图像获取模块，用于获取样本图像，以及所述样本图像对应的图层文件；
98.模型训练模块，用于根据所述样本图像和所述图层文件对初始图像处理模型进行训练，以得到所述预置的图像处理模型。
99.在本技术的一种优选实施例中，所述模型匹配模块430，包括：
100.匹配度确定模块，用于分别确定所述多个图层文件与多个预设模型文件的匹配度；
101.模型文件确定模块，用于确定匹配度最高的模型文件为所述目标模型文件。
102.在本技术的一种优选实施例中，所述角色模型为live2d模型。
103.实施例三
104.图5示意性示出了根据本技术实施例三的适于实现角色模型的制作方法的计算机设备10000的硬件架构示意图。本实施例中，计算机设备10000是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括fen独立的服务器，或者多个服务器所组成的服务器集群)等。如图5所示，计算机设备10000至少包括但不限于：可通过系统总线相互通信链接存储器10010、处理器10020、网络接口10030。其中：
105.存储器10010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器10010可以是计算机设备10000的内部存储模块，例如该计算机设备10000的硬盘或内存。在另一些实施例中，存储器10010也可以是计算机设备10000的外部存储设备，例如该计算机设备10000上配备的插接
式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存卡(flash card)等。当然，存储器10010还可以既包括计算机设备10000的内部存储模块也包括其外部存储设备。本实施例中，存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件，例如角色模型的制作方法的程序代码等。此外，存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。
106.处理器10020在一些实施例中可以是中央处理器(central processing unit，简称为cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器10020通常用于控制计算机设备10000的总体操作，例如执行与计算机设备10000进行数据交互或者通信相关的控制和处理等。本实施例中，处理器10020用于运行存储器10010中存储的程序代码或者处理数据。
107.网络接口10030可包括无线网络接口或有线网络接口，该网络接口10030通常用于在计算机设备10000与其他计算机设备之间建立通信链接。例如，网络接口10030用于通过网络将计算机设备10000与外部终端相连，在计算机设备10000与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(global system of mobile communication，简称为gsm)、宽带码分多址(wideband code division multiple access，简称为wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。
108.需要指出的是，图5仅示出了具有部件10010-10030的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
109.在本实施例中，存储于存储器10010中的角色模型的制作方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器10020)所执行，以完成本技术实施例。
110.实施例四
111.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的角色模型的制作方法的步骤。
112.本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存卡(flash card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中角色模型的制作方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
113.显然，本领域的技术人员应该明白，上述的本技术实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它
们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术实施例不限制于任何特定的硬件和软件结合。
114.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。