动画形象的生成方法、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种动画形象的生成方法、设备及存储介质。


背景技术：

2.目前，在一些基于屏幕的互动游戏场景中，可在屏幕上呈现用于代替目标对象的卡通形象，通常要先对要替换的目标的形象进行标注，然后对目标的形象和存储的卡通形象进行采样得到替换信息，根据替换信息使用卡通形象替换目标对象的形象，得到目标卡通形象，从而可在屏幕上呈现与目标对象对应的卡通形象。但该方式需事先测量以及标注，整个处理过程较为复杂。


技术实现要素：

3.有鉴于此，本发明的目的在于提出一种动画形象的生成方法、设备及存储介质。
4.根据本发明的一个方面，提供了一种动画形象的生成方法，包括：获取包含有至少一个目标对象的图像；获取所述目标对象的在所述图像中的关键点的位置信息；根据所述关键点的位置信息确定关键点之间连线的目标角度信息；根据所述目标角度信息对预设动画形象进行调整，以使调整后的所述动画形象与所述目标对象在所述图像中的体态一致，得到与所述目标对象对应的动画形象。
5.可选的，获取所述目标对象的在所述图像中的关键点的位置信息，包括：根据所述图像预测所述目标对象在所述图像中的候选框的信息；将所述候选框的信息输入单人关键点识别器，得到所述关键点的位置信息。
6.可选的，根据所述图像预测所述目标对象在所述图像中的候选框的信息，包括：将所述图像输入卷积神经网络；获取所述卷积神经网络的最后一层卷积层生成的所述图像的第一特征图；获取所述卷积神经网络中最后一层卷积层之前的卷积层生成的所述图像的第二特征图；将所述第一特征图以及所述第二特征图输入到区域生成网络中，得到所述区域生成网络输出的所述候选框的信息。
7.可选的，所述方法还包括：在根据所述目标角度信息对预设动画形象进行调整之后，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息；根据所述尺寸信息调整所述预设动画形象的尺寸，以使调整后的所述预设动画形象的尺寸与所述图像中的所述目标对象的尺寸一致。
8.可选的，所述方法还包括：在根据所述尺寸信息调整所述预设动画形象的尺寸之后，使用调整后的所述动画形象对所述图像中的所述目标对象进行覆盖，得到与所述目标对象对应的动画形象。
9.可选的，所述关键点包括人体的颈部以及两个脚踝，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息，包括：根据所述目标对象颈部位置信息以及两个脚踝的位置信息确定所述图像中的所述目标对象的尺寸信息。
10.可选的，根据所述目标对象颈部位置信息以及两个脚踝位置信息确定所述图像中的所述目标对象的尺寸信息，包括：确定所述图像中的所述目标对象的两个脚踝之间的中点的位置；计算所述中点的位置与所述颈部位置之间的距离，将所述距离作为所述目标对象的尺寸信息。
11.可选的，所述方法还包括：在根据所述关键点的位置信息确定关键点之间连线的目标角度信息之后，对于各所述关键点与其他关键点之间的连线，存储该连线与预先建立的坐标系中的任意坐标轴之间的角度信息。
12.可选的，所述方法还包括：在获取包含有至少一个目标对象的图像之前，获取所述预设动画形象的关键点的位置信息；根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的关键点之间连线的角度信息。
13.根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一种动画形象的生成方法。
14.根据本发明的又一个方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一种动画形象的生成方法。
15.从上面所述可以看出，本说明书一个或多个实施例的动画形象的生成方法，通过获取目标对象在图像中的关键点的位置信息，可获知目标对象的关键点之间连线的目标角度信息，根据该目标角度信息对预设动画形象中的各关键点之间的连线的角度进行调整，可以使得预设动画形象与目标对象的体态一致，从而可使用调整后的预设动画形象替换目标对象在图像中的形象，实现了使用动画形象替换目标对象的形象的目的，从而可以根据目标对象的体态更加形象生动地呈现与其对应的动画形象。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是根据本公开一示例性实施例示出的一种动画形象的生成方法的示意图；
18.图2是根据本公开一示例性实施例示出的一种动画形象的生成方法的流程图；
19.图3是根据本公开一示例性实施例示出的人体的关键点的示意图；
20.图4是根据本公开一示例性实施例示出的在图像中呈现候选框的示意图；
21.图5是根据本公开一示例性实施例示出的通过r-cnn检测目标对象在图像中的候选框的示意图；
22.图6是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
24.需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
25.本说明书的一个或多个实施例提供了一种动画形象的生成方法，用以实现使用预设动画形象对图像中至少一个目标对象的形象进行替换，以图1为例，对该方法的实现过程进行示例性说明，此处，目标对象以人体为例，如图1所示，用户通过图像采集装置，采集包含有至少一个目标对象的图像，其中，该至少一个目标对象可包括该用户，还可包括除该用户以外的其他目标对象。对采集到的图像进行人体关键点识别，得到人体关键点的位置信息，根据人体关键点的位置信息进行人体尺寸计算，得到人体尺寸信息，以及根据关键点的位置信息计算各关键点连线的角度信息，根据计算得到尺寸信息以及角度信息对预设动画形象的尺寸以及各关键点连线之间的角度进行调整，使用调整后的预设动画形象(其中，预设动画形象可包括，动画形象数据、动画形象的关键点的位置信息)替换图像中的人体形象。
26.图2是根据本公开一示例性实施例示出的一种动画形象的生成方法的流程图，如图2所示，该方法包括：
27.步骤201：获取包含有至少一个目标对象的图像；
28.例如，可通过图像采集装置，例如摄像头拍摄包含有至少一个目标对象的画面，得到上述图像。
29.步骤202：获取所述目标对象的在所述图像中的关键点的位置信息；
30.所述位置信息可以是关键点在坐标系中的坐标。
31.例如，可通过sppe(single-person pose estimator，单人关键点识别器)对所述图像中的所有目标对象进行关键点识别，得到所有目标对象的关键点的位置信息，其中，该关键点的位置信息例如是关键点的坐标。所述关键点的坐标为包含头顶、五官、颈部、四肢主要关节部位的点的坐标。
32.步骤203：根据所述关键点的位置信息确定关键点之间连线的目标角度信息；
33.其中，上例中，在关键点的位置信息为关键的坐标的基础上，关键点之间连线的目标角度信息可以是两个关键点之间的连线与图像对应的坐标系中的任一坐标轴之间的角度。
34.步骤204：根据所述目标角度信息对预设动画形象进行调整，以使调整后的所述动画形象与所述目标对象在所述图像中的体态一致，得到与所述目标对象对应的动画形象。
35.可选的，上述预设动画形象例如已经预先进行了关键点识别，可根据上述目标角度信息调整预设动画形象的各关键点连线后的角度，从而可使得调整后的动画形象与所述目标对象在所述图像中的体态一致。
36.例如，可通过电子设备的显示屏呈现所述动画形象，以及，在使用所述动画形象替
换所述图像中的目标对象时，可在所述图像中呈现所述动画形象。
37.本说明书一个或多个实施例的动画形象的生成方法，通过获取目标对象在图像中的关键点的位置信息，可获知目标对象的关键点之间连线的目标角度信息，根据该目标角度信息对预设动画形象中的各关键点之间的连线的角度进行调整，可以使得预设动画形象与目标对象的体态一致，从而可使用调整后的预设动画形象替换目标对象在图像中的形象，实现了使用动画形象替换目标对象的形象的目的，从而可以根据目标对象的体态更加形象生动地呈现与其对应的动画形象。
38.在一种可实现方式中，上述动画形象的生成方法还可包括：在根据所述目标角度信息对预设动画形象进行调整之后，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息；其中，关键点的位置信息例如可以是关键点的在所述图像中的坐标，根据各关键点的坐标可以确定出图像中目标对象的尺寸信息。
39.根据所述尺寸信息调整所述预设动画形象的尺寸，以使调整后的所述预设动画形象的尺寸与所述图像中的所述目标对象的尺寸一致。在将预设动画形象的尺寸调整至与目标对象的尺寸一致之后，可使用调整后的动画形象替换所述图像中的目标对象的，从而可在所述图像中显示与目标对象体态以及尺寸一致的动画形象。
40.在一种可实现方式中，上述动画形象的生成方法还可包括：在根据所述尺寸信息调整所述预设动画形象的尺寸之后，使用调整后的所述动画形象对所述图像中的所述目标对象进行覆盖，得到与所述目标对象对应的动画形象。例如，在得到调整后的动画形象后，可将调整后的动画形象的各关键点与目标对象在所述图像中的各关键点的位置对应，对所述图像中的目标对象的形象进行覆盖，覆盖完成后，即实现了使用动画形象替换所述图像中的目标对象的目的。
41.在一种可实现方式中，所述目标对象包括人体，所述关键点包括人体的颈部以及两个脚踝，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息，可包括：根据所述目标对象颈部位置信息以及两个脚踝位置信息确定所述图像中的所述目标对象的尺寸信息。例如，人体的关键点的位置信息被标号并存储，如图3所示，编号0-17依次对应了人体个各关键点。基于此存储的人体各关键点的位置信息，人体的尺寸信息可通过人体的颈部与脚部之间的距离进行计算，计算公式如下：
[0042][0043]
其中，(x1，y2)是人体两只脚踝的坐标值的平均值(即两只脚踝的坐标的中点，如图3中编号15以及编号16标示出的两个关键点之间的距离)，(x2，y2)是人体颈部的坐标值，即如图3中编号17对应的坐标值，假设，获取到的图像中的人体的通过上式计算得到的尺寸为l，则预设的卡通形象的尺寸为l’，预设的卡通形象应该缩放的尺度是k，其计算公式为：
[0044]
k＝l’/l；
[0045]
将预设卡通形象的尺寸按k缩放可得到最终的图像大小。
[0046]
在一种可实现方式中，根据所述目标对象颈部位置信息以及两个脚踝的位置信息确定所述图像中的所述目标对象的尺寸信息，包括：
[0047]
确定所述图像中所述目标对象的两个脚踝的中点的位置；例如，首先确定目标对象的两个脚踝在所述图像中的两个位置坐标，计算该两个位置坐标之间的中点的坐标，计
算得到的该坐标即用于表示目标对象的两个脚踝的中点的位置；
[0048]
计算所述中点的位置与所述颈部位置之间的距离，将所述距离作为所述目标对象的尺寸信息。其中，颈部位置例如可以通过所述图像中目标对象的颈部的位置坐标来表示，故，通过所述中点的位置坐标以及所述颈部的位置坐标可计算得出二者之间的距离，从而得到目标对象的尺寸信息。
[0049]
在一种可实现方式中，获取所述目标对象的在所述图像中的关键点的位置信息，可包括：
[0050]
根据所述图像预测所述目标对象在所述图像中的候选框的信息；
[0051]
例如，可将所述图像输入faster r-cnn网络，通过faster r-cnn预测所述图像中的目标对象的候选框。
[0052]
将所述候选框的信息输入sppe，得到所述关键点的位置信息。如图4所示，在图像40中，矩形框41是目标对象在图中实际所处的位置，矩形框42是利用faster r-cnn检测算法预测的目标对象在图中的位置，再将矩形框42输入到sppe网络中，即可得到目标对象的关键点的位置信息等。sppe网络是自上而下的识别结构，即先在图中检测出人体，再识别每个人体的关键点，因此在返回识别的关键点时可以返回目标对象在图像中的位置信息，以及关键点连线之间的角度信息。从而可将已经识别出关键点的预设动画形象利用得到的目标角度信息重置后，按照目标对象尺寸的大小缩放后置于图像中的相应位置上，以实现对目标对象形象的替换。通过sppe对目标对象进行关键点识别，即使在图像中包含有多个目标对象的场景下依旧可以保持较快的动画形象替换。
[0053]
在一种可实现方式中，根据所述图像预测所述目标对象在所述图像中的候选框的信息，可包括：
[0054]
将所述图像输入卷积神经网络；例如，该卷积神经网络可以是r-cnn网络中的r-cnn_base网络，r-cnn网络可被划分为r-cnn_base网络以及r-cnn_top网络，其中，r-cnn_base网络是r-cnn网络中用于提取图像特征的部分，包含提取特征的基础网络，可以是vgg16，或者resnet(全名为residual network残差网络)，r-cnn_top是r-cnn网络中用于进行特征处理的部分，如softmax等非纯cnn操作，用于得到置信度和目标框的部分，其有修整之前合并特征图作用，该部分特征图输入的维度与roi池化层输出的维度一致，该部分特征图输出维度与最后分类和目标框定位的所需输入维度一致。
[0055]
获取所述卷积神经网络的最后一层卷积层生成的所述图像的第一特征图；
[0056]
获取所述卷积神经网络中最后一层卷积层之前的卷积层生成的所述图像的第二特征图；例如，r-cnn_base网络中最后一层卷积层之前的卷积层可以是r-cnn_base网络中最后一层卷积层之前的所有卷积层；
[0057]
将所述第一特征图以及所述第二特征图输入到rpn(region proposal network，区域生成网络)中，得到所述区域生成网络输出的所述候选框的信息。如图5所示，将图像输入r-cnn_base网络之后，得到上述第一特征图以及第二特征图，将第一特征图以及第二特征图分别输入rpn网络，rpn网络筛选出最有可能存在目标的图像区域，即rois(region of interests，感兴趣区域)，也即上述候选框的信息，该图像区域作为r-cnn_top网络的输入，r-cnn_top网络根据该候选框的信息确定感兴趣区域中目标对象的精确坐标和类别。在基于r-cnn_base检测候选框时，不仅将上述第一特征图输入rpn网络，还将上述第二特征图也
输入rpn网络，故图像上的目标对象将会具有更多不同大小的样本作为目标候选框，通过对目标对象在相近位置的置信度比较，可以筛选得到置信度高，定位更加准确的检测结果。
[0058]
在一种可实现方式中，上述动画形象的生成方法还可包括：在根据所述关键点的位置信息确定关键点之间连线的目标角度信息之后，对于各所述关键点与其他关键点之间的连线，存储该连线与预先建立的坐标系中的任意坐标轴之间的角度信息。其中，预先建立的坐标系例如以上述图像的长度方向为x轴，宽度方向为y轴，或者，以上述图像的长度方向为y轴，宽度方向为x轴，建立平面直角坐标系，存储的角度信息例如可以是上述连线与x轴之间的角度信息，还可以是上述连线与y轴之间的角度信息。
[0059]
在一种可实现方式中，所述关键点可为人体的关节所处的位置，其中，人体的关节包括但不限于图3中编号5至编号17所标识出的五官之外的关节或四肢关节，需要说明的是，在另一种可实现方式中，所述关键点还可进一步包括人体的五官，例如，如图3中编号1至编号5所标识出的五官。
[0060]
在一种可实现方式中，所述图像可包括连续的视频图像中的至少一帧；呈现所述动画形象，可包括：在所述视频图像中呈现所述动画形象。基于此，在对一段视频中的所有图像进行了如上述步骤201至步骤204的处理之后，即可将该段视频中存在的所有目标对象的形象替换为相应的动画形象，以及，可根据目标对象的动态，在视频中相应呈现出与目标对象动态一致的动画形象，即可实现将视频中动态的目标形象使用动画形象来呈现的目的，可为用户提供更加生动地视觉体验。
[0061]
在一种可实现方式中，上述动画形象的生成方法还可包括：在获取包含有至少一个目标对象的图像之前，获取所述预设动画形象的关键点的位置信息；
[0062]
根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的关键点之间连线的角度信息。其中，获取预设动画形象的关键点的位置信息的具体方式与获取上述目标对象的关键点的位置信息的方式相同，可参考上述目标对象的关键点的位置信息的获取方式，此处不再赘述。
[0063]
在一种可实现方式中，根据所述目标角度信息对预设动画形象进行调整可包括：
[0064]
根据所述目标角度信息对所述预设动画形象中的各关键点之间连线的角度进行调整，对预设动画形象中的各关键点之间连线的角度的调整目标是，将预设动画形象中的各关键点之间连线的角度调整至与所述目标角度信息中的对应的目标角度一致，例如，目标对象的腕关节与肘关节对应的两个关键点之间的连线的角度为90度，则将预设动画形象的腕关节与肘关节对应的两个关键点之间的连线角度调整为90度，从而使得预设动画形象的体态与目标对象的体态一致。
[0065]
在一种可实现方式中，上述动画形象的生成方法还可包括：在获取所述预设动画形象的关键点的位置信息之后，根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的尺寸信息。基于此，可在根据目标对象的尺寸对预设动画形象进行调整之前，预存预设动画的尺寸信息，这样，在需要对预设动画形象的尺寸进行调整时，可快速地进行调整，可提高调整效率。
[0066]
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一
个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0067]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0068]
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0069]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0070]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0071]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0072]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0073]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0074]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0075]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0076]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非
旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0077]
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
[0078]
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0079]
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。