一种虚拟化身的生成方法和设备与流程

本发明涉及图像处理技术，特别是涉及一种虚拟化身的生成方法和设备。

背景技术：

随着手机等终端设备中虚拟化身(虚拟人物，avatar)等模型的日益流行，基于人脸表情和动作的模型生成方法占据了主流。虚拟化身的生成，大都通过自拍或者选择自拍照的方式进行。

现有的虚拟化身的生成方案，通常是基于用户的自拍照，直接进行模型匹配，即：针对脸部特征，从模型中加载相应的脸部特征纹理，组合生成虚拟化身。

发明人在实现本发明的过程中发现：上述方案在很多情况下会产生三维虚拟化身头像的错误。特别是用户佩戴眼镜、耳环等装饰物的情况下进行拍照后，基于相应照片生成的虚拟化身存在较多错误，与用户相似度较低，使得虚拟化身准确地反映用户的外形特点，影响虚拟化身的可辨识度。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种虚拟化身的生成方法和设备，可以提高虚拟化身与真实图像的相似度。

为了达到上述目的，本发明提出的技术方案为：

一种用户虚拟化身的生成方法，包括：

检测图片中待虚拟化身的目标对象是否佩戴了预设的遮挡对象；

当所述目标对象佩戴了至少一种所述遮挡对象时，利用预先训练的神经网络模型，将所检测到的遮挡对象，从所述目标对象的图像中去除，并根据所得到的没有所述遮挡对象的图像，生成相应的虚拟化身；根据被去除的每个遮挡对象的预设外部特征，从预设的遮挡对象3d图像库中，选择出特征相匹配的遮挡对象图像加载至所述虚拟化身的相应位置上，得到所述目标对象的虚拟化身；

当所述目标对象没有佩戴所述遮挡对象时，直接根据该目标对象的图像，生成相应的虚拟化身。

较佳地，当所述目标对象为人像时，所述遮挡对象包括眼镜和/或对脸部特征有遮挡的物品或头发。

较佳地，所述神经网络模型为卷积神经网络模型。

较佳地，所述外部特征包括形状和/或颜色。

一种用户虚拟化身的生成设备，包括：处理器，所述处理器用于：

检测图片中待虚拟化身的目标对象是否佩戴了预设的遮挡对象；

当所述目标对象佩戴了至少一种所述遮挡对象时，利用预先训练的神经网络模型，将所检测到的遮挡对象，从所述目标对象的图像中去除，并根据所得到的没有所述遮挡对象的图像，生成相应的虚拟化身；根据被去除的每个遮挡对象的预设外部特征，从预设的遮挡对象3d图像库中，选择出特征相匹配的遮挡对象图像加载至所述虚拟化身的相应位置上，得到所述目标对象的虚拟化身；

当所述目标对象没有佩戴所述遮挡对象时，直接根据该目标对象的图像，生成相应的虚拟化身。

较佳地，当所述目标对象为人像时，所述遮挡对象包括眼镜和/或对脸部特征有遮挡的物品或头发。

较佳地，所述神经网络模型为卷积神经网络模型。

较佳地，所述外部特征包括形状和/或颜色。

一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述的用户虚拟化身的生成方法的步骤。

一种电子设备，包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。

综上所述，本发明提出的一种虚拟化身的生成方法和设备，根据目标对象的物品佩戴情况，在佩戴有遮挡物时，利用ai技术将其从图像中清理消除，以将图像还原成生成虚拟化身的理想输入状态，在虚拟化身生成完成后再将所清除的遮挡物的特征，匹配相应的遮挡物图像加载至虚拟化身，得到最终的目标对象虚拟化身。如此，可以获得比较好的虚拟化身3d显示效果，有效避免现有方案中在生成虚拟化身时由于遮挡物的影响而存在的错误，进而可以有效提高虚拟化身与真实图像的相似度。

附图说明

图1为本发明实施例的方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

图1为本发明实施例的方法流程示意图，如图1所示，该实施例实现的用户虚拟化身的生成方法主要包括：

步骤101、检测图片中待虚拟化身的目标对象是否佩戴了预设的遮挡对象。

本步骤中，需要检测图片中目标对象是否佩戴有预设的遮挡对象，以便在有遮挡对象时，先进行遮挡对象的处理，再生成虚拟化身，以提高虚拟化身与真实对象的相似度。

这里的图片具体可以是用户的自拍照也可以是用户指定的其他图片，在此不限。

较佳地，当所述目标对象为人像时，所述遮挡对象可以包括眼镜和/或对脸部特征有遮挡的物品或头发。例如，可以是眼镜或类似眼镜的装饰物，墨镜等，也可以是耳环或对脸部特征有遮挡的饰品等，不限于此。

步骤102、当所述目标对象佩戴了至少一种所述遮挡对象时，利用预先训练的神经网络模型，将所检测到的遮挡对象，从所述目标对象的图像中去除，并根据所得到的没有所述遮挡对象的图像，生成相应的虚拟化身；根据被去除的每个遮挡对象的预设外部特征，从预设的遮挡对象3d图像库中，选择出特征相匹配的遮挡对象图像，加载至所述虚拟化身的相应位置上，得到所述目标对象的虚拟化身。

本步骤中，需要利用预先训练的神经网络模型，将遮挡对象从目标对象的图像中逐一清除，将佩戴有遮挡对象的图像还原为没有遮挡对象的图像，然后，再基于没有遮挡对象的图像进行相应虚拟化身的生成，以提高虚拟化身与真实图像的相似度，避免遮挡对象对虚拟化身准确度的影响。

在实际应用中，所述目标对象可由本领域技术人员根据实际的虚化化身需要，确定相应的目标对象，例如可以是人像，也可以其他生物的图像。

假设所述目标对象为人像，所述神经网络模型的具体训练方法可以包括如下几个步骤：

x1、生成训练数据集(下面以遮挡对象为眼镜为例进行说明，其他遮挡物类似)：

选取不同肤色，不同性别，不同环境的人，未佩戴眼镜拍摄一组；佩戴眼镜再拍摄一组(也可以使用另外一种方法：在未佩戴眼镜的图片上，加载大小合适的眼镜图片，作为佩戴眼镜的图片组)。保存的两组图片中，用于深度学习输入的是佩戴眼镜的一组，作为正确的标记数据(ground-truth)的是未佩戴眼镜的一组。可以从两组图片中随机挑选80％作为训练集，剩下的20％作为测试集。

x2、神经网络模型的训练：

可以使用contextencoders的编解码网络模型，对输入佩戴眼镜的图片进行修复重构。在训练的过程中，首先将输入数据缩放到预设的标准大小(如，128*128)，然后通过多层卷积神经网络构成的编解码器网络，生成最后的重构图片数据。

具体的训练过程包括下述几个阶段：

编码阶段：将原始输入图像通过一个多层卷积神经网络(如5层卷积神经网络)构成的编码器网络编码，得到一定维数的编码特征(如当采用5层卷积神经网络构的编码器网络时，会得到4000维编码)。

解码阶段：将编码阶段得到的编码结果，输入至基于深度卷积生成式对抗网络(dcgan)结构的解码器，生成重构的修复图像。

损失值的计算和模型参数的调整：根据损失函数计算生成的修复图像对应的误差值，基于最小化该误差值对神经网络模型的参数进行调整。

这里，对于上述训练使用的损失函数：除了常用的mse，即真实图像和生成的修复图像的像素间平方误差，再加入一个对抗损失的项，它来自于生成对抗网络中鉴别器将重构的修复图像判断为假和真实值之间的误差，如此，会得到一个更好的重构效果。

较佳地，所述神经网络模型包含但不限于卷积神经网络模型和对抗网络模型。

较佳地，本步骤中的所述外部特征可由本领域技术人员根据实际需要设置，可以包括形状和/或颜色等特征，但不限于此，例如还可以是图案等。

步骤102中虚拟化身的具体生成可采用现有方法实现，在此不再赘述。

具体地，步骤102中可以通过三维图像技术将匹配的遮挡对象图像佩戴至所述虚拟化身上，具体方法为本领域技术人员所掌握，在此不再赘述。

步骤103、当所述目标对象没有佩戴所述遮挡对象时，直接根据该目标对象的图像，生成相应的虚拟化身。

本步骤的具体可采用现有方法实现，在此不再赘述。

通过上述虚拟化身的生成方法实施例可知，本发明实施例中，在生成虚拟化身之前通过对目标对象的物品佩戴情况进行检测，针对佩戴遮挡物与否，采用不同的生成方式，在佩戴有遮挡物时，利用ai技术将其从图像中清理消除，以将图像还原成生成虚拟化身的理想输入状态，然后，再基于没有遮挡物的图像生成相应的虚拟化身，最后，再将所清除的遮挡物的特征，匹配相应的遮挡物图像，并加载至该虚拟化身，得到最终的目标对象虚拟化身。如此，在目标对象佩戴有遮挡物时，通过基于经过还原处理后的没有遮挡物的图像，来生成相应的虚拟化身，可以保障虚拟化身的3d显示效果，有效避免现有方案中在生成虚拟化身时由于遮挡物的影响而存在的错误，提高虚拟化身与真实图像的相似度。

与上述方法实施例对应的一种用户虚拟化身的生成设备结构示意图，该设备包括：处理器，所述处理器用于：

检测图片中待虚拟化身的目标对象是否佩戴了预设的遮挡对象；

当所述目标对象佩戴了至少一种所述遮挡对象时，利用预先训练的神经网络模型，将所检测到的遮挡对象，从所述目标对象的图像中去除，并根据所得到的没有所述遮挡对象的图像，生成相应的虚拟化身；根据被去除的每个遮挡对象的预设外部特征，从预设的遮挡对象3d图像库中，选择出特征相匹配的遮挡对象图像加载至所述虚拟化身上，得到所述目标对象的虚拟化身；

当所述目标对象没有佩戴所述遮挡对象时，直接根据该目标对象的图像，生成相应的虚拟化身。

较佳地，当所述目标对象为人像时，所述遮挡对象包括眼镜和/或对脸部特征有遮挡的物品或头发。

较佳地，所述神经网络模型包含但不限于卷积神经网络模型和对抗网络模型。

较佳地，所述外部特征包括形状和/或颜色。

一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述的用户虚拟化身的生成方法的步骤。

一种电子设备，包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。