卡通化换脸方法、装置、设备及存储介质与流程

本申请属于图像处理，具体涉及一种卡通化换脸方法、装置、设备及存储介质。

背景技术：

1、自从deepfake换脸技术出现以后，人们一方面惊叹于其换脸的效果之好，另一方面又不得不担心侵犯隐私等犯罪问题的发生，例如，怕自己的脸部图像会被用来制作违法的内容，因此，直接针对真人进行换脸目前存在很多禁忌。针对真人换脸中存在的隐私问题，比较直接有效的解决方式就是采用卡通化的画像来代替真人。

2、目前，有些现有技术可以用来实现头像卡通化，通常对于正脸以及光照较好的输入，可以获得较好的卡通结果。但是，针对视频场景，如果直接通过逐帧卡通化，得到的结果可能会帧与帧之间过渡不平滑、很生硬。针对视频场景中换脸的操作，若仅要求流畅、平滑和自然的话，目前已有的主流换脸方案都可以直接使用，均可以达到很流畅、平滑的效果。但由于主流的技术所用的训练集都是真人脸部图像，导致用卡通人物来换脸会使得换脸后的人物风格偏向真人且输出结果较差，不符合用户对于隐私的保护和输出质量的要求。

技术实现思路

1、本申请提出卡通化换脸方法、装置、设备及存储介质，可以生成各种卡通头像，并能够将该卡通头像换到其他角色的脸上，具有更强的实用性和灵活性。

2、本申请第一方面实施例提出了卡通化换脸方法，包括：

3、获取待处理的人脸图像和待换脸的人物图像；所述待换脸的人物图像包括待换脸人物的人脸区域和待换脸人物的非人脸区域；

4、通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸。

5、在本申请的一些实施例中，所述预先训练的卡通化换脸模型包括卡通化网络和预先训练的换脸网络；所述通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸，包括：

6、通过所述卡通化网络将所述待处理的人脸图像进行卡通化处理，得到卡通化人脸图像；

7、通过所述预先训练的换脸网络将所述卡通化人脸图像换脸至所述待换脸的人物图像。

8、在本申请的一些实施例中，所述预先训练的卡通化换脸模型包括换脸网络和预先训练的卡通化网络；所述通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸，包括：

9、通过所述换脸网络将所述待处理的人脸图像换脸至所述待换脸的人物图像，得到换脸图像；

10、通过所述预先训练的卡通化网络对所述换脸图像进行卡通化处理，得到卡通化换脸图像。

11、在本申请的一些实施例中，所述获取待处理的人脸图像，包括：

12、获取用户的待处理图像；所述待处理图像包括用户的人脸图像；

13、从所述用户的人物图像中截取用户的人脸图像，并对所述用户的人脸图像进行对齐操作。

14、在本申请的一些实施例中，所述通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸之前，还包括：

15、获取训练数据集，所述训练数据集包括多张具有人脸区域的不同场景、人种、年龄及性别的人物图像；

16、根据所述训练数据集，对预设的生成对抗网络进行训练，得到用于对所述待处理的人脸图像进行卡通化换脸的卡通化换脸模型。

17、在本申请的一些实施例中，根据所述训练数据集，对预设的生成对抗网络进行训练，包括：

18、根据所述训练数据集，通过预设的损失函数对预设的生成对抗网络进行训练；所述预设的损失函数包括gan损失函数、特征匹配损失函数、id损失函数及风格损失函数。

19、在本申请的一些实施例中，所述gan损失函数为：

20、

21、其中，ladv表示整体损失值，表示极小化生成器损失，表示极大化判别器损失，e(x)表示期望函数，p(x)表示分布函数，d(x)表示判别器网络的输出，g(x)表示生成器网络的输出。

22、在本申请的一些实施例中，所述特征匹配损失函数为：

23、

24、其中，i表示第i个特征，ni表示第i个特征中的元素数量，itarget表示训练数据集中待换脸的人物图像，ioutput表示生成器网络的输出图像。

25、在本申请的一些实施例中，所述id损失函数为：

26、

27、其中，voutput为生成器网络的输出图像的身份属性的向量表示，vs_cartoon为卡通化人脸图像的身份属性的向量表示。

28、在本申请的一些实施例中，所述风格损失函数为：

29、lstyle＝||gram(ioutput)-gram(is_cartoon)||

30、其中，ioutput为生成器网络的输出图像的i风格项，gram(ioutput)为输出图像的i风格项的格拉姆矩阵；is_cartoon为卡通化人脸图像的i风格项，gram(is_cartoon)为卡通化人脸图像的i风格项的格拉姆矩阵。。

31、本申请第二方面的实施例提供了卡通化换脸装置，包括：

32、获取模块，用于获取待处理的人脸图像和待换脸的人物图像；所述待换脸的人物图像包括待换脸人物的人脸区域和待换脸人物的非人脸区域；

33、卡通化换脸模块，用于通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸。

34、本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

35、本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

36、本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

37、在本申请实施例中，通过预先训练的卡通化换脸模型，基于待换脸的人物图像，对待处理的人脸图像进行卡通化换脸，避免了直接用卡通人物进行换脸导致的换脸后人物风格偏向真人且输出结果较差的弊端。对于视频图像，对视频的每一帧先进行卡通化处理，通过生成的方式获得高分辨率的卡通化人脸，在此高分辨率卡通化人脸的基础上换脸，接近于真人训练的情景，从而可以达到流畅、平滑的换脸效果。

38、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

技术特征：

1.一种卡通化换脸方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述预先训练的卡通化换脸模型包括卡通化网络和预先训练的换脸网络；所述通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸，包括：

3.根据权利要求1所述的方法，其特征在于，所述预先训练的卡通化换脸模型包括换脸网络和预先训练的卡通化网络；所述通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸，包括：

4.根据权利要求1所述的方法，其特征在于，所述获取待处理的人脸图像，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述通过预先训练的卡通化换脸模型，基于所述待换脸的人物图像对所述待处理的人脸图像进行卡通化换脸之前，还包括：

6.根据权利要求5所述的方法，其特征在于，根据所述训练数据集，对预设的生成对抗网络进行训练，包括：

7.根据权利要求6所述的方法，其特征在于，所述gan损失函数为：

8.根据权利要求6所述的方法，其特征在于，所述特征匹配损失函数为：

9.根据权利要求6所述的方法，其特征在于，所述id损失函数为：

10.根据权利要求6所述的方法，其特征在于，所述风格损失函数为：

11.一种卡通化换脸装置，其特征在于，包括：

12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-10任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-10中任一项所述的方法。

技术总结
本申请提出一种卡通化换脸方法、装置、设备及存储介质，该方法包括：获取待处理的人脸图像和待换脸的人物图像；待换脸的人物图像包括待换脸人物的人脸区域和待换脸人物的非人脸区域；通过预先训练的卡通化换脸模型，基于待换脸的人物图像对待处理的人脸图像进行卡通化换脸。该方法可以生成各种卡通头像，并能够将该卡通头像换到其他角色的脸上，具有更强的实用性和灵活性。

技术研发人员：鲍文杰,张玉兵
受保护的技术使用者：广州视源电子科技股份有限公司
技术研发日：
技术公布日：2024/1/13