肖像的卡通化方法、装置、设备及存储介质与流程

1.本发明涉及图像处理领域，尤其涉及一种肖像的卡通化方法、装置、设备及存储介质。


背景技术：

2.当前，卡通化风格化已经成为视频领域中热门的技术。通过神经网络转换用户的自拍图像，将图像内容转换的为卡通风格。
3.但是，由于卡通化的方式只能局限于用户自拍的画面，而用户想要处理自己卡通化形象，更改卡通的背景和服饰时，只能通过后续剪辑和ps等方式来实现用户卡通形象的背景服饰更改。因此，针对当前用户肖像的卡通化不能自动更换背景和服饰的问题，需要一种新的卡通化技术。


技术实现要素：

4.本发明的主要目的在于解决用户肖像的卡通化不能自动更换背景和服饰的技术问题。
5.本发明第一方面提供了一种肖像的卡通化方法，所述肖像的卡通化方法包括：
6.获取用户的自拍数据；
7.根据预置风格化算法，对所述自拍数据进行卡通化处理，得到卡通化自拍数据；
8.基于预置u2net神经网络，对所述卡通化自拍数据进行头部扣取处理，得到卡通头部数据；
9.获取待拼接的动漫图像，接收所述动漫图像的锚点设置坐标；
10.根据所述锚点设置坐标，将所述卡通头部数据拼接在所述动漫图像上，得到卡通化肖像数据。
11.可选的，在本发明第一方面的第一种实现方式中，，所述基于预置u2net神经网络，对所述卡通化自拍数据进行头部扣取处理，得到卡通头部数据包括：
12.基于预置u2net神经网络，对所述卡通化自拍数据进行识别处理，得到识别出的面部数据、头发数据、耳部数据；
13.将识别出的面部数据、头发数据、耳部数据进行组合处理，得到卡通头部数据。
14.可选的，在本发明第一方面的第二种实现方式中，所述根据预置风格化算法，对所述自拍数据进行卡通化处理，得到卡通化自拍数据包括：
15.根据预置gan神经网络，利用预置风格采样图，对所述自拍数据进行风格迁移处理，得到卡通化自拍数据。
16.可选的，在本发明第一方面的第三种实现方式中，所述根据预置风格化算法，对所述自拍数据进行卡通化处理，得到卡通化自拍数据包括：
17.根据预置pix2pix神经网络，对所述自拍数据进行卡通风格迁移处理，得到卡通化自拍数据。
18.可选的，在本发明第一方面的第四种实现方式中，所述根据所述锚点设置坐标，将所述卡通头部数据拼接在所述动漫图像上，得到卡通化肖像数据包括：
19.对所述卡通头部数据中选择头部锚定点；
20.将所述头部锚定点移动至所述锚点设置坐标上，得到平移后的所述卡通头部数据；
21.根据预置旋转角度，对平移后的所述卡通头部数据进行旋转处理，实现所述卡通头部数据在所述动漫图像的拼接，得到卡通化肖像数据。
22.可选的，在本发明第一方面的第五种实现方式中，所述获取用户的自拍数据包括：
23.获取用户的自拍数据，分析所述自拍数据是否超过预置图像分辨阈值；
24.当所述自拍数据没有超过图像分辨阈值时，则将所述自拍数据确认为合格的自拍数据。
25.可选的，在本发明第一方面的第六种实现方式中，所述图像分辨阈值包括：720*720分辨率阈值。
26.本发明第二方面提供了一种肖像的卡通化装置，所述肖像的卡通化装置包括：
27.第一获取模块，用于获取用户的自拍数据；
28.卡通化模块，用于根据预置风格化算法，对所述自拍数据进行卡通化处理，得到卡通化自拍数据；
29.头部扣取模块，用于基于预置u2net神经网络，对所述卡通化自拍数据进行头部扣取处理，得到卡通头部数据；
30.第二获取模块，用于获取待拼接的动漫图像，接收所述动漫图像的锚点设置坐标；
31.拼接模块，用于根据所述锚点设置坐标，将所述卡通头部数据拼接在所述动漫图像上，得到卡通化肖像数据。
32.本发明第三方面提供了一种肖像的卡通化设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述肖像的卡通化设备执行上述的肖像的卡通化方法。
33.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的肖像的卡通化方法。
34.在本发明实施例中，通过对自拍数据先风格化处理，生成风格卡通化图片。然后将风格卡通化图片头部识别后扣取出头部卡通数据，将头部卡通数据基于锚定设置坐标进行平移黏贴到拼接在动漫图像上，实现了风格化的卡通肖像的背景和服饰，解决了用户肖像的卡通化不能自动更换背景和服饰的技术问题。
附图说明
35.图1为本发明实施例中肖像的卡通化方法的一个实施例示意图；
36.图2为本发明实施例中肖像的卡通化装置的一个实施例示意图；
37.图3为本发明实施例中肖像的卡通化装置的另一个实施例示意图；
38.图4为本发明实施例中肖像的卡通化设备的一个实施例示意图。
具体实施方式
39.本发明实施例提供了一种肖像的卡通化方法、装置、设备及存储介质。
40.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中肖像的卡通化方法的一个实施例，所述肖像的卡通化方法包括：
42.101、获取用户的自拍数据；
43.在本实施例中，用户的自拍照片的可以作为风格化的对象图片。
44.进一步，在101可以执行以下步骤：
45.1011、获取用户的自拍数据，分析自拍数据是否超过预置图像分辨阈值；
46.1012、当自拍数据没有超过图像分辨阈值时，则将自拍数据确认为合格的自拍数据。
47.在1011-1012步骤中，自拍数据是不能超过的预置图像分辨率，图像分辨率没有超过图像分辨阈值，则认为是合格自拍数据。在一种实施例中，自拍数据的分辨率限制为720*720的要求。
48.102、根据预置风格化算法，对自拍数据进行卡通化处理，得到卡通化自拍数据；
49.在本实施例中，风格化算法可以基于gan神经网络的处理，对自拍数据进行卡通化处理，实现卡通化自拍数据。
50.基于单照片风格图采样的生成域自适应旨在仅使用一幅参考图像，将域a上预先训练好的生成器转换到一个新的域b上。对于自适应生成器来说，生成从预先训练的生成器继承的不同图像，同时也需要可靠地获取参考图像的特定领域属性和样式，如风格、色调、亮度、人物面部特征等细节信息。
51.生成域适应分为全局级自适应域和局部级自适应域，对于全局级自适应，本网络利用参考图像的多模态的嵌入和源图像的平均嵌入之间的差异来约束目标生成器。对于局部级别的自适应，本网络使用注意力机制的风格损失，它将自适应图像的每个中间的注意力token与其对应的参考图像的注意力token对齐。
52.生成对抗网络部分即为gan网络，gan网络分为一个生成器和一个判别器；gan需要两个loss，分别是生成器的重建loss和判别器的判别loss。其中，判别器loss:判别器是用来判断输入的图片是否是真实的域b图片，于是生成的假图片a和原始的真图片b都会输入到判别器里面，公式是一个0,1二分类的损失。
53.进一步，在102可以执行以下步骤：
54.1021、根据预置gan神经网络，利用预置风格采样图，对自拍数据进行风格迁移处理，得到卡通化自拍数据。
55.在一种实施例中，基于单照片采样的生成域适应生成对抗网络构建的风格化模型
进行图片风格化，得到风格化图片。基于单照片风格图采样的生成域自适应旨在仅使用一幅参考图像，将域a上预先训练好的生成器转换到一个新的域b上。对于自适应生成器来说，生成从预先训练的生成器继承的不同图像，同时也需要可靠地获取参考图像的特定领域属性和样式，如风格、色调、亮度、人物面部特征等细节信息。
56.生成域适应分为全局级自适应域和局部级自适应域，对于全局级自适应，本网络利用参考图像的多模态的嵌入和源图像的平均嵌入之间的差异来约束目标生成器。对于局部级别的自适应，本网络使用注意力机制的风格损失，它将自适应图像的每个中间的注意力token与其对应的参考图像的注意力token对齐。
57.生成对抗网络部分即为gan网络，gan网络分为一个生成器和一个判别器；gan需要两个loss，分别是生成器的重建loss和判别器的判别loss。其中，判别器loss:判别器是用来判断输入的图片是否是真实的域b图片，于是生成的假图片a和原始的真图片b都会输入到判别器里面，公式是一个0,1二分类的损失。
58.进一步，在102还可以执行以下步骤：
59.1022、根据预置pix2pix神经网络，对自拍数据进行卡通风格迁移处理，得到卡通化自拍数据。
60.在一种实施例中，传统的图片风格化，往往使用pix2pix生成对抗网络，需要大量的配对图片进行采样和训练，需要耗费大量的时间收集整理训练数据，同时训练过程中需要较高的设备要求和训练时长。
61.103、基于预置u2net神经网络，对卡通化自拍数据进行头部扣取处理，得到卡通头部数据；
62.在本实施例中，使用u2net网络对风格化图片进行扣取——保留头部，得到大头结果；最后将预设的前景和背景，同身体模板，按照规则进行拼装在一起。
63.进一步，在103可以执行以下步骤：
64.1031、基于预置u2net神经网络，对卡通化自拍数据进行识别处理，得到识别出的面部数据、头发数据、耳部数据；
65.1032、将识别出的面部数据、头发数据、耳部数据进行组合处理，得到卡通头部数据。
66.在1031-1032步骤中，u2net神经网络识别头像中的面部数据、头发数据、耳部数据，然后将面部数据、头发数据、耳部数据作为一个整体从原有的卡通化自拍数据扣取出卡通头部数据。
67.104、获取待拼接的动漫图像，接收动漫图像的锚点设置坐标；
68.在本实施例中，获取拼接的动漫图像，接收在动漫图像中指令出锚点，得到锚点设置坐标。
69.105、根据锚点设置坐标，将卡通头部数据拼接在动漫图像上，得到卡通化肖像数据。
70.在本实施例中，锚点设置坐标作为卡通头部数据作为拼接的位置，将头部卡通头像黏贴在动漫图像上，实现卡通化肖像数据并解决背景和服饰替换的问题。
71.进一步的，在105步骤可以执行以下步骤：
72.1051、对所述卡通头部数据中选择头部锚定点；
73.1052、将所述头部锚定点移动至所述锚点设置坐标上，得到平移后的所述卡通头部数据；
74.1053、根据预置旋转角度，对平移后的所述卡通头部数据进行旋转处理，实现所述卡通头部数据在所述动漫图像的拼接，得到卡通化肖像数据。
75.在1051-1053步骤中，设置卡头头部数据的一个点确定为头部锚定点，然后将整个卡通头部数据平移至头部锚定点与所述锚点设置坐标重叠的位置。最后基于旋转角度调整卡通头部数据的拼接位置得到卡通化肖像数据。
76.在本发明实施例中，通过对自拍数据先风格化处理，生成风格卡通化图片。然后将风格卡通化图片头部识别后扣取出头部卡通数据，将头部卡通数据基于锚定设置坐标进行平移黏贴到拼接在动漫图像上，实现了风格化的卡通肖像的背景和服饰，解决了用户肖像的卡通化不能自动更换背景和服饰的技术问题。
77.上面对本发明实施例中肖像的卡通化方法进行了描述，下面对本发明实施例中肖像的卡通化装置进行描述，请参阅图2，本发明实施例中肖像的卡通化装置一个实施例，所述肖像的卡通化装置包括：
78.第一获取模块201，用于获取用户的自拍数据；
79.卡通化模块202，用于根据预置风格化算法，对所述自拍数据进行卡通化处理，得到卡通化自拍数据；
80.头部扣取模块203，用于基于预置u2net神经网络，对所述卡通化自拍数据进行头部扣取处理，得到卡通头部数据；
81.第二获取模块204，用于获取待拼接的动漫图像，接收所述动漫图像的锚点设置坐标；
82.拼接模块205，用于根据所述锚点设置坐标，将所述卡通头部数据拼接在所述动漫图像上，得到卡通化肖像数据。
83.在本发明实施例中，通过对自拍数据先风格化处理，生成风格卡通化图片。然后将风格卡通化图片头部识别后扣取出头部卡通数据，将头部卡通数据基于锚定设置坐标进行平移黏贴到拼接在动漫图像上，实现了风格化的卡通肖像的背景和服饰，解决了用户肖像的卡通化不能自动更换背景和服饰的技术问题。
84.请参阅图3，本发明实施例中肖像的卡通化装置的另一个实施例，述肖像的卡通化装置包括：
85.第一获取模块201，用于获取用户的自拍数据；
86.卡通化模块202，用于根据预置风格化算法，对所述自拍数据进行卡通化处理，得到卡通化自拍数据；
87.头部扣取模块203，用于基于预置u2net神经网络，对所述卡通化自拍数据进行头部扣取处理，得到卡通头部数据；
88.第二获取模块204，用于获取待拼接的动漫图像，接收所述动漫图像的锚点设置坐标；
89.拼接模块205，用于根据所述锚点设置坐标，将所述卡通头部数据拼接在所述动漫图像上，得到卡通化肖像数据。
90.其中，所述头部扣取模块203具体用于：
91.基于预置u2net神经网络，对所述卡通化自拍数据进行识别处理，得到识别出的面部数据、头发数据、耳部数据；
92.将识别出的面部数据、头发数据、耳部数据进行组合处理，得到卡通头部数据。
93.其中，所述卡通化模块202具体用于：
94.根据预置gan神经网络，利用预置风格采样图，对所述自拍数据进行风格迁移处理，得到卡通化自拍数据。
95.其中，所述卡通化模块202还可以具体用于：
96.根据预置pix2pix神经网络，对所述自拍数据进行卡通风格迁移处理，得到卡通化自拍数据。
97.其中，所述拼接模块205包括：
98.选择单元2051，用于对所述卡通头部数据中选择头部锚定点；
99.平移单元2052，用于将所述头部锚定点移动至所述锚点设置坐标上，得到平移后的所述卡通头部数据；
100.旋转单元2053，用于根据预置旋转角度，对平移后的所述卡通头部数据进行旋转处理，实现所述卡通头部数据在所述动漫图像的拼接，得到卡通化肖像数据。
101.其中，所述第一获取模块201具体用于：
102.获取用户的自拍数据，分析所述自拍数据是否超过预置图像分辨阈值；
103.当所述自拍数据没有超过图像分辨阈值时，则将所述自拍数据确认为合格的自拍数据。
104.在本发明实施例中，通过对自拍数据先风格化处理，生成风格卡通化图片。然后将风格卡通化图片头部识别后扣取出头部卡通数据，将头部卡通数据基于锚定设置坐标进行平移黏贴到拼接在动漫图像上，实现了风格化的卡通肖像的背景和服饰，解决了用户肖像的卡通化不能自动更换背景和服饰的技术问题。
105.上面图2和图3从模块化功能实体的角度对本发明实施例中的肖像的卡通化装置进行详细描述，下面从硬件处理的角度对本发明实施例中肖像的卡通化设备进行详细描述。
106.图4是本发明实施例提供的一种肖像的卡通化设备的结构示意图，该肖像的卡通化设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对肖像的卡通化设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在肖像的卡通化设备400上执行存储介质430中的一系列指令操作。
107.基于肖像的卡通化设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图4示出的肖像的卡通化设备结构并不构成对基于肖像的卡通化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
108.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述肖像的卡通化方法的步骤。
109.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
110.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
111.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。