一种基于UNet的艺术肖像画生成方法

本发明涉及图像处理以及计算机视觉领域，特别涉及一种基于unet的艺术肖像画生成方法。

背景技术：

1、艺术肖像画生成是指让计算机根据给定的人脸图像生成具有艺术风格的肖像画，是图像生成算法的研究热点之一。艺术肖像画因能很好地保护隐私安全的同时又可以有趣、诙谐地展现出人物的特点而颇受好评。一方面，人们越来越喜欢将艺术肖像画作为头像发布在抖音、微博等互联网平台。通过这种方式，他们不仅向熟人展示个人身份，而且保护个人隐私。另一方面，想要完成一幅高质量的肖像画需要一名画家经过长时间专业性的学习和训练，为了能够表现出一个人的面部特征、精神面貌和神态气质，艺术家除了需要拥有扎实的绘画功底外，还需要在短时间内抓住人脸的关键特征，而基于艺术肖像画的机械臂作画创作可以轻松获得一副逼真的艺术肖像画。

2、现有技术1：吴涛等人提出了一种基于语义分割的简洁线条肖像画生成方法。首先，对人脸图像进行语义分割，将人脸划分为不同的区域，基于不同区域提取边缘轮廓与五官细节线条，进行边缘切向流优化，从而加强方向信息；在此基础上，利用线条图来生成调和图像，并利用优化后的边缘切向流、人脸语义分割结果以及调和图像，针对不同的分割区域调整线条提取方法的参数，实现对细节无关区域的线条过滤和细节重点区域的线条加强，生成简洁线条肖像画。

3、缺点：该方法需要背景较为干净的人脸图像，且人脸细节特征(如脸上痣)不能提取。

4、现有技术2：ran等人提出了基于生成对抗网络的apdrawinggan。艺术家绘制艺术肖像画通常会对不同的面部部位采用不同的绘制技术，例如头发会采用长而连续的线条等。apdrawinggan基于上述理论采用了多个卷积神经网络，其中生成器包含一个全局网络、六个局部网络以及一个融合网络。全局网络可以生成人脸图像对应肖像画的整体结构，而六个局部网络可以针对不同的面部区域学习不同的绘制技术，以生成高质量的面部组件。最后通过一个融合网络将全局网络和局部网络生成的特征进行融合以生成高质量的肖像画。同时，针对肖像画与原图不是精确对应的问题，提出了一个距离变换损失函数。通过计算真实的肖像画中每个线条上的像素到生成的肖像画中相同类型的最近像素距离之和以及生成的肖像画到真实的肖像画的距离之和的总和来容忍这种细微的误差。随后，ran等人在apdrawinggan的基础上又提出了apdrawinggan++，证明了任何带有单一生成器的生成对抗网络都不能生成钢笔画风格的艺术肖像画，并为全局网络和局部网络的复合结构的必要性提供了理论解释。同时提出了基于非线性映射的距离变换损失和线条连续性损失来提高线条的生成质量。

5、缺点：该方法需要背景较为干净的人脸图像，且人脸细节特征(如脸上痣)不能提取。

6、现有技术3：qin等人提出了一个简单而强大的深度网络结构u2net。该模型在原始的unet的基础上又嵌入了一层u型结构，并提出了残差连接的rsu结构，这使得该模型无需使用图像预训练主干模型。rsu结构通过融合低层高分辨率的局部特征和高层低分辨率的全局特征来获取更多的上下文信息。同时，rsu结构使用了池化操作，可以允许在网络层数加深的情况下还可以获得高分辨率，同时不会提高内存占用率和计算成本。随后，该模型应用于人脸照片转化为肖像画的任务并取得了不错的效果。

7、缺点：该方法需要背景较为干净的人脸图像。

8、现有技术4：201711324257.2-一种肖像绘制系统、方法及存储介质，其公开了一种肖像绘制方法，包括以下步骤：获取步骤：获取用户的肖像图片；颜色聚类步骤：对获取到的肖像图片进行颜色聚类以得用户头部特征，所述用户头部特征包括面部边缘区域、头发、脸型轮廓和五官图像；第一肖像绘制步骤：根据用户头部特征与肖像风格模板以控制绘画机械臂实现对用户的肖像绘制。本发明还公开了一种肖像绘制系统及计算机可读存储介质。本发明提供的肖像绘制系统及方法，其通过获取用户肖像图像与已构建的肖像风格模板进行结构从而得到不同绘画风格的肖像图片，并通过绘画机械臂完成对用户的肖像绘制，满足不同人的个性化肖像画绘制需求。

9、其描述的是一种基于肖像图像聚类头部特征的方法，并使用机械臂完成肖像绘制，要求肖像图像较为干净，且采用的是聚类算法。

10、现有技术5：202011431526.7-肖像画生成的方法、装置、电子设备及介质，其公开了一种肖像画生成的方法、装置、电子设备及介质。本技术中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本技术的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。

11、其描述的是一种基于人脸区域通过循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数生成艺术肖像画方法，其要求人脸区域图像需较为干净，且其多任务生成器重点在于单风格画像主任务和人脸语义标签辅助任务。

12、现有技术6：202110142946.1-素描画生成的方法、装置、电子设备及介质，其公开了一种素描画生成的方法、装置、电子设备及介质。本技术中，可以获取初始素描图像以及肖像图像，初始素描图像以及肖像图像包含有目标用户的人脸图像；利用初始素描图像，生成目标用户的第一简笔图像，以及利用肖像图像，生成目标用户的第二简笔图像；基于第一简笔图像以及第二简笔图像，生成人脸图像的目标素描画。通过应用本技术的技术方案，可以利用不同面部笔触类型来生成合理的逼真的肖像画，从而解决不成对数据集的情况下生成简笔画不够写实的问题。

13、其描述的是一种通过第一简笔图像以及第二简笔图像生成人脸图像的目标素描画方法，其要求人脸区域图像需较为干净。

技术实现思路

1、本发明的目的在于针对针对现有的人脸肖像画生成方法要求人脸区域背景较为干净的问题，旨在生成逼真的肖像画同时对待处理的图像背景不做任何限制，适用更多场景，因此提供一种基于unet的艺术肖像画生成方法，通过设计网络训练单风格画像任务和语义分割任务的多任务模型，最终能够输出高质量的人脸肖像画，该方法能不依赖人脸图像的背景，输出高质量的艺术人脸肖像画。

2、为实现上述目的，本发明的技术方案是：一种基于unet的艺术肖像画生成方法，包括如下步骤：

3、步骤s1、采集含有人脸的图像，并进行人脸定位包括人脸检测、人脸关键点定位；

4、步骤s2、人脸图像预处理操作，通过人脸对齐得到512x512分辨率的标准肖像图像；

5、步骤s3、通过unet网络同时输出语义分割信息和肖像画图像，前者包括分割的人像和背景mask，后者为细致的肖像画图像；

6、步骤s4、融合背景mask与细致的肖像画图像，得到艺术肖像画。

7、在本发明一实施例中，步骤s1包括以下步骤：

8、步骤s11、通过对含有人脸的图像进行人脸检测得到最大人脸，获取最大人脸的公式如下：

9、

10、其中，wi和hi是第i个人脸的检测框宽和高，wi-1和hi-1是第i-1个人脸的检测框宽和高；

11、步骤s12、对步骤s11中的最大人脸提取5点人脸关键点landmark5。

12、在本发明一实施例中，步骤s2包括以下步骤：

13、步骤s21、通过使用步骤s12中的5点人脸关键点landmark5坐标对最大人脸图像进行仿射变换操作，得到512x512分辨率的人脸图像；

14、步骤s22、对仿射变换操作过程中不存在的像素点填充白色，得到标准人脸图像。

15、在本发明一实施例中，步骤s3包括以下步骤：

16、步骤s31、对输入图像进行预处理，包括图像配对、裁剪和数据增强，构建训练数据集；

17、步骤s32、设计一个基于unet的语义分割和肖像画的多任务网络，该网络的基本单元为残差u块，再基于残差u块构建基于unet网络的语义分割网络和肖像画图像网络；

18、步骤s33、设计用于训练步骤s32所设计网络的损失函数；

19、步骤s34、使用训练数据集训练肖像画图像网络；

20、步骤s35、将待测任意分辨率的人脸图像输入到所设计的网络中，利用训练好的网络生成语义分割mask图像和肖像画图像。

21、在本发明一实施例中，步骤s31具体如下：

22、步骤s311、将训练数据集中的每张图像缩放为尺寸为h1×w1的大小相同的图像；

23、步骤s312、将训练数据集中的语义分割标签mask图像从黑底白色人像转换为黑底白色人像；

24、步骤s313、将训练数据集中的人脸图像、语义分割标签mask图像、肖像画标签图像随机上下翻转，随机裁剪为h×w的图像；

25、步骤s314、将训练数据集中的图像进行归一化处理，给定图像itrain，计算归一化后的图像的公式如下：

26、

27、其中，itrain是具有8位色彩深度的h×w大小的图像，ibit_max是h×w大小且像素值均为255的图像；

28、步骤s315、将人脸图像进行标准化处理，给定图像itrain，计算标准化后的图像的公式如下：

29、

30、

31、

32、其中，itrain是具有8位色彩深度的h×w大小的图像，分别指彩色图像的r、g、b通道图像。

33、在本发明一实施例中，步骤s32具体如下：

34、步骤s321、设计网络的基本单元为残差u块rsu，包括三部分内容：卷积层、u型对称编码解码结构、残差结构；卷积层对输入特征图xtrain卷积获取特征图中的局部特征f1(xtrain)；u型对称编码解码结构学习特征图中的多尺度上下文信息，记为u(f1(xtrain))，u型对称编码解码结构中的u型对称网络的编码和解码同尺度的特征图拼接；残差u块rsu的输出记为f1(xtrain)+u(f1(xtrain))；xtrain尺寸为hxwxcin；

35、步骤s322、基于残差u块rsu搭建一个基于unet的语义分割和肖像画的多任务网络，包括四部分内容：多任务共享的六阶段编码器部分、语义分割和肖像画的多任务五阶段解码部分、语义分割融合部分、肖像画融合部分。

36、在本发明一实施例中，步骤s322具体如下：

37、步骤s3221、多任务共享的六阶段编码器部分，en1,en2,en3,en4分别使用残差u块rsu-7、rsu-6、rsu-5、rsu-4，en5,en6两个编码器则不是标准的rsu块，而是采用空洞卷积替换下采样操作；

38、步骤s3222、语义分割五阶段解码部分，解码部分de1,de2,de3,de4与编码器部分en1,en2,en3,en4完全对称；de2,de3,de4,de5每个解码器特征图均需要拼接其对称编码器的特征图，实现特征图尺寸不变，通道数2倍；

39、步骤s3223、肖像画五阶段解码部分，解码部分结构与语义分割五阶段解码部分结构完全一样，不同的是两部分的解码参数不共享；

40、步骤s3224、语义分割融合部分，首先通过一个3x3卷积层、上采样层、sigmoid激活函数将en6,de5,de4,de3,de2,de1部分的特征图映射为各阶段的语义分割mask图像并将其全部拼接后经过一个1x1的卷积层、sigmoid激活函数生成最终的语义分割mask图像

41、步骤s3225、肖像画融合部分，首先通过一个3x3卷积层、上采样层、sigmoid激活函数将语义分割的en6,de5,de4,de3,de2,de1部分的特征图映射为各阶段的肖像画图像并将其全部拼接后经过一个1x1的卷积层、sigmoid激活函数生成最终的肖像画图像

42、在本发明一实施例中，步骤s33具体如下：

43、步骤s331、将步骤s3224和步骤s325获得的语义分割mask图像和肖像画图像分别和标准的语义分割mask标签图像和肖像画标签图像构建损失函数，采用标准二值交叉熵损失，公式如下：

44、

45、其中，h,w是图像的分辨率高和宽，r,c是图像上的一个像素点，pg(r,c)是标签图像的r,c像素点的值，ps(r,c)是预测的标签图像r,c像素点的值；

46、步骤s332、将步骤s331获得的的损失函数累加，公式如下：

47、

48、其中，表示与语义分割mask标签图像的标准二值交叉熵损失，表示与肖像画标签图像的标准二值交叉熵损失。

49、在本发明一实施例中，步骤s34具体如下：

50、步骤s341、在经过步骤s31构建的训练数据集中，选取随机的图像x；

51、步骤s342、训练图像编码与解码的语义分割网络和肖像画图像网络，输入图像x，经过unet网络的编码和解码网络得到最终的语义分割mask图像和肖像画图像计算步骤s332中的总损失函数损失

52、步骤s343、使用反向传播方法计算unet网络中各参数的梯度，并利用adam优化方法更新参数；

53、步骤s344、步骤s341至步骤s343为一次迭代，迭代1000次，且每次迭代过程中，随机采样多个图像对作为一个批次进行训练。

54、在本发明一实施例中，步骤s4具体如下：

55、经过步骤s35可得到语义分割mask图像和肖像画图像，再将语义分割mask图像与肖像画图像融合，具体当语义分割mask图像的像素值取白色时保留语义分割mask图像的像素值，否则该像素替换为肖像画图像的像素值，公式如下：

56、

57、其中，r,c是图像上的一个像素点，是语义分割mask图像，是肖像画图像，s(r,c)为融合后的艺术肖像画。

58、相较于现有技术，本发明具有以下有益效果：针对现有的人脸肖像画生成方法要求人脸区域背景较为干净的问题，旨在生成逼真的肖像画同时对待处理的图像背景不做任何限制，适用更多场景，本发明提供一种基于unet的艺术肖像画生成方法，通过设计网络训练单风格画像任务和语义分割任务的多任务模型，最终能够输出高质量的人脸肖像画；本发明方法能不依赖人脸图像的背景，输出高质量的艺术人脸肖像画。