一种证件照抠图方法及系统与流程

1.本发明涉及人像抠图领域，具体涉及一种证件照抠图方法及系统。


背景技术：

2.证件照的生成方式有很多，最常见的就是ps技术，ps技术虽然好用但是需要进行专业培训的技术人员才能处理完成。对于以证件照业务为主的企业来说，每天处理百万级数量的照片，需要大量的专业培训的人员操作，人工效率及成本问题会限制企业的发展。
3.证件照抠图技术是证件照生成的一个必要技术。证件照抠图技术就是给定一张包含人像的照片图像，识别出照片图像中的前景区域(人像)和背景区域，并预测出照片图像中前景和背景交界处的不透明度。现有证件照抠图方法是以三值图(前景、背景、未知区域)作为先验信息，对前景人像和背景区域的分割过程进行约束，从而得到提取人像的高精度掩模。
4.公开号为cn104504745a的发明专利申请公开了一种基于图像分割和抠图的证件照生成方法，其通过标记出图像中前景为人脸、头发以及上半身衣服组成的人像前景和不覆盖人像的其他区域的背景，得到种子图像，将种子图像的三个通道量化为直方图，构建图像分割模型对得到的直方图进行分割，得到分割后的前景和背景，再与指定的背景色进行混合，得到相应的证件照图像。该方法需要人工标注人脸、头发以及上半身衣服组成的人像前景，过程繁琐且耗时，并且人工标注存在主观性，当标注不准确时，会降低前景人像和背景区域的分割精度。
5.公开号为cn107123088a的发明专利公开了一种自动更换证件照背景颜色的方法，其对证件照图像进行边缘检测，提取人物目标区域的外轮廓，采用4
×
4的方形结构元素，对人物目标区域外轮廓图像做多次形态学膨胀运算，得到三值图像矩阵trimap图，采用基于全局学习的数字抠图算法计算图像合成中所需的掩膜值。
6.公开号为cn108320294a的发明专利申请，其在hsv色彩空间，利用多尺度视觉敏感度排序度量方法，增强人像与背景显著性，分割所述显著性图得到人像和背景初始二值图，采用形态学方法删除孤立的噪声区域，然后采用高斯平滑方式自动生成三值图；根据自动生成的三值图和原始人像照片，采用多尺度随机游走搜索方法，最小化抠图目标函数，求解得到人像前景的不透明度图。
7.以上公开号为cn107123088a和cn108320294a的两篇发明专利申请，都是通过传统的图像处理方法对照片图像进行分析，确定前景区域和背景区域，从而进一步优化分割边缘。该传统的图像处理方法无需标注，三值图的生成速度提高了，但是，该方法实现的抠图，人像与背景之间没有平滑的过渡边缘显得很生硬，并且对于头发等这样的复杂结构的前景分割非常不精确。
8.公开号为cn110889855a的发明专利申请，其根据轻量级语义分割网络模型生成粗分割trimap图网络，根据编解码网络对粗分割trimap图网络进行精细化抠图，得到精细化抠图网络；将粗分割trimap图网络和精细化抠图网络进行级联，得到端到端网络模型。该方
法依然是基于生成trimap图的模式，trimap中未知像素的区域是估计的，未知区域的宽或窄对抠图结果都会产生影响，增加抠图结果的误差。
9.为此，本发明提供一种证件照抠图方法及系统，用于解决上述问题。


技术实现要素：

10.针对现有技术的上述问题，本发明提供一种证件照抠图方法及系统，用于降低所需的技术要求，提高人工效率，降低生产成本，提高抠图精度。
11.第一方面，本发明提供一种证件照抠图方法，包括步骤：
12.s1：将待抠图证件照图像输入预先训练好的能够提取人像前景掩模的网络模型进行运算,得到所述待抠图证件照图像的人像前景掩模,记为目标人像前景掩模；
13.s2：根据所述目标人像前景掩模，估计所述待抠图证件照图像的前景图像，得到所述待抠图证件照图像对应的前景估计图像；
14.s3：将所述目标人像前景掩模、所述前景估计图像以及给定的证件照背景图像进行图像融合，得到所述待抠图证件照图像对应的抠图后的证件照图像。
15.进一步地，步骤s1中所述网络模型的获取步骤为：
16.创建证件照抠图数据集；
17.构建用来提取人像前景掩模的网络结构；
18.利用所述证件照抠图数据集训练所述网络结构，得到训练好的能够提取人像前景掩模的网络模型。
19.进一步地，所述的创建证件照抠图数据集，其实现方法为：
20.收集证件照图像形成训练集；
21.利用图像处理软件对训练集中的各证件照图像分别进行人像前景抠图，得到训练集中每一个证件照图像的人像前景图像；
22.对训练集中的每一个证件照图像，分别根据其对应的人像前景图像，提取其对应的人像前景掩模；
23.利用训练集中的各证件照图像及其各自的人像前景掩模，构建证件照抠图数据集。
24.进一步地，所述网络结构的构建方法为：
25.构建用来提取人像前景掩模的网络结构的子模块，该子模块以resnet网络中的残差模块为基础，用卷积层输入替换残差模块的原始数据输入，用类u-net的对称编码器-解码器结构代替残差模块中的两层权重层，将残差模块的快捷连接的原始数据输入替换为卷积层输入，通过求和来连接卷积层输入和类u-net的对称编码器-解码器结构的输出，并实现输入卷积层提取的局部特征和类u-net的对称编码器-解码器结构提取的多尺度特征的残差连接；
26.以所述子模块为基础构建能够从多尺度提取证件照人像局部和全局特征信息的类u型网络结构，该类u型网络结构即为构建得到的用于提取人像前景掩模的网络结构，其中，该网络结构能够在编码阶段从逐渐降采样特征映射过程中提取多尺度特征，能够在解码阶段将上述提取的多尺度特征编码到高分辨率特征图像中，并能够将解码阶段和最后编码阶段相连接的显著图融合得到输出结果。
27.进一步地,利用所述证件照抠图数据集训练所述网络结构，得到训练好的能够提取人像前景掩模的网络模型，其实现方法步骤为：
28.将证件照抠图数据集中的证件照图像输入所述网络结构进行前向计算，得到预测的人像前景掩模；
29.将所述预测的人像前景掩模与其在证件照抠图数据集中对应的人像前景掩模进行比较，反向计算，优化构建的网络结构，反复迭代得到上述训练好的用于提取人像前景掩模的网络模型。
30.进一步地,步骤s2的实现方法为：
31.根据目标人像前景掩模，采用多层次的前景估计方法，以预先设定的分辨率求解所述待抠图证件照图像的前景图像，迭代最小局部成本函数，然后以当前分辨率下求解出的前景图像为初始化图像，计算下一个预先设定的分辨率下的前景图像，重复执行以上过程，直到最新计算出的前景图像达到所述待抠图证件照图像的原始大小，即得到所述待抠图证件照图像对应的前景估计图像，其中，对于任意相邻两次用于求解前景图像的两个预先设定的分辨率来说，在先用于求解前景图像的分辨率小于在后用于求解前景图像的分辨率。
32.第二方面，本发明提供一种证件照抠图系统，包括：
33.图像掩模获取单元，用于将待抠图证件照图像输入预先训练好的能够提取人像前景掩模的网络模型进行运算,得到所述待抠图证件照图像的人像前景掩模,记为目标人像前景掩模；
34.前景图像获取单元，用于根据所述目标人像前景掩模，估计所述待抠图证件照图像的前景图像，得到所述待抠图证件照图像对应的前景估计图像；
35.抠图生成单元，用于将所述目标人像前景掩模、所述前景估计图像以及给定的证件照背景图像进行图像融合，得到所述待抠图证件照图像对应的抠图后的证件照图像。
36.进一步地，该证件照抠图系统还包括模型获取单元；所述模型获取单元包括：
37.抠图数据集创建模块，用于创建证件照抠图数据集；
38.网络结构构建模块，用于构建用来提取人像前景掩模的网络结构；
39.网络模型训练模块，用于利用所述证件照抠图数据集训练所述网络结构，得到训练好的能够提取人像前景掩模的网络模型。
40.进一步地，抠图数据集创建模块包括：
41.训练集单元，用于收集证件照图像形成训练集；
42.第一图像获取单元，用于利用图像处理软件对训练集中的各证件照图像分别进行人像前景抠图，得到训练集中每一个证件照图像的人像前景图像；
43.第二图像获取单元，用于对训练集中的每一个证件照图像，分别根据其对应的人像前景图像，提取其对应的人像前景掩模；
44.数据集生成单元，用于利用训练集中的各证件照图像及其各自的人像前景掩模，构建证件照抠图数据集。
45.进一步地,前景图像获取单元包括：
46.第一模块，用于根据目标人像前景掩模，采用多层次的前景估计方法，以预先设定的分辨率求解所述待抠图证件照图像的前景图像，迭代最小局部成本函数，然后以最新分
辨率下求解出的前景图像为初始化图像，计算下一个预先设定的分辨率下的前景图像；
47.第二模块，重复以当前最新分辨率下求解出的前景图像为初始化图像，计算下一个预先设定的分辨率下的前景图像，直到最新计算出的前景图像达到所述待抠图证件照图像的原始大小，即得到所述待抠图证件照图像对应的前景估计图像；
48.其中，在该前景图像获取单元中，对于任意相邻两次用于求解前景图像的两个预先设定的分辨率来说，在先用于求解前景图像的分辨率小于在后用于求解前景图像的分辨率。
49.本发明的有益效果在于：
50.(1)本发明基于预先训练好的能够提取人像前景掩模的网络模型,在抠图时，可将待抠图证件照图像直接输入该网络模型计算得到目标人像前景掩模，之后根据目标人像前景掩模估计出待抠图证件照图像的前景估计图像，最后将所述目标人像前景掩模、所述前景估计图像以及给定的证件照背景图像进行融合，得到待抠图证件照图像对应的抠图后的证件照图像，可见本发明使用时，有助于降低对人员ps技术的要求，非专业的普通人员也可操作完成证件照抠图工作，便于推广使用，而且发明替代了人工方法，继而有助于降低人工成本，提升效率。
51.(2)本发明中构建的网络结构不会产生中间的三值图像，是最直接的端到端的网络结构，避免了生成三值图像的误差对最终抠图结果的影响，一定程度上有助于提高抠图精度。
52.(3)本发明在数据融合的过程中，对证件照前景图像进行了估计，而不是近似的用证件照图像替代证件照图像的前景图像，使生成的证件照融合边缘比较平滑，避免了证件照原始图像底色的影响。
53.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.图1是本发明一个实施例的方法的示意性流程图。
56.图2是本发明一个实施例的系统的示意性框图。
具体实施方式
57.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
58.图1是本发明一个实施例的方法的示意性流程图。
59.如图1所示，该证件照抠图方法包括以下步骤s1至步骤s3。具体地：
60.步骤s1：将待抠图证件照图像输入预先训练好的能够提取人像前景掩模的网络模
型进行运算,得到所述待抠图证件照图像的人像前景掩模,记为目标人像前景掩模。
61.其中，步骤s1中所述网络模型的获取方法包括：
62.步骤s11、创建证件照抠图数据集；
63.步骤s12、构建用来提取人像前景掩模的网络结构；
64.步骤s13、利用所述证件照抠图数据集训练所述网络结构，得到训练好的能够提取人像前景掩模的网络模型。
65.在本实施例中，步骤s11的实现方法包括：
66.步骤s111、收集证件照图像形成训练集；
67.步骤s112、利用图像处理软件对训练集中的各证件照图像分别进行人像前景抠图，得到训练集中每一个证件照图像的人像前景图像；
68.步骤s113、对训练集中的每一个证件照图像，分别根据其对应的人像前景图像，提取其对应的人像前景掩模；
69.步骤s114、利用训练集中的各证件照图像及其各自的人像前景掩模，构建证件照抠图数据集。
70.其中，证件照抠图数据集中的图像由所述训练集中所有的证件照图像以及所述训练集中每一个证件照图像各自对应的人像前景掩模(即人像前景掩模图像，也称人像前景掩码)组成，其中，该证件照抠图数据集中所涉及到的各人像前景掩模，获取方法均为：先由专业技术人员使用photoshop对真实证件照图像进行抠图得到人像前景图像，然后由专业技术人员使用预设程序从抠图得到的人像前景图像中提取得到对应的人像前景掩模。
71.在本实施例中，本发明建立的证件照抠图数据集，也是一个训练集,其实际包含45525张图像。
72.在本实施例中，步骤s12的实现方法为基于深度学习的方法构建用来提取人像前景掩模的网络结构。具体地，步骤s12中构建用来提取人像前景掩模的网络结构的实现方法为：
73.构建用来提取人像前景掩模的网络结构的子模块，该子模块以resnet网络中的残差模块为基础，用卷积层输入替换残差模块的原始数据输入，用类u-net的对称编码器-解码器结构代替残差模块中的两层权重层，将残差模块的快捷连接的原始数据输入替换为卷积层输入，通过求和来连接卷积层输入和类u-net的对称编码器-解码器结构的输出，并实现输入卷积层提取的局部特征和类u-net的对称编码器-解码器结构提取的多尺度特征的残差连接；
74.以所述子模块为基础构建能够从多尺度提取证件照人像局部和全局特征信息的类u型网络结构，该类u型网络结构即为构建得到的用于提取人像前景掩模的网络结构，其中，该网络结构能够在编码阶段从逐渐降采样特征映射过程中提取多尺度特征，能够在解码阶段将上述提取的多尺度特征编码到高分辨率特征图像中，并能够将解码阶段和最后编码阶段相连接的显著图融合得到输出结果。
75.在本实施例中，步骤s12实现时：一方面，构建了以多尺度的u-net结构从残差模块提取特征的子模块，实现了从输入特征图的任意空间分辨率提取多尺度特征；另一方面，以所述子模块为基础构建用于从多尺度提取证件照人像局部和全局特征信息的类u型网络结构，使网络结构在编码阶段具有从逐渐降采样特征映射过程中提取多尺度特征，在解码阶
段将其编码到高分辨率特征图像中，减少了直接尺度上采样造成的证件照图像细节的损失。
76.在本实施例中,步骤s13中利用所述证件照抠图数据集训练所述网络结构，得到训练好的能够提取人像前景掩模的网络模型，其实现方法为：
77.将证件照抠图数据集中的证件照图像输入所述网络结构进行前向计算，得到预测的人像前景掩模；
78.将所述预测的人像前景掩模与其在证件照抠图数据集中对应的人像前景掩模进行比较，反向计算，优化构建的网络结构，反复迭代得到所述能够提取人像前景掩模的网络模型。
79.本发明在对所述网络结构进行训练得到所述网络模型的过程中，输入的是证件照图像，输出的是预测的人像前景掩模，没有生成中间的三值图像，预测的人像前景掩模不依赖于非精确的三值图，是最直接的端到端的网络结构，避免了生成三值图像的误差对后续最终抠图结果的影响。
80.需要说明的是,本发明在实现时,本领域技术人员可依据实际情况采用现有技术中任意相关的技术构建本说明书中所涉及的用于提取人像前景掩模的网络结构,也可依据实际情况采用现有技术中的任意相关技术,利用证件照抠图数据集训练所述网络结构得到训练好的能够提取人像前景掩模的网络模型。
81.步骤s2：根据所述目标人像前景掩模，估计所述待抠图证件照图像的前景图像，得到所述待抠图证件照图像对应的前景估计图像。
82.在本实施例中，步骤s2的实现方法为：
83.根据目标人像前景掩模，采用多层次的前景估计方法，以预先设定的分辨率求解所述待抠图证件照图像的前景图像，迭代最小局部成本函数，然后以当前分辨率下求解出的前景图像为初始化图像，计算下一个预先设定的分辨率下的前景图像，重复执行以上过程，直到最新计算出的前景图像达到输入图像的原始大小，即得到所述待抠图证件照图像对应的前景估计图像，其中，对于任意相邻两次用于求解前景图像的两个预先设定的分辨率来说，在先用于求解前景图像的分辨率均小于在后用于求解前景图像的分辨率。
84.具体实现时，本领域技术人员还可依据实际情况，从现有技术中选择任意相关技术实现该步骤s2得到各相应的前景估计图像。
85.步骤s3：将所述目标人像前景掩模、所述前景估计图像以及给定的证件照背景图像进行图像融合，得到所述待抠图证件照图像对应的抠图后的证件照图像。
86.将融合得到的待抠图证件照图像对应的抠图后的证件照图像简称为“融合后图像”，则步骤s3中根据所述目标人像前景掩模、所述前景估计图像以及给定的证件照背景图像，得到融合后图像的计算公式为：
87.融合后图像＝目标人像前景掩模
×
前景估计图像+证件照背景图像
×
(1-目标人像前景掩模)。
88.本发明在将目标人像前景掩模、前景估计图像以及给定的背景色(即所述的证件照背景图像)进行图像融合之前，根据提取的待抠图照片图像的人像前景掩码(即目标人像前景掩模)对待抠图照片图像的人像前景进行估计，而不是近似的用证件照图像替代证件照图像的前景图像，一定程度上有助于防止证件照图像与背景图像融合后，在融合边缘出
现证件照原始图像的底色。
89.如图2示，该系统100包括：
90.图像掩模获取单元101，用于将待抠图证件照图像输入预先训练好的能够提取人像前景掩模的网络模型进行运算,得到所述待抠图证件照图像的人像前景掩模,记为目标人像前景掩模；
91.前景图像获取单元102，用于根据所述目标人像前景掩模，估计所述待抠图证件照图像的前景图像，得到所述待抠图证件照图像对应的前景估计图像；
92.抠图生成单元103，用于将所述目标人像前景掩模、所述前景估计图像以及给定的证件照背景图像进行图像融合，得到所述待抠图证件照图像对应的抠图后的证件照图像。
93.作为本发明的一个示意性实施例，该证件照抠图系统还包括模型获取单元；所述模型获取单元包括：
94.抠图数据集创建模块，用于创建证件照抠图数据集；
95.网络结构构建模块，用于构建用来提取人像前景掩模的网络结构；
96.网络模型训练模块，用于利用所述证件照抠图数据集训练所述网络结构，得到训练好的能够提取人像前景掩模的网络模型。
97.模型获取单元用于供系统100得到训练好的能够提取人像前景掩模的网络模型。
98.作为本发明的一个示意性实施例，抠图数据集创建模块包括：
99.训练集单元，用于收集证件照图像形成训练集；
100.第一图像获取单元，用于利用图像处理软件对训练集中的各证件照图像分别进行人像前景抠图，得到训练集中每一个证件照图像的人像前景图像；
101.第二图像获取单元，用于对训练集中的每一个证件照图像，分别根据其对应的人像前景图像，提取其对应的人像前景掩模；
102.数据集生成单元，用于利用训练集中的各证件照图像及其各自的人像前景掩模，构建证件照抠图数据集。
103.作为本发明的一个示意性实施例，前景图像获取单元102包括：
104.第一模块，用于根据目标人像前景掩模，采用多层次的前景估计方法，以预先设定的分辨率求解所述待抠图证件照图像的前景图像，迭代最小局部成本函数，然后以最新分辨率下求解出的前景图像为初始化图像，计算下一个预先设定的分辨率下的前景图像；
105.第二模块，重复以当前最新分辨率下求解出的前景图像为初始化图像，计算下一个预先设定的分辨率下的前景图像，直到最新计算出的前景图像达到所述待抠图证件照图像的原始大小，即得到所述待抠图证件照图像对应的前景估计图像；
106.其中，在该前景图像获取单元102中，对于任意相邻两次用于求解前景图像的两个预先设定的分辨率来说，在先用于求解前景图像的分辨率均小于在后用于求解前景图像的分辨率。
107.本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
108.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明
的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。