一种人脸图像分割方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种人脸图像分割方法、装置、设备及存储介质。


背景技术：

2.图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。
3.常见的人脸分割算法有基于阈值的分割方法、基于边缘检测的分割方法、基于遗传算法的人脸分割方法和基于主动轮廓模型的分割方法等。阈值法的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。但阈值法在实际应用中只考虑像素点灰度值本身的特征，一般不考虑空间特征，因此对噪声比较敏感，鲁棒性不高。而基于边缘检测的图像分割算法试图通过检测包含不同区域的边缘来解决分割问题，但是其无法保证边缘的连续性和封闭性，而且在高细节区域存在大量的碎边缘，难以形成一个大区域，但是又不宜将高细节区域分成小碎片。遗传算法擅长于全局搜索，但局部搜索能力不足，所以常把遗传算法和其他算法结合起来应用。将遗传算法运用到图像处理主要是考虑到遗传算法具有与问题领域无关且快速随机的搜索能力。其搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，能有效的加快图像处理的速度。但是遗传算法也有其缺点：搜索所使用的评价函数的设计、初始种群的选择有一定的依赖性等。主动轮廓模型(active contours)是图像分割的一种重要方法，其基本思想是，先定义初始曲线c，然后根据图像数据得到能量函数，通过最小化能量函数来引发曲线变化，使其向目标边缘逐渐逼近，最终找到目标边缘。其缺点是难以处理模型拓扑结构的变化，比如曲线的合并或分裂等。
4.综上而言，现有技术采用的人脸分割算法虽然在某种程度上提升了分割的性能，但同时导致了分割得到的图像产生的另外的问题，无法有效地提高分割的精确度。


技术实现要素：

5.本发明旨在提供一种人脸图像分割方法、装置、设备及存储介质，以解决上述技术问题，通过巧妙地设计一种神经网络，有效提高人脸图像分割地精确度。
6.为了解决上述技术问题，本发明提供了一种人脸图像分割方法，包括以下步骤：
7.获取人脸图像训练集；
8.在u-net网络基础上增加密集连接过程构建dense-u-net网络，并将人脸图像训练集输入构建的dense-u-net网络中进行训练，得到训练好的dense-u-net网络；
9.获取待分割的人脸图像并输入至训练好的dense-u-net网络中，根据dense-u-net网络的输出得到最终的人脸图像分割结果。
10.本方法通过在u-net网络基础上增加密集连接过程从而构建dense-u-net网络，密
集连接过程可以在dense-u-net网络实现图像分割过程的基础上，保留网络层与层之间的信息传输，同时减轻网络过深导致的梯度消失的问题，保证了dense-u-net网络输出结果的准确性，即所述方法通过巧妙地设计一种神经网络，能有效提高人脸图像分割地精确度。
11.进一步地，所述在u-net网络基础上增加密集连接过程构建dense-u-net网络为：基于u-net网络结构，将输入层的输入进行最大池化操作后，与其输出进行拼接，作为第一层编码层的输入，完成输入层与第一层编码层的密集连接；把第一层编码层的输入进行最大池化操作后，与其输出进行拼接，作为第二层编码层的输入，完成第一层编码层与第二层编码层的密集连接；重复上述操作直至以u-net网络为基础的输入层及若干编码层依次进行密集连接，完成dense-u-net网络的构建。
12.上述方案中，所述密集连接过程是池化-拼接的连续操作过程，其可以有效保留网络层与层之间的信息传输，同时减轻网络过深导致的梯度消失的问题，保证了后续解码过程数据来源的可靠性，进一步保证了dense-u-net网络输出结果的准确性，能有效提高人脸图像分割地精确度。
13.进一步地，所述人脸图像分割方法还包括以下步骤：在dense-u-net网络输入层中，采用大尺寸卷积核对其输入进行连续卷积操作；所述大尺寸卷积核为尺寸大于等于7*7且小于等于9*9的卷积核。
14.由于人脸的尺寸不一，而卷积操作通过一定大小尺寸的卷积核作用于图像局部区域来获得图像的局部信息，即图像特征，采用大尺寸卷积核对输入图像进行连续卷积操作，可以更加充分的提取出人脸的特征。
15.进一步地，在所述构建dense-u-net网络过程中，还增加了深度监督过程，所述深度监督过程的增加过程具体为：
16.在u-net网络基础上，将倒数第二层解码结果进行上采样操作后，与最后一层解码结果进行拼接，将拼接结果作为输出层的输入。
17.上述方案中，深度监督过程是上采样-拼接的操作过程，该过程可以令输出层的输入直接包含了解码过程几乎所有卷积操作得到的特征图信息，一方面包括深层卷积层得到的高级语义信息，另一方面也包含了浅层操作得到的定位信息，使得输出层处理得到的人脸图像分割结果包含了更多的图像特征信息，精确度更高。
18.本方案还提供一种人脸图像分割装置，其特征在于，包括图像获取模块、dense-u-net网络构建模块、dense-u-net网络训练模块和人脸图像分割模块；其中：
19.所述图像获取模块用于图像的获取，包括人脸图像训练集的获取和待分割的人脸图像的获取；
20.所述dense-u-net网络构建模块用于在u-net网络基础上增加密集连接结构，构建dense-u-net网络；
21.所述dense-u-net网络训练模块用于将人脸图像训练集输入构建的dense-u-net网络中进行训练，得到训练好的dense-u-net网络
22.所述人脸图像分割模块用于将待分割的人脸图像输入至训练好的dense-u-net网络中，根据dense-u-net网络的输出得到最终的人脸图像分割结果。
23.进一步地，在所述dense-u-net网络构建模块中，所述在u-net网络基础上增加密集连接结构，构建dense-u-net网络具体为：
24.基于u-net网络结构，在输入层与第一层编码层之间设置密集连接结构，将输入层的输入进行最大池化操作后，与其输出进行拼接，作为第一层编码层的输入；同理地，在第一层编码层与第二层编码层之间设置密集连接结构，将第一层编码层的输入进行最大池化操作后，与其输出进行拼接，作为第二层编码层的输入；重复上述操作直至以u-net网络为基础的输入层及若干编码层依次进行密集连接，实现dense-u-net网络的构建。
25.进一步地，在所述输入层中，采用大尺寸卷积核对其输入进行连续卷积操作；所述大尺寸卷积核为尺寸大于等于7*7且小于等于9*9的卷积核。
26.进一步地，在所述dense-u-net网络构建模块中，还在u-net网络基础上增加深度监督结构，所述深度监督结构执行深度监督过程，具体为：
27.在u-net网络基础上，将倒数第二个解码层的解码结果进行上采样操作后，与最后一层解码层的解码结果进行拼接，将拼接结果作为输出层的输入。
28.本方案还提供一种人脸图像分割设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种人脸图像分割方法。
29.本方案还提供一种人脸图像分割存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行所述的一种人脸图像分割方法。
附图说明
30.图1是本发明一实施例提供的一种人脸图像分割方法流程示意图。
31.图2是本发明一实施例提供的dense-u-net网络架构示意图。
32.图3为本发明一实施例提供的dense-u-net网络裁剪过程示例图。
33.图4为本发明一实施例提供的dense-u-net网络拼接过程示例图。
34.图5为本发明一实施例提供的dense-u-net网络编码过程示意图。
35.图6为本发明一实施例提供的一种人脸图像分割装置连接示意图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.请参见图1，本发明实施例提供了一种人脸图像分割方法，包括以下步骤：
38.s1：获取人脸图像训练集；
39.s2：在u-net网络基础上增加密集连接过程构建dense-u-net网络，并将人脸图像训练集输入构建的dense-u-net网络中进行训练，得到训练好的dense-u-net网络；
40.s3：获取待分割的人脸图像并输入至训练好的dense-u-net网络中，根据dense-u-net网络的输出得到最终的人脸图像分割结果。
41.需要说明的是，所述dense-u-net表示加深的u-net网络，dense-u-net网络在实际训练过程中，通过合理设置超参数，采用反向传播算法和adam优化算法，获得固定参数的
dense-u-net网络模型。在获得dense-u-net网络模型后，还进行了测试过程，所述测试过程即采用测试图像集进行预处理后再输入dense-u-net网络模型中，利用dense-u-net网络模型对测试图像进行预测，得到分割概率图，再根据预设的阈值将分割概率图进行二值化得到最后的分割预测图，通过判断最后的分割预测图是否符合要求，从而确定dense-u-net网络是否训练完成，只有当dense-u-net网络训练完成了，才能用于对待分割的人脸图像进行分割，得到最终的人脸图像分割结果。
42.需要说明的是，在获取人脸图像训练集及待分割的人脸图像时可以进行预处理或数据增强处理，以使最终的分割结果准确度更高。所述预处理过程包括通过裁剪或者填充将图片统一尺寸，对图像灰度值进行归一化等。所述数据增强处理包括翻转，放缩，旋转，错切。
43.本发明实施例通过在u-net网络基础上增加密集连接过程从而构建dense-u-net网络，密集连接过程可以在dense-u-net网络实现图像分割过程的基础上，保留网络层与层之间的信息传输，同时减轻网络过深导致的梯度消失的问题，保证了dense-u-net网络输出结果的准确性，即所述方法通过巧妙地设计一种神经网络，能有效提高人脸图像分割地精确度。dense-u-net网络的解码过程与u-net一样，同时使用跳跃连接将编码过程提取到的特征与解码过程提取到的特征结合起来，最后经过sigmoid函数生成分割预测图。
44.进一步地，所述密集连接过程具体为：所述在u-net网络基础上增加密集连接过程构建dense-u-net网络为：基于u-net网络结构，将输入层的输入进行最大池化操作后，与其输出进行拼接，作为第一层编码层的输入，完成输入层与第一层编码层的密集连接；把第一层编码层的输入进行最大池化操作后，与其输出进行拼接，作为第二层编码层的输入，完成第一层编码层与第二层编码层的密集连接；重复上述操作直至以u-net网络为基础的输入层及若干编码层依次进行密集连接，完成dense-u-net网络的构建。
45.需要说明的是，密集连接过程仅设置在dense-u-net网络的输入及编码过程，即最后一层的编码结果直接进行解码过程。所述密集连接过程本质上是池化-拼接的连续操作过程，其可以有效保留网络层与层之间的信息传输，同时减轻网络过深导致的梯度消失的问题，保证了后续解码过程数据来源的可靠性，进一步保证了dense-u-net网络输出结果的准确性，能有效提高人脸图像分割地精确度。
46.进一步地，所述人脸图像分割方法还包括以下步骤：在dense-u-net网络输入层中，采用大尺寸卷积核对其输入进行连续卷积操作；所述大尺寸卷积核为尺寸大于等于7*7且小于等于9*9的卷积核。
47.需要说明的是，由于人脸的尺寸不一，而卷积操作通过一定大小尺寸的卷积核作用于图像局部区域来获得图像的局部信息，即图像特征，本实施例采用大尺寸卷积核对输入图像进行连续卷积操作，可以更加充分的提取出人脸的特征。
48.进一步地，在所述构建dense-u-net网络过程中，还增加了深度监督过程，所述深度监督过程的增加过程具体为：
49.在u-net网络基础上，将倒数第二层解码结果进行上采样操作后，与最后一层解码结果进行拼接，将拼接结果作为输出层的输入。
50.需要说明的是，深度监督过程本质上是上采样-拼接的操作过程，该过程可以令输出层的输入直接包含了解码过程几乎所有卷积操作得到的特征图信息，一方面包括深层卷
积层得到的高级语义信息，另一方面也包含了浅层操作得到的定位信息，使得输出层处理得到的人脸图像分割结果包含了更多的图像特征信息，精确度更高。
51.进一步地，为了更好地说明本方法的实施过程，本实施例具体提供了一种dense-u-net网络架构以实现一种人脸图像分割方法。
52.请参照图2，本发明实施例提供的dense-u-net网络架构包括一个输入层(input)、20个卷积层(c1,c2,c3,...,c20)、4个密集连接层(dense1,dense2,dense3,dense4)、4个池化层(p1,p2,p3,p4)、4个上采样层(u1,u2,u3,u4)和4个裁剪拼接层(crop1+conc1,crop2+conc2,crop3+conc3,crop4+conc4)。整体网络呈u型结构，接收图像输入，是一个编码器-解码器(encoder-decoder)结构。其中，输入层作为dense-u-net网络的输入，起到了将预处理后的图像转化为向量表示的作用。具体地，针对于200*200的图像数据集，输入层接受200*200*1的张量首先基于3层卷积核为7*7的卷积层(c1,c2,c3)对输入图像进行连续卷积操作，得到32个200*200的特征图，即第一层池化层(p1)的输入矩阵维度是200*200*32，经过最大池化(p1)后，得到100*100*32的特征图，记为f1。接着，将输入层的200*200*1直接最大池化得到了100*100*1的特征图，记为f2，与特征图f1进行拼接得到100*100*33的特征图作为第4个卷积层c4的输入。这样经过4轮的卷积-池化-拼接-卷积操作后，特征图的尺寸变成了12*12。为了将图片的分辨率还原，在解码过程中，本实施例采用了过滤器尺寸为2*2的上采样层(u1,u2,u3,u4)来逐步恢复特征图的分辨率。即经过u1层的上采样，特征图的尺寸会从12*12恢复为24*24。本实施例采用了裁剪拼接层(crop1+conc1,crop2+conc2,crop3+conc3,crop4+conc4)使解码过程中的输出与编码过程中的高分辨率特征相结合。如裁剪拼接层crop1+conc1把第9个卷积层输出的25*25*256的特征图裁剪成24*24*256大小，再与上采样层u1得到的24*24*512大小的特征图拼接，得到24*24*768大小的特征图。
53.需要特别说明的是，在本实施例中，对于裁剪拼接层得到的结果继续进行两次连续的卷积操作(c12,c13)，可以得到更为精确地输出，即得到24*24*256大小的特征图。
54.进一步地，在整个解码过程中，重复4次上述上采样-裁剪拼接-两次卷积的操作后，得到192*192*32大小的特征图，即第19个卷积层的输出是192*192*32大小的特征图。由于dense-u-net网络在解码过程中增加了深度监督的过程，因此将第17个卷积层的特征图输出直接连接到输出层，作为最后图像分割结果的输入。
55.进一步地，本实施例紧接着对第20个卷积层地输入进行补0填充，将特征图尺寸扩充到200*200。而最后一个卷积层c20，作为整个网络的输出层，本实施例采用了1个1*1大小的卷积核进行卷积操作，采用sigmoid激活函数，得到了200*200*1大小的特征图，也就是dense-u-net网络的输出。输出图像的每个像素经过sigmoid激活函数后结果映射到了(0,1),即得到了最后的分割预测概率图。
56.需要说明的是，本实施例可以接受任意尺寸图像的输入，采用200*200尺寸仅是为了对整个网络的工作流程阐述的方便，不能解释为对于本方法应用范围的限定。
57.进一步地，在图2中，第3个卷积层c3输出的特征图为200*200*32，记为f3，而上采样层u4输出的特征图为192*192*64，记为f4。本实施例所述的裁剪拼接过程具体为：
58.请参见图3，其首先将f3的尺寸从200*200裁剪为192*192，即参数a取200，参数b取192。然后，将192*192*32的特征图与192*192*64的特征图拼接，拼接过程请参见图4所示，其中参数a取192，参数m取32，参数n取64。
59.需要说明的是，上述裁剪的参数是依据实际需求而设置的，其参数的设置依赖于卷积层卷积核的尺寸，可以令整个网络的分割性能更加。
60.进一步地，本实施例所提供的dense-u-net网络，相对于传统的u-net网络，其在编码过程做出的改进具体为：
61.请参见图5，密集连接层dense1的密集连接过程本质上为池化-拼接的连续操作过程，为了方便表示，图5中用p5、p6、p7、p8分别表示密集连接层dense1、dense2、dense3、dense4的池化过程。具体的，本实施例将整个网络的连续卷积操作输出过程简化为：
62.y
l
＝g(w
l
*g(w
l-1
…
g(w1*x)))
63.其中，g(
·
)代表非线性激活函数，y
l
表示dense-u-net网络第l层的输出，w
l
表示dense-u-net网络第l层卷积核的权重张量，x表示dense-u-net网络的输入。
64.进一步地，dense-u-net网络在输入层部分设计了3个卷积层(c1,c2,c3)，且都采用了大小为7*7的卷积核，相比于传统的u-net网络，dense-u-net网络在前5层卷积层能更充分更精细地提取图片特征，同时有了更大的感受野。
65.进一步地，除增加连续卷积操作以外，dense-u-net网络还在编码过程增加了密集连接过程。传统u-net网络的跳跃连接，即裁剪拼接层的思想，是把编码过程浅层网络输出中的上下文信息(例如毛发的某个像素点在图片中的坐标位置等)和解码过程深层网络输出中的相对抽象的语义信息(例如为何这个像素点是毛发)结合起来，以为后续的卷积操作提供更丰富的信息。而在本实施例中，输入图像本身对于神经网络提取特征也具有很重要的参考作用，因此在设计了4个密集连接层参与网络的编码过程。密集连接层的密集连接过程本质上是一组池化-拼接的连续操作。对于dense1层，输入层经过池化层(p5)最大池化操作后，尺寸缩减为100*100，再与p1层的输出拼接形成100*100*33大小的特征图，作为c5层的输入。这样与传统u-net网络的编码过程相比，dense-u-net网络的卷积层的输入，不仅有来自上一卷积层输出的特征图信息，也有来自上一卷积层输入的信息。
66.本实施例所提供的方法通过在u-net网络基础上增加密集连接过程从而构建dense-u-net网络，密集连接过程可以在dense-u-net网络实现图像分割过程的基础上，保留网络层与层之间的信息传输，同时减轻网络过深导致的梯度消失的问题，保证了dense-u-net网络输出结果的准确性，即所述方法通过巧妙地设计一种神经网络，能有效提高人脸图像分割地精确度。
67.进一步地，dense-u-net网络的解码过程是先经过重复4次上采样-裁剪拼接-卷积操作但是又引入了深度监督的过程，把c17层的特征图输出直接连接到输出层，作为最后分类过程的输入。深监督的过程实质上是一组上采样-拼接操作过程，即将c17层的输出先经过上采样(u5)，再与c19层的特征图进行拼接作为输出层即c20层的输入。这样使得输出层的输入直接包含了解码过程几乎所有卷积操作得到的特征图信息，一方面包括深层卷积层得到的高级语义信息(例如为啥这个像素点是毛发)，另一方面也包含了浅层操作得到的定位信息(例如毛发的某个像素点在图片中的坐标位置等)。最后经过一层1*1卷积和sigmoid激活函数得到最后的分割预测概率图。
68.进一步地，在dense-u-net网络的训练过程中，本实施例采用dice损失函数进行训练，其具体表示为：
[0069][0070]
其中，n表示图像总数，{g1,g2,
…
,gn}表示在图像上的金标准分割概率图，{p1,p2,
…
,pn}表示在图像上的预测概率图。*表示两个矩阵的逐项积，+表示两个矩阵的和。s表示平滑系数，避免出现除数为零的情况出现，此处将s设为1。
[0071]
具体的，使用dice损失函数，采用mini-batch adam优化算法，学习率设为0.0004，batch size设为32，对dense-u-net网络训练150轮。
[0072]
需要说明的是，所述图像上的金标准分割概率图是指图像对应的金标准图像进行分割后的概率图，其是训练的标准值。而mini-batch adam优化算法作为一种成熟的算法，其参数的设置可以依据实际的需求而定。
[0073]
所述领域的技术人员可以清楚地了解到，为了方便和简洁，上述描述的方法在实际应用过程中，其可能依赖的装置、设备、和存储介质，可参考下叙实施例中对应实现过程，在此不再赘述。
[0074]
请参照图6，本方案提供一种人脸图像分割装置，用于实现一种人脸图像分割方法，其包括图像获取模块、dense-u-net网络构建模块、dense-u-net网络训练模块和人脸图像分割模块；其中：
[0075]
所述图像获取模块用于图像的获取，包括人脸图像训练集的获取和待分割的人脸图像的获取；
[0076]
所述dense-u-net网络构建模块用于在u-net网络基础上增加密集连接结构，构建dense-u-net网络；
[0077]
所述dense-u-net网络训练模块用于将人脸图像训练集输入构建的dense-u-net网络中进行训练，得到训练好的dense-u-net网络；
[0078]
所述人脸图像分割模块用于将待分割的人脸图像输入至训练好的dense-u-net网络中，根据dense-u-net网络的输出得到最终的人脸图像分割结果。
[0079]
进一步地，在所述dense-u-net网络构建模块中，所述在u-net网络基础上增加密集连接结构，构建dense-u-net网络具体为：
[0080]
基于u-net网络结构，在输入层与第一层编码层之间设置密集连接结构，将输入层的输入进行最大池化操作后，与其输出进行拼接，作为第一层编码层的输入；同理地，在第一层编码层与第二层编码层之间设置密集连接结构，将第一层编码层的输入进行最大池化操作后，与其输出进行拼接，作为第二层编码层的输入；重复上述操作直至以u-net网络为基础的输入层及若干编码层依次进行密集连接，实现dense-u-net网络的构建。
[0081]
进一步地，在所述输入层中，采用大尺寸卷积核对其输入进行连续卷积操作；所述大尺寸卷积核为尺寸大于等于7*7且小于等于9*9的卷积核。
[0082]
进一步地，在所述dense-u-net网络构建模块中，还在u-net网络基础上增加深度监督结构，所述深度监督结构执行深度监督过程，具体为：
[0083]
在u-net网络基础上，将倒数第二个解码层的解码结果进行上采样操作后，与最后一层解码层的解码结果进行拼接，将拼接结果作为输出层的输入。
[0084]
本实施例还提供一种人脸图像分割设备，包括处理器、存储器以及存储在所述存
储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种人脸图像分割方法。
[0085]
本实施例还提供一种人脸图像分割存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行所述的一种人脸图像分割方法。
[0086]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。