本发明涉及一种图像去遮挡方法，尤其涉及一种基于深度学习的人脸图像去遮挡方法。
背景技术：
随着计算机视觉技术的发展，人脸识别在家庭娱乐，安防系统，视频监控等领域得到广泛应用。人脸识别的各个步骤都需要输入人脸图像满足一定要求：人脸图像无明显噪声，遮挡，人脸图像清晰度，质量较好。目前，人脸图像去噪遮挡主要关注在去除干扰信息的同时，减少图像细节的丢失。
基于传统方法的图像去遮挡和修复主要分为两个方向：基于图像纹理分析技术和基于局部插值的图像修复方法。
基于传统纹理分析技术的图像去噪方法，其模型设计复杂，速度慢，效率低，容易带来图像细节模糊问题。而基于局部插值的图像修复方法，未使用到图像的全局信息，容易带来图像不平滑问题。对于缺少区域比较大的场景，效果较差，基于插值图像的修复方法需要事先知道噪声位置。
技术实现要素：
为了解决上述问题中的不足之处，本发明提供了一种基于深度学习的人脸图像去遮挡方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于深度学习的人脸图像去遮挡方法，包括以下步骤：
(1)自动对原始图片添加特定样式与分布的遮挡，模拟真实遮挡分布，制作训练数据集并对输入数据进行预处理；
具体的预处理步骤包括但不限于将输入图像进行归一化、尺度缩放、数据增广；并且通过批处理操作将图片像素值进行归一化，便于后续计算与网络收敛；
(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅；
其中，网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图，特征图分布反应了图像的基础信息，不同的卷积核提取出不同的特征图，并将边缘信息作为后续网络的输入；
(3)设计神经子网络N2对遮挡图像进行自动修复与平滑；
(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部，实现参数共享，N2的核心思想是提取N1的末端的输入特征图，经过N1阶段的学习后，此时的特征图已比较接近遮挡分布，将该特征图和原始遮挡图片叠加，将叠加值作为初始修复状态；
(3.2)获取初始修复状态后，神经子网络N2的后半部采用不带下采样操作的卷积单元，包括但不局限于两层或者多层的卷积层，多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图，输出以无遮挡的真值图像进行约束；
(3.3)然后采用欧式损失进行有监督约束，训练采用的算法是BackPropagation反向回传算法，通过回传的损失层误差来更新每一层的参数，使得网络参得到更新，最终得到收敛；
(4)迭代训练子网络N1，N2，进行多任务学习；
(4.1)首先完成遮挡的检测任务，任务的主要实施部分为网络结构N1，输入数据是有遮挡的原始图像，标签是已知的遮挡的分布图，目标是在N1结构的末端在测试阶段自动学习出遮挡的分布，使得神经网络N1收敛到良好状态。
(4.2)然后完成图像修复任务，任务的主要实施部分为网络结构N2，输入数据是有遮挡的原始图像，标签是未遮挡的真值图像，目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像，并通过图像级别像素值的回归，进一步减小学习率，促进网络收敛的步骤，使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。
本发明的深度神经网络结构N1中，分为前后两个部分，前部分基于卷积神经网络结构单元，包括但不限于卷积操作，非线性映射，下采样池化；再选取小尺度的卷积核，将其分为五个卷积单元层，其中前两个卷积单元采用最大值池化方法进行下采样，快速降低特征图的大小，后三个卷积单元为串联的卷积层，并且卷积核数目加倍，可增强网络的学习能力；后部分基于反卷积神经网络结构单元，包括但不限于反卷积操作，非线性映射；其中，反卷积核的参数为网络优化学习而得，并且采用串联的小步长上采样代替大步长采样，对边缘的预测结果更为有效。
上述步骤(2)中，深度神经网络结构N1的末端输出采用非线性映射将最有一层的输出映射到[0,1]之间，采用欧式损失进行有监督约束，能够同时预测遮挡的位置和深浅；训练采用的算法是BackPropagation反向回传算法，通过回传的损失层误差来更新每一层的参数，使得网络参得到更新，最终得到收敛。
本发明通过设计基于深度学习的人脸图像去遮挡的端到端的算法框架，能够检测出特定形状与分布的遮挡，并且通过网络进行像素级别的自动修复与平滑，完成未遮挡部分的图像细节保持和遮挡部分的自动修复，使得后续的人脸识别正确率得到极大的提高，并且大大提高了网络的优化速度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明的算法实施流程图。
具体实施方式
如图1所示，本发明具体包括以下步骤：
(1)自动对原始图片添加特定样式与分布的遮挡，模拟真实遮挡分布，制作训练数据集并对输入数据进行预处理；
具体的预处理步骤包括但不限于将输入图像进行归一化(除以最大值因子)、尺度缩放(尝试不同长宽的输入)、数据增广(增加遮挡的范围和种类)；其目的在于对输入图片进行种类扩充，扩大或缩小到相同的尺度，进行批处理操作，并且将图片像素值进行归一化，便于后续计算与网络收敛；
(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅；
其中，网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图，特征图分布反应了图像的基础信息，不同的卷积核提取出不同的特征图(如颜色)，将边缘信息作为后续网络的输入；
本发明在深度神经网络结构N1中，分为前后两个部分，前部分基于卷积神经网络结构单元，包括但不限于卷积操作，非线性映射，下采样池化；再选取小尺度的卷积核，将其分为五个卷积单元层，其中前两个卷积单元采用最大值池化方法进行下采样，快速降低特征图的大小，后三个卷积单元为串联的卷积层，并且卷积核数目加倍，可增强网络的学习能力。
后部分基于反卷积神经网络结构单元，包括但不限于反卷积操作，非线性映射。其中，反卷积核的参数为网络优化学习而得，并且采用串联的小步长上采样代替大步长采样，对边缘的预测结果更为有效。网络结构本身不是保护范围，是公开的学术成果，但凡是符合该网络结构框架，并且之间用于去除遮挡，或者网络结构的设计和参数与本发明相近，则属于保护范围。
其中，深度神经网络结构N1的末端输出采用非线性映射将最有一层的输出映射到[0,1]之间，采用欧式损失进行有监督约束，能够同时预测遮挡的位置和深浅。本发明训练采用的算法是BackPropagation反向回传算法，通过回传的损失层误差来更新每一层的参数，使得网络参得到更新，最终得到收敛。
(3)设计神经子网络N2对遮挡图像进行自动修复与平滑；
(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部，因此实现参数共享，N2的核心思想是提取N1的末端的输入特征图，经过N1阶段的学习后，此时的特征图已比较接近遮挡分布，将该特征图和原始遮挡图片叠加。一方面遮挡位置的特征图的值偏大，与原始图片遮挡位置偏深色刚好相反，叠加操作能够实现部分抵消；另一方面非遮挡位置的特征图接近零，叠加后对非遮挡部分的图像细节影响不大，保留了非遮挡部分的细节，将叠加值作为初始修复状态。
(3.2)获取初始修复状态后，神经子网络N2的后半部采用不带下采样操作的卷积单元，包括但不局限于两层或者多层的卷积层，多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图，输出以无遮挡的真值图像进行约束。由于损失函数中比较大的项多是由遮挡部分与真值图像的差异造成，当网络参数朝向损失函数降低的方向优化，图像的遮挡部分的像素值就与真值图像不断接近，实现自动修复过程，使得修复结果更加平滑和自然。
(3.3)然后采用欧式损失进行有监督约束，训练采用的算法是BackPropagation反向回传算法，通过回传的损失层误差来更新每一层的参数，使得网络参得到更新，最终得到收敛。
(4)迭代训练子网络N1，N2，进行多任务学习。本发明采用的优化策略是先解决简单的任务，在此基础上辅助优化复杂任务，并且结合了批归一化和学习率自动衰减的优化方法。
(4.1)首先完成遮挡的检测任务，任务的主要实施部分为网络结构N1，输入数据是有遮挡的原始图像，标签是已知的遮挡的分布图，目标是在N1结构的末端在测试阶段自动学习出遮挡的分布，该任务的的难度接近于实现二值分类，相对简单，使得神经网络N1收敛到良好状态。
(4.2)然后完成图像修复任务，任务的主要实施部分为网络结构N2，输入数据是有遮挡的原始图像，标签是未遮挡的真值图像，目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像。该任务是难度是图像级别像素值的回归，需要进一步减小学习率，促进网络收敛，使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。
本发明解决了现有技术在未知遮挡位置的情况下，无法较好的同时实现去除遮挡和修复图像的任务，提出了一种基于深度学习的系统，在检测遮挡位置与深浅信息的同时，利用全局语义信息对图像进行自动修复的方法。其具有以下几个关键点：
1)采用基于全卷积网络结构设计算法框架，前端网络包括卷积层，非线性映射，下采样池化模块实现特征图尺度逐渐降低，后端网络包括反卷积层，非线性映射模块实现上采样；技术效果是可以还原输出特征图到原始输入图像的尺寸，基于像素级别分析图像信息，包括但不限于像素是否是遮挡位置，以及对图像进行像素级别的修复。
2)两个串联子网络实行参数共享，第一个子网络自动学习遮挡位置，第二个子网络在第一个子网络的基础上进行叠加，实现部分遮挡的抵消。第二个子网络包括但不限于两层或多层卷积层，自动实现图像的修复和平滑。技术效果是利用了图像的全局语义信息，两个子网络相互辅助，自动输出遮挡和修复之后的图像。
3)多任务学习，算法分为两个任务，先完成第一个简单的任务是预测遮挡的位置与深浅，采用欧式损失的有监督约束，再在第一个任务基础上完成第二个复杂的任务对图像进行像素级别的修补，采用欧式损失的有监督约束,共同迭代训练。技术效果包括但不限于形成一个端到端的优化系统，系统包括一个输入，两个输出。并且可以由简入难的进行优化。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。