一种基于深度卷积生成对抗网络的遮挡人脸补全算法

本发明属于图像处理领域，尤其是一种基于深度卷积生成对抗网络的遮挡人脸补全算法。

背景技术：

在现实环境中，使用摄像头所采集人脸信息时会存在人脸信息被遮挡的情况，例如自身佩戴的围巾、帽子、墨镜，或者是一些别的物体的遮挡。在这种情况下，如果想获得未遮挡的人脸信息，就需要一个较好的额人脸图像补全算法，对存在遮挡的图片进行遮挡部分信息的补全。传统的图像补全算法是利用图像信息的冗余性，从周围像素信息去补充遮挡部分像素内容，由于人脸特征的复杂性，该方法无法有效修复五官等关键信息的大面积遮挡，以深度学习为基础并基于生成对抗网络的图像补全法能更好的补全人脸信息。

目前，yeh等人利用生成对抗性网络(gan)进行生成建模有了新进展，一个经过训练的神经网络(通常称为“生成器”)被训练成从一个从已知的先验分布中提取的潜在向量开始生成语义真实的人脸。aviseklahiri等人在相关研究的基础上又发表了基于生成对抗性网络(gan)的人脸语义修复的体系结构和优化技巧。但其所得到的图像补全信息清晰度不高，不够全面。

以上两种算法所得到的人脸信息清晰度不足，并且不具备保存身份信息的功能，因此并不能准确恢复遮挡人脸图像的被遮挡部分的信息。

综上所述，现有的遮挡人脸补全算法在人脸补全方面还有很大的提升空间。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供基于深度卷积生成对抗网络的遮挡人脸补全算法，能够在有遮挡人脸识别的过程中，尽量准确的补全遮挡人脸，从而提高遮挡图像被识别的准确率。

本发明解决其技术问题是采取以下技术方案实现的：

基于深度卷积生成对抗网络的遮挡人脸补全算法，包括以下结构：

结构1：生成器网络结构；

结构2：全局判别器网络结构；

结构3：局部判别器网络结构；

结构4：模型总损失函数。

进一步，所述结构1生成器的网络结构为：生成器由编码器和解码器组成，编码器网络结构为12层的深度卷积网络，卷积核大小为3×3，步长为1，填充1个像素，每层卷积后会跟leakrelu激活层和batchnormalization归一化层；共有4层max-pooling池化层，窗口大小2×2，步长为2；1层全连接层有1000个通道。编码器网络结构顺序为2层卷积层、1层池化层、2层卷积层、1层池化层、4层卷积层、1层池化层、2层卷积层、1层池化层、2层卷积层、1层全连接层。解码器结构和编码器结构对称。

进一步，所述结构2全局判别器网络结构为：全局判别器网络由5层的卷积层和1层全连接层再加sigmoid函数组成。卷积层卷积核大小为5×5，步长为2，填充2个像素，每层卷积后会跟leakrelu激活层和batchnormalization归一化层。全连接层由1024个通道组成。

进一步，所述结构3局部判别器网络结构为：局部判别器网络由4层的卷积层和1层全连接层再加sigmoid函数组成。卷积层卷积核大小为5×5，步长为2，填充2个像素，每层卷积后会跟leakrelu激活层和batchnormalization归一化层。全连接层由1024个通道组成。

进一步，所述结构4模型总损失函数：

l＝lr+λ1la1+λ2la2

其中lr为生成器的重构损失，通过l2范数，对生成器生成的图像g(z)和原始未遮挡图像y计算像素间的差值，计算公式为：

其中la1为全局鉴别器的对抗损失，la2为局部鉴别器的对抗损失。下式中pdata(x)表示真实数据x的分布，pz(z)表示噪声变量z的分布。计算公式为：

本发明的优点和积极效果是：

本发明通过对局部缺失的区域设计了一个局部鉴别器，为了控制缺失区域中生成的信息真实与否。局部鉴别器可以帮助生成边界更清晰的缺失内容的详细信息。它能确保生成的对象部件在内容信息上是有效的。加入全局鉴别器来保证全局与局部的一致性。用全局鉴别器来规范生成的图像信息在全局上更接近真实内容，使得从缺失区域生成的图形与周围区域更加融合，解决了单一局部鉴别器使成的图像与周围边缘图像有割裂感的问题。

附图说明

图1为本发明的模型总体结构；

图2为本发明的生成器网络结构；

图3为本发明的局部判别器网络结构；

图4为本发明的全局判别器网络结构；

具体实施方式

以下结合附图对本发明实施例做进一步详述：

基于深度卷积生成对抗网络的遮挡人脸补全算法，包括以下步骤：

步骤1：对原始人脸图像按照两只眼睛的特征位置对图像进行剪裁，得到128×128×3像素的图像，将遮挡尺寸设为64×64，以保证至少有一个必要的面部部件缺失。为进一步扩大样本量，避免过度拟合，我们进行数据增强，包括镜像翻转、旋转等操作。在训练过程中，掩码的大小是固定的，但位置是随机选择的。首先利用重构损失lr对生成器部分进行训练，如图2所示。

在本步骤中，重构损失函数计算公式如下：

步骤2：加入局部判别器网络提升生成器对缺失区域的生成效果。

在本步骤中，加入局部对抗性损失函数生成更多细节，使遮挡区域在视觉上更逼真，如图3所示。

在本步骤中，局部对抗性损失函数计算公式如下：

步骤3：加入全局判别器网络提升生成器对整体图像的生成效果。

在本步骤中，加入全局对抗性损失，从全局对网络参数进行调整，细化了整个形象，以确保外观与遮挡边界是一致的，如图4所示。

在本步骤中，全局对抗性损失函数计算公式如下：

步骤4：训练获得的生成器网络为最终的补全网络。

通过本步骤的计算，会得到最终的补全图像，如图2所示。

在本步骤中，计算公式如下：

f＝g(z)

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。