基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法与流程

本发明涉及计算机视觉术领域，尤其涉及生成对抗网络的图像生成技术领域，具体是指一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法。

背景技术：

随着科技的进步，关于人脸识别的产品层出不穷，这些产品已经开始在安防、电子、金融等领域广泛应用，而针对人脸识别产品的检验检测手段与方法也急需要与时俱进。针对人脸识别产品的检验与检测，大量符合要求的数据集是关键。同时，为了满足不同检测要求，检验检测所需要的人脸数据也应该随之变化。面向人脸识别相关产品的检测主要包括人脸检测与人脸识别两方面，对人脸检测算法的验证需要大量不同的人脸数据，而对人脸识别算法的验证需要大量成对的人脸图片，特别针对人脸属性识别与人脸比对算法的验证，如年龄、性别、表情等，则需要同一人不同属性状态下的人脸图片。目前，针对人脸识别产品的检验检测还不算成熟，由于验证数据的缺乏，检验检测机构一般采取固定数据集的方式来对相关产品进行验证。而针对更加要求个性化、多样化的人脸识别产品的检测，利用被动的人工数据采集方式来获得相应验证数据会耗费大量时间以及精力，而且还是达不到日益增长的数据要求。

技术实现要素：

本发明的目的是克服了上述现有技术的缺点，提供了一种满足准确性、灵活性、安全性的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法。

为了实现上述目的，本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法如下：

该基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其主要特点是，所述的方法包括以下步骤：

(1)对训练用的人脸图片数据集进行预处理；

(2)将预处理后的图片数据集以及隐藏向量z输入人脸生成对抗网络进行训练，并通过训练好的生成网络生成高分辨率的人脸图片；

(3)训练人脸特征提取网络，并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取；

(4)在隐藏向量z和提取的特征向量之间执行线性回归，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴；

(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向，解除生成人脸图像中所述两个特征的关联性；

(6)沿着不同的特征轴移动隐藏向量，并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。

较佳地，所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。

较佳地，所述的步骤(1)中预处理后的每个人脸对应有n个大小不一样的图片。

较佳地，所述的大小不一样的图片中最大人脸图片为2ⁿ⁺¹×2ⁿ⁺¹像素。

较佳地，所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络，z为满足正态分布的2ⁿ维的向量。

较佳地，所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。

较佳地，所述的步骤(4)中提取的每个特征对应的值为1或-1。

较佳地，所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。

较佳地，所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。

较佳地，所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。

较佳地，所述的n的取值为大于等于6且小于等于10的正整数。

采用了本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，由于其采用深度学习技术，利用真实人脸图片数据来对生成对抗网络进行训练，并且将隐藏向量和人脸特征建立联系，得到了可以生成自定义人脸图片的生成网络。本发明的核心就在于整体方法的高效性与灵活性：可以使用在任意数据集上训练得到的任意特征提取网络来对训练好的生成对抗网络所生成的人脸图片进行特征提取；为生成网络添加新的特征时，无需重新训练生成对抗网络。

附图说明

图1为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的流程图。

图2为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的人脸图像预处理流程示意图。

图3为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的实施例示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其中包括以下步骤：

(1)对训练用的人脸图片数据集进行预处理；

(2)将预处理后的图片数据集以及隐藏向量z输入人脸生成对抗网络进行训练，并通过训练好的生成网络生成高分辨率的人脸图片；

(3)训练人脸特征提取网络，并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取；

(4)在隐藏向量z和提取的特征向量之间执行线性回归，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴；

(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向，解除生成人脸图像中所述两个特征的关联性；

(6)沿着不同的特征轴移动隐藏向量，并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。

作为本发明的优选实施方式，所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。

作为本发明的优选实施方式，所述的步骤(1)中预处理后的每个人脸对应有n个大小不一样的图片。

作为本发明的优选实施方式，所述的大小不一样的图片中最大人脸图片为2ⁿ⁺¹×2ⁿ⁺¹像素。

作为本发明的优选实施方式，所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络，z为满足正态分布的2ⁿ维的向量。

作为本发明的优选实施方式，所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。

作为本发明的优选实施方式，所述的步骤(4)中提取的每个特征对应的值为1或-1。

作为本发明的优选实施方式，所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。

作为本发明的优选实施方式，所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。

作为本发明的优选实施方式，所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。

作为本发明的优选实施方式，所述的n的取值为大于等于6且小于等于10的正整数。

本发明的具体实施方式中，如说明书附图1所示，该生成的高分辨率人脸图片大小为1024×1024时，所述的一种基于生成对抗网络的自定义高分辨率人脸图片自动生成方法具体包括以下步骤：

(1)对训练生成对抗网络用的人脸图片数据集进行预处理需要先对原始包含人脸的图片进行人脸区域裁剪，裁剪后的人脸图片大小为1024×1024像素(n＝9)，人脸面积与背景面积之比大约为5:1，最终用来训练生成对抗网络的每个尺寸的人脸图片数为30000张，共n个尺寸，如说明书附图2所示。

(2)为了生成高分辨率人脸图片，以渐进式生成对抗网络(pggan)为基础构建生成对抗网络模型，如说明书附图3所示，将隐藏向量z以及由步骤(1)得到的多尺寸人脸图片数据集输入pggan中进行训练，并且通过训练完成的pggan生成与隐藏向量z对应的人脸图片。

为了防止模型崩塌，隐藏空间维数大小需要大于训练用数据集内在维数，但太大的隐藏空间维数会占用太多显存，使得训练越慢，因此，本发明的隐藏空间z为满足正态分布的2ⁿ维的向量，此时n＝9，z为512维。

所述生成对抗网络中生成网络损失函数即最大化表达式如下：

其中，m＝150为每批采样的人脸图像数，z为隐藏向量，g(zⁱ)为生成的数据，d(g(zⁱ))为对抗网络判断生成的数据为真的概率。

所述pggan中对抗网络损失函数即最大化表达式如下：

其中，m＝150为每批采样的人脸图像数，z为隐藏向量，x为真实数据，g(zⁱ)为生成的数据，d(g(zⁱ))为对抗网络判断真实的数据为真的概率，d(g(zⁱ))为对抗网络判断生成的数据为真的概率。

(3)以inception-resnet网络为基础构建人脸特征提取网络模型，如说明书附图3所示，将celeba-hq人脸数据集以及对应的人脸特征标签输入人脸特征提取网络进行训练，并利用训练好的特征提取网络对步骤(2)中pggan所生成的一张人脸图片进行特征向量提取，所提取的每张人脸图片对应的人脸特征包括但不限于年龄(a)、性别(g)、笑容(s)、发型(h)、胡子(b)、眼镜(e)。

(4)由步骤(3)中人脸特征提取网络提取的每个特征对应的值为1或-1，将一个人脸的多个特征所对应的值组成特征向量，选择线性回归模型(linearregression)在输入的隐藏向量z和提取的特征向量之间执行回归操作，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴。

(5)将由步骤(4)得到两个相关的特征中的一个特征所对应的特征轴投影到新的方向，新方向垂直于另一个特征所对应的特征轴，解除生成人脸图像中这两个特征的关联性，两个相关的特征包括但不限于年龄与胡子。

(6)由于隐藏向量空间中两点之间的插值通常会导致相应图像的平滑过渡，沿着不同的特征轴移动来改变隐藏向量z，再通过将改变后的z输入由步骤(2)得到的人脸生成对抗网络中的生成网络生成自定义特征的1024×1024像素高分辨率人脸图片。

采用了本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，由于其采用深度学习技术，利用真实人脸图片数据来对生成对抗网络进行训练，并且将隐藏向量和人脸特征建立联系，得到了可以生成自定义人脸图片的生成网络。本发明的核心就在于整体方法的高效性与灵活性：可以使用在任意数据集上训练得到的任意特征提取网络来对训练好的生成对抗网络所生成的人脸图片进行特征提取；为生成网络添加新的特征时，无需重新训练生成对抗网络。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。