一种虹膜图像美瞳生成与去除方法与流程

本发明涉及图像生成与去除领域，具体的涉及一种虹膜图像美瞳生成与去除方法。

背景技术：

传统的虹膜识别技术中，在应用中若用户佩戴美瞳则会影响识别效果，因此用户在虹膜识别过程中，需要将佩戴的美瞳摘掉，但是这样的操作，对佩戴美瞳的用户，是特别的不方便，针对这一问题，本发明提供一种可将佩戴美瞳的人眼图片在尽量不影响虹膜特征的前提下去掉美瞳，辅助识别佩戴美瞳的虹膜，支持身份认知系统对佩戴美瞳用户的进一步分析，从而提高虹膜识别的准确度和抗干扰能力的虹膜图像美瞳生成与去除的方法。

技术实现要素：

本发明提供一种虹膜图像美瞳生成与去除方法，提高虹膜识别的准确度和抗干扰能力。

本发明的技术方案：一种虹膜图像美瞳生成与去除方法，所述方法包括模型训练过程S1,虹膜美瞳生成过程S2和虹膜美瞳去除过程S3:

其中模型训练过程S1具体的包括以下步骤：

步骤S11：对训练库中的图像进行预处理，通过质量评价选择未佩戴美瞳图像与佩戴美瞳图像作训练集，未佩戴美瞳的图像训练数据集标记为X，佩戴美瞳的图像训练数据集标记为Y；

步骤S12：配置生成器G和F，生成器G和生成器F，包括编码器、转换器和解码器，其中将数据集X中的图像x转换到数据集Y中，记为gen-y，再转换到数据集X中，记为cyc-x；将数据集Y中的图像y转换到数据集X中，记为gen-x，再转换到数据集Y中，记为cyc-y；

步骤S13：构建损失函数模型，根据所述x、y、gen-x、gen-y，配置鉴别器Dx和Dy及其损失函数，根据x、y、cyc-x、cyc-y设置循环损失函数；

其中模型损失公式为：

其中λ为控制循环损失占整体损失中的比重；为鉴别器DX的损失值，为鉴别器Dy的损失值，Lcyc(G,F)为循环损失值；

步骤S14：训练生成器和鉴别器，生成器G和F与鉴别器Dx和Dy通过学习和修正参数，得到G*、F*；其中G*，F*如公式(2)所示：

公式(2)的含义为在训练过程中，生成器G和F通过学习和修正参数，最小化的值；与之相对抗的为鉴别器DX和DY通过学习和修正参数，最大化的值，G^*,F^*表示每轮学习的结果，将作为新的参数更新；

步骤S15：当损失值无限接近于0时，生成器G和F和鉴别器DX和DY之间实现纳什均衡，训练过程完成，保存模型G^*,F^*；

虹膜美瞳生成过程S2具体的包括以下步骤：

步骤S21：未佩戴美瞳的测试图像进行预处理；

步骤S22：将训练好的模型设置为X→Y转换方向，并将处理后的测试图像作为数据集X输入；

步骤S23：运行模型，保存生成的图像gen-y，则gen-y即为生成美瞳后的图像；

虹膜美瞳去除过程S3具体的包括以下步骤：

步骤S31：将佩戴美瞳的测试图像进行预处理；

步骤S32：将训练好的模型设置为Y→X转换方向，并将处理后的测试图像作为数据集Y输入；

步骤S33：运行模型，保存生成的图像gen-x，则gen-x即为去除美瞳后的图像。

优选的，步骤S12中记载的生成器G和F均包括编码器、转换器和解码器，

其中编码过程为生成器G不断的从训练数据集X中抽取图像x，采用卷积网络提取图像x的特征；生成器F不断的从训练数据集Y中抽取图像y，采用卷积网络提取图像y的特征；

转换过程为生成器G利用卷积网络将图像x的特征向量从数据集X转换至数据集Y中；生成器F利用卷积网络将图像y的特征向量从源域Y转换至目标域X中；

解码过程为利用反卷积层将已映射至目标域Y的图像x的值转换成对应图像gen-y；同时利用反卷积层将已映射至目标域X的图像y的值转换成对应图像gen-x。

优选的，生成器G和生成器F通过相同的编码-转换-解码方法，生成器G将图像gen-x从域X映射至原始域Y中，转换成对应图像cyc-y；通过生成器F将图像gen-y从域Y映射至原始域X中，转换成对应图像cyc-x。

优选的，所述步骤S13中记载的配置鉴别器Dx，其中鉴别器Dx的损失函数公式如下式所示：

其中鉴别器DX的损失由两部分组成，分别命名为与

1)的值为DX(x)，即鉴别器DX判断真实图像x时的输出结果，其结果根据损失函数的设计原则可知应无限趋近于1；

2)的值为DX(F(y))，即判断生成图像F(y)即gen-x时鉴别器DX的输出结果，其结果根据损失函数的设计原则可知应无限趋近于0，则1-DX(F(y))应无限趋近于1；

3)取与以10为底的对数，并将每张图片的结果取期望值，即得到其值应通过训练无限趋近于0。

优选的，所述步骤S13中记载的配置鉴别器Dy，其中鉴别器Dy的损失函数公式如下式所示：

1)的值为DY(y)，即鉴别器DY判断真实图像y时的输出结果，其结果根据损失函数的设计原则可知应无限趋近于1；

2)的值为DY(G(x))，即判断生成图像G(x)即gen-y时鉴别器DY的输出结果，其结果根据损失函数的设计原则可知应无限趋近于0，则1-DY(G(x))应无限趋近于1；

3)取与以10为底的对数，并将每张图片的结果取期望值，即得到其值应通过训练无限趋近于0。

优选的，所述步骤S13中记载的循环损失函数，其中循环损失函数如下式所示：

公式(5)含义为计算所有F(G(x))即cyc-x与原始图像x差值的1范数的期望值与所有G(F(y))即cyc-y与原始图像y差值的1范数的期望值之和。

本发明的有益效果：Cycle-GAN的特性为几乎不会影响图像形状特征，利用这个特性可以进行图像之间的风格迁移。在本发明中，Cycle-GAN的这一特性使得其可以将佩戴美瞳虹膜与未佩戴美瞳虹膜作为两类图像风格进行切换，从而做到改变了图像的颜色特征但不影响其形状。

其中，虹膜识别技术是基于眼睛中的虹膜进行身份识别，应用于安防设备(如门禁等)，以及有高度保密需求的场所。而在实际应用中若佩戴美瞳会影响识别效果，此方法可将佩戴美瞳的人眼图片在尽量不影响虹膜特征的前提下去掉美瞳，辅助识别佩戴美瞳的虹膜，支持身份认知系统对佩戴美瞳用户的进一步分析，从而提高虹膜识别的准确度和抗干扰能力。同时此方法也可扩充佩戴美瞳等有花纹隐形眼镜的训练数据库，提高伪造虹膜检测方法鲁棒性。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出本发明虹膜美瞳生成与去除方法的流程图；

图2a～图2b示意性示出本发明虹膜美瞳生成与去除过程示意图；

图3a～图3b示意性示出本发明的循环损失原理示意图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本发明中使用的训练库为IrisKing采集的虹膜图像数据库，训练库中的图像为统一经过极坐标变换后的虹膜图像，大小为256*256像素，单通道，其中空白部分做全黑处理。

图1所示为本发明虹膜美瞳生成与去除方法的流程图，如图1所示，虹膜美瞳生成与去除的基本步骤，包括模型训练过程S1,虹膜美瞳生成过程S2和虹膜美瞳去除过程S3。

其中，模型训练过程S1具体的包括以下步骤：

步骤S11：对训练库中的图像进行预处理，通过质量评价选择未佩戴美瞳图像与佩戴美瞳图像作训练集，其中本发明中将未佩戴美瞳的图像训练数据集标记为X，佩戴美瞳的图像训练数据集标记为Y。

步骤S12：配置生成器G和F，其中生成器G和生成器F结构均由三个部分组成：编码器、转换器和解码器。

其中，编码过程为生成器G不断的从训练数据集X中抽取图像x，采用卷积网络提取图像x的特征；生成器F不断的从训练数据集Y中抽取图像y，采用卷积网络提取图像y的特征。

转换过程为生成器G利用卷积网络将图像x的特征向量从数据集X转换至数据集Y中；生成器F利用卷积网络将图像y的特征向量从源域Y转换至目标域X中。

解码过程为利用反卷积层将已映射至目标域Y的图像x的值转换成对应图像gen-y；同时利用反卷积层将已映射至目标域X的图像y的值转换成对应图像gen-x。

最后通过相同的编码-转换-解码方法通过生成器G将图像gen-x从域X映射至原始域Y中，转换成对应图像cyc-y；通过生成器F将图像gen-y从域Y映射至原始域X中，转换成对应图像cyc-x。

图2a～图2b示出本发明虹膜美瞳生成与去除过程示意图，其中，图2a表示虹膜美瞳生成与去除过程，将训练数据集X中的图像x通过生成器G得到生成美瞳的图像gen-y，之后通过生成器F得到去除美瞳的图像cyc-x；图2b表示虹膜美瞳去除-生成过程，将训练数据集Y中的图像y通过生成器F得到去除美瞳的图像gen-x，之后通过生成器G得到生成美瞳的图像cyc-y。

步骤S13：构建损失函数模型，根据x、y、gen-x、gen-y，配置鉴别器Dx和Dy及其损失函数，根据x、y、cyc-x、cyc-y设置循环损失函数。

其中，本发明中设置：

1.鉴别器DX判断为真实图像x时，则输出1

鉴别器DY判断为真实图像y时，则输出1

2.鉴别器DX判断为生成图像时，则输出0

鉴别器DY判断为生成图像时，则输出0

设置鉴别器DX的损失函数公式为：

其中鉴别器DX的损失由两部分组成，为方便表示，分别命名为为与

1.的值为DX(x)，即鉴别器DX判断真实图像x时的输出结果，其结果根据损失函数的设计原则可知应无限趋近于1。

2.的值为DX(F(y))，即判断生成图像F(y)即gen-x时鉴别器DX的输出结果，其结果根据损失函数的设计原则可知应无限趋近于0，则1-DX(F(y))应无限趋近于1。

3.取与以10为底的对数，并将每张图片的结果取期望值，即得到其值应通过训练无限趋近于0。

设置鉴别器DY的损失函数公式为：

其中鉴别器DY的损失由两部分组成，分别设置为dec_y_1与dec_y_2。

1.的值为DY(y)，即鉴别器DY判断真实图像y时的输出结果，其结果根据损失函数的设计原则可知应无限趋近于1。

2.的值为DY(G(x))，即判断生成图像G(x)即gen-y时鉴别器DY的输出结果，其结果根据损失函数的设计原则可知应无限趋近于0，则1-DY(G(x))应无限趋近于1。

3.取与以10为底的对数，并将每张图片的结果取期望值，即得到其值应通过训练无限趋近于0。

同时本发明引入循环损失，其公式为：

此公式含义为计算所有F(G(x))即cyc-x与原始图像x差值的1范数的期望值与所有G(F(y))即cyc-y与原始图像y差值的1范数的期望值之和，以此作为循环损失值。

图3a～图3b所示为本发明的循环损失原理示意图。如图3a所示，两幅图像之间的循环损失表示图像cyc-x与原始图像x之间的损失，如图3b所示，两幅图像之间的循环损失表示图像cyc-y与原始图像y之间的损失。

所以整个模型的损失为：

其中λ的值控制循环损失占整体损失中的比重，在本模型中本发明取λ＝10。

步骤S14：训练生成器和鉴别器，生成器G和F与鉴别器Dx和Dy通过学习和修正参数，得到G*、F*。

其中训练生成器与鉴别器，提升生成图像和鉴别图像的能力的公式为：

此公式含义为在训练过程中，生成器G和F通过学习和修正参数，最小化的值；与之相对抗的为鉴别器DX和DY通过学习和修正参数，最大化的值，G^*,F^*表示每轮学习的结果，将作为新的参数更新。

步骤S15:当整个模型的损失值无限接近于0时，生成器G和F和鉴别器DX和DY之间实现纳什均衡，此时训练过程完成，保存模型G^*,F^*。

其中，基于CycleGAN的虹膜美瞳生成过程S2具体的包括以下步骤：

步骤S21:未佩戴美瞳的测试图像进行预处理，人工将虹膜部分图像经过极变换转换为256x256像素，单通道图片，同时空白部分做全黑处理。

步骤S22:将训练好的模型设置为X→Y转换方向，并将处理后的测试图像作为数据集X输入。

步骤S23:运行模型，保存生成的图像gen-y，则gen-y即为生成美瞳后的图像。

其中，基于CycleGAN的虹膜美瞳去除过程S3具体的包括以下步骤:

步骤S31：将佩戴美瞳的测试图像进行预处理，将虹膜部分图像经过极变换转换为256x256像素，单通道图片，同时空白部分做全黑处理。

步骤S32：将训练好的模型设置为Y→X转换方向，并将处理后的测试图像作为数据集Y输入。

步骤S33：运行模型，保存生成的图像gen-x，则gen-x即为去除美瞳后的图像。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。