基于深度学习的眼白图像超分辨率重建与图像增强方法与流程

本公开涉及图像分割、图像增强、人工智能(深度学习)等技术领域，尤其涉及一种基于深度学习的眼白血管纹理图像超分辨率重建与图像增强的方法。

背景技术：

在2006年，产生了深度学习(deeplearning)的概念，它是通过人们研究人工神经网络而得出的。相比于其他机器学习而言，深度学习比较适用于大数据集训练。如今，深度学习的应用越发广泛，特别是在计算机视觉领域中的突出表现，并且它还会继续影响着人工智能的其他领域。

生物特征识别是一种方便和安全的个人身份检验方式，使用独特的生物学特征的认证可以代替个人身份证，录入密码或者其他关键。现今生物特征识别技术有很多，其中最为普遍的是人脸、指纹和语音识别，但是这些识别方式难免会出现一定的误差，而眼白血管纹理的直观性，特别是它的稳定性与唯一性决定了它可以作为识别一个人真实身份可靠且安全的依据，相比于人脸、指纹等几种生物特征识别方式，基于眼白血管纹理的生物特征识别对于个体身份识别是更精确的。眼白血管纹理的唯一性、稳定性、非侵犯性与安全性促使它成为生物特征识别中最具独特性的一种识别方式，其唯一性与稳定性表现在当婴儿出生八个月左右，眼白血管纹理基本稳定成形,且保持终身不变，据统计数据表明，每个人都有属于自己的眼白血管纹理，且与他人之间不会完全相同，所以这样的特性使该种识别方式变得非常的安全可靠。此外不用身体之间的接触即可采集样本，且人体眼白血管纹理的可见部分较为充分，所以它可以作为一种个人身份识别方式。因此，为保证眼白血管纹理识别的准确性，需要对其做出精准的增强，以凸显其明显的纹理。

公开内容

(一)要解决的技术问题

本公开提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，包括：步骤s1，采集人脸视频、帧采样获取人脸图像；步骤s2，通过人脸图像提取双眼区域，关键点定位分割左右眼白，获得眼白图像；步骤s3，利用深度学习对眼白图像做超分辨率重建，获得高分辨率眼白图像；步骤s4，对高分辨率眼白图像做真彩色图像增强。

在本公开一些实施例中，所述步骤s1采集人脸视频、帧采样获取人脸图像包括：步骤s11，采集人脸视频作为训练样本视频；步骤s12，将采集的人脸视频做帧采样处理，转换成人脸图像集；步骤s13，将人脸图像集通过网络传输至hdfs进行存储。

在本公开一些实施例中，所述步骤s11采集人脸视频作为训练样本视频包括：在指定的环境中，使用环境照明并且不使用闪光灯，分别用不同品牌和型号的智能终端，拍摄规定时长的人脸视频，分别用于训练系统及测试识别。

在本公开一些实施例中，所述步骤s11中拍摄规定时长的人脸视频包括：视频拍摄包括由近及远再由远及近的人脸视频，所述视频捕获两个眼睛的不同注视方向。

在本公开一些实施例中，所述两个眼睛的不同注视方向包括：左眼睛看左、左眼睛看右、右眼睛看左和右眼睛看右。

在本公开一些实施例中，所述步骤s2通过人脸图像提取双眼区域，关键点定位分割左右眼白包括：步骤s21，在人脸图像上将人眼区域截取出来；步骤s22，在截取的人眼图像上标定一系列的关键点：即将人脸图像上眼白部分设置为阈值为1的前景区域，，非眼白部分设置为阈值为0的背景区域；步骤s23，利用图像分割中的最大类间方差法生成眼白的二值掩码图像；步骤s24，将所述二值掩码图像与原始人眼图像相叠加，将眼白分割出来。

在本公开一些实施例中，所述步骤s3中利用深度学习对眼白图像做超分辨率重建包括使用数据训练卷积神经网络、递归神经网络。

在本公开一些实施例中，所述步骤s3包括：步骤s31，将rgb眼白图像转换到ycbcr空间域，且作为一组特征图，初始化卷积神经网络；步骤s32，利用嵌入式网络提取特征补丁图像块，再通过一组预先训练基础表示所述嵌入式网络，嵌入式网络f1(x)取输入向量x并计算作为递归网络f2的输入的矩阵输出h0；步骤s33，在非线性变换操作中，通过递归网络将步骤s32中提取的每个补丁图像块的n1维特征映射为n2维，采用每个输出n2维向量重建的高分辨率补丁；步骤s34，采用重建网络将上述高分辨率补丁聚合进行眼白图像超分辨率重建，所述重建网络f3采用输入隐藏状态hd并输出目标图像，定义卷积层以生成最终的高分辨率眼白图像；步骤s35，将高分辨率的ycbcr眼白图像转化为rgb图像，再返回到原始眼白图像数据库以确认是否有剩余低分辨率眼白图像未经超分辨率重建工作，若仍有剩余图像未经该步处理，则返回至步骤s31；如果眼白图像数据库没有剩余，则进行步骤s4。

在本公开一些实施例中，所述步骤s3中，将输入低分辨率眼白图像它转化到ycbcr空间域时包括利用双三次差值将其低分辨率升高到所需大小；递归网络由单个递归层完成分析大图像区域，每次递归应用相同的卷积，然后纠正线性单位；卷积滤波器大于1×1，每个递归加宽接受域。

在本公开一些实施例中，所述步骤s4中对高分辨率眼白图像做真彩色图像增强包括：步骤s41，将rgb空间域的眼白图像转换到hsv空间域；其中h、s、v分别代表图像的色调、饱和度和亮度；步骤s42，保持色调h稳定不变，对亮度v用直方图均衡化的方式进行局部增强，再由亮度v与饱和度s的关系，改变饱和度s的值；步骤s43，最后将在hsv空间域中增强后的眼白图像变换回rgb图像。

(三)有益效果

从上述技术方案可以看出，本公开基于深度学习的眼白血管纹理图像超分辨率重建与图像增强方法至少具有以下有益效果其中之一：

(1)对人眼眼白血管纹理进行图像采集，该种识别方式使得采集样本十分便捷安全，应用前景广阔；

(2)通过训练卷积神经网络(cnn)结合递归神经网络(rnn)，可识别眼白血管纹理特征、提高图像分辨率，再结合图像增强技术进一步将眼白血管纹理清晰的呈现出来，大大提高个人身份识别的准确率。

附图说明

图1所示为本公开实施例基于深度学习的眼白血管纹理图像超分辨率重建与图像增强方法的整体流程图；

图2所示为训练卷积神经网络与递归神经网络模型流程图；

图3所示为基本神经网络模型图。

具体实施方式

本公开提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，通过训练卷积神经网络(cnn)和递归神经网络(rnn)可识别眼白血管纹理特征、提高图像分辨率，再结合图像增强技术进一步将眼白血管纹理清晰的呈现出来，大大提高个人身份识别的准确率。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。

在本公开的第一个示例性实施例中，提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法。图1为本公开第一实施例基于深度学习的眼白图像超分辨率重建与图像增强的方法的流程图。如图1所示，本公开基于深度学习的眼白图像超分辨率重建与图像增强的方法包括4个步骤(参见图1)：s1.人脸视频采集、帧采样获取人脸图像；s2.提取双眼区域，关键点定位分割左右眼白；s3.利用深度学习对眼白图像做超分辨率重建；s4.对高分辨率眼白图像做真彩色图像增强。

步骤s1.人脸视频采集、帧采样获取人脸图像，包括：

s11.采集训练样本视频，具体地，包括：

志愿者在指定的环境，例如常规的办公室中，使用环境照明并且不使用闪光灯，分别用不同品牌和型号的智能终端，例如苹果、华为和三星手机，在规定的拍摄时长内由近及远再由远及近拍摄自己的人脸视频，例如拍摄时长各为1分钟，分别用于训练系统及测试识别。所述视频捕获两个眼睛的不同注视方向。优选地，眼睛的注视方向是左眼睛看左、左眼睛看右、右眼睛看左和右眼睛看右；

s12.将采集的人脸视频做帧采样处理，转换成人脸图像集；

s13.将人脸图像集通过网络传输至hdfs(hadoop分布式文件系统)进行存储。

步骤s2.提取人眼区域，关键点定位分割左右眼白。

如果直接在人脸图像上分割眼白，所得到的眼白区域面积很小，因此需要先将人眼从人脸图像上抠出来，在抠出的人眼图像上标定关键点分割眼白，并将分割出来的眼白图像，作为接下来超分辨率重建的训练样本。具体地，所述步骤s2进一步包括：

s21.在人脸图像上将人眼区域截取出来；

s22.在截取的人眼图像上标定一系列的关键点：即将人脸图像上眼白部分设置为阈值为1的前景区域，，非眼白部分设置为阈值为0的背景区域；

s23.利用图像分割中的最大类间方差法生成眼白的二值掩码图像；

s24.将所述二值掩码图像与原始人眼图像相叠加相叠加，将眼白分割出来。

步骤s3.利用深度学习对眼白图像做超分辨率重建。

由于原始眼白图像分辨率较低，故利用深度学习对眼白图像做超分辨率重建，其间使用大量数据训练卷积神经网络(cnn)、递归神经网络(rnn)，再利用训练所得模型完成眼白图像的超分辨率重建。考虑到单幅低分辨率眼白图像，可以使用双三次差值将其低分辨率升高到所需大小，包括以下三步：

(1)特征提取：输入低分辨率眼白图像，将它转化到ycbcr空间域(sr算法仅适用于y通道，而cb、cr通道可通过双三次差值加以放大)，且作为一组特征图。利用嵌入式网络在其中取图像块，即为重叠斑块，所有补丁图像块都将表示为高维矢量，这些矢量包括一组数量和向量维数都相等的特征图。

(2)非线性变换：利用递归网络可解决超分辨率的任务，即将每个高维矢量非线性映射到另一个高维矢量上。每个映射向量在概念上表示高分辨率补丁。这些向量包括另一组特征图。递归网络可分析大图像区域由单个递归层完成。每次递归应用相同的卷积，然后纠正线性单位。卷积滤波器大于1×1，每个递归加宽接受域。整个过程相当于特征的非线性变换。

(3)重建：将上述高分辨率补丁聚合而成表示已生成最终的高分辨率眼白图像。虽然来自递归层的最终应用的特征图表示高分辨率眼白图像，但是将其(多通道)转换回原始rgb空间域(1或3通道)是必要的。这是由重建网络完成的。

上述超分辨率重建方法将训练卷积神经网络与递归神经网络融合一处。在训练两种神经网络时每个子网都有一个隐藏层，只有推理网络层是递归的。优选地，在本实施例的各式子网中，使用3×3×f×f滤波器。因为眼白图像梯度比超分辨率的原始强度更有信息，因此对于嵌入式网络使用3×3滤镜。

具体地，在本实施例中，所述步骤s3进一步包括：

s31.将rgb眼白图像转换到ycbcr空间域，初始化卷积神经网络(cnn)。

s32.利用嵌入式网络提取特征补丁，再通过一组预先训练基础表示所述嵌入式网络。嵌入式网络f1(x)取输入向量x并计算作为递归网络f2的输入的矩阵输出h0，以下为嵌入式网络：

f1(x)＝h0(1)

h-1＝max(0,w-1*x+b-1)(2)

h0＝max(0,w0*h-1+b0)(3)

其中运算符*表示卷积，重量和偏置矩阵是w-1，w0和b-1，b0。通常，本实施例的第一层操作是：

f1(y)＝max(0,w1*y+b1)(4)

其中w1与b1分别表示滤波器和偏置，w1对眼白图像应用n1卷积，输出由n1特征图组成。b1是n1维向量。每个元素与滤波器相关联。本实施例在滤波器响应上应用整流线性单元[relu(max(0，x))]。

s33.在非线性变换操作中，通过递归网络将步骤s32中提取每个补丁图像块的n1维特征映射为n2维，操作如下：

f2(y)＝max(0,w2*f1(y)+b2)(5)

w2包含大小为n1×f2×f2的n2个滤波器，b2为n2维向量。每个输出n2维向量在概念上是用于重建的高分辨率补丁的表示。

而在非线性变换这一步中要用到的递归网络f2采用输入矩阵h0并计算矩阵输出hd。在这里，本实施例使用相同的重量偏置矩阵w和b用于步骤s32的操作。

令g表示由递归层的单个递归建模的函数：

g(h)＝max(0,w*h+b)(6)

复发关系是：

hd＝g(hd-1)＝max(0,w*hd-1+b)(7)

对于d＝1，...，d，递归网f2相当于组合相同的基本功能g：

其中运算符表示函数组合，g^d表示g的d折积。

可添加更多的卷积层以增加非线性，即增加模型的复杂性，因此需要更多的训练时间。

s34.采用重建网络进行眼白图像超分辨率重建，所述重建网络f3采用输入隐藏状态hd并输出目标图像，大致说，重建网是嵌入式网络的逆运算：

hd+1＝max(0,wd+1*hd+bd+1)(9)

y’＝max(0,wd+2*hd+1+bd+2)(10)

f3(h)＝y’(11)

将上述高分辨率补丁聚合而成表示已生成最终的高分辨率眼白图像，即定义卷积层以生成最终的高分辨率眼白图像：

f(y)＝w3*f2(y)+b3(12)

其中，w3是一组线性滤波器，尺寸为n2×f3×f3×c；b3是c维矢量。

步骤s35，将高分辨率的ycbcr眼白图像转化为rgb图像，再返回到原始眼白图像数据库以确认是否有剩余低分辨率眼白图像未经超分辨率重建工作，若仍有剩余图像未经该步处理，则返回至步骤s3初始位置再做同样的处理；如果眼白图像数据库没有剩余，则可以进行下一步真彩色图像增强。

s4.对高分辨率眼白图像做真彩色图像增强。具体地，包括：

s41.将rgb空间域的眼白图像转换到hsv空间域。其中h、s、v分别代表图像的色调、饱和度和亮度；

s42.保持色调h稳定不变，对亮度v用直方图均衡化的方式进行局部增强，再由亮度v与饱和度s的关系，改变饱和度s的值；

s43.最后将在hsv空间域中增强后的眼白图像变换回rgb图像。

与现有的生物特征识别技术相比，本公开所提出的一项基于深度学习的眼白图像超分辨率重建与图像增强方法，在采集样本时，不需要身体之间的接触即可完成，首先保证了它的安全性。用大数据集训练卷积神经网络和递归神经网络可识别眼白血管的纹理特征，提高图像分辨率，再对高分辨率的眼白图像做真彩色图像增强，能使其血管纹理更显清晰。由于眼白血管纹理对于每个人来说都具有唯一性与稳定性，使这项生物特征识别技术在识别个人身份时更具准确性与高效性，在很多关系到人身安危、财产保护等方面都会得到很好的应用。

为了详细说明本公开的具体实施方式及验证本公开的有效性，将本公开提出的方法应用于眼白图像超分辨率重建及增强。本公开将采集来的人脸视频帧采样转换为人脸图像集，通过hdfs存储数据集，再分割眼白，得到单独的眼白图像后，利用mapreduce训练神经网络模型，识别传输进来的眼白图像的血管纹理特征，对其做超分辨率重建，得到高分辨率的眼白图像，最后再做真彩色图像增强，得到血管纹理清晰的眼白图像。

至此，本公开第一实施例基于深度学习的眼白图像超分辨率重建与图像增强方法介绍完毕。

本公开是一项基于深度学习的眼白图像超分辨率重建与图像增强，通过训练神经网络模型可识别眼白血管纹理特征，提高图像分辨率，且其稳定性与唯一性，保证了后期个人身份识别的准确性。同时采集数据十分便捷安全，是一项前景很广阔的生物特征识别技术。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。

本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且，在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。