人脸图像处理方法及装置与流程

文档序号:14347653阅读:222来源:国知局
人脸图像处理方法及装置与流程

本发明涉及图像处理技术领域,尤其涉及一种人脸图像处理方法及装置。



背景技术:

目前,身份证件照片主要包括:数据库内的身份证件照片、身份证件的件体表面上的照片以及身份证件的件体内里的照片。

现有技术中,通常采用线性分类器来对身份证件照片进行识别。现有的线性分类器通常通过多种方式提取多种人脸特征,如采用局部二值模式(localbinarypattern,lbp)获取人脸图像局部纹理特征,采用尺寸不变特征变换(scale-invariantfeaturetransform,sift)获取图像中的关键点,采用伽柏(gabor)滤波器提取人脸图像中的人脸特征等,将提取的多种人脸特征进行融合以提高人脸特征的提取精度。

然而,在提取图像中的人脸特征时,运算量较大,人脸特征的提取速度较慢。



技术实现要素:

本发明解决的技术问题是如何提高人脸特征的提取速度。

为解决上述技术问题,本发明实施例提供一种人脸图像处理方法,包括:接收输入的待处理人脸图像;将所述待处理人脸图像进行归一化处理,得到预设标准尺寸的标准的人脸图像;将所述标准的人脸图像输入至深度学习的全连接神经网络;采用已训练的全连接神经网络模型映射出所述待处理人脸图像对应的人脸模板并输出。

可选地,采用如下方式训练所述全连接神经网络模型:获取训练样本人脸图像集;将所述训练样本人脸图像集中的所有训练样本人脸图像分别进行归一化处理,分别得到各训练样本人脸图像对应的所述标准尺寸的标准的人脸图像,作为所述训练样本人脸图像集对应的标准人脸图像集;将所述标准人脸图像集进行分组并按组依次对所述全连接神经网络进行训练,且将下一分组中的各标准人脸图像输入至当前分组训练后的所述全连接神经网络,直至所有分组参与对所述全连接神经网络进行训练,作为一个训练周期;采用所述训练样本人脸图像集对所述全连接神经网络进行预设训练周期的迭代训练,得到所述全连接神经网络模型。

可选地,所述将所述标准人脸图像集进行分组并按组依次对所述全连接神经网络进行训练,包括:分别从第i组各训练样本人脸图像对应的标准的人脸图像中提取第一人脸模板,i为正整数;向所述全连接神经网络中分别输入所述第i组各训练样本人脸图像对应的标准的人脸图像,得到所述全连接神经网络输出的所述第i组各训练样本人脸图像对应的第二人脸模板;分别计算所述第i组各训练样本人脸图像的第二人脸模板与第一人脸模板的距离并求和,得到所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板的距离之和;根据计算得到的所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板距离之和,对所述全连接神经网络中各全连接层对应的权重进行调整;向调整后的全连接神经网络输入第i+1组各训练样本人脸图像对应的标准的人脸图像,采用所述第i+1组各训练样本人脸图像对所述全连接神经网络进行训练。

可选地,采用欧式距离损失函数分别计算所述第i组各训练样本人脸图像的第二人脸模板与所述第一人脸模板的距离。

可选地,所述获取训练样本人脸图像集,包括:获取训练样本图像集,对所述训练样本图像集中的各训练样本图像进行人脸图像检测;当所述训练样本图像中存在人脸图像时,进行人脸特征定位;根据定位结果,获取所述训练样本人脸图像,以得到所述训练样本人脸图像集。

可选地,所述将所述训练样本人脸图像集中的所有训练样本人脸图像分别进行归一化处理,包括:将所述训练样本人脸图像进行旋转操作,使得所述训练样本人脸图像中的人眼按照预设方向进行显示;将所述训练样本人脸图像进行缩放处理,使得所述训练样本人脸图像中的眼距调整为预设距离,所述预设距离与所述标准尺寸相关,所述眼距指两眼的内眼角之间的距离;获取人脸图像标识点及裁剪信息,并根据人脸图像标识点及裁剪信息对处理后的训练样本人脸图像进行裁剪。

可选地,所述将所述待处理人脸图像进行归一化处理,包括:将所述待处理人脸图像进行旋转操作,使得所述训练样本人脸图像中的人眼按照所述预设方向进行显示;将所述待处理人脸图像进行缩放处理,使得所述训练样本人脸图像中的眼距调整为所述预设距离,所述预设距离与所述标准尺寸相关,所述眼距指两眼的内眼角之间的距离;获取所述人脸图像标识点及所述裁剪信息,并根据所述人脸图像标识点及所述裁剪信息对处理后的待处理人脸图像进行裁剪。

可选地,所述人脸图像处理方法,还包括:当所述待处理人脸图像对应的人脸模板与所存储的人脸模板相似度值超过预设阈值时,发出告警提醒。

可选地,所述全连接神经网络包括依次耦接的三层全连接层。

本发明实施例还提供了一种人脸图像处理装置,包括:接收单元、第一归一化处理单元、输入单元、全连接神经网络和输出单元,其中:所述接收单元,适于接收输入的待处理人脸图像;所述第一归一化处理单元,适于将所述待处理人脸图像进行归一化处理,得到预设标准尺寸的标准的人脸图像;所述输入单元,适于将所述标准的人脸图像输入至深度学习的所述全连接神经网络;所述全连接神经网络包括:全连接神经网络模型;所述全连接神经网络,适于采用已训练的所述全连接神经网络模型映射出所述待处理人脸图像对应的人脸模板;所述输出单元,适于将所述待处理人脸图像对应的人脸模板输出。

可选地,所述全连接神经网络还包括:训练装置;所述训练装置,适于训练得到所述全连接神经网络模型,包括:获取单元、第二归一化处理单元及训练单元,其中:所述获取单元,适于获取训练样本人脸图像集;所述第二归一化处理单元,适于将所述训练样本人脸图像集中的所有训练样本人脸图像分别进行归一化处理,分别得到各训练样本人脸图像对应的所述标准尺寸的标准的人脸图像,作为所述训练样本人脸图像集对应的标准人脸图像集;所述训练单元,适于将所述标准人脸图像集进行分组并按组依次对所述全连接神经网络进行训练,且将下一分组中的各标准人脸图像输入至当前分组训练后的所述全连接神经网络,直至所有分组参与对所述全连接神经网络进行训练,作为一个训练周期;采用所述训练样本人脸图像集对所述全连接神经网络进行预设训练周期的迭代训练,得到所述全连接神经网络模型。

可选地,所述训练单元,适于分别从第i组各训练样本人脸图像对应的标准的人脸图像中提取第一人脸模板,i为正整数;向所述全连接神经网络中分别输入所述第i组各训练样本人脸图像对应的标准的人脸图像,得到所述全连接神经网络输出的所述第i组各训练样本人脸图像对应的第二人脸模板;分别计算所述第i组各训练样本人脸图像的第二人脸模板与第一人脸模板的距离并求和,得到所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板的距离之和;根据计算得到的所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板距离之和,对所述全连接神经网络中各全连接层对应的权重进行调整;向调整后的全连接神经网络输入第i+1组各训练样本人脸图像对应的标准的人脸图像,采用所述第i+1组各训练样本人脸图像对所述全连接神经网络进行训练。

可选地,所述训练单元,适于采用欧式距离损失函数分别计算所述第i组各训练样本人脸图像的第二人脸模板与所述第一人脸模板的距离。

与现有技术相比,本发明实施例的技术方案具有以下有益效果:

对待处理人脸图像进行归一化处理,得到预设标准尺寸的标准的人脸图像,将所述标准的人脸图像输入至深度学习的全连接神经网络,即可采用已训练的全连接神经网络模型映射出所述标准的人脸图像对应的人脸模版,也即获取到待处理人脸图像对应的人脸模版。在获取待处理人脸图像对应的人脸模版时,无需对待处理人脸图像中的人脸特征进行提取,从而可以简化图像处理过程中的运算量,提高人脸特征提取速度。

进一步,当对身份证件照片处理时,由于身份证件照片在姿态、光照等方面变化较少,人脸特征的辨识度较高,可以将深度学习的全连接神经网络中的全连接层设置为三层,从而可以在提高运算速度的同时,有效防止过拟合的现象。

附图说明

图1是本发明实施例中一种人脸图像处理方法的流程图;

图2是本发明实施例中一种全连接神经网络模型训练过程的流程图;

图3是本发明实施例中一种按组依次对全连接神经网络进行训练的流程图;

图4是本发明实施例中另一种全连接神经网络模型训练过程的流程图;

图5是本发明实施例中一种人脸图像处理装置的结构示意图;

图6是本发明实施例中一种训练装置的结构示意图。

具体实施方式

现有技术中,通常采用线性分类器来对身份证件照片进行识别。现有的线性分类器通常通过多种方式提取多种人脸特征,如采用局部二值模式(localbinarypattern,lbp)获取局部纹理特征,采用尺寸不变特征变换(scale-invariantfeaturetransform,sift)获取图像中的关键点,采用gabor滤波器提取人脸图像中的人脸特征等,将提取的多种人脸特征进行融合以提高人脸特征的提取精度。然而,在提取图像中的人脸特征时,运算量较大,人脸特征的提取速度较慢。

在本发明实施例中,对待处理人脸图像进行归一化处理,得到预设标准尺寸的标准的人脸图像,将所述标准的人脸图像输入至深度学习的全连接神经网络,即可采用已训练的全连接神经网络模型映射出所述标准的人脸图像对应的人脸模版,也即获取到待处理人脸图像对应的人脸模版。在获取待处理人脸图像对应的人脸模版时,无需对待处理人脸图像中的人脸特征进行提取,从而可以简化图像处理过程中的运算量,提高人脸特征提取速度。

为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。

参照图1,给出了本发明实施例中一种人脸图像处理方法的流程图,以下通过具体步骤进行详细说明。

步骤s11,接收输入的待处理人脸图像。

在具体实施中,可以接收图像采集装置采集的待处理人脸图像,也可以接收外接存储设备输入的待处理人脸图像。图像采集装置可以为摄像机,也可以为照相机。

步骤s12,将所述待处理人脸图像进行归一化处理,得到预设标准尺寸的标准的人脸图像。

在具体实施中,在接收到待处理人脸图像后,可以对待处理人脸图像进行归一化处理,得到预设标准尺寸的人脸图像。

在具体实施中,在对待处理人脸图像进行归一化处理之前,可以对接收到的待处理人脸图像中的人脸特征进行定位。在实际应用中,可以采用多种方式对人脸特征进行检测并定位。

例如,采用基于特征的方法,该方法通过寻找人脸中不变的人脸特征点,来对人脸特征进行定位。人脸特征点可以为眉毛、鼻子、眼睛、嘴巴、发际等。通过边缘提取器提取人脸特征点,并根据提取的人脸特征点,建立模型描述人脸特征点之间的关系,以对待处理人脸图像中的人脸特征进行定位。

又如,采用基于知识的方法,基于知识的方法是基于规则的人脸检测方法,所述规则来源于研究者关于人脸的先验知识。根据关于人脸的先验知识提出简单的规则来描述人脸特征点和各人脸特征点之间的相互关系。比如说,在一幅图像中出现的人脸,通常具有相互对称的两只眼睛、一个鼻子和一张嘴巴。人脸特征点之间的关系可以通过各人脸特征点之间相对距离和相对位置来描述。从待处理人脸图像中提取人脸特征点,并对人脸特征点进行定位。

在具体实施中,在对待处理人脸图像中的人脸特征进行定位后,根据定位结果,将所述待处理人脸图像进行归一化处理,具体可以采用如下方式:

首先,将所述待处理人脸图像进行旋转操作,使得训练样本人脸图像中的人眼统一按照预设方向进行显示。例如,将待处理人脸图像中的人眼统一按照眉毛在上眼睛在下且眼睛沿水平方向进行显示。可以理解的是,在实际应用中,预设方向还可以设置为其他方向。

然后,将训练样本人脸图像进行缩放处理,将所述待处理人脸图像中的眼距调整为预设距离,其中,眼距指双眼的内眼角之间的距离。眼距的预设距离与标准的人脸图像的标准尺寸相关。例如,标准的人脸图像的标准尺寸的长宽比为x:y,眼距的预设距离与标准尺寸的长之比为z:x,当标准尺寸的长为2x时,相应地,眼距的预设距离为2z。

在本发明一实施例中,标准的人脸图像的标准尺寸为64mm*84mm。可以理解的是,标准的人脸图像的标准尺寸也可以为其他值,标准尺寸可以根据实际需要及应用场景进行设定。

在具体实施中,在对待处理人脸图像进行缩放处理后,可以采用如下方式获取标准的人脸图像:首先,获取人脸图像标识点及裁剪信息;然后,根据人脸图像标识点及裁剪信息对人脸图像进行裁剪,得到标准尺寸的标准的人脸图像,在裁剪信息中包括标准的人脸图像的标准尺寸信息。

在具体实施中,人脸图像标识点可以为左眼、右眼、鼻子、嘴巴、眼距中心点等对应的像素点。根据人脸图像标识点与标准尺寸对应图像所在区域的位置关系,确定对待处理人脸图像的裁剪区域,将裁剪区域的人脸图像进行裁剪,从而可以得到标准尺寸的标准的人脸图像。通过对待处理人脸图像进行归一化处理得到标准的人脸图像,可以提高后续获取到的人脸模板的精度。

步骤s13,将所述标准的人脸图像输入至深度学习的全连接神经网络。

在具体实施中,深度学习的全连接神经网络中可以包括多个全连接层,多个全连接层依次耦接。在全连接神经网络中还可以包括输入层、输出层及中间的若干隐层,在全连接层与全连接层之间可以包括若干隐层。输入层可以接收输入的标准的人脸图像,中间的若干隐层以及全连接层可以对标准的人脸图像进行处理,输出层可以将待处理人脸图像对应的人脸模板输出。

在具体实施中,在获取到标准的人脸图像之后,可以将标准的人脸图像输入至深度学习的全连接神经网络。

步骤s14,采用已训练的所述全连接神经网络模型映射出所述待处理人脸图像对应的人脸模板并输出。

将标准的人脸图像输入至全连接神经网络中后,可以采用已训练的全连接神经网络模型映射出标准的人脸图像对应的人脸模板,也即得到待处理人脸图像对应的人脸模板,并可以将获取到的待处理人脸图像对应的人脸模板输出。

由上可见,对待处理人脸图像进行归一化处理,得到标准尺寸的标准的人脸图像,将所述标准的人脸图像输入至深度学习的全连接神经网络,即可采用已训练的全连接神经网络模型映射出所述标准的人脸图像对应的人脸模版,也即获取到待处理人脸图像对应的人脸模版。在获取待处理人脸图像对应的人脸模版时,无需对待处理人脸图像中的人脸特征进行提取,从而可以简化图像处理过程中的运算量,提高人脸特征提取速度。

参照图2,给出的本发明实施例中一种全连接神经网络模型训练过程的流程图。下面结合图2,通过具体步骤对全连接神经网络模型的训练过程进行详细说明。

步骤s21,获取训练样本人脸图像集。

在具体实施中,可以从训练样本图像集中,获取训练样本人脸图像集,训练样本人脸图像集中包括多张训练样本人脸图像。获取训练样本图像的方法可以有多种。例如,从外接存储设备中读取预先采集的图像作为训练样本图像。又如,通过图像采集装置实时采集图像,将采集到的图像作为训练样本图像。图像采集装置可以为摄像头,也可以为照相机。在实际应用中,为了提高全连接神经网络模型的准确度,通常采用大批量的训练样本图像对全连接神经网络进行训练。

在获取到训练样本图像集中的各训练样本图像后,对训练样本图像进行人脸图像检测,当所述训练样本图像中存在人脸图像时,进行人脸特征定位;根据定位结果,获取训练样本人脸图像,已得到所述训练样本人脸图像集。在实际应用中,可以采用多种方法对人脸图像进行检测。

例如,采用基于特征的方法检测训练样本图像中是否存在人脸图像。又如,采用基于知识的方法,检测训练样本图像中是否存在人脸图像。

对训练样本图像进行人脸图像检测具体原理可参照本发明上述实施例,此处不做赘述。

步骤s22,将所述训练样本人脸图像集中的所有训练样本人脸图像分别进行归一化处理,分别得到各训练样本人脸图像对应的所述标准尺寸的标准的人脸图像,作为所述训练样本人脸图像集对应的标准人脸图像集。

在具体实施中,在对训练样本人脸图像集中的所有训练样本人脸图像分别进行归一化处理之前,可以对训练样本人脸图像集中的各训练样本人脸图像的人脸特征进行定位。在对各训练样本人脸图像中的人脸特征进行定位之后,根据定位结果,分别将各训练样本人脸图像进行归一化处理,具体可以采用如下方式:

将所述训练样本人脸图像进行旋转操作,使得所述训练样本人脸图像中的人眼按照预设方向进行显示。例如,将训练样本人脸图像中的人眼统一按照眉毛在上眼睛在下且眼睛沿水平方向进行显示。

将所述训练样本人脸图像进行缩放处理,使得所述训练样本人脸图像中的眼距调整为预设距离,其中,眼距指双眼的内眼角之间的距离,眼距的预设距离与标准的人脸图像的标准尺寸相关。例如,标准的人脸图像的标准尺寸的长宽比为x:y,眼距的预设距离与标准尺寸的长之比为z:x,当标准尺寸的长为2x时,相应地,眼距的预设距离为2z。

在本发明一实施例中,标准的人脸图像的标准尺寸为64mm*84mm。可以理解的是,标准的人脸图像的标准尺寸也可以为其他值,标准尺寸可以根据实际需要及应用场景进行设定。

在具体实施中,在对训练样本人脸图像进行缩放处理后,可以采用如下方式获取标准的人脸图像:首先,获取人脸图像标识点及裁剪信息;然后,根据人脸图像标识点及裁剪信息对训练样本人脸图像进行裁剪,得到标准尺寸的标准的人脸图像,在裁剪信息中包括标准的人脸图像的标准尺寸信息。

在具体实施中,人脸图像标识点可以为左眼、右眼、鼻子、嘴巴、眼距中心点等对应的像素点。根据人脸图像标识点与标准尺寸对应图像所在区域的位置关系,确定对人脸图像的裁剪区域,将裁剪区域的人脸图像进行裁剪,从而可以得到标准尺寸的标准的人脸图像。

在本发明一实施例中,待处理人脸图像进行归一化之后的标准的人脸图像的标准尺寸,与全连接神经网络模型训练过程中训练样本人脸图像进行归一化处理之后对应的标准的人脸图像的标准尺寸相同。

步骤s23,将所述标准人脸图像集进行分组并按组依次对所述全连接神经网络进行训练,且将下一分组中的各标准人脸图像输入至当前分组训练后的所述全连接神经网络,直至所有分组参与对所述全连接神经网络进行训练,作为一个训练周期;采用所述训练样本人脸图像集所述全连接神经网络进行预设训练周期的迭代训练,得到所述全连接神经网络模型。

在具体实施中,得到标准人脸图像集后,将标准人脸图像集中的所有标准人脸图像进行分组,并将标准人脸图像以组为单位,按组依次对全连接神经网络进行训练,在对全连接神经网络训练过程中,将下一组中的各标准人脸图像输入至当前分组训练后的所述全连接神经网络,也即是将第i+1组中的各标准人脸图像输入至第i组训练后的全连接神经网络,其中,i为正整数。直至所有的分组参与对所述全连接神经网络进行训练,作为一个训练周期。采用所述训练样本人脸图像进行下一训练周期对全连接神经网络的训练,直至完成预设训练周期的迭代训练,得到所述全连接神经网络模型。

例如,将标准人脸图像集分成20组,每组128张照片,预设周期为50。采用第1组中各标准人脸图像输入至全连接神经网络,对全连接神经网络进行训练,得到第1组训练后的全连接神经网络。将第2组中各标准人脸图像输入至第1组训练后的全连接神经网络,继续对第1组训练后的全连接神经网络进行训练,得到第2组训练后的全连接神经网络。依次将第i+1组中标准人脸图像输入至第i组训练后的全连接神经网络,继续对第i组训练后的全连接神经网络进行训练,直至20组全部参与对全连接神经网络进行训练,也即训练样本图像集对应的标准人脸图像集中的所有标准人脸图像均参与对全连接神经网络的训练,作为一个训练周期。

完成第一个训练周期后,对全连接神经网络进行第二训练周期的迭代训练,直至完成50个训练周期的迭代训练,得到全连接神经网络模型。

在本发明一实施例中,采用caffe程序训练全连接神经网络模型,caffe程序学习率为0.01,迭代次数为40万次。

在对全连接神经网络模型进行训练时,训练样本人脸图像归一化处理后的尺寸与待处理图像归一化处理之后的尺寸保持一致,可以提高待处理图像通过已训练的全连接神经网络模型映射出的人脸模板的精确度。

参照图3,给出了本发明实施例中的一种按组依次对全连接神经网络进行训练的流程图。其中,步骤s31~s34为通过对一个训练周期中的一个分组对全连接神经网络进行训练的过程。下面通过具体步骤进行详细说明。

步骤s31,分别从第i组各训练样本人脸图像对应的标准的人脸图像中提取第一人脸模板。

在具体实施中,分别从第i组各训练样本人脸图像对应的标准的人脸图像中提取第一人脸模板,i为正整数。具体可以通过如下方式提取:

分别获取第i组中各标准的人脸图像中的人脸特征,可以根据获取到的各标准的人脸图像中的人脸特征,分别得到各标准的人脸图像对应的第一人脸模板。

在具体实施中,可以通过采用局部二值模式(lbp)的方式提取标准的人脸图像中的人脸特征,也可以采用尺寸不变人脸变换(sift)方式提取标准的人脸图像中的人脸特征,还可以采用gabor过滤器方式提取标准的人脸图像中的人脸特征,或者采用上述方式的任意组合来获取标准的人脸图像中的人脸特征。

在实际应用中,基于sift的人脸特征提取算法,本质上是一种基于局部特征提取的图像表示与相似度量的方法,局部特征的提取分为两步:提取目标关键点和对关键点进行描述。关键点的定位是目标识别的基础,一般是图像灰度变化的局部极限点,含有显著的结构性信息,甚至这些点也可以没有实际的直观视觉意义,但却在某些角度、某个尺度上含有丰富的易于匹配的信息。特征点描述即建立特征向量,特征空间的选择决定了图像的哪些特征参与匹配。

在本发明一实施例中,采用线性分类器并结合lbp、sift及gabor的人脸特征提取方式提取标准的人脸图像中对应的人脸特征。

在具体实施中,在从标准的人脸图像中提取第一人脸模板时,可能并不存在已有的线性分类器,在本发明实施例中,可以采用训练样本图像,训练线性分离器。

例如,采用人脸特征提取方法,提取所述标准的人脸图像中的人脸特征,根据提取到的所述人脸特征,采用线性分类器算法,训练线性分类器。

步骤s32,向所述全连接神经网络中分别输入所述第i组各训练样本人脸图像对应的标准的人脸图像,得到所述全连接神经网络输出的所述第i组各训练样本人脸图像对应的第二人脸模板。

在具体实施中,将第i组各训练样本人脸图像对应的标准的人脸图像分别输入至全连接神经网络,分别得到所述全连接神经网络输出的所述第i组各训练样本人脸图像对应的第二人脸模板。

在具体实施中,全连接神经网络为多层全连接神经网络,可以包括多个依次耦接的全连接层。

在具体实施中,全连接神经网络中还可以包括输入层、输出层以及中间的若干隐层,在全连接层之间也可以设有若干隐层。输入层可以接收标准的人脸图像。中间的若干隐层以及全连接层可以对标准的人脸图像进行处理得到第二人脸模板,输出层可以将第二人脸模板输出。全连接神经网络中的每层都有若干结点及连接这些结点的边,在训练数据集时会学习边的权值,也即全连接神经网络中各全连接层对应的权重,当调整全连接神经网络的权重时,输出层输出的第二人脸模板也会相应的发生变化。

步骤s33,分别计算所述第i组各训练样本人脸图像的第二人脸模板与第一人脸模板的距离并求和,得到所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板的距离之和。

在具体实施中,分别计算第i组各训练样本人脸图像的第二人脸模板与第一人脸模板的距离,并将各训练样本人脸图像对应的距离进行求和运算,得到第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板的距离之和。

例如,第i组中包括128张训练样本人脸图像,分别计算这128张训练样本人脸图像分别对应的第二人脸模板与第一人脸模板之间的距离,并将计算得到128张训练样本人脸图像分别对应的距离求和。可以理解的是,训练样本图像集中的训练样本图像数量可以根据实际需要进行设定,各组中的训练样本人脸图像的数目也可以为其他值,具体也可以根据实际应用场景进行设定。

在本发明一实施例中,采用欧式距离损失函数分别计算第i组各训练样本人脸图像的第二人脸模板与第一人脸模板之间的距离。

步骤s34,根据计算得到的所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板距离之和,对所述全连接神经网络中各全连接层对应的权重进行调整。

步骤s35,向调整后的全连接神经网络输入第i+1组各训练样本人脸图像对应的标准的人脸图像,采用所述第i+1组各训练样本人脸图像对所述全连接神经网络进行训练。

在具体实施中,采用第i组标准人脸图像对全连接神经网络进行训练,并对全连接神经网络中各全连接层对应的权重进行调整之后,向调整后的全连接神经网络输入第i+1组各训练样本人脸图像对应的标准的人脸图像,对所述全连接神经网络进行训练。第i+1组各训练样本人脸图像对全连接神经网络的训练过程,可参考第i组各训练样本人脸图像对全连接神经网络的训练过程,此处不再赘述。此后,按照分组依次对全连接神经网络进行训练,直至所有分组参与对全连接神经网络的训练。

参照图4,给出了本发明实施例中另一种全连接神经网络模型的训练过程的流程图,下面结合图4,以训练样本人脸图像集的分组数目为n,训练周期为m,对全连接神经网络模型的训练过程进行举例说明,这里设定n≥2,m≥2。以下j表示当前所处的训练周期,i表示训练所采用的分组。

步骤s401,判断是否是从第一训练周期第一组(j=1,i=1)开始对全连接神经网络进行训练。当判断结果为是时,进入步骤s402;当判断结果为否时,结束流程。

在具体实施中,为了提高全连接神经网络模型的精确度,从第一训练周期第一组(j=1,i=1)开始,对全连接神经网络进行训练。可以理解的是,还可以存在其他的训练形式。

步骤s402,将第j训练周期第i组中各标准人脸图像输入至全连接神经网络。

分别将第一训练周期第一组中的各标准人脸图像输入至全连接神经网络中,得到第一训练周期第一组中各标准人脸图像对应的第二人脸模板。

步骤s403,分别计算第j训练周期第i组中各标准人脸图像对应的第二人脸模板与第一人脸模板之间的距离并求和。

在具体实施中,分别从第一训练周期第一组中的各标准人脸图像中提取第一人脸模板。在实际应用中,可以采用线性分类器从第一训练周期第一组中的各标准人脸图像中提取第一人脸模板。

在获取到各标准人脸图像所对应的第一人脸模板与第二人脸模板之后,每张标准人脸图像均对应有第二人脸模板与第一人脸模板,分别计算每张标准人脸图像对应的第二人脸模板与第一人脸模板的距离,并将第一训练周期第一组中所有标准人脸图像所计算得到的距离求和,即分别计算第一训练周期第一组中的各标准人脸图像对应的第二人脸模板与第一人脸模板之间的距离并求和。

步骤s404,根据计算得到的距离之和,对全连接神经网络中各全连接层对应的权重进行调整,得到调整后的全连接神经网络。

根据计算得到的第一训练周期第一组中的各训练样本人脸图像对应的第二人脸模板与第一人脸模板之间的距离之和,对全连接神经网络中各全连接层对应的权重进行调整,即得到第一训练周期第一组训练后的全连接神经网络。

步骤s405,获取第一训练周期第二组各标准人脸图像。

令j=1,i=i+1,即i=2,则可以获取第一训练周期第二组各标准人脸图像。

步骤s406,分别将第j训练周期第i组中各标准人脸图像输入至第j训练周期第i-1组训练后的全连接神经网络。

将第一训练周期第二组中各标准人脸图像分别输入至第一训练周期第一组训练后的全连接神经网络,得到第一训练周期第一组训练后的全连接神经网络输出的第一训练周期第二组中各标准人脸图像对应的第二人脸模板。

步骤s407,分别计算第j训练周期第i组中各标准人脸图像对应的第二人脸模板与第一人脸模板之间的距离并求和。

分别从第一训练周期第二组中各标准人脸图像中提取第一人脸模板,并分别计算第一训练周期第二组中各标准人脸图像对应的第二人脸模板与第一人脸模板距离并求和。

步骤s408,根据计算得到的距离之和,对全连接神经网络中各全连接层对应的权重进行调整,得到调整后的全连接神经网络。

步骤s409,判断第i组是否为第j训练周期的最后一组,即i的取值是否等于n,也即判断是否完成第j训练周期。当判断结果为是,执行步骤s411;当判断结果为否,执行步骤s410。

在本发明一实施例中,将训练样本人脸图像集分成1000组,即n=1000,若i<1000,则执行步骤s410;若i=1000,则执行步骤s411。

步骤s410,获取第j训练周期第i+1组中各标准人脸图像,然后进入步骤s406,继续对全连接神经网络进行训练。

步骤s411,判断第j训练周期是否已经达到预设训练周期m。当第j训练周期已达到预设训练周期m,即j=m时,则执行步骤s414;当第j训练周期未达到预设训练周期m,则执行步骤s412。

在本发明实施例中,训练周期m=50,当j=50时,此时j=50,即完成对全连接神经网络的训练;当j<50,则继续执行步骤s412,

步骤s412,第j训练周期未达到预设训练周期时,进入第j+1训练周期,获取第j+1训练周期第1组中各标准人脸图像。

步骤s413,将第j训练周期第i组中各标准人脸图像输入至第j-1训练周期第n组训练后的全连接神经网络。

在具体实施中,在获取到第j训练周期第i组中各标准人脸图像后,将获取到的各标准人脸图像输入至上一训练周期最后一个分组训练后的全连接神经网络,及输入至第j-1训练周期第n组训练后的全连接神经网络。

例如,n=1000,m=50,j=45,由于j<50,进入第46训练周期。将第46训练周期第1组中各标准人脸图像输入至第45训练周期第1000组训练后的全连接神经网络。

在步骤s413执行完成之后,开始执行步骤s407。

步骤s414,得到全连接神经网络模型。

当第j训练周期达到预设训练周期m时,也即完成对全连接神经网络的训练,得到全连接神经网络模型。

在上述步骤中,通过步骤s409,可以判断是否完成对全连接神经网络的一个训练周期,当未完成一个训练周期时,执行步骤s410,采用当前训练周期中的下一分组继续对全连接神经网络进行训练;当完成一个训练周期时,执行步骤s411。通过步骤s411,可以判断是否完成预设训练周期,当完成预设训练周期时,执行步骤s412,采用所述训练样本人脸图像集开始下一训练周期的训练;当完成预设训练周期时,即完成对全连接神经网络的训练过程,得到全连接神经网络模型。

在具体实施中,当对身份证件照片处理时,由于身份证件照片在姿态、光照等方面变化较少,人脸特征的辨识度较高,可以将全连接神经网络中的全连接层设置为三层,从而可以在提高运算速度的同时,有效防止过拟合的现象。

可以理解的是,全连接神经网络中的全连接层的层数也可以为其它数目,具体层数可以根据需要及实际应用场景进行设定,此处不做限定。

在具体实施中,获取到待处理人脸图像对应的人脸模板后,可以将对应的人脸模板进行存储。可以将待处理人脸图像对应的人脸模板存储在本地存储器,也可以将待处理人脸图像对应的人脸模板存储在外接存储器,还可以将待处理人脸图像对应的人脸模板存储在云端服务器。

在实际应用中,在获取到待处理人脸处理图像对应的人脸模板后,可能需要对人脸模板进行查重,确认是否已经存在该图像对应人物的图像。在本发明实施例中,将待处理人脸图像对应的人脸模板与所存储的人脸模板进行相似度比对,当待处理人脸图像对应的人脸模板与所存储的人脸模板的相似度值超过预设阈值时,发出告警提醒。

在具体实施中,可以以文字形式进行告警提醒,也可以以声音形式进行告警提醒,还可以为文字与声音相结合的方式进行告警提醒。

例如,在派出所户籍处采集到a的二代身份证照片,对采集到的a的照片进行处理,获取到a的照片对应的人脸模板,将a的照片对应的人脸模板与所述存储的人脸模板进行比对,以确认图像数据库中是否已经采集过a的照片。当图像数据库中已经存在a的照片,可以发出“滴滴”的声音进行告警提醒,也可以弹出文本框“已存在照片”进行告警提醒。通过对图像处理进行相似度比对,可以有效的避免同一个人存在多个户口的情况,方便对户籍信息进行管理。

又如,在侦破案件时,可以将目标人物的照片输入至全连接神经网络,并获取全连接神经网络输出的人脸模板。将获取到的目标人物的人脸模板与二代身份证照片数据库中所存储的人脸模板进行比对,从二代身份证照片数据库中查找出目标人物的相关信息。由于深度学习的全连接神经网络提取待处理人脸图像中的人脸模板时,无需对待处理人脸图像中的人脸特征进行提取,可以根据已训练的全连接神经网络模型映射出待处理人脸图像对应的人脸模板,从而可以提高图像处理速度,以快速的获取到目标人物的相关信息。

参照图5,给出了本发明实施例中一种人脸图像处理装置的结构示意图。人脸图像处理装置50可以包括:接收单元51、第一归一化处理单元52、输入单元53、全连接神经网络54及输出单元55。

接收单元51,适于接收输入的待处理人脸图像;

第一归一化处理单元52,适于将所述待处理人脸图像进行归一化处理,得到预设标准尺寸的标准的人脸图像;

输入单元53,适于将所述标准的人脸图像输入至深度学习的所述全连接神经网络;

全连接神经网络54,包括全连接神经网络模型541;所述全连接神经网络54,适于采用已训练的所述全连接神经网络模型541映射出所述待处理人脸图像对应的人脸模板;

输出单元55,适于将所述待处理人脸图像对应的人脸模板输出。

在具体实施中,全连接神经网络54还包括:训练装置542,适于训练得到所述全连接神经网络模型541。

参照图6,给出了本发明实施例中一种训练装置542的结构示意图。所述训练装置542包括:获取单元61、第二归一化处理单元62及训练单元63,其中:

所述获取单元61,适于获取训练样本人脸图像集;

所述第二归一化处理单元62,适于将所述训练样本人脸图像集中的所有训练样本人脸图像分别进行归一化处理,分别得到各训练样本人脸图像对应的所述标准尺寸的标准的人脸图像,作为所述训练样本人脸图像集对应的标准人脸图像集;

所述训练单元63,适于将所述标准人脸图像集进行分组并按组依次对所述全连接神经网络进行训练,且将下一分组中的各标准人脸图像输入至当前分组训练后的所述全连接神经网络,直至所有分组参与对所述全连接神经网络进行训练,作为一个训练周期;采用所述训练样本人脸图像集对所述全连接神经网络进行预设训练周期的迭代训练,得到所述全连接神经网络模型。

在截图实施中,所述训练单元63,适于分别从第i组各训练样本人脸图像对应的标准的人脸图像中提取第一人脸模板,i为正整数;向所述全连接神经网络中分别输入所述第i组各训练样本人脸图像对应的标准的人脸图像,得到所述全连接神经网络输出的所述第i组各训练样本人脸图像对应的第二人脸模板;分别计算所述第i组各训练样本人脸图像的第二人脸模板与第一人脸模板的距离并求和,得到所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板的距离之和;根据计算得到的所述第i组各训练样本人脸图像所对应的第二人脸模板与第一人脸模板距离之和,对所述全连接神经网络中各全连接层对应的权重进行调整;向调整后的全连接神经网络输入第i+1组各训练样本人脸图像对应的标准的人脸图像,采用所述第i+1组各训练样本人脸图像对所述全连接神经网络进行训练。

在具体实施中,所述训练单元63,适于采用欧式距离损失函数分别计算所述第i组各训练样本人脸图像的第二人脸模板与所述第一人脸模板的距离。

在具体实施中,所述获取单元61,适于获取训练样本图像集,对所述训练样本图像集中的各训练样本图像进行人脸图像检测;当所述训练样本图像中存在人脸图像时,对人脸特征进行定位;根据定位结果,获取所述训练样本人脸图像,以得到所述训练样本人脸图像集。

在具体实施中,所述第二归一化处理单元62,包括:第二旋转子单元621,适于将所述训练样本人脸图像进行旋转操作,使得所述训练样本人脸图像中的人眼按照预设方向进行显示;第二缩放子单元622,适于将所述训练样本人脸图像进行缩放处理,使得所述训练样本人脸图像中的眼距调整为预设距离,所述预设距离与所述标准尺寸相关,所述眼距指两眼的内眼角之间的距离;第二裁剪子单元623,适于获取人脸图像标识点及裁剪信息,并根据人脸图像标识点及裁剪信息对处理后的训练样本人脸图像进行裁剪。

继续参照图5,在具体实施中,所述第一归一化处理单元52,包括:第一旋转子单元521,适于将所述待处理人脸图像进行旋转操作,使得所述训练样本人脸图像中的人眼按照预设方向进行显示;第一缩放子单元522,适于将所述待处理人脸图像进行缩放处理,使得所述训练样本人脸图像中的眼距调整为所述预设距离,所述眼距指两眼的内眼角之间的距离,所述预设距离与所述标准尺寸相关;第一裁剪子单元523,适于获取所述人脸图像标识点及所述裁剪信息,并根据所述人脸图像标识点及所述裁剪信息对处理后的待处理人脸图像进行裁剪。

在具体实施中,人脸图像处理装置50还可以包括:告警单元(未示出),适于当所述待处理人脸图像对应的人脸模板与所存储的人脸模板相似度值超过预设阈值时,发出告警提醒。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:rom、ram、磁盘或光盘等。

虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1