一种基于人脸颜色空间和度量分析的欺诈检测方法与流程

本发明涉及人脸识别技术领域，特别是一种基于人脸颜色空间和度量分析的欺诈检测方法。

背景技术：

现今人脸识别系统中普遍存在的一个安全隐患便是容易受到人脸欺诈攻击，例如，在门禁系统中外来攻击者可以佩戴面具或者打印的照片来通过摄像头的人脸识别系统。因此，设计高效鲁棒的人脸欺诈检测算法成为设计人脸识别系统的重要组成部分。在金融支付，门禁等应用场景，欺诈检测一般是嵌套在人脸检测与人脸识别中的模块，用来验证是否用户真实本人。欺诈检测可以看作一个二分类问题(真或者假)，因此，找到合法用户和欺诈攻击者的样本差异，并据此来设计特征，最后送给分类器去决策是欺诈检测算法的明确流程和目标。

从传统的手动特征方法上，现有技术主要针对以下几个方面设计具有判别性的特征：(1)图像的颜色纹理；(2)非刚体运动变形；(3)图像或者视频的质量。wen等^[1]设计了镜面反射，图像质量失真度以及颜色等统计量特征，把所有的统计特征合并后直接送入svm进行二分类。该技术简介高效，但是对于高清彩色打印的纸张或者高清录制的视频此种质量失真不严重时，识别效果不佳。oulucmvs组zinelabidine等^[2]考虑活体与非活体在rgb空间里比较难以区分，但在其他颜色空间里的纹理可以看出明显差异，于是设计了hsv空间人脸多级lbp特征加ycbcr空间的lbp特征，达到了先进的技术水平。该方法简单易部署，也证明了活体与非活体在其他颜色空间里具有一定的判别性可探索，故启发深度学习方法可以将hsv等通道作为输入来提升性能。利用深度学习方法做活体检测在近些年也陆陆续续的受到关注，xu^[3]等提出利用cnn-lstm的方法来识别多帧图像的欺诈行为。该方法主要针对多帧或者视频欺诈，达到了可比较的效果。gustavo^[4]通过人脸分块，输入网络进行预训练，接着在全局人脸图像上进行微调。略微提升了识别性能。yousef等^[5]在处理打印人脸照片作为欺诈手段时，考虑把人脸深度图作为活体与非活体的差异特征，以期获取真人人脸和打印照片之间的立体分布差异信息。

无论是传统方法还是基于深度学习的方法，合理设计的分类器以及获取判别性的特征数据都是获得良好识别性能的关键。

[1]diwen,huhan,anilk.jain.facespoofdetectionwithimagedistortionanalysis.ieeetransactionsoninformationforensicsandsecurity,2015.

[2]zinelabidineboulkenafet,jukkakomulainen,abdenourhadid.facespoofingdetectionusingcolourtextureanalysis.ieeetransactionsoninformationforensicsandsecurity,2016.

[3]zhenqixu.learningtemporalfeaturesusinglstm-cnnarchitectureforfaceanti-spoofing,20153rdiapr.

[4]gustavobotelhodesouza,onthelearningofdeeplocalfeaturesforrobustfacespoofingdetection,2017.

[5]yousefatoum,xiaomingliu.faceanti-spoofingusingpatchanddepth-basedcnns,2017.

技术实现要素：

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述和/或现有的人脸识别系统中存在的问题，提出了本发明。

因此，本发明其中的一个目的是提供一种基于人脸颜色空间和度量分析的欺诈检测方法，其

为解决上述技术问题，本发明提供如下技术方案：一种基于人脸颜色空间和度量分析的欺诈检测方法，其包括：

s1：选取rgb三通道的彩色图像作为的原始图像，并将所述原始图像的尺寸调整到同样的大小；

s2：通过颜色空间转换将所述原始图像转换到三种颜色空间；

s3：对于所述三种颜色空间下的图像，分别计算其lbp图像；

s4：将各个颜色空间的lbp图像通过度量学习算法进行度量学习训练，得到投影矩阵m，并对步骤s3中所得到的各个lbp图像进行投影计算，即用投影矩阵乘上各个lbp图像数据，得到投影数据集；

s5：将投影数据集输入到卷积神经网络中进行学习训练，学习完成后，把训练得到的参数模型保存到本地；

s6：使用所述参数模型进行测试计算，得到未知样本的分类的结果。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：选取rgb三通道的彩色图像作为的原始图像，将所述原始图像的像素尺寸调整至325*325。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：所述原始图像包括两种类别，分别为活体人脸图像和非活体欺诈样本图像，且该两种类别分别对应一个标签。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：所述颜色空间转换，其为将原始rgb格式图像转化为lab格式、hsv格式和ycbcr格式这三种颜色空间。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：对于所述三种颜色空间下的图像，其lbp图像的计算方法包括，对于每一张325*325的原始图像，其每一个像素值是由三个通道的数值组成，将所述原始图像的三个通道分别保存为三个单通道图像，通过3*3的小窗口在每一个图像通道中进行滑动计算，每次计算时设定3*3小窗口中间的像素值作为阈值，外围的8个像素值和阈值依次进行比较，大于阈值的置为1，小于阈值的置为0，据此可以得到8位的二进制数码，将二进制转化为十进制数字代替原始中间位置的像素值，从而得到一整张照片的lbp图像，每一张325*325的彩色图像可以分别得到三张不同通道计算得到了323*323大小的lbp图像。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：所述滑动计算，其设定每次移动的步长为1，从图像像素坐标为(2，2)的像素值开始计算，直到最终坐标为(323，323)的像素值计算完成。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：所述度量学习算法包括，

s41：输入一个训练集，即步骤s3中计算得到的所有所述lbp图像；

s42：所述训练集中每一个样本均具有一个判定其所属类别的标签，对于每一个样本，计算其与训练集中具有相同类别标签的其他各个样本之间的距离，筛选出离当前样本最近的三个同类样本，并记录这些同类样本的位置信息；

s43：对于每一个样本，依照记录的所述位置信息，找到并计算它和所得到的三个近邻样本之间的最大距离，这样对于每一个输入样本，都得到了一个与之对应的距离l1，将其定义为每一个样本的类内距离；定义在此距离半径范围内的都被认为是同类样本，在该半径范围之外的则判定为离群样本；

s44：如步骤s42操作，对于每一个样本，计算其与训练集中具有不同类别标签的其他样本的距离，得到距离它最近的一个异类样本；计算得到的与该样本的距离值记为l2，定义为类间距离；

s45：引入一个目标值ld＝l2-l以及一个投影矩阵m，用所述投影矩阵m乘以各个所述lbp图像数据，使得各个lbp图像的向量坐标均发生变化，缩小了同类样本之间的距离，并使得：

s.t.ld＞1

m≥0

其中，d(xi,xj)表示同类样本之间的距离，定义如下：

d(xi,xj)＝||mxi-mxj||²

其中，投影矩阵m的求解可以通过sdp分解获得；

s46：将求解得到的投影矩阵m乘以lbp图像数据，以缩小同类样本之间的距离，得到投影数据集。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：所述卷积神经网络为设计的cnn模型，包括输入层、两层卷积层和池化采样层，以及最后的全连接层和输出层。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：步骤s5包括，

s51：输入投影数据集中的训练样本，将样本图像尺寸更改到同一规格大小；

s52：利用3*3的卷积核，设定步长为1，对输入的样本图像进行卷积运算，每一张输入样本图像，通过16次卷积运算，从而得到16张运算后的特征图；

s53：对特征图进行池化采样操作，设定一个3*3的采样框，依次在特征图像素坐标上遍历，找到此3*3采样框中的最大像素值作为新的像素值；

s54：再次通过一层卷积层，同样如步骤s52所述参数条件；

s55：通过平均池化层，计算得到采样后的特征图；

s56：将二维特征图连接成一维向量，输入全连接层，通过sigmoid函数计算，得到输出，继续将输出通过一层sigmoid激活函数，得到输出层的值；

s57：计算输出层的交叉熵损失函数，利用梯度下降法，计算更新的权重和偏置进行前向更新，直到得到满足目标值得损失值为止；

s58：上述步骤s51到s57为一张样本的训练过程，学习训练完所有的训练集后，保存模型到本地。

作为本发明所述基于人脸颜色空间和度量分析的欺诈检测方法的一种优选方案，其中：测试计算时，对于每一张输入的未知样本，如步骤s1，s2，s3，计算其对应的lbp图像；使用该lbp图像乘以所述投影矩阵m，得到投影数据集；最终将该投影数据集通过保存下来的神经网络模型，即可得到分类的结果，确定未知样本的标签。

本发明的有益效果：本专利提出的算法测试计算时简洁高效，实时性好。对于现实场景中的光照变化等干扰影响因素，鲁棒性好，稳定性高，易于部署。相较于现有技术中的用于欺诈检测的算法，本专利结合传统颜色空间纹理特征和基于深度学习的神经网络的分类模型，保证了识别精度的同时兼顾测试运行效率，在打印照片的欺诈行为上系统识别率效果卓越。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的原理框架图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

参照图1，为本发明第一个实施例，该实施例提供了一种基于人脸颜色空间和度量分析的欺诈检测方法，该方法是针对打印照片作为欺诈手段所设计的识别模型。原始图像为rgb三通道的彩色图像，我们通过颜色空间转换将原始图像转换到多个颜色空间，接着提取lbp局部纹理特征，得到各个颜色空间的纹理图。所有的特征图通过度量分析的训练算法，得到投影的映射矩阵，经过计算可以将特征图映射投影到更具判别性的特征空间，最后我们合并所有的统计量特征，送入卷积神经网络，计算分类结果。

基于人脸颜色空间和度量分析的欺诈检测方法，包括：

s1：选取rgb三通道的彩色图像作为的原始图像，并将原始图像的尺寸调整到同样的大小(如：可以将原始图像的像素尺寸统一调整至325*325)，需要注意是：原始图像包括活体人脸图像和非活体欺诈样本图像两种。

s2：通过颜色空间转换将所述原始图像转换到三种颜色空间；此处的“颜色空间转换”是将原始rgb格式图像转化为lab格式、hsv格式和ycbcr格式这三种颜色空间。

s3：对于所述三种颜色空间下的图像，分别计算其lbp图像，计算方法具体如下：

对于每一张325*325像素的彩色空间图像，其每一个像素值是由三个通道的数值组成(例如，hsv彩色图像分别是由色调(h)，饱和度(s)，亮度(v)等三个数值构成)。将所得的彩色空间图像的三个通道分别保存为三个单通道图像，并通过3*3像素的小窗口在每一个图像通道中进行滑动计算，此处的滑动计算设定每次移动的步长为1，从图像像素坐标为(2，2)的像素值开始依次横向扫列计算，接着是(2，3)、(2，4)……直到最终坐标为(323，323)的像素值计算完成，每次计算时设定3*3小窗口的正中间的像素值作为阈值，外围其余的8个像素值和阈值依次进行比较，大于阈值的置为1，小于阈值的置为0，据此可以得到8位的二进制数码，将二进制转化为十进制数字代替原始中间位置的像素值，从而得到一整张照片的lbp图像，每一张325*325的彩色图像可以分别得到三张不同通道计算得到了323*323大小的lbp图像。

s4：将各个颜色空间的lbp图像通过度量学习算法进行度量学习训练，得到投影矩阵，记做m，并对步骤s3中所得到的各个lbp图像进行投影计算(即用投影矩阵m乘上lbp图像数据)，得到更容易分类、更具判别性的数据。

上述步骤中的“度量学习算法”包括如下具体过程：

s41：输入一个训练集，即上述步骤s3中计算得到的所有所述lbp图像。

s42：算法的最终目的是判定一张照片是真实人脸还是欺诈的照片，本发明给训练集中每一个样本都设定一个判定其所属类别的标签(例如，是真实人脸，则记为1；是欺诈照片，则记为0)；对于每一个样本，计算其与该训练集中具有相同类别标签的其他各个样本之间的距离，筛选出离当前样本最近的三个同类样本，并记录这些同类样本的位置信息；

s43：对于每一个样本，依照所记录的位置信息，找到并计算它和所得到的三个近邻样本之间的最大距离。这样对于每一个输入样本，都得到了一个与之对应的距离l1，将其定义为每一个样本的类内距离，定义在此距离半径范围内的都被认为是同类样本，而对于原始样本，在该半径范围之外的则判定为离群样本。

s44：如步骤s42操作，对于每一个样本，计算其与训练集中具有不同类别标签的其他样本的距离，得到距离它最近的一个异类样本。计算得到的与该样本的距离值记为l2，定义为类间距离。

s45：引入一个目标值ld＝l2-l1，优化目标是要让该值大于0。此目标值ld的含义是：对于每一张样本来说，其类间距离要大于类内距离，也即是说，该样本和不同类样本之间的差异性要大于和同类样本之间的差异性。在分类策略里面，这种差异性越大，分类的准确率越高。再引入一个投影矩阵m，此投影矩阵m是用来对样本空间进行转化(即用投影矩阵乘上lbp图像数据，记作m*x，x为lbp图像)。经过计算后，图像的向量坐标都发生变化，且坐标变化后的图像数据分布能达到同类样本聚集的状态，类比单数值举个例子，假设原始同类样本数据分别为1,5,7；通过转换，将他们变成20,21,22；这样同类样本之间的差值就缩小了。对于图像向量来说就是同类之间的距离缩小了。程序设计中要求对于所有的样本来说，目标值都大于1。算法的最终优化问题可以表述为：

s.t.ld＞1

m≥0

其中，d(xi,xj)表示同类样本之间的距离，定义如下：

d(xi,xj)＝||mxi-mxj||²

其中，投影矩阵m的求解可以通过sdp分解【5】来获得。

【5】l.vandenbergheands.p.boyd.semidefiniteprogramming.siamreview,38(1):49–95,march1996.

上述目标函数的意图就在于：对任一个节点，把所有的异类推出去，并且扩大异类样本聚类中心点的距离。

s46：通过步骤s45的求解过程，可以计算得到投影矩阵，最终使用投影矩阵乘上lbp图像数据，将其投影到更容易划分、更具有判别性的数据状态，也就是步骤s45所述同类样本聚集的状态，以缩小同类样本之间的距离，得到投影数据集。

s5：由步骤s4中的度量学习训练过程，对所有的lbp图像投影计算完成后，可以得到投影后的投影数据集；将投影数据集输入到卷积神经网络中进行学习训练，学习完成后，把训练得到的参数模型保存到本地。所述卷积神经网络为设计的cnn模型，包括输入层、两层卷积层和池化采样层，以及最后的全连接层和输出层。具体步骤描述如下：

s51：输入投影数据集中的训练样本，将样本图像尺寸更改到同一规格大小，即128*128。

s52：利用3*3的卷积核，设定步长为1，对输入样本图像进行卷积运算，每一张输入图像，通过16次卷积运算，从而得到16张运算后的图像，称其为特征图。

s53：对特征图进行池化采样操作，此处所述池化采样操作为：设定一个3*3的采样框，依次在特征图像素坐标上遍历，找到此3*3采样框中的最大像素值作为新的像素值。

s54：再次通过一层卷积层，同样如步骤s52所述参数条件。

s55：通过平均池化层，计算得到采样后的特征图。此处所述平均池化与步骤s53所述池化采样操作步骤一样，只是计算最大值换成统计平均值。

s56：将二维特征图连接成一维向量，输入全连接层，通过sigmoid函数计算，得到输出，继续将输出通过一层sigmoid激活函数，得到输出层的值。

s57：计算输出层的交叉熵损失函数，利用梯度下降法，计算更新的权重和偏置进行前向更新，直到得到满足目标值得损失值为止。

s58：上述步骤b1到b7为一张样本的训练过程，学习训练完所有的训练集后，保存模型到本地。

s6：经过上述步骤即可完成度量学习和卷积神经网络的学习训练过程。随后可以基于参数模型进行测试计算，以得到任一未知样本(测试对象)的分类的结果。具体的，测试计算时，对于每一张输入的未知样本，其得到最终样本标签的过程为：如步骤s1，s2，s3，计算其对应的lbp图像。使用该lbp图像乘上训练算法中步骤s45保存下来的投影矩阵得到投影数据。最终使用该数据通过步骤s58保存下来的神经网络模型，即可得到分类的结果，也就是样本的预测标签，最后根据分类的结果可以判定测试样本为人脸图像还是非活体欺诈样本图像。

本发明针对打印照片作为欺诈手段的欺诈行为设计了一套识别算法。本专利主要为解决现有欺诈检测技术普遍存在的识别效率不高，容易受到噪声干扰等问题，提出了一套高效，鲁棒，光照不敏感的识别算法。算法使用的度量学习和卷积神经网络的学习训练过程都可以离线完成，在实际部署当中，输入样本只需完成简单的投影计算和前向传播即可得到最终的分类结果，高效快速。同时，在不同空间里的lbp(局部二值模式)特征，具有良好的光照不敏感特性，可以有效的解决实际应用中光照变换的问题。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。