一种基于深度学习的人脸识别门禁方法及系统与流程

文档序号：12552040阅读：421来源：国知局

本发明涉及电子设备技术领域，更具体地说，涉及一种基于深度学习的人脸识别门禁方法及系统。

背景技术：

随着人们生活水平的提高，人们更加注重家居环境的安全，安防观念不断加强；伴随着这种需求的提高，智能门禁系统应运而生，越来越多的企业、商铺、家庭都安装了各种各样的门禁系统。

当前比较普遍使用的门禁系统不外乎视频门禁、密码门禁、射频门禁或指纹门禁等等。其中，视频门禁只是简单地把视频信息传送给用户，并无多少智能化，本质上离不开“人防”，用户不在场时并不能绝对保障家居安全；密码门禁最大的硬伤是，密码容易忘记，并且容易破解；射频门禁的缺点则是“认卡不认人”，射频卡容易丢失及易被他人盗用；另外，指纹门禁的安全隐患则是指纹容易复制。因此，现有技术中提供的上述门禁系统均对应原因存在安全性较低的问题。

综上所述，如何提供一种安全性较高的门禁系统对应技术方案，是目前本领域技术人员亟待解决的问题。

技术实现要素：

本发明的目的是提供一种基于深度学习的人脸识别门禁方法及系统，以保证门禁系统具有较高的安全性。

为了实现上述目的，本发明提供如下技术方案：

一种基于深度学习的人脸识别门禁方法，包括：

接收门禁消除请求，判断所述门禁消除请求是否由指定终端发送，如果否，则确定所述门禁消除请求由图像采集终端发送；

获取所述图像采集终端采集的与所述门禁消除请求对应的图像信息，利用深度学习人脸识别算法对所述图像信息进行人脸识别，得到对应的人脸识别结果；

判断所述人脸识别结果是否对应预设人脸，如果是，则指示门禁系统消除门禁，如果否，则拒绝消除门禁。

优选的，获取所述图像采集终端采集的与所述门禁消除请求对应的图像信息之后，还包括：

利用深度学习照片识别算法对所述图像信息进行识别，如果识别出所述图像信息为对真实的人脸进行拍摄得到的，则执行所述利用深度学习人脸识别算法对所述图像信息进行人脸识别的步骤，如果识别出所述图像信息为对照片的人脸进行拍摄得到的，则拒绝对所述图像信息进行人脸识别。

优选的，还包括：

如果所述人脸识别结果不对应预设人脸或者所述图像信息为对照片的人脸进行拍摄得到的，则发送携带有所述人脸识别结果或所述图像信息的警报信息至所述指定终端。

优选的，发送携带有所述人脸识别结果或所述图像信息的警报信息至所述指定终端之后，还包括：

获取所述指定终端接收到所述警报信息后返回的命令信息，执行所述命令信息并将所述命令信息及对应的人脸识别结果或图像信息进行存储，以在再检测到存储的所述人脸识别结果或所述图像信息时执行对应的命令信息。

优选的，还包括：

如果所述人脸识别结果不对应预设人脸或者为对照片的人脸进行拍摄得到的，则向外界显示验证失败的信息。

优选的，还包括：

如果所述门禁消除请求是由所述指定终端发送的，则指示所述门禁系统消除门禁。

优选的，还包括：

利用人体红外感应器判断是否有人进入指定区域内，如果是，则指示所述图像采集终端进入正常工作模式并进行图像信息的采集，如果否，则指示所述图像采集终端保持预先设定的默认休眠模式。

优选的，获取所述图像采集终端采集的与所述门禁消除请求对应的图像信息之后，还包括：

将所述图像信息中包含的CCD图像信息及红外图像信息进行融合，执行所述利用深度学习人脸识别算法对所述图像信息进行人脸识别的步骤。

优选的，利用深度学习人脸识别算法对所述图像信息进行人脸识别，包括：

利用基于GPU实现的深度学习人脸识别算法对所述图像信息进行人脸识别。

一种基于深度学习的人脸识别门禁系统，包括：

第一判断模块，用于：接收门禁消除请求，判断所述门禁消除请求是否由指定终端发送，如果否，则确定所述门禁消除请求由图像采集终端发送；

图像处理模块，用于：获取所述图像采集终端采集的与所述门禁消除请求对应的图像信息，利用深度学习人脸识别算法对所述图像信息进行人脸识别，得到对应的人脸识别结果；

第二判断模块，用于：判断所述人脸识别结果是否对应预设人脸，如果是，则指示门禁系统消除门禁，如果否，则拒绝消除门禁。

本发明提供了一种基于深度学习的人脸识别门禁方法及系统，其中该方法包括：接收门禁消除请求，判断所述门禁消除请求是否由指定终端发送，如果否，则确定所述门禁消除请求由图像采集终端发送；获取所述图像采集终端采集的与所述门禁消除请求对应的图像信息，利用深度学习人脸识别算法对所述图像信息进行人脸识别，得到对应的人脸识别结果；判断所述人脸识别结果是否对应预设人脸，如果是，则指示门禁系统消除门禁，如果否，则拒绝消除门禁。本申请公开的技术特征中，当门禁消除请求是由图像采集终端发送时，对该门禁消除系统对应的图像信息进行深度学习人脸识别算法的识别，从而判断出图像信息的人脸识别结果是否对应预设人脸，如果是，则说明图像信息对应人脸的主人具有消除门禁的权限，此时指示门禁系统消除门禁，否则，则说明图像信息对应人脸的主人不具有消除门禁的权限，此时拒绝消除门禁，由于人脸可以唯一的标识一个人且不易伪造，因此本申请中通过人脸识别实现对门禁系统的控制，大大提高了门禁系统的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于深度学习的人脸识别门禁方法的流程图；

图2为本发明实施例提供的一种基于深度学习的人脸识别门禁方法中深度学习人脸识别算法的算法结构图；

图3为本发明实施例提供的一种基于深度学习的人脸识别门禁方法中深度学习人脸识别算法的模型图；

图4为本发明实施例提供的一种基于深度学习的人脸识别门禁方法中图像融合算法的架构图；

图5为本发明实施例提供的一种基于深度学习的人脸识别门禁方法中图像融合算法的流程图；

图6为本发明实施例提供的一种基于深度学习的人脸识别门禁系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种基于深度学习的人脸识别门禁方法的流程图，可以包括：

S11：接收门禁消除请求，判断门禁消除请求是否由指定终端发送，如果否，则确定门禁消除请求由图像采集终端发送。

其中指定终端一般对应门禁系统的主人，或者是其他预先设定的对门禁系统具有控制权限的人的终端，如果门禁消除系统不是由指定终端发送的，则说明图像采集终端采集到了来访人员的图像信息进而发送了门禁消除请求，此时需要获取采集的图像信息并判断该图像信息对应来访人员是否可以实现对门禁系统的控制。

S12：获取图像采集终端采集的与门禁消除请求对应的图像信息，利用深度学习人脸识别算法对图像信息进行人脸识别，得到对应的人脸识别结果。

S13：判断人脸识别结果是否对应预设人脸，如果是，则指示门禁系统消除门禁，如果否，则拒绝消除门禁。

利用深度学习人脸识别算法对图像信息进行人脸识别，如果识别得到的人脸识别结果表明来访人员对应预设人脸，则说明来访人员具有控制门禁系统的权限，此时指示门禁系统消除门禁，也即指示门禁系统打开门锁，允许来访人员入内，否则，则说明来访人员不具有控制门禁系统的权限，此时拒绝消除门禁。其中预设人脸为对门禁系统具有控制权限的人的人脸信息。

本申请公开的技术特征中，当门禁消除请求是由图像采集终端发送时，对该门禁消除系统对应的图像信息进行深度学习人脸识别算法的识别，从而判断出图像信息的人脸识别结果是否对应预设人脸，如果是，则说明图像信息对应人脸的主人具有消除门禁的权限，此时指示门禁系统消除门禁，否则，则说明图像信息对应人脸的主人不具有消除门禁的权限，此时拒绝消除门禁，由于人脸可以唯一的标识一个人且不易伪造，因此本申请中通过人脸识别实现对门禁系统的控制，大大提高了门禁系统的安全性。

此外，本申请公开的技术方案采用当前最先进的基于深度学习人脸识别算法实现图像信息的识别，与当前使用较多的算法如PCA、SVM、LBP相比，深度学习对身份特征的识别准确率更高，甚至超过了人的肉眼识别率，因此本申请公开的技术方案还具有人脸识别准确率高的特点，进一步提高了门禁系统的安全性。

另外需要说明的是本申请公开的技术方案中，侧重于人脸验证而不是人脸识别，从而可以有效的减小类间差异，很容易扩展到其他应用，并且跨数据库有效；当数据块中的类别越多时，其泛化能力也越强。具体来说，本申请所关注的领域是人脸识别的子领域——人脸验证，简单来说就是判断两张图片是不是同一个人。这样一来，人脸验证问题很容易就可以转化成人脸识别问题，人脸识别就是进行多次人脸验证。使用深度学习方法学习到一组高维特征表示的集合用于人脸验证，然后通过进行一个多类分类的人脸识别任务来学习特征，并把特征泛化到人脸验证和其他未曾识别过的新的身份验证。身份特征取自最后一个隐藏层的激活值。同时，对所有的身份进行多类分类，而不是二类分类，这是基于两个考虑：一是，把一个训练样本训练成多个类中的一类，比进行二类分类更加困难，这个挑战能够充分利用神经网络的超级学习能力以提取有效特征；二是，隐含地在卷积神经网络上增加了强规则化，有助于产生对分类有效的共享隐藏层表示。因此，学习到的特征有很好的泛化能力。本发明提供的上述算法架构可以如图2所示。

本申请的识别部分算法主要由深度卷积神经网络和判别分类器组成，具体可以如图3所示，其中模型参数如下：

第一层卷积层：卷积核大小4×4，通道数为3；输出特征图大小为36×36，共20个通道。

第一层池化层：核大小为2×2；输出采样图像大小为18×18，共20个通道。

第二层卷积层：卷积核大小3×3，通道数为20；输出特征图大小为16×16，共40个通道。

第二层池化层：核大小为2×2；输出采样图像大小为8×8，共40个通道。

第三层卷积层：卷积核大小3×3，通道数为40；输出特征图大小为6×6，共80个通道。

第三层池化层：核大小为2×2；输出采样图像大小为3×3，共80个通道。

第一个全连接层：使用Maxout激活函数，输出160维向量。

第二个全连接层：使用Maxout激活函数，输出160维向量。

该模型输入一个39×39×3的RGB三通道彩色人脸图像，首先经过第一层卷积层进行特征提取。卷积层提取特征图的公式是：

f_ij＝sigmoid((W*x)_ij+b)

上述公式意指特征图的i行j列像素是由卷积核与输入图像的每个通道的相同位置的卷积结果相加再取激活值。其中，W为神经网络的权重参数，b为偏置项参数，激活函数为sigmoid(z)＝1/(1+e^-z)。局部卷积操作相比全连接更容易感知到局部特征，尤其对人脸的五官特征，能够敏感地提取出来，并且能大大减少权重参数。但是如此，权重参数仍然过多，容易发生过拟合，不易于学习特征，需要进一步减少参数，于是在卷积层之后输入池化层(也称采样层)。池化层意指特征图中的局部区域使用同一个参数，能有效减少参数。这里使用最大值池化法，采样公式如下：

其中p_ij是池化后的输出图像，x_ij是输入图像，上式中的最大值函数目的是求池化核范围内的最大像素值点，同一池化区域内的像素共享同一个权重参数。这样不仅取得了更低维度的特征，而且可以避免发生过拟合的问题。

其中卷积网络较一般神经网络在图像处理方面有如下优点：

·输入图像和网络的拓扑结构能更好地吻合。

·特征提取和模式分类同时进行，并同时在训练中产生。

·权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。

相比传统的卷积神经网络，本发明使用多层感知器+卷积代替了原来的纯卷积层。因为卷积是线性运算，不易于学习非线性特征，而多层感知器学习非线性函数的能力很强。基于这个思想，在原来的卷积层之前添加一个多层感知器，整合每个通道之间的信息，以提高模型的泛化能力。在实践上，多层感知器可以用1×1的卷积核实现。另外，本模型的最后两层全连接层中使用Maxout激活函数而不再使用sigmoid函数，原因跟多层感知器的作用类似。Maxout函数的表达式是Maxout(x)＝max(W^Tx+b)。Maxout函数体现的是函数逼近的思想，用连续多分片线性函数去逼近非线性函数，分片越多，逼近效果越好，对非线性特征的学习能力越强。这两处措施都是为了进一步提高模型的泛化能力，增强模型对非线性特征的学习能力。该算法第一步提取出一个高维的人脸图像特征。此后问题成为一个度量学习问题，使用基于距离的判别方法对特征进行判别，通常使用欧氏距离。对于训练集中属于同类别(即同一个人)的图像，希望同类训练集之间的欧氏距离越小越好；反之，希望不同类别的训练集之间的欧氏距离越大越好。基于这个想法，可以定义一个代价函数的目标就是让卷积神经网络去学习这个代价函数，从而整体上提高模型的泛化能力。

给定输入图像x，训练集中与x属于同一类(即同一个人，以下称正类)的图像x_p，训练集中与x不是同一类(即不是同一个人，以下称负类)的图像x_n，f(x)表示图像x经过卷积神经网络提取的特征。先在训练集上找出两个阈值，定义优化目标函数为：

约束条件为：

||f(x)-f(x_p)||+α＜||f(x)-f(x_n)||

其中α为f(x)的正类与负类之间的最大间隔。此优化问题目的是求解两个阈值a，b，设最优解为令当||f(x)-f(x_p)||＞a且||f(x)-f(x_n)||＞b时，可以判定x和x_p是同一个人，否则不是同一个人。求解上述问题优化后可得到然后就可以定义代价函数了。的目标是同类别训练集之间的欧氏距离最小，不同类别训练集之间的欧氏距离最大。于是可把问题描述为：

把两个问题整合在一起，得到：

至此，得到了这个代价函数。这样就把问题转化为一个无约束凸优化问题，这类问题可以直接使用随机梯度下降法或者拟牛顿法求解。最后经过随机梯度下降法或者拟牛顿法所求得的卷积神经网络的权重参数就是最优解。

提取出特征之后就变成一个简单的机器学习问题了。使用SVM模型进行人脸验证。对于二类分类问题，SVM模型具有非常良好的表现。SVM方法的主要策略是间隔最大化。从通常意义上来讲，在对输入空间的两个集合进行分类时，总是希望找到一个距离这两个集合都比较远的决策超平面区分开，这是因为一个点距离分离超平面的远近可以表示分类预测的确信程度，距离超平面越远，作出的分类决策就越准确。基于这个思想，可以对已经从卷积神经网络中提取出来的特征向量作为训练集去训练一个SVM模型。输入两张照片，经过卷积神经网络提取得到两个特征图，把这两个特征图输入SVM模型，当模型输出+1时可以判断两张图片属于同一个人，输出-1时则表示两张图片不属于同一个人。

另外需要说明的是，本申请中门禁系统的门锁可以使用电控锁，具体来说门禁系统中常用的电控锁包括电插锁，磁力锁，电锁口等。其中，电插锁主要由锁体和锁孔两个部分组成，锁体的关键部件是“锁舌”。该款电锁正是通过电流的通断驱动“锁舌”的伸缩，同时配合“磁片”以实现锁门或开门的功能。也正是因为“锁舌”的可伸缩功能，被称为“电插锁”。此外，其“暗藏式”的安装特点适合于对锁体保密性要求较高的场所。电磁锁，是一种依靠电磁铁和铁块之间产生吸力来闭合门的电控锁，是断电开门式的。通常的型号是280公斤力，由于吸力有限，可能会被多人或力气大的人用力打开。因此电磁锁通常用于办公室内部等非高安全级别的场合。若用于诸如监狱等安全场合，需定做抗拉力500公斤以上的电磁锁。因此，本申请可以根据不同的运用场合使用不同类型的电磁锁。而消除门禁系统即打开门锁，对应的拒绝消除门禁系统即保持门锁的关闭状态。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，获取图像采集终端采集的与门禁消除请求对应的图像信息之后，还可以包括：

利用深度学习照片识别算法对图像信息进行识别，如果识别出图像信息为对真实的人脸进行拍摄得到的，则执行利用深度学习人脸识别算法对图像信息进行人脸识别的步骤，如果识别出图像信息为对照片的人脸进行拍摄得到的，则拒绝对图像信息进行人脸识别。

需要说明的是本申请中在对图像信息进行处理前会进行防止照片或视频流恶意欺骗，确认拍摄的照片内容是真人而非人脸照片的步骤。具体来说，现实生活中有一些不法分子使用有效用户的照片或者视频去攻击人脸识别系统，针对这个问题，以往的一些解决方法是，系统通过语音提示来访者做出一定的面部动作(比如眨眼、微笑等)加以识别，防止不法分子盗用有效用户的照片来恶意攻击。但是，这种方法仍然有严重的安全隐患：不法分子可能还会使用有效用户的脸部高清视频流来攻击系统，另外这些类似方法需要增加额外的硬件设备，增加系统的成本，且需要用户作出一定的姿体配合，大大降低用户的使用效率和体验感。基于这些考虑，提供了一种只对单一照片源的非侵入式实时判断真人和照片的方法。

从机器学习的观点来看，这个问题是最简单的分类问题——二类分类，即判断一张人脸照片的内容是真人或者照片。设x是输入图像，y是判断结果——假设y＝1表示输入图像是真实人脸，y＝0表示输入图像是人脸照片。从光学成像的角度分析，真实人脸是具有三维结构的，而人脸照片只有二维结构；人脸照片相对于真实人脸，缺少了一维信息，其反射光应该比较均匀，而真实人脸的反射光具有随机性，属于漫反射；两者成像具有不相同的深度信息。利用这个机理，利用深度卷积网络的超强学习能力，提取出图像的深层次特征，就可以对两种图像进行分类。

本申请公开的深度学习照片识别算法的架构可以如图4所示，其中，卷积神经网络的结构输入层、卷积层、池化层、卷积层、池化层、全连接层、Logistic回归层。其中第一个卷积层的卷积核大小为5×5，通道数为6；第二个卷积层的卷积核大小为5×5，通道数为12；两个池化层窗口大小都是2×2。在这个网络架构里使用到的所有激活函数都是sigmoid函数：

sigmoid(z)＝1/(1+e^-z)

定义这个网络要学习的假设函数是h_W，b(x)，这个函数有特殊的概率含义，它表示输出结果等于1的概率，因此输入图像x的输出结果为1和0的概率分别为：

P(y＝1|x；W，b)＝h_W，b(x)

P(y＝0|x；W，b)＝1-h_W，b(x)

可以把以上两式合并成一个等式：

P(y|x；W，b)＝(h_W，b(x))y(1-h_W，b(x))^1-y y＝0，1

对这个等式使用极大似然估计，即可得到损失函数：

其中第二项是正则化项，目的是减小权重的幅度，防止过度拟合。在训练过程中，卷积神经网络先通过前向传播根据上式计算出误差，再通过误差反向传播计算偏导数，从而可以使用梯度下降法调整参数。最终算法收敛时的参数便是最优最优模型。以上算法能对单一静态照片源直接进行判断，相比一些动态目标跟踪的方法，判断结果更可靠，具有更强的实时性。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，还可以包括：

如果人脸识别结果不对应预设人脸或者为对照片的人脸进行拍摄得到的，则发送携带有人脸识别结果或图像信息的警报信息至指定终端。

通过将警报信息发送至指定终端，可以由指定终端根据得到的信息进行对应的操作，如指定终端对应使用者确定出不允许任何其他人消除门禁系统入内则可以通过指定终端控制门禁系统的门锁保持关闭状态，或者如果图像信息对应来访人员为指定终端对应使用者允许消除门禁入门的人员，则可以通过指定终端控制门禁系统的门锁打开等，从而能够使得指定终端的使用者实现对门禁系统的远程监控，进而方便快捷的实现对应的控制。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，发送携带有人脸识别结果或图像信息的警报信息至指定终端之后，还可以包括：

获取指定终端接收到警报信息后返回的命令信息，执行命令信息并将命令信息及对应的人脸识别结果或图像信息进行存储，以在再检测到存储的人脸识别结果或图像信息时执行对应的命令信息。

其中命令信息可以包括消除门禁系统、保持门禁系统的门锁关闭状态或者自动拨号110等，具体可以根据实际需要进行设定，均在本发明的保护范围之内。由此，将对应的信息及指定终端使用者回复的命令信息进行存储后，可以在后期直接按照存储的命令信息实现对对应图像信息的处理，高效实现了门禁系统的控制。另外，对于预设网点内任何一台人脸设备的识别事件，报警事件，以及其他一切事件都可以发送到后台管理中心进行实时显示，并作日志记录，万一发生犯罪事件时可用作证据，并且可联动报警系统，推送报警消息至APP端，实现更加立体的安全防护。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，还可以包括：

如果人脸识别结果不对应预设人脸或者图像信息为对照片的人脸进行拍摄得到的，则向外界显示验证失败的信息。

进行上述显示的显示模块可以供来访人员获知其身份验证结果，另外为了方便与用户的交互，该显示模块可以使用带触摸屏的LCD，从而可以使本作品的操作更简单，便于用户的使用，用户也可以通过LCD来配置网络模式、设定门锁的状态等。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，还可以包括：

如果门禁消除请求是由指定终端发送的，则指示门禁系统消除门禁。

可以预先设定对门禁系统具有控制权限的指定终端，因此当确定出门禁消除请求由指定终端发送时，可以直接指示门禁系统消除门禁，以保证门禁系统的安全性同时，方便用户的使用。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，还可以包括：

利用人体红外感应器判断是否有人进入指定区域内，如果是，则指示图像采集终端进入正常工作模式并进行图像信息的采集，如果否，则指示图像采集终端保持预先设定的默认休眠模式。

其中指定区域可以根据实际需要进行设定，如距离门禁系统的门锁3米以内等。由于整个门禁系统必须24小时不间断工作，因此出于功耗的考虑，可以为门禁系统设置两种工作模式：正常工作模式和默认休眠模式。正常工作模式时，整个系统的所有模块都处于上电工作状态，耗电较大，而休眠模式时，只启动人体红外感应器。当有人接近设备时，人体红外感应模块会感应到有人接近，并发送信号请求处理器进入正常工作状态，启动所有模块。其中一般状态下门禁系统默认休眠模式，即使在需要正常工作后完成对应操作后也会自动进入休眠模式，即在无人进入预设区域内时，均保持休眠模式。

具体来说人体红外感应器是全自动感应的，当人进入其感应范围则输出高电平，人离开感应范围则自动延时关闭高电平，输出低电平，系统收到这个低电平后就进行相应的唤醒操作。使用该模块是为了减少不必要的资源消耗。如果没有人在的时候，Linux中图像采集的进程和网络通信的进程不休眠，则会不断的采集无用的图像数据，发送到后台处理。这样不仅占用了后台的资源，还使本作品的耗电量加大。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，获取图像采集终端采集的与门禁消除请求对应的图像信息之后，还可以包括：

将图像信息中包含的CCD图像信息及红外图像信息进行融合，执行利用深度学习人脸识别算法对图像信息进行人脸识别的步骤。

需要说明的是，CCD图像和红外图像各有其优缺点，为了获取更加清晰高效的图像信息，对这两种图像信息进行图像融合。具体来说，在日常生活中使用得最普遍的是可见光图像。对于人眼来说，可见光图像具有丰富的细节和敏锐的色感，但它在恶劣的气候条件下，对大气的穿透能力较差，且夜间的成像能力也比较差；而红外光却正好相反，它在有烟雾的环境条件下，穿透能力相当强，在夜间，由于不同物体之间存在着温差，因此其所成的图像仍能显示物体的轮廓，但其缺点就是成像的分辨率较低。若结合这两种光成像的优点，对这些多光谱信息进行适当地融合，则可以消除环境因素引起的影像模糊，进而可获取清晰度增强的目标图像，提高对目标图像的探测和识别能力。

目前使用得比较多的红外与可见光融合算法是基于变换域的方法，如小波变换、金字塔变换、Contourlet变换等。但上述方法不具备平移不变性，容易导致图像边缘细节模糊。还有一种具备平移不变性的非下采样Contourlet变换(NCST)，但是算法复杂度太高。由于现有的大多数算法都难以区分噪声和原始图像的特征，从而导致融合后的图像产生虚假或模糊信息。本发明使用一种基于非下采样剪切波变换(NSST)的图像融合算法，能大大提高算法的效率。本算法首先从红外图像中生成显著度图，然后根据显著度图指导红外图像进行目标分割，这样可以对背景复杂或信噪比低的红外图像准确分割。然后对红外和可见光图像分别进行NSST变换，对两幅图像的目标区域(即人脸区域)和背景区域采用不同的融合策略。本算法的主要流程图可以如图5所示。

其中基于显著度图的红外目标区域检测，涉及显著性目标检测。红外成像与物体温度相关，因此目标区域(即人脸)相对背景区域是显著的。这里使用基于频率域的显著区域提取方法，选择高斯带通滤波器来抽取图像的显著特征。高斯带通滤波器定义如下：

σ₁,σ₂(σ₁>σ₂)是高斯滤波器的标准差，低频截止频率由σ₁决定，高频截止频率由σ₂决定。选择合适的σ₁,σ₂值，就得到能够保持期望空间频率特征的显著度图。显著度图可由下式得到：

S(x，y)＝||I_μ-Iwhc(x，y)||

I_μ是红外图像均值向量，I_whc(x，y)是经高斯滤波后的对应的像素值。得到显著度图后，可根据显著度图中的显著区域，选择合适种子像素点，进行图像分割。

目标区域融合规则：

为了尽可能保留红外图像的热目标信息，将红外图像的低频子带系数作为融合图像的低频带系数：

L^F(x，y)＝Lⁱ(x，y)，(x，y)∈T

为了加强边缘信息，高频子带系数选择“模极大值法”。

其中高频子带和低频子带都是经过NSST变换得到的。L^F,分别是融合后的低频子带和高频子带系数。

背景区域融合规则：使用基于多分辨率奇异值分解的融合规则，对矩阵R进行奇异值分解：

R＝USV^T

R左乘U^T，得A＝U^TR＝SV^T。

其中S是半正定的对角奇异值矩阵。把奇异值按大到小排列，较大奇异值对应A的前面几行，对应图像中的低频信息，能较大程度代表图像原貌，较小奇异值对应A的后面几行，对应高频信息，能反映图像细节。之后对A的前几行元素重排得到低频子带，对低频子带不断重复分解步骤，便可实现多分辨率奇异值分解。

本发明实施例提供的一种基于深度学习的人脸识别门禁方法，利用深度学习人脸识别算法对图像信息进行人脸识别，可以包括：

利用基于GPU实现的深度学习人脸识别算法对图像信息进行人脸识别。

本发明从架构上可分为三大部分：嵌入式设备、后台人脸识别服务器、移动客户端。其中嵌入式设备上采用基于ARM cortex–A系列的处理器开发，并搭载Linux操作系统。因为cortex–A系列的芯片多媒体处理能力好，其高数据吞吐量和高性能的结合能够很好地满足网络处理应用，Linux是支持多用户、多任务、支持多线程和多CPU的操作系统且具有强大的网络性能。由于深度学习算法并不直接运行在嵌入式设备上(实际上深度学习算法计算量非常庞大，直接运行在嵌入式设备上会大大降低效率)，因此嵌入式设备的主要功能是驱动CCD和红外摄像头模块采集图像；而后台服务器是真正运行深度学习算法的地方，与此同时，后台使用GPU加速算法运行，提高计算速度。识别结果可以继续通过网络通信协议返回给嵌入式设备端和移动客户端。另外移动客户端即可以指本申请中的指定终端。

另外需要说明的是，本申请中不同终端之间的数据传输可以采用SDIO-WIFI的模块实现，该网卡符合IEEE 802.11b/g标准，可以确保网络数据稳定而高效地传输，其数据传输率可达54Mbps。该模块使用SDIO的接口，比SPI接口的WIFI模块要快很多。具体来说，SDIO总线和USB总线类似，SDIO总线也有两端，其中一端是主机(HOST)端，另一端是设备端(DEVICE)，采用HOST-DEVICE这样的设计是为了简化DEVICE的设计，所有的通信都是由HOST端发出命令开始的。在DEVICE端只要能解析HOST的命令，就可以同HOST进行通信了，SDIO的HOST可以连接多个DEVICE。由于系统运行需要频繁的发送网络请求，和服务器后台进行数据交互，为防止网络传输过程中网络阻塞导致程序进入无限等待状态，系统采用多线程程序设计的思想，在每次进行网络请求时都临时开辟线程对象，并在得到返回后通过消息机制通知主线程，让主线程解析返回结果并可视化反馈给用户，并释放网络请求线程资源。

本发明实施例还提供了一种基于深度学习的人脸识别门禁系统，如图6所示，可以包括：

第一判断模块11，用于：接收门禁消除请求，判断门禁消除请求是否由指定终端发送，如果否，则确定门禁消除请求由图像采集终端发送；

图像处理模块12，用于：获取图像采集终端采集的与门禁消除请求对应的图像信息，利用深度学习人脸识别算法对图像信息进行人脸识别，得到对应的人脸识别结果；

第二判断模块13，用于：判断人脸识别结果是否对应预设人脸，如果是，则指示门禁系统消除门禁，如果否，则拒绝消除门禁。

本发明实施例提供的一种基于深度学习的人脸识别门禁系统，还可以包括：

第三判断模块，用于：获取图像采集终端采集的与门禁消除请求对应的图像信息之后，利用深度学习照片识别算法对图像信息进行识别，如果识别出图像信息为对真实的人脸进行拍摄得到的，则执行利用深度学习人脸识别算法对图像信息进行人脸识别的步骤，如果识别出图像信息为对照片的人脸进行拍摄得到的，则拒绝对图像信息进行人脸识别。