本发明涉及一种近红外人脸识别方法及装置。
背景技术：
：现阶段人脸识别的研究已经取得了很大进步，形成了许多十分优秀的识别算法，但是在复杂的光照环境下，大多数算法都存在着较大的缺陷和不足，大大限制了其应用范围。为了克服环境光照的影响，学术界和相关企业做了大量的研究和技术开发，主要针对现有可见光人脸识别系统进行改进，以减轻环境光照的影响，但收效甚微。基于热红外或远红外对图像进行处理的方法，易受环境温度、人的情绪和健康状态的影响，获取到的人脸图像不稳定，在实际应用中，性能较差。技术实现要素：本发明的主要目的在于提供一种近红外人脸识别方法，旨在解决现有的人脸识别受环境光照影响较大，识别性能较差的技术问题。为实现上述目的，本发明提出一种近红外人脸识别方法，包括以下步骤：捕捉视频帧中基于近红外的人脸图片；利用改进的局部二值算法对所述人脸图片进行处理；利用卷积神经网络提取所述人脸图片的特征向量，融合为人脸特征并保存；重新提取人脸特征，与保存的人脸特征进行匹配识别。进一步地，所述“捕捉视频帧中基于近红外的人脸图片”的步骤包括：加载人脸检测的特征文件；根据所述特征文件从摄像头获取视频帧；从所述视频帧检测人脸并显示画面；设置人脸状态标志，存在设为True，否则为False；判断人脸状态标志是否存在，若否，则重新根据所述特征文件从摄像头获取视频帧，若是，则退出程序。进一步地，所述“利用改进的局部二值算法对所述人脸图片进行处理”的步骤包括：以所述人脸图片中的人脸像素为中心像素，选取阈值与相邻像素比较；若相邻像素的灰度值小于等于中心像素的灰度值，则相邻像素标记为0，反之标记为1；利用二进制数表示所述中心像素；将表示中心像素的二进制数转换为十进制数。进一步地，所述卷积神经网络包括多个卷积层和一个用于分类的Softmax层，所述“利用卷积神经网络提取所述人脸图片的特征向量，融合为人脸特征并保存”的步骤包括：利用可见光图片训练原始的人脸识别模型，获取其模型参数；利用所述模型参数初始化近红外人脸识别模型的参数，并使用近红外人脸图片对所述模型参数进行微调，得到基于近红外的人脸识别模型；所述基于近红外的人脸识别模型拟合多个非线性函数，分布于所述卷积层的多个神经节点，对同一张人脸图片的特征向量进行分别提取；将分别提取的特征向量在所述Softmax层融合为人脸特征的最终表示，并进行保存。进一步地，所述非线性函数为其中θi表示第i个参数，α表示学习率，J(θ)表示深度学习的代价函数。进一步地，所述“重新提取人脸特征，与保存的人脸特征进行匹配识别”的步骤包括：根据所述特征向量训练分类器；利用所述分类器对人脸特征的特征向量进行分类，计算相似度；根据所述相似度，输出当前对象的识别结果。本发明还提供一种近红外人脸识别装置，包括：人脸采集模块，捕捉视频帧中基于近红外的人脸图片；人脸预处理模块，利用改进的局部二值算法对所述人脸图片进行处理；人脸特征提取模块，利用卷积神经网络提取所述人脸图片的特征向量，融合为人脸特征并保存；及人脸识别模块，重新提取人脸特征，与保存的人脸特征进行匹配识别。进一步地，所述卷积神经网络包括多个卷积层和一个用于分类的Softmax层，所述人脸特征提取模块包括：第一训练单元，利用可见光图片训练原始的人脸识别模型，获取其模型参数；初始化单元，利用所述模型参数初始化近红外人脸识别模型的参数；微调单元，使用近红外人脸图片对所述模型参数进行微调，得到基于近红外的人脸识别模型；提取单元，所述基于近红外的人脸识别模型拟合多个非线性函数，分布于所述卷积层的多个神经节点，对同一张人脸图片的特征向量进行分别提取；及融合单元，将分别提取的特征向量在所述Softmax层融合为人脸特征的最终表示，并进行保存。进一步地，所述非线性函数为其中θi表示第i个参数，α表示学习率，J(θ)表示深度学习的代价函数。进一步地，所述人脸识别模块包括：第二训练单元，根据所述特征向量训练分类器；计算单元，利用所述分类器对人脸特征的特征向量进行分类，计算相似度；及结果输出单元，根据所述相似度，输出当前对象的识别结果。本发明的近红外人脸识别方法，通过一种人脸自动检测的方法捕捉视频帧中基于近红外的人脸图片，利用一种改进的局部二值算法对捕捉到的人脸图片进行处理，然后利用深度学习算法中的卷积神经网络架构提取人脸图片的特征向量，融合为人脸特征，最后将重新获取的人脸特征通过分类器进行分类匹配和识别，输出识别结果，本发明对光照的鲁棒性较强，解决了现有的人脸识别受环境光照影响较大，识别性能较差的技术问题，识别准确率高、适用性强。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本发明的近红外人脸识别方法一实施例的流程图；图2为图1中步骤S100的具体流程图；图3为图1中步骤S200的具体流程图；图4为图1中步骤S300的具体流程图；图5为图1中步骤S400的具体流程图；图6为本发明的近红外人脸识别装置一实施例的功能模块图；图7为图6中人脸特征提取模块的结构框图；图8为图6中人脸识别模块的结构框图。附图标号说明：标号名称标号名称100近红外人脸识别装置134提取单元11人脸采集模块135融合单元12人脸预处理模块14人脸识别模块13人脸特征提取模块141第二训练单元131第一训练单元142计算单元132初始化单元143结果输出单元133微调单元本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。参照图1，在本发明提出的一种实施例中，该近红外人脸识别方法，包括以下步骤：S100：捕捉视频帧中基于近红外的人脸图片；S200：利用改进的局部二值算法对所述人脸图片进行处理；S300：利用卷积神经网络提取所述人脸图片的特征向量，融合为人脸特征并保存；S400：重新提取人脸特征，与保存的人脸特征进行匹配识别。本实施例的近红外人脸识别方法，分为注册和识别两个阶段，在注册阶段，首先执行步骤S100，捕捉出现在视频帧中基于近红外的人脸图片，并截取适当大小的人脸图片作为后续深度学习算法模型的输入，本实施例采用近红外摄像头获取视频帧，降低了环境光照的影响，为了进一步消除近红外光的强度对近红外成像系统的影响，执行步骤S200，利用改进的局部二值算法对从视频帧中捕捉到的人脸图片进行处理，然后执行步骤S300，利用深度学习中的卷积神经网络算法提取步骤S200处理的人脸图片的特征向量，进一步融合为人脸特征并保存，完成识别对象的注册；在识别阶段，执行步骤S400，重复步骤S100、S200和S300，提取当前对象的人脸特征，通过对提取的当前对象的人脸特征进行分类，计算其与注册阶段提取的人脸特征的相似度，最后根据所述相似度输出识别结果，完成基于近红外的人脸识别。进一步地，参照图2，步骤S100，包括：S11：加载人脸检测的特征文件；S12：根据所述特征文件从摄像头获取视频帧；S13：从所述视频帧检测人脸并显示画面；S14：设置人脸状态标志，存在设为True，否则为False；S15：判断人脸状态标志是否存在，若否，则执行步骤S12，若是，则退出程序。本实施例的近红外人脸识别方法，“捕捉视频帧中基于近红外的人脸图片”的步骤具体包括：步骤S11，加载人脸检测的特征文件，以缩小检测范围，提高检测的速度和准确率；步骤S12，根据所述特征文件从摄像头获取视频帧，进一步缩小检测对象的范围，所述摄像头采用近红外光谱在780～1100nm之间的发光二极管作为主动光源组成的专门用于人脸识别的近红外摄像头，进一步选择850nm的滤光片，这样可以让850nm的近红外光透过，过滤掉350～770nm之间的可见光；步骤S13，从所述视频帧检测人脸并显示画面，从视频流中捕捉具有人脸特征的画面，然后经步骤S14，设置人脸状态标志，存在设置为True，不存在设置为False，对捕捉到的具有人脸特征的画面进行缓存或存储；最后执行步骤S15，进一步判断人脸状态标志是否存在，如果没有缓存成功或存储成功，则重新重复执行步骤S12，再次对人脸图片进行捕捉和缓存或存储，若果已经缓存成功或存储成功，则结束该程序步骤，进行后续的操作。进一步地，参照图3，步骤S200，包括：S21：以所述人脸图片中的人脸像素为中心像素，选取阈值与相邻像素比较；S22：若相邻像素的灰度值小于等于中心像素的灰度值，则相邻像素标记为0，反之标记为1；S23：利用二进制数表示所述中心像素；S24：将表示中心像素的二进制数转换为十进制数。本实施例的近红外人脸识别方法，光照强度和光源的入射方向的影响较大，虽然在室内环境中，近红外摄像头通过滤波器可以最大限度地过滤掉可见光，减少因为不同的时间段而导致的光照强度和光源入射方向的变化，进而降低了可见光对人脸识别算法造成影响；但是，人脸和LED灯之间的距离变化也会引起照明强度的变化，因此，需要利用改进的局部二值算法对近红外人脸图片做进一步的处理。局部二值算法的基本原理是：对图像的像素和它周围的像素进行比对，构成一个二值模式，再转换为十进制数，则这个十进制数就是前像素点的局部二值描述值。具体步骤就是：首先，以捕捉到的视频帧中的近红外人脸图片中的人脸像素为中心像素，选取阈值与相邻像素进行比较，若相邻像素的灰度值小于等于中心像素的灰度值，则相邻像素标记为0，反之则标记为1；然后将所述中心像素用一串二进制数表示，如01000011，最后将表示中心像素的那串二进制数转换为十进制数，就是中心像素的局部二值码。进一步地，所述卷积神经网络包括多个卷积层和一个用于分类的Softmax层，步骤S300，包括：S31：利用可见光图片训练原始的人脸识别模型，获取其模型参数；S32：利用所述模型参数初始化近红外人脸识别模型的参数，并使用近红外人脸图片对所述模型参数进行微调，得到基于近红外的人脸识别模型；S33：所述基于近红外的人脸识别模型拟合多个非线性函数，分布于所述卷积层的多个神经节点，对同一张人脸图片的特征向量进行分别提取；S34：将分别提取的特征向量在所述Softmax层融合为人脸特征的最终表示，并进行保存。本实施例的近红外人脸识别方法，采用深度学习方法中的卷积神经网络架构，在本实施例中，该卷积神经网络包括10个卷积层和最后一个用于分类的Softmax层，神经网络的输入时一个二维的图像，卷积层之间由Pooling层和Normalization层。由于目前并不存在可用于训练深度学习模型的大规模近红外人脸库，因而利用卷积神经网络架构提取近红外人脸图片的特征向量分为两个阶段，第一阶段是利用大量可见光图片训练原始的人脸识别模型，获取其模型参数，第二阶段根据深度学习算法的特点，对于相同的识别任务，利用可见光训练好的原始的人脸识别模型参数初始化近红外人脸识别模型的参数，最后使用少量近红外人连图片对初始化后的近红外人脸识别模型的参数进行微调，得到基于近红外的人脸识别模型，具体为直接利用第一阶段训练好的深度学习模型的参数来初始化近红外人脸识别模型的参数，初始化后的模型可以提取可见光人脸图片特征，由于近红外人脸图片和可见光图片存在差异，但是这种差异很小，所以使用近红外图片对模型的参数进行微调，就可以得到一个可以提取近红外人脸图片特征的基于深度学习的近红外的人脸识别模型。所述卷积神经网络架构在提取近红外人脸图片的特征向量时，通过基于近红外的人脸识别模型拟合多个非线性函数，分布于所述卷积层的多个神经节点，对同一张人脸图片的特征向量进行分别提取，通过一些非线性变换，寻找一种低维的人脸表示，非线性函数的参数使用随机梯度下降算法学习得到，公式为其中θi表示第i个参数，α表示学习率，J(θ)表示深度学习的代价函数。对同一张人脸图片的特征向量进行分别提取，也即使用相同的网络结构训练一张人脸图片的多个Patch，也就是说训练多个基于深度学习的近红外人脸识别模型，也即通过拟合的分布于不同卷积层的多个非线性函数分别提取相应的特征向量，最后均汇入Softmax层进行分类，最后融合为人脸特征的最终表示。卷积神经网络架构细节的定义如下所示：识别时，我们将经过改进的局部二指算法处理后的近红外人脸图片作为申请网络的输入，最后一个全连接层作为网络的特征，把得到的特征向量使用PCA进行降维，最后使用联合贝叶斯算法进行分类。进一步地，参照图5，步骤S400，包括：S41：根据所述特征向量训练分类器；S42：利用所述分类器对人脸特征的特征向量进行分类，计算相似度；S43：根据所述相似度，输出当前对象的识别结果。本实施例的近红外人脸识别方法，主要依赖于分类器对近红外人脸图片的特征向量进行分类比对，然后输出比对结果即为识别结果，具体如下：首先根据注册阶段的人脸图片的特征向量训练分类器，然后利用分类器对识别阶段重新提取的被识别对象的近红外人脸图片的特征向量进行分类，计算两个阶段的特征向量的相似度，最后根据所述相似度，输出当前识别对象的识别结果。参照图6，本发明还提供一种近红外人脸识别装置100，包括：人脸采集模块11，捕捉视频帧中基于近红外的人脸图片；人脸预处理模块12，利用改进的局部二值算法对所述人脸图片进行处理；人脸特征提取模块13，利用卷积神经网络提取所述人脸图片的特征向量，融合为人脸特征并保存；及人脸识别模块14，重新提取人脸特征，与保存的人脸特征进行匹配识别。本实施例的近红外人脸识别装置，包括人脸采集模块11、人脸预处理模块12、人脸特征提取模块13、及人脸识别模块14，在注册阶段，首先由人脸采集模块11捕捉出现在视频帧中基于近红外的人脸图片，并截取适当大小的人脸图片作为后续深度学习算法模型的输入，本实施例采用近红外摄像头获取视频帧，降低了环境光照的影响，为了进一步消除近红外光的强度对近红外成像系统的影响，通过人脸预处理模块12对从视频帧中捕捉到的人脸图片进行处理，然后通过人脸特征提取模块13提取人脸预处理模块12处理后的人脸图片的特征向量，进一步融合为人脸特征并保存，完成识别对象的注册；在识别阶段，人脸识别模块14提取当前对象的人脸特征，通过对提取的当前对象的人脸特征进行分类，计算其与注册阶段提取的人脸特征的相似度，最后根据所述相似度输出识别结果，完成基于近红外的人脸识别。进一步地，参照图7，卷积神经网络包括多个卷积层和一个用于分类的Softmax层，所述人脸特征提取模块13包括：第一训练单元131，利用可见光图片训练原始的人脸识别模型，获取其模型参数；初始化单元132，利用所述模型参数初始化近红外人脸识别模型的参数；微调单元133，使用近红外人脸图片对所述模型参数进行微调，得到基于近红外的人脸识别模型；提取单元134，所述基于近红外的人脸识别模型拟合多个非线性函数，分布于所述卷积层的多个神经节点，对同一张人脸图片的特征向量进行分别提取；及融合单元135，将分别提取的特征向量在所述Softmax层融合为人脸特征的最终表示，并进行保存。本实施例的近红外人脸识别装置，采用深度学习方法中的卷积神经网络架构，在本实施例中，该卷积神经网络包括10个卷积层和最后一个用于分类的Softmax层，神经网络的输入时一个二维的图像，卷积层之间由Pooling层和Normalization层。该人脸特征提取模块13在提取近红外人脸图片的特征向量时，首先由第一训练单元131训练原始的人脸识别模型，获取其模型参数，然后根据深度学习算法的特点，对于相同的识别任务，初始化单元132利用可见光训练好的原始的人脸识别模型参数初始化近红外人脸识别模型的参数，由微调单元133使用少量近红外人连图片对初始化后的近红外人脸识别模型的参数进行微调，得到基于近红外的人脸识别模型，具体为直接利用第一阶段训练好的深度学习模型的参数来初始化近红外人脸识别模型的参数，初始化后的模型可以提取可见光人脸图片特征，由于近红外人脸图片和可见光图片存在差异，但是这种差异很小，所以使用近红外图片对模型的参数进行微调，就可以得到一个可以提取近红外人脸图片特征的基于深度学习的近红外的人脸识别模型，接着由提取单元134通过基于近红外的人脸识别模型拟合多个非线性函数，分布于所述卷积层的多个神经节点，对同一张人脸图片的特征向量进行分别提取，通过一些非线性变换，寻找一种低维的人脸表示，非线性函数的参数使用随机梯度下降算法学习得到，公式为其中θi表示第i个参数，α表示学习率，J(θ)表示深度学习的代价函数，最后由融合单元135通过拟合的分布于不同卷积层的多个非线性函数分别提取相应的特征向量，最后均汇入Softmax层进行分类，最后融合为人脸特征的最终表示。进一步地，参照图8，人脸识别模块14包括：第二训练单元141，根据所述特征向量训练分类器；计算单元142，利用所述分类器对人脸特征的特征向量进行分类，计算相似度；及结果输出单元143，根据所述相似度，输出当前对象的识别结果。本实施例的近红外人脸识别装置，人脸识别模块14包括第二训练单元141、计算单元142及结果输出单元143，人脸识别模块14主要依赖于分类器对近红外人脸图片的特征向量进行分类比对，然后输出比对结果即为识别结果，具体如下：首先由第二训练单元141根据注册阶段的人脸图片的特征向量训练分类器，然后由计算单元142利用分类器对识别阶段重新提取的被识别对象的近红外人脸图片的特征向量进行分类，计算两个阶段的特征向量的相似度，最后由结果输出单元143根据所述相似度，输出当前识别对象的识别结果。本实施例的近红外人脸识别方法及装置，通过一种人脸自动检测的方法捕捉视频帧中基于近红外的人脸图片，利用一种改进的局部二值算法对捕捉到的人脸图片进行处理，然后利用深度学习算法中的卷积神经网络架构提取人脸图片的特征向量，融合为人脸特征，最后将重新获取的人脸特征通过分类器进行分类匹配和识别，输出识别结果，本发明对光照的鲁棒性较强，当前使用本发明方法，在赛为智能提供的多光照人脸数据库上，我们使用可见光人脸识别算法在相同光照的人脸数据库上准确率可以达到99％，但是，在不同光照条件下准确率下降到了81％，使用近红外人脸识别算法后，在相同光照条件下准确率可以达到98％，但是在不同光照条件下，准确率可以提升到92％，解决了现有的人脸识别受环境光照影响较大，识别性能较差的技术问题，识别准确率高、适用性强。以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的
技术领域：
均包括在本发明的专利保护范围内。当前第1页1 2 3