基于嵌入式深度学习技术的移动终端人脸识别方法和系统与流程

本发明属于图像识别领域，具体提供一种基于嵌入式深度学习技术的移动终端人脸识别方法和系统。

背景技术：

在公共安全领域，如公安干警巡查或执勤过程中，工作人员在突发事件现场、大型活动现场等场所中需要快速对可疑人员进行身份确认，如判断可疑人员是否为在逃人员、上访人员或寻隙滋事人员等。因此亟需一种可移动、方便携带的身份识别系统。

目前通常采用的方法是，通过手持移动终端对可疑人员进行拍照，然后通过无线网络将照片上传至服务器端，由服务器端将移动终端拍摄的照片与人像数据库中的照片进行匹配，最后服务器端再通过无线网络将匹配结果反馈给手持移动终端。但是这种方式往往受限于网络信号，当网络信号较差或没有网络信号时，照片上传和匹配结果下载的速度会被大大降低。并且现有移动终端人脸识别系统采用传统的方法提取人脸特征，在实际应用中准确率不高。基于深度学习的人脸识别方法的识别准确率有了空前的提高，然而，该方法存在内存消耗大、识别速度慢的问题。

相应地，本领域需要一种新的人脸识别方法来解决上述问题。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有技术中人脸识别程序复杂、占据内存大、识别速度慢、识别准确率低以及对人脸进行识别的手持移动终端受限于网络信号的问题，本发明提供了一种基于嵌入式深度学习技术的移动终端人脸识别系统，包括人脸检测模块、特征提取模块、特征比对模块、人像数据库模块，所述特征提取模块，基于深度学习的人脸识别模型提取的目标人物的脸部图像中的脸部特征；所述人像数据库模块，包括人像特征数据、以及人像特征数据的快速索引树；所述特征比对模块，配置为将特征提取模块所提取的脸部特征，基于所述人像数据库模块中的快速索引树进行快速匹配，并输出匹配结果。

在上述系统的优选技术方案中，所述特征提取模块，配置为基于深度学习的人脸识别模型，对人脸检测模块输出的目标人物的脸部图像数据进行目标人物的脸部特征的提取。

在上述系统的优选技术方案中，所述快速索引树基于KD‐Tree构建。

在上述系统的优选技术方案中，所述人脸检测模块、所述特征提取模块和所述特征比对模块设置于移动终端上。

在上述系统的优选技术方案中，所述人像数据库模块包括设置于人脸识别服务器上的第一人像数据库模块和设置于所述移动终端上的第二人像数据库模块，并且所述第二人像数据库模块能够从所述第一人像数据库模块中下载人像特征数据、以及人像特征数据的快速索引树。

在上述系统的优选技术方案中，所述系统还包括设置在人脸识别服务器上的数据加密模块和设置在移动终端上的数据解密模块，所述数据加密模块用于对所述第一人像数据库模块中的人像特征数据、以及人像特征数据的快速索引树进行加密，所述数据解密模块用于将所述第二人像数据库模块中的人像特征数据、以及人像特征数据的快速索引树进行解密。

在上述系统的优选技术方案中，所述人脸检测模块、所述特征提取模块、所述特征比对模块和所述人像数据库模块也设置于人脸识别服务器上，并且所述人脸检测模块能够通过有线或无线的方式获取移动终端上目标人物的图像信息。

在上述系统的优选技术方案中，所述人脸检测模块用于将移动终端获取的目标人物的图像进行人脸检测和校准，进而获取目标人物的脸部区域，使得所述特征提取模块能够根据所述目标人物的脸部区域获取目标人物的脸部特征。

在另一方面，本发明还提供了一种基于嵌入式深度学习技术的移动终端人脸识别方法，所述方法包括以下步骤：建立人像特征数据库、以及人像特征数据库的快速索引树；基于深度学习的人脸识别模型获取目标人物的脸部特征；将所述目标人物的脸部特征与所述快速索引树进行快速匹配，并输出匹配结果。

在上述方法的优选技术方案中，所述人像特征数据基于深度学习的人脸识别模型生成。

在上述方法的优选技术方案中，所述人像特征数据的快速索引树基于KD‐Tree构建。

在上述方法的优选技术方案中，所述基于深度学习的人脸识别模型获取目标人物的脸部特征，包括：获取目标人物的图像；根据所述目标人物的图像获取目标人物的脸部区域；基于深度学习的人脸识别模型根据所述目标人物的脸部区域获取目标人物的脸部特征。

在上述方法的优选技术方案中，所述根据所述目标人物的脸部区域获取目标人物的脸部特征，包括基于深度学习的人脸识别模型，对人脸检测模块输出的目标人物的脸部图像数据进行目标人物的脸部特征的提取。

在上述方法的优选技术方案中，所述方法还包括步骤：将建立的人像特征数据和快速索引树进行加密，并在所述目标人物的脸部特征与所述快速索引树匹配前进行解密。

本领域技术人员能够理解的是，在本发明的优选技术方案中，设置在人脸识别服务器上的第一人像数据库模块存储有通过基于深度学习的人脸识别模型创建的多个人像特征数据，以及通过KD‐Tree技术创建的该多个人像特征数据的快速索引树。然后通过数据加密模块将人像特征数据和快速索引树进行加密，进而由设置在移动终端的第二人像数据模块将加密后的人像特征数据和快速索引树进行下载，并通过数据解密模块对下载后的人像特征数据和快速索引树进行解密。

进一步，通过设置在移动终端上的人脸检测模块对目标人物的脸部图像(例如照片)进行人脸检测和校准，进而获取该目标人物的脸部区域。通过设置在移动终端上且能够与人脸检测模块通信的特征提取模块根据目标人物的脸部区域获取目标人物的脸部特征。通过设置在移动终端上且能够与特征提取模块通信的特征比对模块将目标人物的脸部特征与第二人像数据库中的快速索引树进行匹配。具体地，将目标人物的脸部特征在快速索引树上进行搜索，当目标人物的脸部特征与快速索引目录中的某一项或多项人像特征的相似度达到阈值时，将该一项或多项人像特征按照相似度由高到低排列。进而输出匹配结果。

因此，通过本发明的方法，移动终端在没有网络信号的情况下也能够快速、准确地判断出目标人物的身份，并且在移动终端遗失的情况下人像数据库中的信息也不会被泄漏。

附图说明

图1是本发明的基于嵌入式深度学习技术的移动终端人脸识别系统的系统结构图；

图2是本发明的基于嵌入式深度学习技术的移动终端人脸识别方法的步骤流程图；

图3是本发明的基于嵌入式深度学习技术的移动终端人脸识别方法构建基于深度学习的人脸识别模型的步骤流程图。

附图标记列表：

1、人脸识别服务器；11、第一人像数据库模块；12、数据加密模块；2、移动终端；21、人脸检测模块；22、特征提取模块；23、特征比对模块；24、数据解密模块；25、第二人像数据库模块。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非用于限制本发明的保护范围。例如，虽然附图1中对人脸识别服务器只列举了第一人像数据库模块和数据加密模块两个功能模块，但是人脸识别服务器还可以包括其他功能模块，如通信模块，本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合，调整后的技术方案仍将落入本发明的保护范围。

如图1所示，本发明的基于嵌入式深度学习技术的移动终端人脸识别系统主要包括人脸识别服务器1和移动终端2。人脸识别服务器1主要用于建立人像数据档案，例如在逃人员的人像数据档案。移动终端2能够从人脸识别服务器1上将人像数据档案进行下载，并能够将目标人物的照片与下载的人像数据库进行相似度计算，进而根据计算结果判断目标人物是否为在逃人员。本领域技术人员能够理解的是，移动终端2可以是任何方便携带的拍照设备，例如手机、照相机、摄像机等，或者移动终端2还可以是任何方便携带且能够与拍照设备进行通信的设备。

继续参阅图1，人脸识别服务器1主要包括第一人像数据库模块11和数据加密模块12。其中，第一人像数据库模块11中保存有人像数据库，该人像数据库可以是在逃人员库、上访人员库、重点监控人员库等。在本发明的优选实施方案中人像数据库是在逃人员库，或者本领域技术人员还可以根据需要在第一人像数据库模块11中建立其他人员的人像数据档案，例如，丢失的儿童、老人等。优选地，人像数据库是第一人像数据库模块11通过基于深度学习的人脸识别模型(下文将进行详细说明)建立的具有多个人像特征数据的人像数据库。进一步，人像数据库还包括采用KD‐Tree(k‐dimensional树的简称)技术构建的所有人像特征数据的快速索引树。数据加密模块12能够将第一人像数据库模块11中的人像数据库进行加密，防止人像特征数据被非法人员盗取。

进一步参阅图1，移动终端2主要包括：人脸检测模块21、特征提取模块22、特征比对模块23、数据解密模块24和第二人像数据库模块25。各个功能模块之间的信息流如图1所示。其中，第二人像数据库模块25能够通过有线或无线的方式从第一人像数据库模块11中将数据加密模块12加密后的人像数据库进行下载。

数据解密模块24用于将第二人像数据库模块25中被加密的人像数据库进行解密，使得特征比对模块23能够对人像数据库进行调用。进一步，数据解密模块24包括登录子模块，该登录子模块用于对移动终端2的使用者进行身份验证，只有在使用者的身份验证通过之后，数据解密模块24才会对人像数据库进行解密，以便在移动终端2丢失后人像数据库中的信息不会被非法人员窃取。本领域技术人员能够理解的是，登录子模块对使用者身份进行验证的方式可以是密码登录、人脸识别、指纹识别等本领域技术人员能够想到且能够实施的方式。

人脸检测模块21用于将移动终端拍摄到或接收到的目标人物的照片进行人脸检测和校准，进而获取目标人物的脸部区域。特征提取模块22通过人脸检测模块21获取的脸部区域提取目标人物的脸部特征。因脸部特征的提取为本领域技术人员能够理解且常用的技术手段，所以此处不作详细说明。

特征比对模块23能够获取特征提取模块22提取的目标人物的脸部特征，并将该目标人物的脸部特征与数据解密模块24解密出来的人像数据库进行相似度计算。具体地，特征比对模块23将目标人物的脸部特征在人像数据库中的快速索引树进行相似度计算(搜索)。当目标人物的脸部特征与快速索引目录中的某一项或多项人像特征的相似度达到阈值时，将该一项或多项人像特征按照相似度由高到低排列。进而输出匹配结果，由使用者进一步确定目标人物是否为在逃人员。本领域技术人员能够理解的是，该设定的阈值可根据多次试验获得。

本领域技术人员能够理解的是，在本发明的优选实施方案中一台人脸识别服务器1能够服务于多台移动终端1。

除此之外，本领域技术人员还可以省略数据加密模块12和数据解密模块24，将人脸检测模块21、特征提取模块22、特征比对模块23和第二人像数据库模块25全部设置在人脸识别服务器1上。通过移动终端2将目标人物的照片通过有线或无线的方式发送给人脸识别服务器1，然后由人脸识别服务器1对目标人物的照片进行处理和匹配，并将处理、匹配结果发送至移动终端2上。同时，移动终端2上的比对结果也可以发送至人脸识别服务器进行存储和管理。

下面结合上述的移动终端人脸识别系统对本发明的基于嵌入式深度学习技术的移动终端人脸识别方法进行详细说明。

如图2所示，本发明的基于嵌入式深度学习技术的移动终端人脸识别方法主要包括：步骤S100，建立基于深度学习的人脸识别模型；步骤S200，建立人像数据库；步骤S300，获取目标人物的面部区域；步骤S400，根据目标人物的面部区域获取目标人物的脸部特征；步骤S500，将目标人物的脸部特征与人像数据库中的脸部特征进行相似度计算。

如图3所示，步骤S100还包括：步骤S101，准备训练样本；步骤S102，构建基于深度学习的人脸识别模型；步骤S103，通过基于深度学习的人脸识别模型进行训练；步骤S104，压缩基于深度学习的人脸识别模型。

具体地，在步骤S101中，先收集十万人以上的人脸图像数据，该人脸图像数据包括每个人的1～3张证件照和5～10张现场拍照。进一步，每个人的照片均存在1～10年的年龄跨度，并且现场的人脸照片是在不同光照、不同角度、不同表情、不同分辨率等多种因素环境下拍摄的。本领域技术人员容易理解的是，对每一个样本个体(人)采集多张具有年龄跨度的照片，能够根据相关算法(如本发明的基于深度学习的人脸识别模型)对样本个体进行脸部信息推算，如根据现有照片信息推算样本个体多年(如5年、10年、15年等)后的相貌，避免了因缺少个体样本的近期照片而导致不能够对样本个体进行识别的现象；进一步对每一个样本个体(人)采集多张在不同环境下拍摄的照片，能够提高样本个体的匹配成功率，避免了因拍照时的环境因素造成的拍摄照片与样本库中的照片不相匹配而无法识别样本个体的现象。

具体地，在步骤S102中，构建一个包括十个卷基层、五个下采样层、十个非线性传播层、一个全连接层及一个回归层和一个对比损失层的神经网络结构，该网络结构即为基于深度学习的人脸识别模型，该神经网络的结构具体是，每个卷基层后面连接一个非线性传播层，每两组“卷基层→非线性传播层”之后连接一个池化层，上述重复5遍之后连接全连接层，全连接层之后再分别连接回归层和对比损失层。

具体地，在步骤S103中，将每一个训练样本经过人脸检测、缩放归一化和数据增广后，与对应的类别标签(本领域技术人员可根据需要进行设定)一起输入构建的基于深度学习的人脸识别模型中，训练500万次迭代以上，得到网络参数。本领域技术人员能够理解的是，由于人脸检测、缩放归一化和数据增广是本领域技术人能够理解且常用的技术手段，所以此处不再作详细说明。

具体地，在步骤S104中，通过模型剪枝、权值量化来共享权值等方式对基于深度学习的人脸识别模型进行压缩，使得压缩后的基于深度学习的人脸识别模型是原来大小的十分之一，进而能够有效降低基于深度学习的人脸识别模型的计算资源，使得基于深度学习的人脸识别模型能够嵌入至移动终端上。本领域技术人员能够理解的是，通过模型剪枝将深度学习网络中参数的绝对值小于一定阈值的边去掉；权值量化共享权值为：通过对每一层的权值进行聚类(如采用k‐means聚类)，同一个cluster(聚类)共享相同的权值；另外采用存储权值的索引的方法来代替存储具体数值，进而能够大大减少模型的存储空间。

具体地，在步骤S200中，首先，基于深度学习的人脸识别模型创建人像数据库，该人像数据库包括多个人像特征数据，本领域技术人员可根据需要对该人像特征数据进行选定，例如，该人像特征数据是在逃人员的脸部特征信息。然后，通过KD‐Tree技术建立该多个人像特征数据的快速索引树，并将快速索引树存储至人像数据库。最后，将该人像数据库存储至第一人像数据库模块11中。

进一步，通过数据加密模块12对人像数据库进行加密。然后，通过第二人像数据库模块25将数据加密模块12加密的人像数据库从第一人像数据库模块11中下载到移动终端2上。最后，通过数据解密模块24对下载到移动终端2上的人像数据库树进行解密。

具体地，在步骤S300中，通过人脸检测模块21对移动终端2获取的目标人物的照片进行检测和校准进而获得目标人物的脸部区域。

具体地，在步骤S400中，通过特征提取模块22对目标人物的脸部区域进行特征提取进而获取目标人物的脸部特征。

具体地，在步骤S500中，特征比对模块23通过基于深度学习的人脸识别模型将目标人物的脸部特征在解密后的快速索引树上进行搜索。当目标人物的脸部特征与快速索引目录中的某一项或多项人像特征的相似度达到阈值时，将该一项或多项人像特征按照相似度由高到低排列。进而输出匹配结果，由使用者进一步确定目标人物是否为在逃人员。最并将匹配结果存储至移动终端2上，或者在移动终端2和人脸识别服务器1能够进行通信时，将计算结果上传至人脸识别服务器1。

本领域技术人员能够理解的是，本发明的移动终端2在不连网的情况下也能够对目标人物进行人脸识别，使得本发明的移动终端2不再受限于网络信号，能够被在更多的环境中使用。本发明通过基于深度学习的人脸识别模型对目标人物的面部特征进行处理，并通过对人像数据库建立快速索引树，不仅提高了人脸识别的准确度，还提高了人脸识别的速度。本发明通过将基于深度学习的人脸识别模型进行压缩大大减小了内存占有量。本发明还通过数据加密模块12和数据解密模块24使人像数据库中的资料在传输和移动终端2被丢失的情况下，不会被窃取，保证了人像数据库中信息的安全性。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。