一种应用于保安机器人的人脸识别系统及方法与流程

本发明涉及人脸识别领域，具体涉及一种应用于保安机器人的人脸识别系统及方法。

背景技术：

人脸是人体最重要的生物识别特征之一，依靠人脸进行身份识别已经成为识别通缉犯等特定人员的一种重要手段，而在当前的大数据时代，用人工来检索数据费时费力，显然不可行。现有的自动人脸识别技术只能应用于固定位置的正面人脸识别，例如普遍的门禁系统，在复杂动态环境下的识别率很低。传统的人脸识别技术利用SIFT等人工设计的人脸图像特征，然后再利用线性方法抽取人脸层面上的特征表示，比如利用PCA或LDA来获取Eigenface或Fisherface等人脸特征。然而实际应用表明，这些方法得到的线性人脸特征描述能力不足，抗干扰能力较差。有研究者对上述方法进行改进，提出了基于线性子空间的人脸识别算法，例如使用稀疏表示与尺度学习的思想增加人脸识别算法的鲁棒性。这些方法在带有部分遮挡与旋转角度的人脸识别问题上取得了一定的效果，但是对于真实世界中的复杂人脸识别问题还是不能取得理想效果。另外，普通摄像头只能在白天使用，在夜晚，摄像头拍摄的人脸图片清晰度会大大下降，甚至检测不到人脸，这无疑会影响识别的准确率。

与本发明最相近的方法有陈国平[1]等人所提出的基于深度神经网络的动态人脸识别方案，包括对卷积神经网络的介绍、其相对传统方法的优势、关键层的描述，以及在实际场景中的应用等；探讨了其中涉及的系统通用性、实时性、智能性、评测标准和实际应用等关键问题，给出了一个成功将深度学习思想应用在人脸识别中的实时系统。

[1]陈国平，杜姗姗.基于深度神经网络的动态人脸识别方法及应用[J].微型电脑应用，2015，09：39-41+5.

[2]尹萍，赵亚丽.视频监控中人脸识别现状与关键技术课题[J].警察技术，2016(3)：77-80.

[3]Wu X，He R，Sun Z，et al.A Light CNN for Deep Face Representation with Noisy Labels[J].Computer Science，2016.

[4]Kazemi V，Sullivan J.One millisecond face alignment with an ensemble of regression trees[C]//Computer Vision and Pattern Recognition.IEEE，2014：1867-1874.

技术实现要素：

针对目前固定的门禁类人脸识别系统环境单一、线性人脸特征描述能力不足等问题，本发明提出了一种基于移动机器人和深度学习的运动人脸识别系统。在设备方面，该系统实现了人和机器人单方运动、人和机器人同时运动情况下的人脸识别，并且采用近红外摄像头，实现夜晚全黑条件下的人脸识别。在算法方面，该系统是一套从人脸检测、特征点检测，到人脸矫正、人脸识别的完整的系统，在特征点检测模块精简了特征点的数量，在人脸识别模块采用了深度卷积神经网络模型，实现对人脸的快速、高准确率的识别。

本发明首先利用HOG特征实现人脸检测，降低误检率；然后用级联回归器检测关键特征点以实现人脸对齐，提高识别准确率，并且只检测关键特征点，以防止冗余，提高速度；最后利用包含14层卷积层的深度神经网络模型进行人脸匹配识别，不仅提高了准确率，还能较准确地判断出unknown人脸；而采集设备方面，本系统采用了红外摄像头，在夜晚自动打开采集灰度人脸图像，可以有效避免因清晰度下降而不能有效识别人脸，完成了一个完整的、具有一定报警功能的动态人脸实时识别系统。

一种人脸识别方法，其特征在于包含以下步骤：

一、采集人脸数据，训练后得到模型；

二、利用HOG特征进行人脸检测；

三、人脸特征点检测：特征点检测模块利用级联的回归器通过像素强度值的稀疏集合来回归面部特征点的位置；

四、人脸矫正：计算旋转角度及仿射矩阵后，以左眼中心点为基准点旋转图片，使左右眼中心点连线达到水平，即完成对齐矫正；

五、人脸识别：将预处理后的人脸图片喂进网络模型中，经过一系列的卷积、池化操作由全连接层输出得到待识别人脸图片的特征向量，然后经由softmax层基于训练集图片进行对比分类，得到待识别图片与训练集图片相似程度的概率分布，最终选择概率值最大的那个标签作为该图片的输出标签。

进一步的，所述方法应用于保安机器人的人脸识别系统。

进一步的，所述步骤四中只采用了左右眼两侧眼角的2个点共4个点，然后计算得到每个眼睛中心点的坐标。

进一步的，所述步骤五中对训练集人脸将输出名字拼音，对陌生人将输出unknown标签，实现报警功能。

一种应用所述人脸识别方法的人脸识别系统，包含高清红外摄像头，外接红外补光板。

进一步的，所述高清红外摄像头白天时为720P普通高清摄像头，夜晚时自动转为红外夜视功能。

进一步的，所述步骤五中对训练集人脸将输出名字拼音，对陌生人将输出unknown标签，实现报警功能。

本发明的有益效果是：该技术可应用到机器人自主实时人脸识别上，并且具有夜视功能，不论白天黑夜均能有效识别人脸。本发明方法涉及到计算机视觉的图像处理，特别是图像识别检测这一部分，以及神经网络的深度应用，从机器人装载的摄像头进行视频人脸检测，并提取关键特征点以便进行对齐预处理，然后对检测到的人脸进行识别，实现对人脸的实时检测识别过程，并对特定范围之外的人脸输出unknown标签报警，以达到安防目的。

附图说明

图1为人脸识别系统流程框图；

图2a为人脸检测设备图红外摄像头1；

图2b为人脸检测设备图红外摄像头2；

图2c为人脸检测设备图红外补光灯；

图3为模型构成细节图；

图4为人脸特征提取流程图；

图5为回归器的学习过程图；

图6为特征点定位过程图；

图7a为不戴眼镜特征点检测结果图；

图7b为戴眼镜特征点检测结果图；

图8a为不戴眼镜计算后的关键特征点图；

图8b为戴眼镜计算后的关键特征点图；

图9a为仿射变换示意图a；

图9b为仿射变换示意图b；

图10a为人脸矫正前图；

图10b为人脸矫正后图；

图11为深度神经网络模型结构图；

图12为一种应用于保安机器人的人脸识别方法流程图；

图13a为人脸a检测结果图；

图13b为人脸b检测结果图；

图14a为识别陌生人图；

图14b为识别训练集人员(不戴眼镜)图；

图14c为识别训练集人员(戴眼镜)图；

图14d为识别夜晚红外光人脸图。

具体实施方式

以下结合附图对本发明进行详细说明：

本发明提出一种应用于保安机器人的人脸识别系统，图1是人脸识别系统流程框图，主要包括训练模型、人脸检测、特征点检测、人脸识别等七个方面。

图2a-2c是保安机器人在人脸识别过程中用到的硬件设备，主要是实时采集视频的高清红外摄像头：白天时为720P普通高清摄像头，夜晚时自动转为红外夜视功能。为了增加夜视效果，还外接了一个红外补光板，有48个红外发射器和一个光敏电阻，以及一个外接电源。

本发明提出一种应用于保安机器人的人脸识别方法主要包含以下步骤：

一、采集人脸数据，训练后得到模型

1、本系统在网络下载的通用数据集上添加了真实人脸数据以增强系统的实际应用性能。鉴于光照对人脸识别准确率的影响，以及对夜晚情况的考虑，采集数据时我们分别采集了正面强弱变化光照、左右单侧光照(包括自然光和灯光)，和全黑条件下红外光的图片。其中，正面光照情况下，实验人员随光照变化不断做表情和遮挡(主要遮挡鼻子以下部分)，并且慢慢向左右两方旋转至30度左右；侧面光照情况下，实验人员只做表情和遮挡；全黑条件下，增加红外补光板，只做表情和角度变化。最终我们的数据集包含了228个人，其中真实数据5人，通用数据223人，训练用13804张图片，每人70张；测试用4544张，每人20张；均为灰度图片。

2、本系统利用Caffe框架来实现深度学习，使用GPU加速，网络模型基于吴翔的lightened CNN模型进行微调，有5个卷积层(其中包含4个NIN层)，4个max-pooling层和2个全连接层，激活函数采用MFM。对每张人脸图片最终会得到一个256维的特征向量，相比传统的方法，该模型得到的特征向量维度更低，表征性更强。具体细节如图3所示。

二、人脸检测

人脸检测模块调用了开源库Dlib，利用HOG特征进行人脸检测。HOG即梯度方向直方图，检测时通过计算和统计图像局部区域的梯度方向直方图来构成特征。其计算流程如图4所示。

(1)先计算出图像的每个像素的梯度大小和方向；

(2)将图像分成若干个单元格cell(每个cell 6*6的像素大小)，统计每个cell中所有像素梯度的大小和方向，构建梯度方向直方图；

(3)再次抽象，将若干个cell合成一个block，将block内的所有cell的特征向量串联得到该block的HOG特征；

(4)最终串联所有block的HOG特征合成图像的image特征。检测时使用多尺度的滑动窗口对整个图像进行遍历，窗口每滑过一处便提取当前区域的HOG特征，根据提取到的HOG特征，使用分类器进行分类，判断是否是人脸。

三、人脸特征点检测

特征点检测模块依然调用了Dlib开源库，利用级联的回归器通过像素强度值(来自输入图像)的稀疏集合来回归面部特征点的位置。

每个回归器由很多棵回归树组成，通过gradient boosting学习每个回归器(gradient boosting即每一次建立模型是在之前所建立模型的损失函数的梯度下降方向；损失函数是平方误差损失函数)。回归器的学习过程如图5所示：

利用先验概率来选择距离最近的像素对，

P(u，v)∝e^-λ||u-v||

然后根据像素强度值(像素对的差值，这种像素强度特征具有几何不变性)选择回归树的分裂节点，学习回归树。每一次都根据当前形状和回归器来预测新的形状，将更新值Δ存入叶子节点：

π_i∈{1，...，n}

平均形状加上所有经过的叶子结点的Δ，即可得到最终的人脸关键点位置。特征点定位过程具体如图6所示。

四、人脸矫正

1、计算双眼坐标

特征点检测默认为检测68个人脸特征点，其中包括了眉毛10个点、鼻子9个点、眼睛12个点，嘴部20个点和脸部轮廓的17个点。如图7a-7b所示。

然而进行人脸矫正对齐只需要左右眼中心点共两个点。为了避免信息冗余，并且使识别画面更加简洁，我们只采用了左右眼两侧眼角的2个点共4个点，然后计算得到每个眼睛中心点的坐标。如图8a-8b所示。

2、仿射变换

用2*3矩阵表示仿射变换：

要使用矩阵A和B对二维向量做变换，则可表示为：

或T＝M·[x，y，1]^T

则

仿射变换直观表述如图9a-9b所示。

计算旋转角度及仿射矩阵后，以左眼中心点为基准点旋转图片，使左右眼中心点连线达到水平，即完成对齐矫正。人脸矫正结果如图10a-10b所示。

五、人脸识别

微调好模型后，当打开摄像头时，如果有人脸进入到摄像头范围内，摄像头会以30fps的帧率捕捉灰度人脸图片；人脸检测算法检测到人脸后，用OpenCV画出矩形框将人脸范围框出来；改进后的特征点检测算法会计算出双眼中心点的坐标，然后在框出人脸的范围内分别计算双眼的相对坐标；以第二次计算的左眼坐标为中心点，将人脸图片进行旋转，做对齐矫正；将预处理后的人脸图片喂进网络模型中，经过一系列的卷积、池化(下采样)等操作由全连接层输出得到待识别人脸图片的特征向量，然后经由softmax层基于训练集图片进行对比分类，得到待识别图片与训练集图片相似程度的概率分布，最终选择概率值最大的那个标签作为该图片的输出标签。其中深度神经网络模型结构如图11所示。

相较于传统的人脸识别方法，本发明应用了深度学习的方法，利用卷积神经网络来进行特征提取和模式分类，并且其权值共享的特性可以减少网络的训练参数，使网络结构变得更简单、适应性更强。在人脸检测方面，我们采用了基于HOG特征的检测算法，比传统的OpenCV 等方法速度快，并且大大降低了误检率。在特征点检测方面，现有的方案基本要提取多个特征点，或者是5点(双眼、鼻尖、嘴角)，或者是68个点。本发明在原有技术基础上，只提取跟后续工作相关联的4个特征点，然后通过计算得到双眼中心点的坐标，只需这两个坐标就可以完成对齐工作，这大大避免了信息冗余。另外，本发明为实用性很强的应用于保安机器人的人脸识别系统，可以动态实时识别人脸，还增加了红外夜视功能，在包含小规模真实人脸的数据集上实验时，还可以对非训练集的真实人脸输出unknown标签实现报警功能。

图12为一种应用于保安机器人的人脸识别方法流程图，以下为所述方法实际使用场景下的验证：

运行程序，利用摄像头进行人脸识别过程。

打开摄像头后即开始人脸检测过程，用矩形框框出人脸，图13a-13b为人脸检测结果图。

经过特征点检测、关键特征点计算、人脸矫正之后，将视频流中提取的图片投入网络模型中进行识别，输出标签。可以看到，对训练集人脸将输出名字拼音，对陌生人将输出unknown标签，一定程度上实现了报警功能。图14a-14d为人脸识别结果图。

经测试，在GTX1070 GPU上的运行速度为(一帧)：

人脸检测时间0.034951s

特征点检测+人脸对齐时间0.008465s

人脸识别时间0.003097s

整套系统运行时间0.048939s

本发明的有益效果是：

针对人脸识别在安防系统的重要性，将人脸识别系统与移动机器人结合起来，实现基于移动保安机器人的运动人脸识别(包括人和机器人单方运动和同时运动)。

针对机器人运动和人脸识别场景的多样性，采用近红外摄像头，实现白天、夜晚的多场景、多光照条件下的人脸识别系统。

针对目前大部分人脸识别算法的低准确率和低效率，采用深度学习方法，实现基于多层卷积神经网络的人脸识别。

针对人脸识别的敏感性和不稳定性，将人脸检测、特征点检测、人脸对齐、人脸识别整合为一套完整的人脸识别系统，从数据预处理到算法优化，提高人脸识别的准确率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。