本发明涉及一种基于人脸识别的考勤方法，特别是涉及一种基于多人脸数据采集策略和深度学习的课堂考勤方法。
背景技术：
：文献“APrototypeofAutomatedAttendanceSystemUsingImageProcessing,InternationalJournalofAdvancedResearchinComputerandCommunicationEngineering,Vol.5,Issue4,April2016,p501-505”公开了一种基于人脸识别的考勤方法。该方法采用传统的主成分分析法对检测到的人脸进行识别。考勤者进入考勤系统后，系统判断其人脸数据是否存在于数据库中，若存在，则直接对其进行识别，并将本次检测结果加入数据库。若不存在，则需先对其进行人脸数据采集。该方法的实现需要在识别前对考勤者逐个采集人脸数据。然而，实际情况中，考勤人员数量较多，若逐一采集人脸数据，将耗费大量时间，数据采集效率低。而且，该方法要求考勤者自主完成人脸数据的采集，难以保证所采集人脸数据的质量。此外，该方法在进行人脸识别时的背景简单、光照稳定、人脸表情单一，然而在实际考勤中，考勤人员较多，背景、光照、姿态和表情等变化非常复杂，传统的基于主成分分析的人脸识别方法在实际复杂情况下识别率较差。技术实现要素：为了克服现有基于人脸识别的考勤方法识别率差的不足，本发明提供一种基于多人脸数据采集策略和深度学习的课堂考勤方法。该方法利用AdaBoost算法和肤色模型进行多目标检测和提取。只需一次对所有参与考勤的人脸拍摄一段视频，并对视频序列中的人脸进行检测、提取，完成人脸数据库的建立。解决了实际考勤中人脸数据采集耗时耗力、难以统一采集的问题，更容易获得海量人脸数据。此外，基于深度学习的人脸识别方法，以深度卷积神经网络LeNet-5模型为基础，应用简化的LeNet-5模型对人脸数据库中不同场景下的人脸特征进行学习，通过多层的非线性变换得到新的特征表示。这些新特征尽可能多的去掉了如光照、噪声、姿态和表情等类内变化，而保留身份不同产生的类间变化，提高了人脸识别方法在实际复杂场景下人脸识别率。本发明解决其技术问题所采用的技术方案是：一种基于多人脸数据采集策略和深度学习的课堂考勤方法，其特点是包括以下步骤：(a)人脸数据获取。对被采集者脸部拍摄30秒的视频序列，在视频拍摄过程中，采集者制订一系列规则来模拟实际考勤中人脸可能发生的变化。包括微笑、皱眉的表情变化和张嘴、抬头、低头、改变面部朝向的动作变化。被采集者根据采集者的要求在视频拍摄过程中进行表情、动作变化。(b)利用AdaBoost算法结合肤色模型进行多人脸检测.将AdaBoost算法与肤色模型结合，通过AdaBoost算法定位人脸位置，再运用肤色模型对其进行肤色校验，方法如下：①利用Adaboost算法生成用于人脸检测的分类器，进行初步地人脸检测。②采用肤色模型校验Adaboost初步确定的人脸区域，通过将图像中的像素与标准肤色比较，区分图像中的肤色区域和非肤色区域。设置标准肤色范围时，采用三种颜色空间：RGB色彩空间、HSV色彩空间、YCbCr色彩空间。设置两个RGB标准肤色模型。模型一的阈值范围：G>40、B＞20、R>G、R>B、MAX(R,G,B)-MIN(R,G,B)>15；模型二的阈值范围：R>220、|R-G|<15、R>G、R>B。采用公式(1)(2)(3)(4)将RGB颜色转换为HSV颜色，设置HSV标准肤色阈值范围：0<H<50、0.23<S<0.68。H=Hi,B≤G360-H,B≥G---(1)]]>式中，H为色调。其中，Hi=12(R-G)+(R-B)(R-G)2+(R-G)×(G-B)---(2)]]>式中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。S=MAX(R,G,B)-MIN(R,G,B)MAX(R,G,B)---(3)]]>式中，S为饱和度。V=MAX(R,G,B)255---(4)]]>式中，V为明度。利用公式(5)将RGB颜色转换为YCbCr颜色，之后设置YCbCr标准肤色阈值范围为：Y>20、135<Cr<180、85<Cb<135。Y=0.299R+0.587G+0.114BCb=(B-Y)×0.564+128Cr=(R-Y)×0.713+128---(5)]]>式中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量。(c)约束人脸中心位置出现的范围。①从所采集的视频序列中抽取20帧图像，利用公式(6)计算每一帧间的间隔gg=t×f20---(6)]]>式中t为所拍视频长度，f为所拍摄视频每一秒的帧数。②通过AdaBoost算法和肤色模型对所抽取的20帧图像进行检测后，将检测得到的人脸坐标进行保存，利用公式(7)、(8)计算不同人脸中心坐标的平均值xc=xγ-xl2---(7)]]>yc=yγ-yl2---(8)]]>式中，(xr，yr)为检测到的人脸右下角坐标，(xl，yl)为左上角坐标。将计算得到的平均值与实际图像中的人脸中心坐标进行对比，得到人脸中心坐标的误差范围，根据所得误差范围添加约束条件xc-m≤xc_real≤xc+m(9)yc-n≤yc_real≤yc+n(10)式中，(xc_real，yc_real)为实际检测得到的人脸中心位置坐标。(d)提取检测到的人脸并处理，完成人脸数据库的建立。提取检测到的人脸，将其转化为大小为28×28像素的人脸灰度图像。将处理后的人脸图像按约束条件的不同进行存储，完成实际考勤人脸数据库的建立。(e)训练模型。将人脸数据库中大小为28×28像素的人脸灰度图像作为训练数据输入深度卷积神经网络模型进行多次迭代训练，完成模型的训练。具体训练过程如下：训练过程分为两个步骤：前向传播及反向传播。①前向传播的目的是将训练数据送入网络以获得激励响应。包括一层卷积层和一层下采样层。首先对卷积层进行处理，在第l层卷积层上应用公式(11)得到卷积层l提取的卷积特征。xjl=f(Σi∈Mjxjl-1*kjl+bjl)---(11)]]>式中，为卷积层l的卷积特征，Mj为选择输入的特征图集合，为卷积层l上的卷积核，为卷积层l上的偏置值，通过激活函数f得到卷积层l的卷积特征。得到卷积层的卷积特征后，应用公式(12)对卷积特征进行下采样处理，即对不同位置的特征进行聚合统计。xjl=f(βjldown(xjl-1)+bjl)---(12)]]>式中，down(·)为下采样函数，β为乘性偏置，b为加性偏置。②反向传播，通过最小化残差对权重和偏置进行调整。包括一层卷积层和一层下采样层。对于卷积层，下一层为下采样层的，利用公式(13)计算残差。式中，up(·)为一个上采样函数，ο表示矩阵中对应元素相乘。其中，ul＝Wlxl-1+bl(14)xl＝f(ul)(15)式中，f为激活函数。由得到的残差应用公式(16)计算偏置b的梯度。∂E∂bj=Σu,v(δjl)uv---(16)]]>式中，u，v表示特征图中的坐标值。定义为卷积时与逐元素相乘的n×n的像素块，应用公式(17)计算得到卷积核梯度。∂E∂kijl=Σu,v(δjl)uv(pil-1)uv---(17)]]>输出的卷积特征图的(u,v)位置的值是上一层中(u,v)位置的n×n的像素块与卷积核kij逐元素相的结果。对下采样层进行处理，下采样层的下一层为卷积层，应用公式(18)计算下采样的特征图残差。式中，表示将卷积核矩阵旋转180°，即将矩阵元素按照对角线进行交换。conv2为全卷积函数，′full′表示对全卷积得到的矩阵空缺处以0补全。得到残差后，再应用公式(19)计算偏置b的梯度。∂E∂bj=Σu,v(δjl)uv---(19)]]>式中，u，v表示特征图中的坐标值。定义利用已求得的残差应用公式(20)计算卷积核梯度。③输出层，对特征进行分类。其实质是一个分类器，采用softmax分类器，解决多分类问题。(f)使用测试数据对训练好的模型进行测试。①测试数据的获取。应用中，对所有被采集者拍摄图像。检测图像中出现的人脸，将检测到的人脸进行处理，得到大小为28×28像素的人脸灰度图像，并将处理后的图像保存为测试数据。②将测试数据输入已训练好的模型，模型对输入的测试数据进行识别，输出其对应的训练集上的人脸标签，完成人脸识别。(g)通过调整卷积神经网络的层数、每层网络的卷积核个数和学习率，进行多次实验，即重复步骤(e)和步骤(f)，并对实验结果进行对比，选择识别率最高的模型参数，对参数及训练模型进行保存。本发明的有益效果是：该方法利用AdaBoost算法和肤色模型进行多目标检测和提取。只需一次对所有参与考勤的人脸拍摄一段视频，并对视频序列中的人脸进行检测、提取，完成人脸数据库的建立。解决了实际考勤中人脸数据采集耗时耗力、难以统一采集的问题，更容易获得海量人脸数据。此外，基于深度学习的人脸识别方法，以深度卷积神经网络LeNet-5模型为基础，应用简化的LeNet-5模型对人脸数据库中不同场景下的人脸特征进行学习，通过多层的非线性变换得到新的特征表示。这些新特征尽可能多的去掉了如光照、噪声、姿态和表情等类内变化，而保留身份不同产生的类间变化，提高了人脸识别方法在实际复杂场景下人脸识别率。下面结合具体实施方式对本发明作详细说明。具体实施方式本发明基于多人脸数据采集策略和深度学习的课堂考勤方法具体步骤如下：1、人脸数据获取。本发明通过对待采集者拍摄视频的方式完成人脸数据的获取，拍摄得到约30秒的视频序列。在视频拍摄过程中，采集者制订一系列规则来模拟实际考勤中人脸可能发生的变化。包括，微笑、皱眉等表情变化和张嘴、抬头、低头、改变面部朝向等动作变化。待采集者根据采集者的指示在视频拍摄过程中进行表情、动作的变化。2、利用AdaBoost算法结合肤色模型进行多人脸检测本发明将AdaBoost算法与肤色模型结合，通过AdaBoost算法定位人脸位置，再运用肤色模型对其进行肤色校验，可以大大降低人脸检测时的误检率。主要实施方法如下：①利用Adaboost算法生成用于人脸检测的分类器，进行初步地人脸检测。②采用肤色模型校验Adaboost初步确定的人脸区域，通过将图像中的像素与“标准肤色”比较，从而区分图像中的肤色区域和非肤色区域。设置“标准肤色”范围时，采用三种颜色空间：RGB色彩空间、HSV色彩空间、YCbCr色彩空间。设置两个RGB标准肤色模型。模型一的阈值范围：G>40、B＞20、R>G、R>B、MAX(R,G,B)-MIN(R,G,B)>15；模型二的阈值范围：R>220、|R-G|<15、R>G、R>B。采用公式(1)(2)(3)(4)将RGB颜色转换为HSV颜色，设置HSV标准肤色阈值范围：0<H<50、0.23<S<0.68。H=Hi,B≤G360-H,B≥G---(1)]]>式中，H为色调。其中，Hi=12(R-G)+(R-B)(R-G)2+(R-G)×(G-B)---(2)]]>式中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。S=MAX(R,G,B)-MIN(R,G,B)MAX(R,G,B)---(3)]]>式中，S为饱和度。V=MAX(R,G,B)255---(4)]]>式中，V为明度。利用公式(5)将RGB颜色转换为YCbCr颜色，之后设置YCbCr标准肤色阈值范围为：Y>20、135<Cr<180、85<Cb<135。Y=0.299R+0.587G+0.114BCb=(B-Y)×0.564+128Cr=(R-Y)×0.713+128---(5)]]>式中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量。3、约束人脸中心位置出现的范围。在实际采集人脸数据时，采集者对人脸的表情和动作有所规定，所以视频中人脸变化的幅度较小，容易确定的人脸出现的范围。①从所采集的视频序列中抽取20帧图像，利用公式(6)计算每一帧间的间隔gg=t×f20---(6)]]>式中t为所拍视频长度，f为所拍摄视频每一秒的帧数。②通过AdaBoost算法和肤色模型对所抽取的20帧图像进行检测后，将检测得到的人脸坐标进行保存，利用公式(7)(8)计算不同人脸中心坐标的平均值xc=xγ-xl2---(7)]]>yc=yγ-yl2---(8)]]>式中，(xr，yr)为检测到的人脸右下角坐标，(xl，yl)为左上角坐标。将计算得到的平均值与实际图像中的人脸中心坐标进行对比，得到人脸中心坐标的误差范围，根据所得误差范围添加约束条件xc-m≤xc_real≤xc+m(9)yc-n≤yc_real≤yc+n(10)式中，(xc_real，yc_real)为实际检测得到的人脸中心位置坐标。4、提取检测到的人脸并处理，完成人脸数据库的建立。提取检测到的人脸，将其转化为大小为28像素×28像素的灰度图像。将处理后的人脸图像按约束条件的不同进行存储，完成实际考勤人脸数据库的建立。5、训练模型。将人脸数据库中大小为28像素×28像素的人脸图像作为训练数据输入深度卷积神经网络模型进行多次迭代训练，完成模型的训练。具体训练过程如下：训练过程主要分为两个步骤：前向传播及反向传播。①前向传播的目的是将训练数据送入网络以获得激励响应。包括一层卷积层和一层下采样层。首先对卷积层进行处理，在第l层卷积层上应用公式(11)得到卷积层l提取的卷积特征。xjl=f(Σi∈Mjxjl-1*kjl+bjl)---(11)]]>式中，为卷积层l的卷积特征，Mj为选择输入的特征图集合，为卷积层l上的卷积核，为卷积层l上的偏置值，通过激活函数f得到卷积层l的卷积特征。得到卷积层的卷积特征后，应用公式(12)对卷积特征进行下采样处理，即对不同位置的特征进行聚合统计。得到的概要统计特征相比使用所有提取得到的特征不仅具有低得多的维度，同时还会改善结果，不容易过拟合。xjl=f(βjldown(xjl-1)+bjl)---(12)]]>式中down(·)为下采样函数，β为乘性偏置，b为加性偏置。②反向传播，通过最小化残差对权重和偏置进行调整。包括一层卷积层和一层下采样层。对于卷积层，下一层为下采样层的，利用公式(13)计算残差。式中，up(·)为一个上采样函数，ο表示矩阵中对应元素相乘。其中，ul＝Wlxl-1+bl(14)xl＝f(ul)(15)式中，f为激活函数。由上面得到的残差可以计算偏置b的梯度，应用公式(16)。∂E∂bj=Σu,v(δjl)uv---(16)]]>式中，u，v表示特征图中的坐标值。定义为卷积时与逐元素相乘的n×n的像素块，应用公式(17)计算得到卷积核梯度。∂E∂kijl=Σu,v(δjl)uv(pil-1)uv---(17)]]>输出的卷积特征图的(u,v)位置的值是上一层中(u,v)位置的n×n的像素块与卷积核kij逐元素相的结果。对下采样层进行处理，下采样层的下一层为卷积层，应用公式(18)计算下采样的特征图残差。式中，表示将卷积核矩阵旋转180°，即将矩阵元素按照对角线进行交换。conv2为全卷积函数，′full′表示对全卷积得到的矩阵空缺处以0补全。得到残差后，再计算偏置b的梯度，应用公式(19)。∂E∂bj=Σu,v(δjl)uv---(19)]]>式中，u，v表示特征图中的坐标值。定义利用已求得的残差计算卷积核梯度，应用公式(20)。③输出层，对特征进行分类。其实质是一个分类器，采用softmax分类器，解决多分类问题。6、使用测试数据对训练好的模型进行测试。①测试数据的获取实际上课时，对所有学生拍摄图像。检测图片中出现的人脸，将检测到的人脸进行处理，得到大小为28像素×28像素的人脸灰度图像，并将处理后的图像保存为测试数据。②将测试数据输入已训练好的模型，模型对输入的测试数据进行识别，输出其对应的训练集上的人脸标签，完成人脸识别。7、通过调整卷积神经网络的层数、每层网络的卷积核个数、学习率等参数，进行多次实验，即重复步骤5、6，并对实验结果进行对比，选择识别率最高的模型参数，对参数及训练模型进行保存。总之，本发明提出一种基于多人脸数据采集策略和深度学习的课堂考勤方法，利用多人脸数据采集策略解决了实际考勤中难以通过逐一采集获得海量人脸数据的问题，大大提高了人脸采集的效率。同时，应用大量复杂实际环境下的人脸图像训练深度学习模型，模型从中学习新特征，新特征尽可能多的去掉了如光照、噪声、姿态和表情等类内变化，而保留身份不同产生的类间变化，解决了传统人脸识别方法在实际复杂场景下人脸识别率较差的问题。当前第1页1 2 3