专利名称：人脸识别方法及系统、人脸识别模型训练方法及系统的制作方法
技术领域：
本发明涉及一种人脸识别方法及系统，与人脸识别模型训练方法及系 统，尤其涉及一种基于三维信息的人脸识别方法及系统，与人脸识别模型训 练方法及系统。
背景技术：
人脸识别是将输入的人脸图像与已知库中的模板进行比较并确定身份 的一种技术，由于人脸是人们区分不同人的重要途径，是最主要的信息来源 之一，因此人脸识别是一种较指紋、视网膜和虹膜等识别更自然、更直接的 一种识别方式，在多个领域如视频监控、签到系统、人机交互、系统开机等 有着非常大的应用潜力。
在人脸识别领域中，主要有两类方法， 一类是基于二维亮度图像的人脸 识别方法，另一类是基于三维人脸的人脸识别方法。其中，前者只需要采集 人脸的亮度图像，从采集的亮度图像中抽取人脸特征并进行识别。不过这类 方法的主要问题是抗光照干扰的能力较差，这个缺陷也是目前人脸识别算法 发展的一个瓶颈。后者采用获取人脸面部各点的三维特征，利用人脸面部各 个器官的三维几何特征进行识别，由于这类识别方法主要利用各点的坐标， 而不是图像中各点的亮度，因此基于三维人脸的人脸识别方法不受光照、姿 态的干扰。不过，这类方法的人脸数据需要用复制昂贵的三维激光扫描仪采 集，数据采集难度极大，且采集时间较长，实用的可能性不大。
因此，如何提供一种成本较低且能够降低光照干扰的人脸识别方案是目 前急需解决的一个问题。
发明内容
有鉴于此，本发明中一方面提供一种人脸识别方法及系统，另一方面提 供一种人脸识别模型训练方法及系统，以便在降低成本的情况下降低光照对 人脸识别的干扰。
本发明所提供的人脸识别方法，包括
A、 为每个需要识别的用户训练获得所述用户的人脸识别模型；
B、 在设定的人脸姿态范围内，采集当前待识别用户同时刻的带有结构光编 码的人脸图像和没有结构光编码的人脸图像；
C、 根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像， 冲艮据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像；
D、 利用所述人脸灰度图像进行标定，确定所述图像中的人脸器官特征点 位置，根据所述人脸器官特征点位置对所述人脸灰度图像和所述人脸深度图像 进行人脸预处理；
E、 分别计算经过人脸预处理后的所述人脸深度图像和所述人脸灰度图像的 特征；
F、 将所述特征输入到所述人脸识别模型中，进行人脸识别，返回与各人脸 识别模型的相似度数据；
G、 根据所述返回的相似度数据，输出最终的人脸识别结果。 较佳地，所述步骤A包括
Al、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与 对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像；
A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到 所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样 本的人脸灰度图像；
A3、利用所有样本的人脸灰度图像进行标定，确定人脸灰度图像和人脸深 度图像中的人脸器官特征点位置，根据所述人脸器官特征点位置，对对应样本
的人脸灰度图像和人脸深度图像进行人脸预处理；
A4 、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度 图像的特征；
A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型。
较佳地，所述步骤A4和步骤A5之间，进一步包括分别从所计算的人脸 深度图像的特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征构成 对应样本的低维特征；
步骤A5中所述利用特征对所述用户进行训练为利用所述低维特征，对 所述用户进行训练。
较佳地，所述步骤E和步骤F之间，进一步包括分别从所计算的人脸深 度图像的特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征构成低 维特征；
步骤F中所述将特征输入到所述人脸识别模型中为将所述低维特征输入 到所述人脸识别模型中。
较佳地，所述设定的人脸姿态包括 一个或一个以上的互不相同的人脸姿太.
每个人脸姿态由一个左右深度旋转角度范围和一个上下深度旋转角度范围 共同表示；
步骤A中所述用户的人脸识别模型为所述用户的一个或一个以上的人脸 姿态的人脸识别模型；
步骤F之前，进一步包括根据所述人脸深度图像，计算当前待识别用户 的人脸姿态；
步骤F中所述将特征输入到所述人脸识别模型中为将所述特征输入到对 应所述人脸姿态的人脸识别模型中。
较佳地，所述左右深度旋转角度范围取值为-50° -20° 、 -20° 20 ° 、 20° 50°中的任意一个；所述上下深度旋转角度范围取值为-40° -
10° 、 -10° 10° 、 10° 40°中的任意一个。
较佳地，步骤D中所述根据人脸的器官特征点位置对所述人脸灰度图像和 所述人脸深度图像进行人脸预处理包括
根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深 度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述 人脸深度图像进行深度数据归一化。
较佳地，所述对人脸深度图像进行深度数据归一化为对所述人脸深度图 像的深度数据以设定的人脸参考点为基准，将所述参考点的深度数据设置为零， 将人脸其他点相对于该参考点的深度数据作为归一化后的深度数据。
较佳地，所述人脸识别模型为一对多的支持向量机的人脸识别模型；
所述步骤G包括如果返回的与各人脸识别模型的相似度数据均小于设定 阈值，则拒识当前待识别用户的人脸；
如果返回的与各人脸识别模型的相似度数据中存在大于设定阔值的相似度 数据，则从所述大于设定阈值的相似度数据中选取最大的相似度数据对应的人 脸识别模型作为人脸识别的结果。
本发明所提供的人脸识别系统，包括
训练模块，用于为每个需要识别的用户训练获得所述用户的人脸识别模型； 识别模块，包括
结构光图像采集单元，用于在设定的人脸姿态范围内，采集当前待识别用 户带有结构光编码的人脸图像；
深度图像获取单元，用于根据所述带有结构光编码的人脸图像，得到所述 用户的人脸深度图像；
可见光图像采集单元，用于采集当前待识别用户的与所述带有结构光编码 的人脸图像同时刻的没有结构光编码的人脸图像；
灰度图像获取单元，用于根据所述没有结构光编码的人脸图像，得到所述 用户的人脸灰度图像；
人脸器官标定单元，用于利用所述人脸灰度图像进行标定，确定所述图像
中的人脸器官特征点位置；
人脸预处理单元，用于根据所述人脸的器官特征点位置对所述人脸灰度图
像和所述人脸深度图像进行人脸预处理；
特征计算单元，用于分别计算经过人脸预处理后的所述人脸深度图像和所 述人脸灰度图像的特征；
识别单元，用于将所述特征输入到所述人脸识别模型中，进行人脸识别， 返回与各人脸识别模型的相似度数据，根据所述返回的相似度数据，输出最终 的人脸识别结果。
较佳地，所述训练模块包括
结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，采集正样本与对比样本的带有结构光编码的人脸图像；
深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编 码的人脸图像，得到所述样本的人脸深度图像；
可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的 没有结构光编码的人脸图像；
灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编 码的人脸图像，得到所述样本的人脸灰度图像；
人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图 像中的人脸器官特征点位置；
人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸 灰度图像和人脸深度图像进行人脸预处理；
特征计算单元，用于分别计算各样本经过人脸预处理后的人脸深度图像的 特征和人脸灰度图像的特征；
训练单元，用于利用所述特征对所述用户进行训练，得到所述用户对应的 人脸识别模型。
较佳地，所述识别模块进一步包括特征挑选单元，用于分别从所计算的
人脸深度图像的特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征
构成^^维特征；
所述识别单元将所述低维特征输入到所述人脸识别模型中进行人脸识别。
较佳地，所述训练模块进一步包括人脸姿态计算单元，用于根据正样本 的人脸深度图像，计算所述用户当前的人脸姿态；所述训练单元针对不同的人 脸姿态训练得到所述用户不同人脸姿态的人脸识别模型。
所述识别模块进一步包括人脸姿态计算单元，用于根据当前待识别用户 的人脸深度图像，计算当前待识别用户的人脸姿态；所述识别单元将计算得到 的特征输入到对应所述人脸姿态的人脸识别模型中。
较佳地，所述人脸预处理单元包括灰度图像预处理子单元和深度图像预 处理子单元，其中，
所述灰度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对 所述人脸灰度图像进行人脸几何归 一化和灰度归 一化；
所述深度图像预处理子单元，用于根据标定的人脸器官特征点的位置， 对所述人脸深度图像进行人脸几何归 一化和深度数据归 一化。
本发明所提供的人脸识别模型训练方法，包括
Al、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与 对比样本的带有结构光编码的人脸图4象和没有结构光编码的人脸图像；
A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到 所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样 本的人脸灰度图像；
A3、利用所有样本的人脸灰度图像进行标定，确定各人脸灰度图像中的人 脸器官特征点位置，根据各人脸灰度图像中的人脸器官特征点位置，对对应样 本的人脸灰度图像和人脸深度图像进行人脸预处理；
A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度 图像的特征；
A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模
型。
较佳地，所述步骤A4和步骤A5之间，进一步包括分别从所计算的人脸 深度图像的特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征构成 对应样本的低维特征；
步骤A5中所述利用特征对所述用户进行训练为利用所述低维特征，对 所述用户进行训练。
较佳地，所述设定的人脸姿态包括 一个或一个以上的互不相同的人脸姿态；
每个人脸姿态由 一个左右深度旋转角度范围和一个上下深度旋转角度范围 共同表示；
步骤A5之前，进一步包括根据正样本的人脸深度图像，计算所述用户 当前图像的人脸姿态；
步骤A5中所述对应的人脸识别模型为所述用户针对不同人脸姿态得到 的各人脸姿态的人脸识别模型。
较佳地，步骤A3中所述根据人脸的器官特征点位置对所述人脸灰度图像 和所述人脸深度图像进行人脸预处理包括
根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深 度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述 人脸深度图像进行深度归 一化。
较佳地，所述人脸识别模型为一对多的支持向量机的人脸识别模型。
本发明所提供的人脸识别模型训练系统，包括
结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，釆集正样本与对比样本的带有结构光编码的人脸图像；
深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编 码的人脸图像，得到所述样本的人脸深度图像；
可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，釆集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像；
灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编
码的人脸图像，得到所述样本的人脸灰度图像；
人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图 像中的人脸器官特征点位置；
人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸 灰度图像和人脸深度图像进行人l^f贞处理；
特征计算单元，用于分別计算各样本经过人脸预处理后的人脸深度图像的 特征和人脸灰度图像的特征；
训练单元，用于利用所述特征对所述用户进行训练，得到所述用户对应 的人脸识别模型。
从上述方案可以看出，本发明中采集分别当前待识别用户同时刻的带有 结构光编码的人脸图像和没有结构光编码的人脸图像，并根据带有结构光编 码的人脸图像，得到人脸深度图像，根据没有结构光编码的人脸图像，得到 人脸灰度图像，进而通过人脸灰度图像和人脸深度图像的双重信息进行特征 计算，将计算的特征输入到已训练好的人脸识别模型中进行人脸识別。由于 人脸的深度信息是不受光照干扰的，因此基于深度信息的人脸识别方法的抗 光照干扰能力强。此外，由于本实施例中使用的是不同激光扫描仪的方法获 取的人脸三维信息，因此成本较低。
进一步地，通过采用多姿态的人脸识别方法，并基于深度数据获取人脸 的准确姿态，又大大提高了本发明技术方案的抗姿态干扰能力。
此外，通过进行特征挑选，使高维特征变为分类能力较强的低维特征， 降低了计算量及计算复杂度。
图1为本发明实施例中三维信息获取装置的系统框图。 图2为本发明实施例中人脸识别系统的示例性框图。 图3为本发明实施例中人脸识别方法的示例性流程图。 图4为本发明实施例中采用的样本训练流程示意图。
图5为本发明实施例中人脸样本的标定与采集示意图。
图6为本发明实施例中人脸图像非线性矫正示意图7为本发明实施例中非线性矫正原理示意图。
图8为本发明实施例中人脸图像光照处理结果示意图。
图9为本发明实施例中基于AdaBoost的特征抽耳又方法流程图。
图IO为本发明实施例中支持向量机最优分类面示意图。
具体实施例方式
本发明实施例中，为了降低光照对人脸识别的干扰，在原有二维亮度图 像的基础上，引入了人脸的深度图像，从而得到人脸的三维信息，由于深度 信息不受光照的影响，因此基于三维信息的人脸识别能够降低光照干扰。
此外，为了降低成本，本发明实施例中引入了一种不同于三维激光扫描 仪的三维信息获取装置。如图l所示，图1为本发明实施例中三维信息获取 装置的系统框图。整个系统分为三部分，包括投影装置10、深度重构单元 11以及图像成像单元12。
第一部分是投影装置10，投影装置10包括光源101,用于发出光线， 可以采用可见光，也可以采用非可见光波段的光源，如近红外光等；聚光镜 102，安装在光源附近，用于将光源发出的光线聚集起来，投射到光栅上； 光栅103，用于刻录结构光编码图案；投影物镜104,用于将光编码图像投 影到物面。
投影装置10通过光源101打光，经聚光镜102将光栅103上刻录的结 构光编码图案通过投影物镜104投影到物面00;在本实施例中采用柯勒照 明方式将光栅103刻录的内容投影到目标物面00上。
第二部分是深度重构单元11,深度重构单元ll包括与光源相对应的 图像传感器111，用于对物面00上的结构光编码图像进行成像；当所述光
源为近红外光源时，所述图像传感器111为近红外图像传感器；图像预处理
模块112,用于对编码图像进行预处理，包括亮度修正、噪声消除等；解码 模块113,用于根据已有的编码信息对图像进行解码；深度获取模块114, 用于根据事先标定的摄像头参数及成像图像的解码信息进行深度的重构，获 取图像中各个像素点的深度数据。
深度重构单元11采用与光源相对应的图像传感器111对物面OO上的结 构光编码图像进行成像，然后由图像预处理模块112对成像图像进行预处 理，接着由解码模块113根据已有的编码信息对成像图像进行解码，然后由 深度获取模块114根据事先标定的摄像头参数及成像图像的解码信息进行 深度的重构，获取成像图像中各个像素点的深度数据。
第三部分则是常规的图像成像单元12,图像成像单元12包括可见光 图像传感器121,用于对物体进行拍摄成像；图像处理模块122,用于对拍 摄成像后的物面图像做自动曝光、自动白平衡、噪声消除等常规图像处理； 灰度处理模块123，用于根据图像处理模块122处理后的图像，得到对应的 灰度图像。
图像成像单元12采用可见光图像传感器121对物体进行拍摄成像，并 由图像处理模块122做常规图像处理，接着由灰度处理模块123根据图像处 理模块122处理后的图像，得到对应的灰度图像。
需要说明的是，本发明实施例中深度重构单元11的与光源相对应的图 像传感器111必须与光源的波段相对应，如光源是近红外光源，则该传感器 需要对近红外波段较敏感。
具体应用时，本发明实施例中可在投影装置IO的配合下，利用深度重 构单元11釆集当前待识别用户带有结构光编码的人脸图像，并根据该带有 结构光编码的人脸图像，得到所述用户的人脸深度图像；利用图像成像单元 12采集当前待识别用户与带有结构光编码的人脸图像同时刻的没有结构光 编码的人脸图像，并根据该没有结构光编码的人脸图像，得到所述用户的人 脸灰度图像。可见，通过上述过程，得到了人脸的三维信息。
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和 附图，对本发明实施例中基于三维信息的人脸识别过程进行详细说明。
图2为本发明实施例中人脸识别系统的示例性框图。如图2所示，该系 统包括训练模块21和识别模块22。其中，训练模块21目的是由大量的 人脸样本图像训练用户的人脸识别模型，因此需要采集用户的人脸样本并进 行训练，获取多个用户的人脸识别模型。而识别模块22则将视频序列中人 脸的检测结果与训练好的人脸模型结合起来，判断输入人脸是否是训练好的 用户的人脸；如果不是，系统给出拒识的结果。
具体实现时，训练模块21首先需要获取大量的对比样本的人脸图像， 即这些样本中肯定不会包含用户的人脸，接着采集待识别用户的多个人脸图 像，即正样本人脸图像。进一步地，若需要对用户多个姿态(如正脸、左 侧脸、右侧脸等左右旋转姿态与抬头、低头等上下旋转姿态构成的不同姿态) 的人脸均能识别，则需要针对每个用户的每种人脸姿态均训练得到一个对应 的人脸识别模型。此时，针对每个人脸姿态，都需要获取大量的对比样本人 脸图像和多个(如两个以上)正样本人脸图像。本发明实施例中，为了得到 各样本的人脸深度图像和人脸灰度图像，可针对每个需要识别的用户，利用 结构光图像采集单元211在设定的人脸姿态范围内，采集正样本与对比样本 的带有结构光编码的人脸图像，利用可见光图像采集单元212在同时刻采集 正样本与对比样本的没有结构光编码的人脸图像；之后，对每个样本的人脸
图像，利用深度图像获取单元213根据所述带有结构光编码的人脸图像，得 到所述样本的人脸深度图像，利用灰度图像获取单元214根据所述没有结构 光编码的人脸图像，得到所述样本的人脸灰度图像。
之后，训练模块21可利用人脸器官标定单元215对所有样本(包括正 样本和对比样本)的人脸图像进行标定，确定人脸灰度图像和人脸深度图像 中人脸器官特征点，如两个眼睛和嘴巴的精确位置。具体实现时，由于人脸 灰度图像中的人脸器官特征点比较直观和明显，因此可利用人脸灰度图像进 行人脸器官特征点的标定。
然后，利用人脸预处理单元216根据标定结果对所有样本的人脸灰度图
像和人脸深度图像进行几何归一化和矫正，将所有样本的眼睛和嘴巴矫正到 固定的位置。人脸矫正完毕后可结合一幅标准的灰度图像对样本矫正后的人 脸灰度图像进行光照处理，使样本的人脸灰度图像各个部分的平均光照与标 准图像保持一致，即进行灰度归一化。此外，对人脸深度图像的深度数据以 设定的人脸参考点为基准，将所述参考点的深度数据设置为零，将人脸其他 点相对于该参考点的深度数据作为归 一化后的深度数据，即进行深度归一 化。
接着，可利用特征计算单元217分別计算经过人脸预处理后的人脸深度 图像和人脸灰度图像的特征。特征计算是人脸识别过程中非常关键的环节， 常用的特征算法有边缘特征、小波特征、Gabor特征等。其中Gabor特征为 人脸图像提供多尺度、多方向的精细描述，表现出优秀的时频聚集性，具备 很强的刻画细节与局部结构的能力。此外，它具有带通滤波的性质，既能部 分地抵抗慢变光照的影响，也能滤去一些高频噪声。因此，本实施例中可采 用FFT变换和FFT反变换计算所有样本人脸灰度图像和人脸深度图像的多 尺度多方向Gabor特征。
进一步地，若需要对用户的不同人脸姿态训练一个人脸识别模型，则本 实施例中，可由人脸姿态计算单元218利用正样本的预处理之前的(如图2 所示)或预处理之后的(图中未示出)人脸深度图像中的深度数据，计算得 到当前训练用户的当前人脸姿态。
最后，由训练单元219利用不同人脸姿态下计算的正样本的特征和对比 样本的特征对不同用户进行训练，为每个用户获取对应的人脸识别模型，如 各个不同人脸姿态的人脸识别模型。至此，人脸模型训练完毕。
上述过程中，当采用Gabor特征等特征算法时，若每个样本的特征维数 较高，如每个样本的Gabor特征维数通常达到了十几万，而对这么高维的特 征进行训练将是非常困难的，因此本发明的实施例中进一步地，还可包括特
征挑选单元(图中未示出)，用于分别从所计算的各样本的人脸深度图像的 特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征构成低维特
征。如，对于Gabor特征，则可采用基于AdaBoost的特征挑选方法，结合 正样本数据和对比样本数据从这些特征中挑选出分类能力最强的数千维特 征出来，将挑选出的特征组成新的低维Gabor特征；特征选择完毕后可采用 一对多的支持向量机(SVM)算法对不同用户进行训练，在对各个用户进行
户的低维Gabor特征向量，即对比样本的特征向量(这里的特征向量是否是 低维Gabor特征向量，是)，这样就可以为每个用户获取各不同人脸姿态 的一对多的SVM模型。
识别模块22需要从视频序列的输入图像中实时检测人脸，在检测到人 脸后结合人脸识别模型进行识别。具体实现时，识别模块22的实现过程与 训练模块21的实现过程相类似。具体可包括首先，利用结构光图像采集 单元221在设定的人脸姿态范围内，采集当前待识别用户带有结构光编码的 人脸图像；利用可见光图像采集单元222采集当前待识别用户的与所述带有 结构光编码的人脸图像同时刻的没有结构光编码的人脸图像。
之后，利用深度图像获取单元223根据所述带有结构光编码的人脸图像， 得到所述用户的人脸深度图像；利用灰度图像获取单元224根据所述没有结 构光编码的人脸图像，得到所述用户的人脸灰度图像。
然后，由人脸器官标定单元225利用所述人脸灰度图像进行标定，确定人 脸灰度图像和人脸深度图像中的人脸器官特征点位置。再由人脸预处理单元 226根据所述人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像 进行人脸预处理。
接着，利用特征计算单元227分别计算经过人脸预处理后的人脸深度图像 和人脸灰度图像的特征。
进一步地，可由人脸姿态计算单元228利用预处理之前的(如图2所示)
或预处理之后的(图中未示出)人脸深度图像中的深度数据，计算得到当前待 识别用户的当前人脸姿态。
最后，由识别单元229将特征计算单元227计算的特征输入到所述人脸姿 态对应的人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数 据，并根据所述返回的相似度数据，输出最终的人脸识别结果。本实施例中， 若采用 一对多的SVM算法对不同用户进行训练得到不同用户 一对多的SVM人 脸识别模型，则识别单元229进行人脸识别时，若返回的与各人脸识别模型的 相似度数据均小于设定阈值，则拒识当前待识別用户的人脸；如果返回的与各 人脸识别模型的相似度数据中存在大于设定阈值的相似度数据，则从所述大于 设定阈值的相似度数据中选取最大的相似度数据对应的人脸识别模型作为人脸 识别的结果。
此外，与训练模块21相对应，识别模块22中也可包括特征挑选单元(图 中未示出)，用于分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中 挑选出分类能力最强的部分特征构成低维特征，则识别单元229只需将该低维 特征输入到人脸识别模型中进行人脸识别即可。
具体实现时，训练模块21中的结构光图像采集单元211和识别模块22 中的结构光图像采集单元221在物理上可以为一个单元；训练;漠块21中的 可见光图像采集单元212和识别模块22中的可见光图像采集单元222在物 理上可以为一个单元；训练模块21中的深度图像获取单元213和识别沖莫块 22中的深度图像获取单元223在物理上可以为一个单元；训练才莫块21中的 灰度图像获取单元214和识别模块22中的灰度图像获取单元224在物理上 可以为一个单元；训练模块21中的人脸器官标定单元215和识别模块22中 的人脸器官标定单元225在物理上可以为一个单元；训练模块21中的人脸 预处理单元216和识别^f莫块22中的人脸预处理单元226在物理上可以为一 个单元；训练模块21中的特征计算单元217和识别模块22中的特征计算单 元227在物理上可以为一个单元。此外，训练模块21中的人脸姿态计算单 元218和识别模块22中的人脸姿态计算单元228在物理上可以为一个单元；
训练才莫块21中的特征挑选单元和识别模块22中的特征挑选单元在物理上可
以为一个单元。另外，结构光图像采集单元211 (221)和深度图像获取单 元212 (222)可以由图1所示装置中的深度重构单元11实现，也可以由其 他结构单元实现；可见光图像采集单元213 (223 )和灰度图像获取单元214 (224)可以由图1所示装置中的图像成像单元12实现，也可以由其他结构 单元实现。
具体实现时，训练模块21中的人脸预处理单元216和识别模块22中的 人脸预处理单元226可包括灰度图像预处理子单元和深度图像预处理子单 元(图中未示出)。
其中，灰度图像预处理子单元用于根据标定的人脸器官特征点的位置， 对所述人脸灰度图像进行人脸几何归一化和灰度归一化；深度图像预处理子 单元，用于根据标定的人脸器官特征点的位置，对所述人脸深度图像进行人 脸几何归 一化和深度数据归 一化。
实际应用中，本发明实施例中所提供的人脸识别系统，并不依赖于图2 所示的训练模块，使用任何训练模块获得的人脸识别模型，都可以适用于本 发明实施例中的人脸识别过程。
以上对本发明实施例中的人脸识别系统进行了详细描述，下面再对本发 明实施例中的人脸识别方法进行详细描述。
图3为本发明实施例中人脸识別方法的示例性流程图。如图3所示，该 流程包括如下步骤
步骤301,为每个需要识别的用户训练获得所述用户的人脸识别模型。
其中，该人脸识別模型可以为对应一种设定姿态的模型，也可以为几种 设定姿态的模型。
步骤302，在设定的人脸姿态范围内，采集当前待识别用户同时刻的带 有结构光编码的人脸图像和没有结构光编码的人脸图像。
其中，设定的人脸姿态可以为设定的一种姿态，也可以为几种设定姿态 中的任一种姿态。例如，若需要实现各姿态人脸的识别，则步骤301中的人
脸识别模型可包括各种人脸姿态的模型，如-50°到-20° 、 -20°到20° 、 20。到50°等深度旋转姿态与-40。到-10° 、 -10°到10° 、 10°到40°的 低头抬头姿态构成的不同姿态等。
步骤303,根据带有结构光编码的人脸图像，得到用户的人脸深度图像， 根据没有结构光编码的人脸图像，得到用户的人脸灰度图像。
步骤304,利用人脸灰度图像进行标定，确定人脸灰度图像和人脸深度 图像中的人脸器官特征点，根据所确定的人脸器官特征点对人脸灰度图像和 人脸深度图像进行人脸预处理。
步骤305,分别计算经过人脸预处理后的人脸深度图像和人脸灰度图像的 特征。
步骤306,根据人脸深度图像，计算当前待识别用户的人脸姿态。 步骤307，将所计算的特征输入到所述人脸姿态对应的人脸识别模型中， 进行人脸识别，返回与各人脸识别模型的相似度数据。
步骤308,根据返回的相似度数据，输出最终的人脸识别结果。 本步骤中，若返回的与各人脸识别模型的相似度数据均小于设定阚值， 则拒识当前待识别用户的人脸，如果返回的与各人脸识别模型的相似度数据 中存在大于设定阈值的相似度数据，则从所述大于设定阈值的相似度数据中 选取最大的相似度数据对应的人脸识别模型作为人脸识别的结果。 下面对图3所示流程中的各个步骤进行详细描述。
图3中步骤301所述的训练过程，可以采用多种方式进行训练，如图4 所示，图4为本发明实施例中采用的样本训练流程示意图，该流程包括如下 步骤
步骤401，针对每个需要识别的用户，在设定的人脸姿态范围内，采集正 样本与对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像。
本实施例中，若采用支持向量机(SVM)的方式实现人脸识别(对于支持 向量机的算法描述，可以参见边肇祺、张学工等人所著的《模式识别》，清华大 学出版社，2000年)，则对比样本可以为反样本。为了提高人脸认证的准确度，
需要收集大量反样本人脸图像，这些反样本最好应尽量覆盖不同表情、不同肤 色、不同年龄的人脸，包含戴与不戴眼镜人脸。此外，若需要实现各姿态人脸
的识别，则这些反样本还需要包含不同姿态的人脸，如-20°到20° 、 -50° 到-20° 、 20°到50°等深度旋转姿态与-40°到-10。 、 - 10。到10° 、 10 °到40°的低头抬头姿态构成的不同姿态的人脸等。
正样本人脸是指待识別用户的人脸样本，这类数据需要在实际应用时由程 序自动采集用户的样本，并自动对用户样本进行预处理和特征计算。
步骤402，对每个样本的人脸图像，根据所述带有结构光编码的人脸图像， 得到所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所 述样本的人脸灰度图像。
步骤403,利用所有样本的人脸灰度图像进行标定，确定人脸灰度图像和 人脸深度图像中的人脸器官特征点位置，根据所确定的人脸器官特征点位置， 对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理。
步骤404,分别计算各样本经过人脸预处理后的人脸深度图像的特征和人 脸灰度图像的特征。
步骤405，根据正样本的人脸深度图像，计算所述用户当前图像的人脸姿态。
步骤406,利用所计算的特征对所述用户进行训练，得到所述用户当前 人脸姿态的人脸识別模型。
图3所示步骤302和图4所示步骤401中带结构光编码的人脸图像可由 图1所示装置中的投影装置IO和深度重构单元11中的与光源相对应的图像 传感器111完成；没有结构光编码的人脸图像可由图1所示装置中的图像成 像单元12中的可见光图像传感器121完成。此外，也可由其它装置来完成。
图3所示步骤303和图4所示步骤402中的人脸深度图像可由图1所示 装置中深度重构单元11中的图像预处理模块112、解码模块113和深度获 取模块114根据带有结构光编码的人脸图像得到；人脸灰度图像可由图1所 示装置中图像成像单元12中的图像处理模块122和灰度处理模块123根据
所述没有结构光编码的人脸图像得到。此外，也可由其它装置来完成。
图3所示步骤304和图4所示步骤403中所述的人脸器官特征点的标定， 现有^支术中有4艮多种方法可以实现，例如中国专利申i青200610011673.2中 提供的标定方法。其中，人脸器官特征点通常包括两眼和嘴巴，当然也可以 为其它的。现以两眼和嘴巴的标定为例进行描述。本发明实施例中，可以通 过以下步骤确定双眼位置(1 )在已获人脸位置信息的基础上，采用统计 方式确定左眼搜索区域和右眼搜索区域，并确定左眼初选位置与右眼初选位 置；(2)在所述左眼与右眼搜索区域内，分别采用左眼局部特征检测器与 右眼局部特征;险测器，对所有左眼初选位置和右眼初选位置进行判别，并为 每个初选位置确定一个单眼相似度数值；(3)从所有左眼初选位置与右眼 初选位置中，分别选择相似度数值最大的前JV,个位置作为左眼候选位置和右 眼候选位置，并将所有左眼和右眼候选位置配成双眼候选对，以每一个候选 对为基准确定双眼区域；(4)采用双眼区域4全测器作为全局约束，对所述 每一 个双眼区域进行判别，为其中每个双眼候选对确定一 个双眼相似度凄t 值；(5)选择双眼相似度数值最大的前Mi个双眼候选对，对其中的所有左
眼候选位置与所有右眼候选位置分别计算平均值，作为左眼特征点位置与右 眼特征点位置。
并可以通过以下步骤确定嘴巴位置(1)在已获眼睛位置信息的基础 上，采用统计方式确定嘴巴位置搜索区域，并确定嘴巴初选位置；(2)在 嘴巴位置搜索区域内，采用嘴巴局部特征检测器对每一个嘴巴初选位置进行 判别，并为之确定一个嘴巴局部相似度数值；(3)选择嘴巴局部相似度数 值最大的前M个初选位置作为嘴巴候选位置，对于每个候选位置，以左眼特 征点位置、右眼特征点位置、嘴巴候选位置为基准，确定脸部区域；(4) 采用脸部区域检测器作为全局约束，对每个所述确定的脸部区域进行判別， 为其中的每个嘴巴候选位置确定一个嘴巴全局相似度数值；(5)选择嘴巴 全局相似度数值最大的前似2个候选位置，计算这些候选位置的平均值，作
为嘴巴特征点位置。
图4所示步骤403中，对所有反样本，本实施例中可以通过手动标定所 有反样本人脸的器官特征点，如标定三个点两眼中心、嘴巴中心。而对于 待识别用户的正样本可以采取自动标定的方法，获取三个点的坐标。
图3所示步骤304和图4所示步骤403中所述的预处理步骤，过程都是 相似的，下面主要以对样本图像的预处理为例来进行说明。
在进行人脸识别前，必须对输入人脸图像的尺寸、位置、灰度和深度进 行预处理，使不同的人脸图像的尺寸、灰度和深度保持一致。另外，不同图 像中人脸的位置应该保持一致，这可通过眼睛、嘴巴等人脸器官特征点的标 定的方法，使输入图像中人脸眼睛、嘴巴等人脸器官特征点的位置基本固定， 再对整幅图像进行仿射变换或非线性矫正等。只有经过这些预处理后，同一 个人的多个输入人脸在某些特征上才会具有一定的相似性，而不同的人脸也 才会具有一定的差异，此时才可以采用统计模式识别算法进行模型的训练与 识别。
预处理过程主要包括根据标定的人脸器官特征点，对人脸灰度图像进 行几何归 一化和灰度归一化，对人脸深度图像进行几何归 一化和深度归一 化。
若如图5所示已标定两眼中心和嘴巴中心三个标定点，则根据这些标定 点可以对各个人脸进行几何归一化，即将人脸图像的主要器官位置矫正到标 准位置，减小样本间的尺度、平移和平面旋转差异，然后根据器官位置剪裁 出人脸区域成为人脸样本，使人脸样本尽量少地引入背景干扰，且不同人脸 样本的器官位置具有一致性。
下面先对人脸灰度图像的几何归 一化进行描述。
本实施例中，可引入标准灰度人脸图像对各个人脸样本进行几何归 一化 和人脸区域的裁剪。首先确定待识別人脸窗口的尺度wd x ht为44 x 48，即 宽为44,高为48。以正面人脸为例，首先获取一幅标准的正面人脸图像， 标准图像中两眼的y坐标一致，人脸也基本对称，如图5中的5A所示，标
定该图像的三个器官特征点。根据该图像中双眼的距离和位置确定裁剪的正 方形人脸区域的位置。设两眼的距离为r,两眼连线的中心点为""^，L倉)，
采集矩形的宽设为2r，即两倍双眼间距，则矩形裁剪区域的坐标
<formula>complex formula see original document page 28</formula>
将裁剪的人脸区域归一化到44x 48的尺寸，如图5中的5B,并获取归 一化后三个标定点的坐标[&。力')，y^。]'…0，1，2，前两个为眼睛中心点，最后
一个为嘴唇中心点。
给定某样本的人脸灰度图像和标定的三个特征点[^"(0，KwW]，"(U，2,
如图5中的5C，比较直接的裁剪方法是计算这三个点与标准图像归一化后 三点坐标间的仿射变换系数。另外，仿射变换式中不能加入人脸各个方向的 拉伸变换，仅考虑平面旋转和整体缩放两个变换。接着由仿射变换系数可以 计算该裁剪图像中任意一点到原始样本中对应点坐标，进而获取裁剪人脸中 所有点的像素值，如图5中的5D所示。
不过基于仿射变换的算法存在着一些缺陷。首先当人脸样本带表情或者 输入人脸非正面时，采用这种方法获取的裁剪人脸的眼睛嘴唇中心点与标准 图像的眼睛嘴唇中心点偏差会比较大，特別是带姿态样本裁剪后的嘴唇中心 点还不在图像垂直中心轴上，眼睛位置也有差异，如图6所示，6A是原始 图像和标定点，6B是裁剪图像。因此对于同一人不同姿态表情的人脸，其 裁剪图像中人脸眼睛嘴唇位置差异较大，这一定程度会降低识别算法抗表 情、姿态干扰的能力。
为了，本实施例采用了一种非线性矫正方法，即采用非线性的方法将输 入人脸三个中心点完全矫正到标准人脸三点的位置。首先仅考虑眼睛的两个 中心点，采用仿射变换算法在输入人脸与标准人脸的标定点之间计算仿射变
换系数，此时同样只考虑旋转和整体缩放两个变换。即 <formula>formula see original document page 29</formula>上式中有四个未知数，四个等式，只有唯一的一个解，设为("Ac，力， 图6中的6C是仅采用这四个系数获取的裁剪结果。由这个仿射变换系数可 以计算出输入样本中三个特征点在裁剪人脸中的对应点，设为，z' = o'i，2 。前两个变换坐标即眼睛的位置与标准脸的眼睛位置完
全一致，但受姿态、表情等干扰，嘴巴位置差别可能比较大。为此我们需要 将嘴巴位置矫正到标准位置。
如图7所示，图中A、 B点是标准图像中的中心点，D点是A、 B的中 央点，Cstad是标准嘴唇中央点，C是变换后的嘴唇点。非线性矫正过程分 两步进行，首先在y方向进行矫正，使矫正后嘴唇点的y坐标与Cstad—致， 如图7中的C'点。然后再进行x方向的矫正，我们将D与C'连接起来，DC' 连线将人脸分为左右半边，考虑水平方向的某条直线，设其y坐标为yl, 其与DC'直线的交点坐标E为"，力)。由于我们需要将"，少，)移至(&，y'),其 中&为D的x坐标，因此需要对"。，少i)左右两边的点分别进行线性变换，将 E移至中轴线DCstad上。考虑某点"，h),对左边的点x〈A,其矫正后点的 坐标为0'&""A), 对右边的点xSxi , 其矫正后点的坐标为 [2xD - & . (2孔-x) /(2xfl - a ),力]。可以看出，如果c'在Cstad的右侧，则需要对 左侧的人脸进行压缩，对右侧人脸进行拉伸，这样可以将DC'直线上所有点 都矫正到人脸垂直中轴线DCstad上。
在获取非线性矫正系数后，接着结合原始图像获取矫正后的人脸，设裁 剪后的人脸图像为/,该图像尺寸为44x48,其中某点坐标为"，力，根据非 线性矫正系数获取其矫正前的坐标(？，力，再由仿射变换系数获取原始图像 中该点的坐标""，尺")
Aw。 1为消除噪声的影响，裁剪后的图像中",力的像素值设为对应点(U。")
邻域范围内所有点像素值的均值，如图6中的6D所示。
此外，对于其他姿态的人脸，可采用类似方法进行处理。 上述对人脸灰度图像的几何归 一化进行了详细描述，人脸深度图像的几 何归一化只需要根据人脸灰度图像进行几何归一化的数据进行处理即可。如 采用与人脸灰度图像缩放时同样的比例进行縮放，以及还可以采用与人脸灰 度图像平面旋转时同样的角度进行平面旋转等。
此外，由于人脸灰度图像受外界光照、成像设备等因素千扰，其亮度或 对比度会出现异常，出现强阴影或反光等情况，另外不同人种的肤色间也存 在这差异，因此需要对几何归一化和矫正后的人脸样本进行灰度均衡化处 理，改善其灰度分布，增强模式间的一致性，即进行灰度的归一化。不过， 人脸识别中的光照问题一直是比较困难但也是非常重要的问题。多年来已经 有了非常多的光照处理算法，但性能都比较一般，抗各种环境光干扰的能力 都比较差。由于基于统计方法的人脸识別算法需要采集人脸的正样本并进行 训练，但人脸正样本的光照一般比较单一，即使对加入不同光照的正样本， 训练数据也只能覆盖少数几种光照分布。而实际场景中光照是非常复杂的， 而同样的人脸但光照差别较大时灰度也会存在这明显的差异，计算出的图像 特征也会存在这差别。另外，如果输入人脸的光照不均匀，部分区域光照强， 部分区域光照弱一些，此时即使对图像进行全图的归一化、直方图均衡等， 都很难得到光照比较均匀的人脸数据，这就会大大降低人脸识别的精度。
为此，本发明实施例中采用的光照处理算法可以分两步进行，首先对图 像进行整体的灰度归 一化，接着结合标准图像进行局部的灰度归 一化。
整体归一化比较简单，给定一幅标准人脸图像，如图5中的5B,计算
标准人脸灰度的均值S和方差^ ,接着计算输入样本灰度的均值P和方差J ，
其任一像素值I(x,y)归一化后的像素值为 <formula>formula see original document page 31</formula>设标准图像某点(x,y),的像素值为S(x,y)，输入人脸灰度归一化后该点值 为I'(x,y)。由于这两幅图像中眼睛、嘴巴的位置已经完全对应，因此样本中
各个器官的位置与标准人脸的器官位置差别也不会太大。也就是说两幅图像 各个局部的灰度应该近似一致，如果灰度不一致，则可以认为是输入人脸的 光照不均勻，需要进行灰度的矫正，由此可以用标准人脸的灰度去矫正输入 人脸的灰度。
基于此考虑，本发明实施例对各个像素点分别进行处理，考虑其中某个点(x,y)，抽取其邻域范围内所有像素点，邻域长宽均为W,我们统计输入样 本中(x,y)邻域内WxW个点灰度的均值，设为A1(x,y)，再统计标准样本中 (x,y)邻域内WxW个点灰度的均值，设为As(x,y)。A1(x,y)反映的当前邻域
内亮度的大小，As(x,y)反映的是标准人脸局部光照的强度，如果两者差异较 大，则表示输入人脸当前点附近光照不均匀，需要对该点的灰度进行矫正， 又As(x,y)与A1(x,y)的比值可以近似反映光照强度的比值，因此可以直接将该
点的灰度值乘以这个比值，作为矫正结果，即(x,y)点处理后新的灰度值Ir(x,y)为
<formula>formula see original document page 31</formula>
w的选择比较关键，w不能太大，否则灰度矫正没有效果，w也不能
太小，否则矫正后的人脸图像与标准人脸比较接近，本文将W设为15，获 取最佳结果。如图8所示，为光照处理前和光照处理后的结果对比示意图， 其中，8A为整体灰度归 一化后的人脸图像；8B为根据本发明的实施例进行 灰度矫正后的人脸图像。
另外，对人脸深度图像进行深度归一化时，可以对人脸深度图像的深度 数据以设定的人脸参考点(如两眼中心点)为基准，将该参考点的深度数据
设置为零，将人脸其他点相对于该参考点的深度数据作为归一化后的深度数 据。
图3中步骤305以及图4中步骤404所述的特征计算，在人脸识别中是 非常关键的环节。常用的特征有灰度特征、边缘特征、小波特征、Gabor特 征等。本发明实施例中，以Gabor特征为例进行描述。
在Gabor特征计算中，二维Gabor滤波器的冲激响应表示为<formula>formula see original document page 32</formula>
其中"=2冗，本实施例中，考虑了 5个频率^ = 0"'"4, 8个方向A^，…，7， 则有
<formula>formula see original document page 32</formula>
在人脸灰度图像和人脸深度图像的每个点，可以都计算5个频率，8个 方向，共2 x 40=80维Gabor特征，计算方式是将输入的人脸图像与各个频 率各个方向的冲激响应进行巻积，即<formula>formula see original document page 32</formula>为了提高Gabor特征的计算效率，可以采用FFT算法对这个巻积过程
进行加速，先对A(x')和^(x')分别进行FFT变换，将变换后的结果相乘再进 行反FFT变换，就可以得到人脸灰度图像和人脸深度图像中所有点对于某 个频率某个方向的Gabor特征。总的Gabor特征数为2x5x8x 44 x 48 = 168960，这个数据量是非常大的，直接采用分类算法对如此高维的特征进行 训练和识别是非常困难的，因此还需要进行特征的挑选，大幅度降低特征的 维数。
每幅人脸Gabor特征的维数高达168960，而总的训练样本数可能有一 万多，若在分类器训练时采用l对多的SVM算法，则可以采用基于AdaBoost 的特征挑选算法，结合1对多的分类方式和正反样本数据从这些特征中挑选 出分类能力最强的数千维特征，如2000维特征出来，将挑选出的特征组成
新的低维Gabor特征向量，特征选择完毕后再釆用 一对多的SVM算法对不 同用户进行训练。这样训练算法的计算量和存储的人脸模型的数据量都大大 降低。在识别过程中，算法只需要计算出人脸的Gabor特征，结合已有的特 征挑选结果挑选出低维特征，再对低维特征向量进行识別即可。
下面简单介绍一下本发明实施例所采用的基于AdaBoost的特征抽取方 法，本实施例中，在对计算出的人脸灰度图像和人脸深度图像的特征进行特 征挑选时，可将所有特征合并， 一起挑选出设定维数(如2000维)的特征， 也可以将两类特征分开挑选，如从人脸灰度图像的特征中挑选出第 一设定维 数(如1000维)的特征，从人脸深度图像的特征中挑选出第二设定维数(如 1000维)的特征。
图9示出了本发明实施例中基于AdaBoost的特征抽取方法的流程图。 如图9所示，该流程包括如下步骤
步骤901，给定两类样本，样本数为L，正样本数为Lp，反样本数为Ln。
步骤902,初始化，设置权重，正样本为1/2Lp,反样本为1/2Ln。 首先，为正反图像样本集设定权值，在一个具体的实施例中，可以将反 图像样本集所占的权重设置为1/2，将所有正图像样本集所占的权重设置为 1/2。当然，在其它的实施例中，也完全可以将所有反图像样本集所占的权 重设置为2/5,将所有反图像样本集所占的权重设置为3/5。也就是说，可以 根据需要为正反图像样本集设定权重。之后，要为每个正反图像样本设定权 重，在一个具体的实施例中，可以设定每个正样本的权重为正样本集4又重的 1/Lp,设定每个反样本的权重为反样本集总权重的1/Ln。当然，也可以将重 要的正反图像样本设定较高的权重。
步骤903,设定迭代轮次t=l，2,...，T。
步骤904，考虑所有从未入选的特征，利用单个特征训练弱分类器，根 据训练样本集的权值得到最优的阈值参数，使得所有样本的加权错误率最
小，这样可以为每个弱分类器及其对应的特征获取一个错误率。
器
采用第j个弱分类器^(")根据设定的阈值与每个图像样本的第j个特征
A(x)去判断各个样本图像是正样本还是反样本，由此可以统计出该弱分类 的加权错误率。
每个弱分类器都只处理对应的一个特征，其可表示为
<formula>formula see original document page 34</formula>
其中，"-力是弱分类器、")的低阈值，A妙-A是弱分类器^")的高阈 值，如果当前图像样本的第j个特征A")的数值大于低阈值且低于高阈值 时，所述弱分类器^")输出为1,其表示当前图像样本被判断为正样本；反 之，所述弱分类器、")输出为0，其表示当前图像样本被判断为反样本。其
中，弱分类器~ W的低阈值和高阈值是根据图像样本的权重设定。
关于弱分类器对图像样本的分类，具体来讲就是，首先，第j个弱分类 器、")根据第l个图像样本第j个特征G^x)判断第l个图像样本是正样本还 是反样本，接下来，根据第2个图像样本第j个特征^W判断第2个图像样 本是正样本还是反样本，……，直到，第j个弱分类器、")根据第L个图像 样本第j个特征AW判断第l个图像样本是正样本还是反样本。
步骤905，统计出每个弱分类器、")的错误率，选定错误率最小的预定 数目个弱分类器并将其对应的特征作为当前轮的特征挑选结果。
每个弱分类器~(x)都要对L个图像样本是正样本还是反样本进行判断，
其中必定有判断错的样本，换句话说，弱分类器、(工)可能将正样本认定为反 样本，也可能将正样本认定为反样本。将该弱分类器统计错误的图像样本的
权重求得，就可以得到这个弱分类器、w的加权错误率。之后，将错误率最
小的预定数目个弱分类器对应的特征作为当前轮的特征挑选结果。在一个实 施例中，所述预定数目是l，也可以是，2或3等等，操作者可以根据实际
情况设定这个数目。
步骤906,减小选定的弱分类器判断正确的图像样本的权重，增加选定 的弱分类器判断错误的图像样本的权重，并对更新后的图像样本的权重进行
归一化，使所有样本的权重之和等于1,返回103，进入下一轮迭代，直至 完成设定轮次，挑选出预定数目的特征。
上面的挑选方法针对的是两类问题。对于多类问题，可以结合模式分类 算法的实现架构设计挑选方法。如果模式分类算法采用的是一对多的架构， 我们将特征挑选过程分解为多个两类问题，每个两类问题中其中一类是某类 样本，另一类则对应其他样本。如果模式识别问题采用的是一对一的架构， 即将多类模式识别问题分解为多个两类一对一 问题，每个两类问题中的 一类 为任一类输入样本，第二类为另一类输入样本。这样在特征挑选时需要考虑 多个类似图9的AdaBoost模块流程，可将各个AdaBoost模块流程同步实现， 即将所有AdaBoost模块的第t轮弱分类器返回的错误率加起来，将总的错 误率最小的特征返回，作为该轮的特征挑选结果。各轮特征挑选完毕后再根 据当前的各个AdaBoost模块的错误率更新权重，挑选下 一组特征。
其中，由于人脸的深度信息是不受光照干扰的，因此在挑选低维特征时， 如果训练样本的人脸光照变化过大，则特征挑选算法就会自动挑选对光照不 敏感的特征即由深度信息计算的Gabor特征，这样使得基于挑选特征实现的 人脸识别方法能够达到提高抗光照干扰的能力。
图3所示步骤306和图4所示步骤405中所述的人脸姿态，具体实现时 可分为多种姿态类别。本实施例中，各人脸姿态类别由一个左右深度旋转角 度范围和一个上下深度旋转角度范围共同表示。例如，若将左右深度旋转角 度记为e,上下深度旋转角度记为 则人脸姿态包括两个参数e和^。深 度旋转角度0表示人脸左右深度的变化，e绝对值越大，表示人脸侧得越厉
角度越大，^越小，表示人脸低头角度越大。
本实施例中，需要利用人脸深度图像的深度数据计算这两个角度。若之
前已将两眼中心点选为人脸基准点，并利用仿射变换和归 一化处理将人脸旋 转成直立人脸。则可设人脸某点相对基准点的坐标为"J，z)。另外为方便计 算，可近似认为人脸表面是一个平面，则各点坐标与两个姿态角度的关系为
;;:丄sinp 其中，工^/x2十；;2 +z2
z = Zcospsin^
已知AJ，z和l,需要计算出^和^。对所有人脸表面进行联合处理，采 用最小二乘法，最终即可获取这两个角度。接着可对这两个角度进行量化， 即将不同姿态的人脸分为数类，每类分别对应一定的姿态范围。例如可将^分 为-50°到-20° 、 -20°到20° 、 20°到50°三个区域，对应左右选裤， 人脸的四个姿态，同样可将^分为-40°到-10° 、 -10°到10。 、 10。到 40°三个区域。具体应用中，偏侧面的抬头、低头样本可以不用考虑，可只 考虑正面人脸的抬头、低头样本，由此可将人脸的姿态参数划分为两个区域， 对应五类不同姿态的人脸。在训练人脸模型和进行人脸识别时，也可采取现 判决人脸姿态，然后对相应姿态的样本进行训练和识别。
可见，采用多姿态人脸的识别方法，基于深度数据获取人脸的准确姿态， 可大大提高本发明抗姿态干扰的能力。
本实施例中，所述SVM是统计学习理论发展出的 一种模式识别方法。 该算法是从线性可分情况下的最优分类面提出的。考虑图10中所示的两类 线性可分情况，设样本集(x,J,)，"l'…，"，xei ^M+l,-1}，其中乂是模式xi的 类别标号,w'x + Z^O为分类界面，Hl、 H2分别为平行于H且与H距离为
"I—I的两平面，它们之间的距离叫做分类间隔(margin)。 SVM的基本思想就
是希望找到一个最优线性分类面，使分类间隔尽量大，即IM尽量小，并且 在训练集上分类错误尽量少。最优分类面的求解问题实际上一个不等式约束 下的二次函数极值问题，其最优解为
其中"'为权重。对多数样本^为零，少数不为零的"'对应的就是支持向
量，即位于H1和H2两平面上的样本。最优分类函数则为
<formula>formula see original document page 37</formula>
sgn()为符号函数。/(幻为1则表示识别为第一类样本，即y=l,否则 认为识别为第二类样本。将上式中特征向量的点击运算改为内积，且内积满 足Mercer条件，就可以将线性SVM扩展为广义的非线性SVM,即
<formula>formula see original document page 37</formula>
采用不同的内积函数将导致不同的SVM算法，如多项式内积、S形函 数、径向核函数(RBF)等，与线性SVM相比，非线性SVM将最优分类面 扩展为非线性的，可以实现很多线性不可分情形的分类，因此分类准确率也 得到提高。我们在实现人脸识别时，采用了基于RBF的SVM算法，即
<formula>formula see original document page 37</formula>
SVM在用于多类人脸的识别时，有一对一和一对多两种实现形式。一 对一的SVM是在算法为任两类样本训练SVM分类器，这样如果有N类样 本，则需要训练N x (N-l)/2个分类器。识别时将样本依次输入到各个SVM 分类器中，每次判决都将淘汰一类样本。当然如果某个分类器对应的两个样 本均已淘汰，则跳过该分类器，所有判决完成后剩下的那个类别就是识别结 果。 一对一分类器的主要问题是训练时只考虑了各类训练样本，大量的反样 本数据都浪费掉了，且这种分类器无法实现反样本的拒识，因此无法应用于 人脸认证算法。
一对多的SVM算法只需要为每个类别分别训练一个分类器，每次训练 时正样本就是该类别的训练数据，而反样本则包含了其他各类数据及所有的 反样本数据。由于这个方法考虑了众多的反样本数据，训练完后得到的最优 分界面可以比较准确地将当前类别样本与其他类别样本分离开来，因此在实 现多个人脸的自动认证时， 一对多的SVM算法有非常好的应用价值。
一对多SVM的认证过程也比较筒单，将输入样本挑选后的特征输入到
N个SVM分类器中，如果所有分类器会拒识输入特征，则认为输入人脸与 训练库中所有类别都不相似，算法输出拒识的结果；反之，如果输入特征仅 通过了一个分类器，而被其他所有分类器拒识，则该分类器对应的类别就是 人脸识别的结果；另一种特殊情况就是输入特征通过了不止一个SVM分类 器，算法认为其与多个类别相似，从实验结果看，这种情形非常少见，因为 在分类器训练时各类样本都互为其他类别的反样本，但当不同类别的人脸比 较相似时，这种情况也会出现。此时可以采取一种筒化方法解决这个问题， 由于各个一对多SVM算法都会为每个样本输出一个判决数值
刷=Ji",乂《(x,.X)"
!■=1 ，
这个数值在一定程度上也反映了输入样本与对应类别的接近程度，及与 对应反样本的差距大小。该数值越大，则表示输入样本与当前类别越相似， 与其他类別差异越大。因此可根据这个判决数值的大小处理这种特殊情况，
即将未输出拒识结果的SVM分类器返回的
!■=1
进行排序，将最大数对应的类别作为人脸识別的结果。这尽管是一个近 似的结果，但从实际结果看，这个方法的效果还是非常不错的。
本发明实施例中，通过获取该人脸的亮度信息及人脸表面的深度信息， 在人脸识别中不仅考虑了人脸的亮度信息，还利用了人脸的深度信息，为输 入的人脸图像抽取两组特征，并将这两组特征同时送入模式识别分类器中， 进行人脸识别模型的训练和识别，与基于可见光图像的人脸识别方法相比， 提高了人脸识别方法抗光照干扰的能力。另外，本发明实施例中还可基于深 度数据获取人脸的姿态特征，并为不同的人脸姿态训练不同的模型，进而实 现分姿态的人脸识别，提高了人脸识别方法抗姿态干扰的能力。此外，本发 明实施例中的人脸识别方法与基于三维激光扫描装置的三维人脸识别方法
相比，本方法的人脸特征采集方便，人脸识别可实时实现，相关的系统设备 成本低，方便携带，因此在人脸识别领域有着非常好的应用价值。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了 进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已， 并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任 何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1、一种人脸识别方法，其特征在于，该方法包括A、为每个需要识别的用户训练获得所述用户的人脸识别模型；B、在设定的人脸姿态范围内，采集当前待识别用户同时刻的带有结构光编码的人脸图像和没有结构光编码的人脸图像；C、根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像；D、利用所述人脸灰度图像进行标定，确定所述图像中的人脸器官特征点位置，根据所述人脸器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理；E、分别计算经过人脸预处理后的所述人脸深度图像和所述人脸灰度图像的特征；F、将所述特征输入到所述人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数据；G、根据所述返回的相似度数据，输出最终的人脸识别结果。
2、 如权利要求l所述的方法，其特征在于，所述步骤A包括Al、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与 对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像；A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到 所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样 本的人脸灰度图像；A3、利用所有样本的人脸灰度图像进行标定，确定人脸灰度图像和人脸深 度图像中的人脸器官特征点位置，根据所述人脸器官特征点位置，对对应样本 的人脸灰度图像和人脸深度图像进行人脸预处理；A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度 图像的特征； A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型。
3、 如权利要求2所述的方法，其特征在于，所述步骤A4和步骤A5之间， 进一步包括分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑 选出分类能力最强的部分特征构成对应样本的低维特征；步骤A5中所述利用特征对所述用户进行训练为利用所述低维特征，对 所述用户进行训练。
4、 如权利要求l所述的方法，其特征在于，所述步骤E和步骤F之间，进 一步包括分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选 出分类能力最强的部分特征构成低维特征；步骤F中所述将特征输入到所述人脸识别模型中为将所述低维特征输入 到所述人脸识别模型中。
5、 如权利要求l所述的方法，其特征在于，所述"i殳定的人脸姿态包括一 个或一个以上的互不相同的人脸姿态；每个人脸姿态由 一个左右深度旋转角度范围和一个上下深度旋转角度范围 共同表示；步骤A中所述用户的人脸识别模型为所述用户的一个或一个以上的人脸 姿态的人脸识别模型；步骤F之前，进一步包括根据所述人脸深度图像，计算当前待识别用户 的人脸姿态；步骤F中所述将特征输入到所述人脸识别模型中为将所述特征输入到对 应所述人脸姿态的人脸识別模型中。
6、 如权利要求5所述的方法，其特征在于，所述左右深度旋转角度范围取 值为-50° -20° 、 -20° 20° 、 20° 50°中的任意一个；所述上下深 度旋转角度范围取值为-40° -10° 、 -10° 10° 、 10° 40°中的任意 一个。
7、 如权利要求1所述的方法，其特征在于，步骤D中所述根据人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理包括根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深 度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述 人脸深度图像进行深度数据归 一化。
8、 如权利要求7所述的方法，其特征在于，所述对人脸深度图像进行深度 数据归一化为对所述人脸深度图像的深度数据以设定的人脸参考点为基准， 将所述参考点的深度数据设置为零，将人脸其他点相对于该参考点的深度数据 作为归一化后的深度数据。
9、 如权利要求1至8中任一项所述的方法，其特征在于，所述人脸识别模 型为一对多的支持向量机的人脸识别模型；所述步骤G包括如果返回的与各人脸识别模型的相似度数据均小于设定 阈值，则拒识当前待识别用户的人脸；如果返回的与各人脸识別模型的相似度数据中存在大于设定阈值的相似度 数据，则从所述大于设定阈值的相似度数据中选取最大的相似度数据对应的人 脸识别模型作为人脸识别的结果。
10、 一种人脸识別一莫型训练方法，其特征在于，该方法包括Al、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与 对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像；A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到 所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样 本的人脸灰度图像；A3、利用所有样本的人脸灰度图像进行标定，确定各人脸灰度图像中的人 脸器官特征点位置，根据各人脸灰度图像中的人脸器官特征点位置，对对应样 本的人脸灰度图像和人脸深度图像进行人脸预处理；A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度 图像的特征；A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型。
11、 如权利要求IO所述的方法，其特征在于，所述步骤A4和步骤A5之 间，进一步包括分别从所计算的人脸深度图像的特征和人脸灰度图像的特征 中挑选出分类能力最强的部分特征构成对应样本的低维特征；步骤A5中所述利用特征对所述用户进行训练为利用所述低维特征，对 所述用户进行训练。
12、 如权利要求10或11所述的方法，其特征在于，所述设定的人脸姿态 包括 一个或一个以上的互不相同的人脸姿态；每个人脸姿态由一个左右深度旋转角度范围和一个上下深度旋转角度范围 共同表示；步骤A5之前，进一步包括根据正样本的人脸深度图像，计算所述用户 当前图像的人脸姿态；步骤A5中所述对应的人脸识别模型为所述用户针对不同人脸姿态得到 的各人脸姿态的人脸识别模型。
13、 如权利要求10或11所述的方法，其特征在于，步骤A3中所述才艮据 人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处 理包括根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深 度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述 人脸深度图像进行深度归一化。
14、 如权利要求10或11所述的方法，其特征在于，所述人脸识别模型为 一对多的支持向量机的人脸识别模型。
15、 一种人脸识别系统，其特征在于，该系统包括训练模块，用于为每个需要识别的用户训练获得所述用户的人脸识别模型； 识别模块，包括结构光图像采集单元，用于在设定的人脸姿态范围内，采集当前待识别用 户带有结构光编码的人脸图像；深度图像获取单元，用于根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像；可见光图像采集单元，用于采集当前待识别用户的与所述带有结构光编码 的人脸图像同时刻的没有结构光编码的人脸图像；灰度图像获取单元，用于根据所述没有结构光编码的人脸图像，得到所述 用户的人脸灰度图像；人脸器官标定单元，用于利用所述人脸灰度图像进行标定，确定所述图像 中的人脸器官特征点位置；人脸预处理单元，用于根据所述人脸的器官特征点位置对所述人脸灰度图 像和所述人脸深度图像进行人脸预处理；特征计算单元，用于分别计算经过人脸预处理后的所述人脸深度图像和所 述人脸灰度图像的特征；识别单元，用于将所述特征输入到所述人脸识别模型中，进行人脸识別， 返回与各人脸识别模型的相似度数据，根据所述返回的相似度数据，输出最终 的人脸识别结果。
16、如权利要求15所述的系统，其特征在于，所述训练模块包括结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，采集正样本与对比样本的带有结构光编码的人脸图像；深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编 码的人脸图像，得到所述样本的人脸深度图像；可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的 没有结构光编码的人脸图像；灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编 码的人脸图像，得到所述样本的人脸灰度图像；人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图 像中的人脸器官特征点位置； 人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理；特征计算单元，用于分別计算各样本经过人脸预处理后的人脸深度图像的 特征和人脸灰度图像的特征；训练单元，用于利用所述特征对所述用户进行训练，得到所述用户对应的 人脸识别模型。
17、 如权利要求15所述的系统，其特征在于，所述识别模块进一步包括 特征挑选单元，用于分別从所计算的人脸深度图像的特征和人脸灰度图像的特 征中挑选出分类能力最强的部分特征构成低维特征；所述识别单元将所述低维特征输入到所述人脸识别模型中进行人脸识别。
18、 如权利要求16所述的系统，其特征在于，所述训练模块进一步包括 人脸姿态计算单元，用于根据正样本的人脸深度图像，计算所述用户当前的人 脸姿态；所述训练单元针对不同的人脸姿态训练得到所述用户不同人脸姿态的 人脸识别模型。所述识别模块进一步包括人脸姿态计算单元，用于根据当前待识别用户 的人脸深度图像，计算当前待识别用户的人脸姿态；所述识别单元将计算得到 的特征输入到对应所述人脸姿态的人脸识别模型中。
19、 如权利要求15至19中任一项所述的系统，其特征在于，所述人脸预 处理单元包括灰度图像预处理子单元和深度图像预处理子单元，其中，所述灰度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对 所述人脸灰度图像进行人脸几何归 一化和灰度归 一化；所述深度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对 所述人脸深度图像进行人脸几何归 一化和深度数据归 一化。
20、 一种人脸识别模型训练系统，其特征在于，该系统包括 结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像；深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编 码的人脸图像，得到所述样本的人脸深度图像；可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态 范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的 没有结构光编码的人脸图像；灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编 码的人脸图像，得到所述样本的人脸灰度图像；人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图 像中的人脸器官特征点位置；人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸 灰度图像和人脸深度图像进行人脸预处理；特征计算单元，用于分别计算各样本经过人脸预处理后的人脸深度图像的 特征和人脸灰度图像的特征；训练单元，用于利用所述特征对所述用户进行训练，得到所述用户对应的 人脸识别模型。
全文摘要
本发明公开了一种人脸识别方法及系统、人脸识别模型训练方法及系统。其中，人脸识别方法包括为每个需要识别的用户训练获得人脸识别模型；在设定的人脸姿态范围内，采集当前待识别用户同时刻的带有结构光编码的人脸图像和没有结构光编码的人脸图像；根据带有结构光编码的人脸图像，得到人脸深度图像，根据没有结构光编码的人脸图像，得到人脸灰度图像；利用人脸灰度图像进行标定，根据标定结果对人脸灰度图像和人脸深度图像进行人脸预处理；分别计算经过预处理后的人脸深度图像和人脸灰度图像的特征；将该特征输入到人脸识别模型中进行人脸识别，输出人脸识别结果。本发明所提供的技术方案，能够在降低成本的情况下降低光照对人脸识别的干扰。
文档编号G06K9/62GK101339607SQ200810118520
公开日2009年1月7日 申请日期2008年8月15日 优先权日2008年8月15日
发明者英 黄 申请人:北京中星微电子有限公司