人脸图像处理设备、人脸图像处理方法以及计算机程序的制作方法

专利名称：人脸图像处理设备、人脸图像处理方法以及计算机程序的制作方法
技术领域：
本发明涉及一种人脸图4象处理^:备、 一种人脸图4象处理方法以及一种 计算机程序，其用于识别诸如静止图像、运动图像帧之类的摄影图像中包 括的人脸图像。具体地，本发明涉及一种人脸图像处理设备、 一种人脸图 像处理方法、以及一种计算机程序，其中对照已记录的图像来检查所关注 的图像的特征点或特征以识别个人。
更具体地，本发明涉及一种人脸图4象处理^:备、 一种人脸图^f象处理方
法、以及一种计算;l^序，其中，通过统计学习来选择用于个人验证的特 征点或特征，以允许综合地使用所选择的特征来执行个人!Hi过程。具体 而言，本发明涉及一种人脸图像处理设备、 一种人脸图像处理方法、以及 一种计算机程序，其中，在已记录的图像和要检查的图像上的特征点彼此
精确关联，以便即使在要检查的图像中的姿态变化时也获得高识别性能。
背景技术：
人脸识别技术可广泛用于A^L接口应用中，以达到诸如性别识别之类 的目的，这种类型的主要应用是不会给用户造成烦扰的个人發汪系统。近 来，人脸识别被用于数字摄#4^的基于对对象的检测或识别的自动操作， 包括自动对焦(AF)、自动曝光(AE)、自动视场角设置、以及自动拍摄。
例如，人脸识别系统涉及人脸检测过程，用于检测包括在输入图像 中的人脸图像的位置和大小；人脸部分检测过程，用于从检测到的人脸图 像中检测人脸的主要部分的位置；以;5LA脸识别过程，用于通过将要检查 的图<树照已记录的图像进行检查来识别人脸图像(或识别个人)，其中 所述要检查的图像是通过基于人脸部分的位置来校正人脸图像的位置和
旋转而获得的。
人脸识别系统是已知的，其中通过统计学习来选择要被用于识别个人 的特征点或特征，并且其中综合地使用所选的特征来执行个人识别过程
(例如，参见WO 2003/019475 (专利文献l))。可以使用具有方向选择 性和不同的频率分量的多个Gabor滤波来提取人脸图像的特征。
已经揭示了人类的某些视觉细胞表现出对特定方向的选择性，并且 Gabor滤波是由类似地具有方向选择性的多个滤波构成的空间滤波。 Gabor滤波是使用高斯函数作为窗口且使用基于正弦函数或余弦函数的 Gabor函数作为频率响应来在空间上表示的。例如，滤波窗口的大小被固 定为24x24像素。当存在五个不同的频率f和八个角度^时，构成了四十 种类型的Gabor滤波。
使用通过切换频率f和角度0而提供的最多四十种类型的Gabor滤波 来执行Gabor滤波计算。由此获得的最多四十组标量值被称为"Gabor jet"。 Gabor jet被获得作为在人脸图像数据的水平方向和竖直方向上以预 定间隔检测的每个特征提取位置处的局部特征。Gabor jet的特征在于， 其相对于特征提取位置的位移或形变的特定程度而言是鲁棒的。
对于已记录的人脸图像而言，预先在该图像的每个特征提取位置处计 算Gabor jet。计算在相同的特征提取位置处的、输入的人脸的Gabor jet 与已记录的人脸Gabor jet之间的相似度，以获得作为在多个特征提取位 置处的相似度集合的相似性向量。然后，通过支持向量机(SVM)来对 所述向量进行分类，以识别要检查的图像和已记录的图像。在相关的工业 中，支持向量积4皮认为具有模式识别领域中的最高的通用学习能力。
由于自动地选择可用于识别的大量特征点或特征，因此上述使用统计 学习来解决适当地选择用于个人识别的特征点或特征的问题的人脸识别 系统是有利的。此外，Gabor滤波相对于特征提取位置的一定程度的位移 或形变而言是鲁棒的。因此，可以通过准备包括某些姿态变化的学习样本 以使得选择鲁棒的特征，来适当地处理包括在输入图像中的要检查的图像 的姿态变化。
然而，当要检查的图像的姿态存在重大变化时，特征点的位移可能变 得过大以致不能通过Gabor滤波的鲁棒性来消减。当从图4象中识别出人 脸(检查出个人)时，将已记录的图像上的点与要检查的图像适当地相关 联以实现高识别性能是非常重要的。
为了将具有姿态变化的要检查的图像上的特征点与已记录的图像适
当^M目关联，已经提出了4吏用用于伸缩人脸形状的被称为"弹性图"的图
结构的方法(例如，参见Laurenz Wiscott、 Jean-Marc Fellous、 Norbert Kruger和Christoph von der Malsburg的"Face Recognition by Elastic Bunch Graph Matching" (Intelligent Biometric Techniques in Fingerprint and Face Recognition, CRC Press, ISBN0-8493-2055-0，第11章，第 355-396页，1999年)(非专利文献1))。才艮据该方法，在图的节点处提供 特征点，并预先存储与所述节点相关联的特征。整个图可被移动以找到产 生最高特征匹配度的位置，并且所述节点的位置可被局部地移位以调整图 的形状。可以对所述图的分支的伸缩量加以约束，因此可以消减由于所关 注的人脸的姿态变化而导致的差异或者个人差异，而不会严重偏离人脸的 形状。在检查个人时，使用图像的节点处的特征的相似度以及所述节点距 离初始位置的位移，来确定要检查的图像是否表示与出现在已记录的图像 上的相同的个人。
一种估计人脸的某些部分的位置的方法是使用AAM (主动外观模 型)。根据该方法，预先准^^各种人和姿态的多个手动标记的部分的点(特 征点)，并对作为所述部分的位置与所述部分周围的图像的组合的数据执 行主分量分析，以学习所述部分的位置及模式的变化。当从输入图像估计 出某一部分的位置时，该部分的初始位置被给出，并且连同相同位置周围 的已学习的图像一起被映射到部分空间中。已学习的变化具有的匹配度越 高，距该部分空间的距离越小。因此，通过精密地改变映射的空间的^ 来计算具有较高匹配度的部分的位置，由此可以识别对应的部分的位置。
由于施加了统计约束，所以该技术可被称为统计模型，而上述的弹性图是 二维几何模型。通常可以通过直接对这样的部分空间上的M进行比较来 执行个人识别。所述Wt包括位置和模式变化。
弹性图和AAM是基本上彼此相类似的方法，只除了使用不同的约束 之外。然而，这些方法不包括判定在其处的特征要被检查的节点位置的明 确步骤。不同的图像中的特征点之间的对应关系越可以被更容易地识别， 特征点的个人变化就越小。然而，这与以下事实相矛盾当个人之间特征 变化较显著时，在对个人之间的差异的实际检查中，允许较容易地确定特 征.
当从个人识别的观点来考虑特征点之间的对应关系时，在对一个人进 行识别的情况下，期望人脸的特定点之间的关系的成功匹配是与诸如人脸
姿态的差异之类的在拍摄情况下的差异无关地发生的。然而，在对不同的 个人之间进行识别的情况下，对应点之间的差异并不匹配。由于相同的特 征点的位置可能因人而异，因此对应点之间的差异是更优选的，这样的差 异导致了被假定为使得个人识别变得更容易的模式差异。
根据使用弹性图和AAM的上述方法，同时地估计所关注的人脸的姿 态和个人差异。当仅需要检查一个且同一个人的图像中的对应点时，仅仅 要考虑该个人的姿态。当要仅通过估计所关注的人脸的姿态来检查对应点 时，可以使用该人脸的形状的三维模型。
使用三维模型的人脸识别的示例是利用Blanz等人提出的CG (计算 机图形学讨支术的方法(例如，参见Volker Blanz和Thomas Vetter的"Face Recognition Based on Fitting a 3D Morphable Model" (IEEE Transaction on Pattern Analysis and Machine Intelligence, 第25巻，第9号,2003 年)(非专利文献2))。根据该方法，执行主分量分析(PCA)以提供使 用与在均匀照明的情况下预先获得的形状数据相关联的大量人脸和肌理 (R， G, B)的三维形状数据[x， y， z的三维统计模型。通过改变该三 维模型的参数、姿态参数以及照明^!t来合成接近于最终输入的人脸的图 像(将CG技术用于该合成)。人脸识别自身是仅使用该三维模型的M 来执行的，因此该识别是在消除人脸姿态和照明的影响的同时执行的。
还存在关于通过以下方式来合成各种人脸的方法的建议将已记录的 正面人脸图像贴在三维人脸模型上，并向该模型添加可被假定为预先发生 的各种照明和姿态的变4t (例如，参见Akira Inoue、 Shizuo Sakamoto 和Atsushi Sato的"Face Matching Using Partial Area Matching and Perturbative Space Method" (Proceedings of JEICE General Conference 2003)(非专利文献3))。对所有图像执行主分量分析(PCA)以获得图 像可以占据的部分空间(摄动部分空间)。由此获得的输入图像与每个人 的部分空间之间的距离被得到以识别该个人。
上述利用三维模型的人脸识别方法中的任一方法的特征在于，其包括 对人脸图像的合成，这导致了显著的处理负荷和计算成本。

发明内容
期望提供具有高性能的一种人脸图像处理设备、 一种人脸图像处理方 法以及一种计算机程序，其中可以通过统计学习来选择在识别个人时所使
用的特征点或特征，以及其中优选地可以综合使用所选特征来执行个人识 别过程.
还期望提供具有高性能的一种人脸图像处理i殳备、 一种人脸图像处理 方法以及一种计算机程序，其中在已记录的图像和要检查的图像上的特征 点可以准确皿此关联，以实现高识别性能。
本发明考虑了上述需要。根据本发明的实施例，提供了一种人脸图像 处理设备，其通过统计学习来选择用于识别个人的特征点和特征，并综合
地使用所选的特征点来执行个人识别过程。该设备包括
输入装置，用于输入由任意的人脸检测装置检测到的人脸图像；
人,分检测装置，用于从输入的人脸图像中检测若干部位中的人脸 部分的位置；
人脸姿态估计装置，用于基于所检测到的人脸部分的位置来估计人脸 姿态；
特征点位置校正装置，用于基于人脸姿态估计装置的人脸姿态估计结
果来对每个用于识别个人的特征点的位置进行校正；以及
人脸识别装置，用于通过以下方式来识别个人在特征点位置校正装 置执行了位置校正之后，计算输入的人脸图像在每个特征点处的特征，并 将所述特征对照已记录的人脸的特征来进行检查。
人脸识别系统基本上涉及人脸检测过程，用于检测包括在输入图像 中的人脸图像的位置和大小；人,分检测过程，用于从所检测到的人脸 图像中检测主要的人脸部分的位置；以^A脸识别过程，用于通过将要检 查的图像对照已记录的图像进行检查来识别人脸图像(识别个人)，其中 所述要检查的图像是通过基于人脸部分的位置来校正人脸图像的位置和 旋转而获得的。
下述这样的人脸识别系统是已知的，其中通过统计学习来选择要用于 识别个人的特征点或特征，以及其中综合地使用所选的特征来执行个人识 别过程。由于可用于识别的大量特征点或特征是自动选择的，因此这种系 统是有益的。可以^^用具有方向选择性和不同的频率分量的多个Gabor 滤波来提^A脸图像的特征。由于Gabor滤波相对于特征提取位置的一 定程度的位移或变形而言是鲁棒的，因此可以使用包括某些姿态变化在内 的学习样本，以使得将会选择鲁棒的特征点。因此，可以适应于包括在输 入图^象中的要检查的图《象的姿态变化。
然而，当要检查的图像的姿态存在显著变化时，特征点的位移可能变
得过大以致不能通过Gabor滤波的鲁棒性来消减。当通过图像来识别人 脸(检查个人)时，非常重要的是将在已记录的图像和要检查的图像上 的特征点适当M此关联，以便实现高识别性能。
在所述情况下，在根据本发明的实施例的人脸识别系统中，使用稳定 的与所关注的个人无关的特征点(被定义用于检测人脸部分的特征点)来 估计人脸的姿态。然后，4吏用平均>^脸的三维模型来##个个人的差异显 著出现之处的其它特征点(被定义用于识别人脸(个人识别)的特征点) 转换为特定姿态中的点。通iW由该转换而获得的位置中的特征进行比较 来执行个人识别。
人脸部分识别装置基于已记录在人,分检测辞典中的、与稳定的与 所关注的个人无关(较不易受到个人差异的影响)的特征点相关联的特征， #测人脸部分。人J3^姿态估计装置基于所检测到的人脸部分的位置来估 计人脸姿态。特征点位置校正装置根据所估计的人脸姿态来对从用于个人 识别的识别辞典中读取的特征点的位置进行校正。因此，可以以相对于人 脸姿态的变化而言鲁棒的方式来执行个人识别。
具体而言，人脸姿态估计装置通过使得人脸图像在屏幕中转动来校正 人脸图像的旋转，以使得被检测作为人脸部分的左眼和右眼的位置被水平 调准。然后，人脸姿态估计装置基于由人,分检测装置检测到的人, 分的位置与平均三维>^^模型之间的关系，来估计通过使得图像转动而获 得的人脸图像中所包括的绕俯仰轴和偏转轴的旋转角度。特征点位置校正 装置基于由人脸姿态估计装置所估计的人脸图像绕俯仰轴和偏转轴的旋 转角度，来校正用于识别个人的每个特征点的位置。
人脸部分检测装置基于与较不易受到个人之间的个体差异的影响的 特征点相关联的特征;^r测人J^分。因此，当不同图像上的特征点彼此 相关联时，使用较不易受到个人差异影响的特征点。因此，在已记录的图 像和要检查的图像上的特征点可以被适当地彼此关联。同时，人脸识别装 置基于显著出现个人差异的特征点处的特征来识别个人。也就是说，由于 实际上使用特征因人而异之处的特征点ijM^查个人差异，因此可以准确地 识别个人。
根据本发明的第二实施例，提供了一种以计算机可读形式描述的、用 于使得计算机执行人脸图像处理的计算机程序，在该人脸图像处理中，通 过统计学习来选择用于识别个人的特征点和特征，以及综合地使用所选的特征点来执行个人识别过程。该程序使得计算机用作
输入装置，用于输入由任意的人脸检测装置检测到的人脸图像；
人JI^P分检测装置，用于从输入的人脸图像中检测若干部位中的人脸 部分的位置；
人脸姿态估计装置，用于基于检测到的人脸部分的位置来估计人脸姿
态；
特征点位置校正装置，用于基于人脸姿态估计装置的人脸姿态估计结 果^正每个用于识别个人的特征点的位置；以及
人脸识别装置，用于通过以下方式来识别个人在特征点位置校正装 置执行了位置校正之后，计算输入的人脸图像在每个特征点处的特征，并 将所述特征对照已记录的人脸的特征来进行检查。
根据本发明的笫二实施例的计算枳應序是以计算机可读形式描述的、 用于在计算机上实现预定过程的计算M序。换言之，当根据本发明的第 二实施例的计算机程序被安装在计算机中时，该程序在计算机上发挥协同 作用，以实现与根据本发明的第一实施例的人脸图像处理设备的优点相类 似的优点。
根据本发明的实施例，可以提供下述这样的一种人脸图^象处理i殳备、 一种人脸图像处理方法以及一种计算机程序，其由于以下原因而是有利 的可以通过统计学习来选"^要用于识别个人的特征点和特征，以及优选 地可以综合使用所选的特征来执行个人识别过程。
根据本发明的实施例，可以提供下述这样的一种AJ睑图形处理设备、 一种人脸图像处理方法以及一种计算机程序，其由于以下原因而是有利 的即使在要检查的图像的姿态存在变化时，也可以将在已记录的图係禾 要检查的图像上的特征点准确地彼此关联，以实现高识别性能。
在使用人脸图像来检查个人时，重要的是如何将在要检查的图像和已 记录的图像上的特征点彼此关联。在根据本发明的实施例的人脸图像处理 设备中，使用稳定的与所关注的个人无关的特征点来估计人脸的姿态。然 后，使用平均人脸的三维模型来将出现显著个人差异之处的其它特征点转 换到特定姿态中。对在通过这种转换获得的位置处的特征点进行比较以识 别个人。因此，可以以相对于姿态变化而言鲁棒的方式来检查个人。
在根据本发明的实施例的人脸图像处理设备中，当不同图像上的特征 点彼此关联时，使用较不易受到个人差异影响的特征点。因此，可以使得 在已记录的图像和要检查的图像上的特征点适当地彼此关联。同时，实际
上使用特征因人而异之处的特征点iM^查个人差异。因此，可以高精度地 识别个人。
如同由此所描述的，在根据本发明的实施例的人脸图像处理设备中， 与用于识别的特征点相分离地处理用于估计姿态的特征点.因此，可以高 性能地执行个人识别，并且优选地可以利用对识别所需的特征的统计选择 的优点。
在根据本发明的实施例的人脸图像处理设备中，使用三维平均人脸模 型来估计人脸图像的姿态，并且不执g如图像合成之类的复杂过程。因 此，可以以高速度和低计算成本来执行人脸识别过程。
从下面基于本发明的实施例和附图而提供的、对本发明的更详细的描 述中，本发明的其它特征和优点将变得明显。


图i示意性地示出了根据本发明的实施例的人脸识别系统的总体配
置；
图2示意性地示出了人J^r识别单元13的内部配置；
图3A示出了使用以固定的像素大小构成的高斯函数的滤波窗口 ；
图3B示出了作为正弦函数或余弦函数的响应函数；
图3C示出了通过将图3A所示的滤波窗口应用于图3B所示的响应 函数上而获得的Gabor滤波；
图3D示出了通过将所述滤波窗口沿每个均具有相等的角度偏移量 22.5度的八个方向应用于响应函数上而获得的八个Gabor滤波；
图3E示出了通过将所述滤波窗口沿定义了八个方向的角度e应用于 具有五种不同频率f的响应函数上而获得的四十种类型的Gabor滤波；
图4示出了对人脸和AJ^:部分(四个点，即，双眼的中心、鼻尖以及 嘴中心)的检测结果的示例；
图5A示出了在对人脸部分的一般检测期间如何将搜索区上移、下移、 左移和右移；
图5B示出了如何基于对人脸姿态角的估计结果而将用于人J^分检 测的搜索区上移、下移、左移和右移；
图6示出了使用其原点是图像的左上像素的左上角的像素边缘坐标
表示系统将坐标(x。， yj、 (Xl， yi).......分配给所述图像中的每个人脸
部分的特征点，该图示还示出了将人脸图像绕适当点以角度e旋转以使得 双8H^水平调准；
图7A示出了平均人^p分之间的三维位置关系；
图7B示出了图7A所示的平均人,分在其被绕偏转轴旋转45度时 所具有的三维位置关系；
图8示出了裁剪人脸区域的过程；
图9A示出了通过统计学习选择的备选特征点的示例(正视图)；
图9B示出了通过统计学习选择的备选特征点的示例，其中基于三维 平均人脸模型来预先获得每个网格点(用于识别个人的特征点)的z坐标；
图IOA示出了从正面摄影的对象的人脸图像中提取的特征点；以及
图10B示出了从通it^j"图10A所示的同一对象斜对地摄影而获得的 人脸图像中提取的特征点，所述特征点被基于根据人脸部分的位置估计的 人脸姿态(所估计的俯仰角和转动角)而进行校正。
具体实施例方式
现在将参照附图描述本发明的实施例。
图1示意性地示出了根据本发明的实施例的人脸识别系统的总体配 置。该图示中的人脸识别系统10包括人脸检测单元11 、人^分检测单 元12以;S^A脸识别单元13。
人脸检测单元11从输入图像中检测出人脸，并得到所检测到的人脸 的大小和位置。可以使用两像素差方法来执行人脸检测中包括的特征提 取。根据该方法，计算可以容易地从具有预定大小的像素范围中提^A脸 特征的两个点处的像素之间的亮度差，并且针对多对这样的点而执行该计 算。例如，可以将Adaboost算法用于分类器计算。Adaboost是由Freund 等人在1996年提出的理论，即，可以通过组合多个"略优于随机分类器 的弱分类器"(也称为"弱学习器(weaklearner, WL)")来构造"强分 类器"。具体而言，在被i人为具有有利于人脸特征提取的亮度差的点对处 选捧多个像素组合。针对每个所述组合，为所述两个点处的像素的亮度差
定义弱假设，并且基于预先统计学习的弱假设来定义最^f^设。人J3^检测 器由一组针对两个像素亮度差的弱假设构成，并被称为人脸检测辞典。检 测如下所述地进行。在输入图像区域内对具有预定像素大小的人脸检测器 进行扫描，并且该检测器在被扫描的每个位置处执行计算，以获得已定义 了针对其的弱假设的每对像素之间的亮度差。根据计算结果与所述弱假设 之间的一致性程度来对所述计算结果进行评分，并且所有已定义了针对其 的弱假设的像素对的这种评分的总和构成了要用于确定所扫描的位置是 否是人眼位置的最g设。每个弱分类器被产生以使得紧挨在所关注的分 类器之前产生的弱分类器所弱分类的项被提供权重《 。根据每个弱分类器 的分类的确定性程度来获得每个弱分类器的可靠性，并且基于该可靠性来 进行大多数判定。例如，在已被转让给本申请人的JP-A-2005-157679中 也公开了使用两点像素差方法的人脸检测方法。
为了获得用于人脸识别的调准的(正规化的)人脸，使用人脸检测单 元11所检测到的人脸的较高分辨率的图像来检测诸如左眼和右眼、鼻尖 和嘴中心等的人脸部分的位置。基于所检测到的人眼位置，根据所述通过
人脸检测获得的人脸图像的大小和位置而获得具有改善的分辨率的人脸 的大小、位置和角度。两点像素差方法可用于人眼位置检测中包括的特征 提取。Adaboost算法可用于分类器计算。
人脸识别单元13从已通itA眼位置检测识别出了左眼和右眼在其上 的位置的人脸图像中识别出人脸的大小、位置和角度。该人^L相应地调 准为预定像素大小，并被暂时存储在内部的SRAM (未示出)中，以检 查人脸是否与已记录的图傳湘匹配。
人脸识别单元13使用Gabor滤波来提取要用于人脸识别的特征。 Gentleboost算法被用于分类器计算。将通过将Gabor滤波应用于已调准 的人脸图〗象而获得的结果与通过将Gabor滤波应用于预先记录的图4象而 获得的结果进行比较，以得到它们之间的相似度。将Gentleboost算法应 用于由此得到的相似度，以检查该人脸图像是否与该已记录的图#4目匹 配。
预先根据大量的人脸数据和样本来学习人脸检测单元11、人脸部分 检测单元12和人脸识别单元13中的每个单元所需要的统计数据(具体而 言是人脸检测辞典21、人脸部分检测辞典22和识别辞典23 )。与稳定的
与所关注的个人无关(或者较不容易受到个体变化的影响)的特征点相关
联的特征被记录在人脸检测辞典21和人,分检测辞典22中。相反地， 在可能出现显著个体变化的特征点处的特征被记录在人脸识别辞典中。
图2示意性地示出了人脸识别单元3的内部配置。图示的人脸识别单 元13包括人脸图像输入部分131、 Gabor滤波应用部分132、相关性计算 部分133和匹配确定部分134。
人脸图像输入部分131将具有如下分辨率的人脸图像传输至人脸识 別单元13的本地存储器(未示出)，其中所述分辨率是基于人,分检测 单元12检测到的、诸如人脸的双眼等的人脸的每个部分的位置而获得的 人脸识别所需要的分辨率。根据诸如双眼等的人脸部分的位置信息而获得 人脸的大小、位置和角度，以对该人脸图像进行调准。由此产生了人脸识 别所需要的人脸图像。也就是说，人脸图^^入部分131对人脸图^ii行 缩小、移位和旋转，以基于诸如双眼等的人脸部分的位置信息而使用固定 的坐标来调准左眼和右眼，由此产生了人脸识别所需要的人脸图l象。
Gabor滤波应用部分132将Gabor滤波应用于已由图傳瑜入部分131 调准的人脸图像。
使用高斯函数作为窗口并使用基于正弦函数或余弦函数的Gabor函 数作为频率响应，来空间地表示Gabor滤波。例如，如图3A所示，滤波 窗口被固定为24x24像素。当将该滤波窗口应用于如图3B所示的作为特 定频率分量的正弦函数或余弦函数的响应函数时，可以产生如图3C所示 的Gabor滤波。例如，当将滤波窗口沿每个均具有相等的角度偏移量22.5 度的八个方向(即，沿0度、22.5度、45度、67.5度、卯度、112.5度、 135度和157.5度的方向)应用于作为正弦函数或余弦函数的每个响应函 数时，可以产生如图3D所示的八个Gabor滤波。此外，当将滤波窗口类 似地沿定义了八个方向的角度e应用于在从低频带到高频带的范围内变 化的五个不同频率f的响应函数上时，总共构成了如图3E所示的四十种 类型的Gabor滤波。由以下表达式来给出Gabor滤波(Gabor核K (x， y)):
<formula>formula see original document page 18</formula>
<formula>formula see original document page 19</formula>
…(1)
参照Gabor滤波的计算，通it^t Gabor滤波Gi (x, y)所应用于的 像素I(x, y)以及Gabor滤波系数进行巻积，来计算该Gabor滤波Gi (x， y)。 Gabor滤波系数可被分离成频率响应是余弦函数的实部Re (x， y)和频率响应是正弦函数的虚部Im (x， y)。对这些部分执行巻积运算， 以合成相应的分量。因此，可以获得作为一个标量值的Gabor滤波结果 Ji (x， y)，其中(x， y)表示在其处提取特征的像素位置，"i"表示所关 注的滤波是上述的四十个Gabor滤波中的第i个Gabor滤波。
<formula>formula see original document page 19</formula>通过在图像的特征提取位置(x， y)处使用最多四十种类型的Gabor
滤波而获得的标量值组卩i， J2,…，J4。}(即，最多四十个标量值的组)被称
为"Gabor jet"。
校正计算部分133对基于输入图像而计算出的Gabor jet即GS以及 已记录的图像的Gabor jet即GR执行正规化的校正计算，以使得要检查 的图像与已记录的图^^目关联，由此获得所述图^^每个特征提取位置处 的相似度。
."(3)
对在被认为允许容易地提取特征的多个特征提取位置或特征点处具 有调准的像素的人脸图像执行正规化的相关性计算，由此获得相似度。作 为结果，获得其元素是在所述特征点处提取的正规化的相关性计算结果 d0、 dp ...的相似度向量D。
<formula>formula see original document page 19</formula>... (4 )
上文陈述了 "最多"使用四十种类型的Gabor滤波，该陈述意味着 不需要在所有定义的特征点处使用全部的四十种类型的Gabor滤波。要 在已提取了相似度的特征提取点处使用的Gabor滤波类型的数量取决于 该点的位置。也就是说，Gabor滤波的类型和数量(Gabor jet的元素数
量)取决于所关注的位置。
匹配确定部分134基于所获得的输入图像与已记录的图像之间的相 似度向量来确定所述图像是否彼此相匹配。在本实施例中，Gentleboost 被用于分类器计算。使用以下表达式来执行Gentleboost计算。该表达式 中的值a、 q和b ^L预先记录在识别辞典中。
y000 = "000 x (净000>《000)+的oo y001 = "001 x (承001>《001)+6001 ^002 = "002 x (^002>《002)+ M02
，159 = "159 x (碌159>，)+M59
OS /000,/001，/002，…，il59^81 …(5)
根据以下判别式来确定输入图 <象与已记录的图像是否彼此相匹配
如果((y000+y001+y002+…+y159) >阈值)，人脸OK 否则，人脸NG
...(6)
尽管以上描述了使用Gentleboost来确定匹配，但是本发明不必限定 于此。例如，可以使用支持向量机来对在相似度向量的边界处的值进行分 类，以确定所述图^^的匹配。
人脸识别单元13处的处理的步骤可被一般地概括如下。
步骤1:由人J^分检测单元12所定位和裁剪的人脸图像被传送。
步骤2:从已被统计学习的识别辞典中读取特征点位置和所使用的 Gabor滤波的类型(维数)。基于所读取的信息对所述图像执行Gabor滤 波计算，以获得滤波输出。
步骤3:从预先记录的个AA脸数据(对已记录的人脸执行Gabor 滤波计算的结果的记录)中顺序地读取要检查的个人的数据，并计算所述 数据与输入图像的滤波输出之间的相关性。
步骤4:基于由此获得的相关性值使用从统计学习的辞典中读取的判 别式函数来执行个人识别。
步骤5:处理返回到步骤2，以将到步骤4之前的步骤重复N次(N 等于弱学习器WL的数量)。
步骤6:综合N轮确定的结果以输出最终确定。
如上文所述，本实施例的人脸识别系统10基本上通过统计学习来选 择要用于个人识别的特征点或特征，并在确定过程中使用所选的特征点处 的特征来综合地执行确定处理。
用于提取特征的Gabor滤波相对于提取特征之处的特征点的一定程 度的位移或变形而言是鲁棒的。因此，可以通it^学习样本中包括某些姿 态变化以使得将会选择鲁棒的特征点，来适应于输入图像中包括的要检查 的图^象的姿态变化。
然而，当要检查的图像的姿态存在显著变化时，特征点的位移可能变 得过大以致不能通过Gabor滤波的鲁棒性来消减。当人M识别时，非 常重要的是适当地建立在已记录的图像和要检查的图像上的特征点之间 的对应关系，以实现高识别性能。
在所述情况下，在本实施例的人脸识别系统IO中，使用稳定的与所 关注的个人无关的特征点(被定义用于检测人脸部分的特征点)来估计人 脸姿态。然后，使用平均人脸三维模型来将每个个人的差异显著地出现之 处的其它特征点(被定义用于人脸识别(个人识别)的特征点)转换为特 定姿态中的点。通过对在所述转换之后达到的位置中的特征进行比较来执 行个人识别。
人^分检测单元12基于已记录在人脸部分检测辞典22中的、与保 持稳定而与个人差异无关的特征点(较不易受到个体变化影响的特征点) 相关联的特征来检测人脸的部分。当不同图像上的特征点彼此相关联时， 使用较不易受到个人变化影响的特征点。因此，可以适当地将在已记录的 图像和要检查的图像上的特征点相关联。随后，使用>^脸图^^测到的 特征点与人脸的平均三维模型上的相应特征点之间的相关性，来估计人脸 姿态。在校正了从识别辞典23读取的特征点的位置之后，执行检查人脸 图像的处理。可以以相对于所关注的人脸的姿态变化而言鲁棒的方式来执 行个人识别。
在本说明书中将自适应地改变从识别辞典23读取的特征点的坐标 (其可能因人不同而显著变化)的操作称为"自适应采样"。
自适应采样包括以下步骤。
步骤ll:检测人脸部分。
步骤12:估计人脸姿态。
(12-1)在屏幕中转动特征点以校正它们，以使得双3|*水平调准。
(12-2 )根据人,分的标准模型与从输入图像中检测到的人,分 之间的关系来估计原点在双眼之间的中点处的偏转角和俯仰角。
步骤13:基于所估计的角度和所估计的比例来裁剪人脸区域。 (13-1)计算输入图像中的人脸区域的中心和四个角。 (13-2)将所述图像绕所述区域的中心旋转。 (13-3 )经过旋转的图^^t切片和调准到预定的像素大小。
步骤14:基于姿态角来校正样本点。
(14-1)将所定义的、原点在双眼之间的中点处的样本点(x， y， z) 按照列出的轴的顺序绕俯仰轴和偏转轴旋转。
现在将详细描述自适应采样的每个步骤。
对人脸部分的检测
图4示出了对人脸和>^脸部分(在图示的示例中是四个部分，即，双 眼的中心、鼻尖和嘴中心)的检测结果的示例。可以通过扫描来自图像的 所有人脸模式，来执行对人脸的检测。可以通过扫描每个所检测到的人脸 区域中的预定区iM^测人脸部分，以得到所itA脸部分、即右眼、左眼、 鼻尖和嘴中心的模式。
人脸部分检测过程可包括根据以重叠关系的多个人脸检测结果而粗 略估计人脸的姿态角的功能。如图5B所示，即使在由于人脸姿态的显著 变化而难以检测人脸部分时，姿态角估计功能的使用也使得能够通过根据 所估计的人脸的姿态角而使得用于人^分检测的搜索区向上、向下、向 左和向右移位来稳定地险测人脸部分。当人脸检测单元12所检测到的人 脸朝向正向时，对于检测的目的而言，仅仅如图5A所示的一个搜索区通 常就K够的。
对入^^^态的估计
当完成了对人J^P分的检测时，使用原点是图像的左上像素的左上角 的像素边缘坐标表示系统来为每个人脸部分的特征点提供在图像中的坐
标(xo， yj、 (Xl, yi).......(参见图6)。沿转动方向绕适当的点以角度0
校正旋转，以使得双眼被水平调准。由如下示出的表达式7给出旋转角度0。<formula>formula see original document page 23</formula>所述坐标被进一步转换到原点是双眼之间的中点的坐标系统中。由如 下示出的表达式8来给出作为结果的坐标，其中Xp表示所述坐标。
<formula>formula see original document page 23</formula>其中，(x0， yo)、 (Xl, yi)、 (x2， y2)和(x3， y3)分别表示左眼、右 眼、鼻尖和嘴中心的坐标。作为由表达式8给出的坐标转换的结果，对人 脸姿态的估计只需要绕俯仰轴和偏转轴的旋转角度p和y、以及用于使得 人脸图像的大小适合于已记录的图像(或使之调准)的比例值s。
如图7A所示地(以mm为单位)定义了平均人j^分之间的三维位 置关系，其中如上文所述双眼之间的中点用作原点。在图7A中还定义了 人脸部分与用于裁剪人脸的人J^r冲匡之间的关系。图7B示出了图7A所示 的平均人脸部分在被绕偏转轴旋转45度时所具有的三维位置关系。
现在将描述基于输入图像中的输^^A脸部分(特征点)的坐标以及平 均人脸部分位置的定义来变换(调准)所述输入图像中的人脸的姿态角和 比例的处理的步骤。
步骤21:输入图像中的特征点在双眼已被水平调准的情况下被转换 到(如同上文所述的)原点是双眼之间的中点的坐标Xp。
步骤22:由如下所示的矩阵Xm来表示图7A所示的平均人脸模型的 特征点的三维位置。下面示出的矩阵Xm的第一至第四列分别对应于右眼、 左眼、鼻尖和嘴的三维位置。
-30.5 +30.5 0,0 0.0
0.0 0.0 38.0 68.0 0,0 0.0 —38.0 —13.0
..(9)
步骤23:在图7A所示的平均人^r模型的坐标表示中，绕x轴的旋转 被称为俯仰p，绕y轴的旋转被称为偏转y。由以下表达式给出作为这些 旋转的结果的、表示对四个特征点即右眼、左眼、鼻尖和嘴的坐标转换的 旋转矩阵R。
cos(y) sin(y)sin(/ ) sin(y)c。s(p)
(10)
步骤24:输入图像中的特征点的坐标Xp和平均人脸模型的坐标X。 具有相同的原点，并且绕Z轴的转动已经被校正。因此，在应用了比例值
s以及偏转和俯仰的旋转转换R时，这些坐标具有由以下表达式表示的关 系。
cos(y) sin(y)sin(p) sin(y)cos(p) 0 cos(/)) - sin(; )
加J
7、
这里假设模型点被垂直投影在输入图像上。Xp—,和Xpy分别表示输入
图像中的特征点的x坐标和y坐标。Xm x、 Xm y和Xm z分别表示模型的 特征点被分解成的x坐标、y坐标和z坐标。
步骤25:表达式11所示的矩阵计算的第二行仅釆用绕俯仰轴的旋转 p作为参数，并且其因此可以被如下所示地转换
义
."(12)
步骤26:通过使用伪逆矩阵来对表达式12求解而获得下面示出的表 达式13。
<formula>formula see original document page 24</formula>...(13 )
表达式13中的(BTB)"BT可以M示平均人脸模型的特征点的三维位
置的矩阵Xm获得。因此，可以预先在离线过程中使用表达式9来计算
(BTB)"BT，以^t当在线执行处理时省略逆矩阵计算。
步骤27:基于表达式13的计算结果根据以下所示的表达式14，可以 获得人脸图像绕俯仰轴的旋转角度p。
(14)
步骤28:参照表达式ll的第一行，根据以下表达式可以获得人脸图 像绕偏转轴的旋转角度y。 <formula>formula see original document page 25</formula>步骤29:由于已通过表达式14获得了俯仰角p，因此正如针对表达 式13所做的一样，使用伪逆矩阵来对表达式15求解，并获得以下表达式。<formula>formula see original document page 25</formula> 步骤30:因此，根据以下表达式可以获得人脸图像绕偏转轴的旋转 角度y。<formula>formula see original document page 25</formula>步骤31:对表达式14和14进行平均，以获得由以下表达式给出的 比例值s。<formula>formula see original document page 25</formula>通过参照表达式ll的第一行而获得的、用于得到人脸图像绕偏转轴 的旋转角度y的表达式15可被如下所示地转换<formula>formula see original document page 25</formula>其中，<formula>formula see original document page 25</formula>jcos(y) 0
在这种情况下，该用于得到偏转角的表达式可被表示如下,
...(20 )
其中，
10 o 0 cos(/ ) -sin(p) 0 siti(p) cos(p)
表达式20的右侧的(XmXmTfXm可预先(或在离线过程中)根据表达 式9而获得。因此，根据表达式20，可以在离线过程中省略逆矩阵计算， 并且可以使用针对俯仰的旋转矩阵R3p的逆矩阵来导出绕偏转轴的旋转角度y。
对人J睑区域的裁剪
当通itA脸姿态估计过程获得了对人脸姿态和比例值s的估计时，计
算所关注的人脸区域的中心和四个角。该人脸图傳被绕该区域的中心转
动，并且该人脸区域被基于比例值s而调准到预定像素大小(例如80x80 像素)并被裁剪。
图8示出了裁剪人脸区域的过程。
使用通itA脸姿态估计过程获得的模型以及针对输入坐标的比例值s 来定义人脸区域。平均人脸模型上的人脸区域具有169.0的大小，并且该 大小乘以比例值s后变成图像中的人脸区域的大小。可以根据所述位置距 离平均人脸图像的原点的位置来计算裁剪区域。
由于人脸部分的特征点的坐标Xp已被转动以在水平方向上调准双 眼，因此该图像这次被旋转以变成7JC平的，并JUU亥图像中裁剪矩形区域。
最终，该图像被调准到预定大小(例如80x80 ^象素)以用于识别。 此时，所述比例值也被更新，以允许转换到80x80像素的大小。
图9A示出了通过统计学习选择的备选特征点的示例。以网格的形式 在整个人脸中选择多个备选特征点。所述网格点被调准到要用于人脸识别 的图像大小。在图示的示例中，97个点被定义为具有80x80像素的人脸
图像的特征点，所述点是以被屏蔽的5个像素的间隔来选择的。图9A是 所述备选特征点的正视图，并且所述网格点(用于个人识别的特征点)中 的每个网格点的z坐标均是预先基于如图9B所示的三维人脸模型而获得 的。所述坐标的数据随着用于学习辞典的特征说明一起被保存。
当人脸图像实际被裁剪并被作为要检查的图像而输入以计算在每个 特征点处的特征时，通迚基于估计的人脸姿态p和y以及估计的比例值s 而旋转和缩放从所述辞典读取的所述97个特征点的坐标，来校正所述97 个特征点的坐标。
假设Xs表示已记录在人脸识别辞典中的特征点的三维定义的坐标， 并且Xs表示通过基于人脸姿态p和y以及比例值s而旋转和缩放图像所获 得的、经过校正的特征点。那么，所述经过校正的特征点的坐标&可以 通过以下所示的表达式21获得。表达式21的右侧的常量C是所定义的 双眼之间的中点的坐标(80/2， 80x66.05/169.0)。
x,si^ + C …(21) 其中，
eos(y) sin(y)sin(p) sin(y)cos(/ ) 0 cos(/ ) - sin(p)
当像素实际上被采样时，像素边缘坐标表示被转换为像素中心坐标表 示(國0.5 )。
图10A示出了vMwjL面摄影的对象的人脸图^N^取的特征点。图10B 示出了从斜对地摄影的同一对象的人脸图傳提取的特征点。根据图10A 与图10B之间的比较显而易见的是，在通过对该对象进行斜对地摄影而 获得的人脸图像的情况下，从该人脸图像中检测到若干人,分的位置。 基于所检测到的人脸部分的位置来估计诸如俯仰和转动之类的人脸姿态 变化，并且基于所估计的俯仰和转动的角度来校正用于识别该个人的特征 点的位置，作为结果，可以改进诸如人脸识别之类的后续处理的精确性。
用于统计学习的自适应采样
虽然已经描述了与人脸识别过程相关联的自适应采样方法，但是在学 习过程中也期望使用该方法。
识别包括以下步骤逐一地计算特征以及与其相关联的判别函数，以 及进行综合的最终确定。相反地，通过以下步骤来执行学习预先使用特 征的所有维数来计算在所有学习样本中的所有备选特征点处的特征，以及 顺序地选择样本中的导致一个人与其它人之间的最优判别结果的特征点 和特征。因此，除了学习需要更大的计算量以外，用于学习的过程完全与 用于识别的过程相同。
学习通常涉及手动标记的人脸和手动给出的人脸部分位置，而非检测 人脸和检测人脸部分。然而，使用人脸和人脸部分的姿态估计和样本点校 正是以与用于识别的方式相类似的方式来执行的。
已经参照本发明的特定实施例而详细描述了本发明。然而，对于本领 域的技术人员而言，显然可以在不背离本发明的精神的情况下对所述实施 例进行修改和替换。
例如，本发明可用于利用人脸识别4支术、例如个人验汪系统和性别识
别的A^接口中，用于自动摄#4^操作目的的使用对象识别技术的数字摄 41^，以及包括具有数字摄#^的蜂窝电话在内的便携式终端。
以上描述仅仅7>开了本发明的示例性方式，并且本说明书的内容不应 被视为限定性的。应当根据所附的权利要求来确定本发明的要旨。
权利要求
1. 一种人脸图像处理设备，其通过统计学习来选择用于识别个人的特征点和特征，并综合地使用所选的特征点来执行个人识别处理，所述设备包括:输入装置，用于输入由任意的人脸检测装置检测到的人脸图像；人脸部分检测装置，用于从输入的人脸图像中检测若干部位中的人脸部分的位置；人脸姿态估计装置，用于基于检测到的人脸部分的位置来估计人脸姿态；特征点位置校正装置，用于基于所述人脸姿态估计装置的人脸姿态估计结果来对每个用于识别个人的特征点的位置进行校正；以及人脸识别装置，用于通过以下方式来识别个人:在由所述特征点位置校正装置执行了位置校正之后，计算所述输入的人脸图像在每个特征点处的特征，并将所述特征对照已记录的人脸的特征来进行检查。
2. 根据权利要求l所述的人脸图像处理设备，其中所述人脸部分检测装置基于与较不易受到个人之间的个体差异的影 响的稳定的特征点相关联的特征来检测人脸部分；以及所itA脸识别装置基于在个人之间出现显著差异的特征点处的特征 来识别个人。
3. 根据权利要求1所述的人脸图像处理设备，其中所i2^脸姿态估计装置通过以下方式来校正所i^A脸图像在屏幕中 转动所iiA脸图像，以使得作为人,分被检测到的左眼和右眼的位置被 水平调准，然后基于所iiAJI^P分检测装置检测到的人脸部分的位置与平 均三维人脸模型之间的关系，来估计通过转动所述图像而获得的人脸图像 中所包括的、绕俯仰轴和偏转轴的旋转角度；以及所述特征点校正装置基于所述y0^r姿态估计装置所估计的、所n脸 图像绕俯仰轴和偏转轴的旋转角度，来校正每个用于识别个人的特征点的 位置。
4. 根据权利要求1所述的人脸图像处理设备，其中 所itAJ^p分检测装置检测作为人脸部分的左眼、右眼、鼻尖和嘴中 心的坐标(x0， y0)、 (xl, yl)、 (x2， y2)和(x3, y3);以及所i!A脸姿态估计装置沿转动方向、绕适当的点以通it^达式1获得 的角度-进行旋转校正，以使得双眼被水平调准，并使用表达式2来执行 向原点是双眼之间的中点的坐标系统上的位置Xp的另 一转换，<formula>formula see original document page 3</formula> …(1)<formula>formula see original document page 3</formula> (2)。
5.根据权利要求4所述的人脸图像处理设备，其中，所U脸姿态 估计装置定义其元素是作为人脸部分的左眼、右眼、鼻尖和嘴的三维位置 的平均三维人脸模型Xm，并基于关系表达式3来估计所idA脸图像中包 括的旋转角度p和y，其中所述关系表达式3指示了当通过使用旋转矩 阵R并将所述旋转矩阵R的比例变换比例值s、来将所述三维人Ji^模型旋 转变换所iiA脸图像中包括的绕俯仰轴和偏转轴的旋转角度p和y时，所 述三维人脸模型Xm被转换到在原点是双眼之间的中点的坐标系统上的位 置Xp中，<formula>formula see original document page 3</formula>(3) 其中，<formula>formula see original document page 3</formula>
6.根据权利要求5所述的人脸图像处理设备，其中所iiA脸姿态估计装置对表达式3的第二行进行转换以获得表达式 4,使用伪旋转矩阵B来对表达式4进行求解，并根据表达式6来估计所 ^A脸图像中包括的绕俯仰轴的旋转角度p，<formula>formula see original document page 3</formula>...(4) <formula>formula see original document page 4</formula>"(5)<formula>formula see original document page 4</formula>( 6)
7. 根据权利要求6所述的人脸图像处理设备，其中所U脸姿态估 计装置预先根据表示所述平均三维人脸模型的特征点的三维位置的矩阵 Xm来计算表达式5中的包括逆矩阵计算的(BTB)"B1。
8. 根据权利要求6所述的人脸图像处理设备，其中所U脸姿态估 计装置在估计了所U脸图像中包括的绕俯仰轴的旋转角度p之后，对表 达式3的第二列进行转换以获得表达式7，使用伪旋转矩阵D来对表达式 7进行求解，并根据表达式9来估计所i^A脸图像中包括的绕偏转轴的旋 转角度y，<formula>formula see original document page 4</formula>(7)<formula>formula see original document page 4</formula>.(8)<formula>formula see original document page 4</formula> (9 )
9. 根据权利要求8所述的人脸图像处理设备，其中所^A脸姿态估 计装置对表达式6和9进行平均，并使用表达式10来识别比例值s ，<formula>formula see original document page 4</formula>io)。
10. 根据权利要求8所述的人脸图像处理设备，其中所^A脸姿态估 计装置将M达式3的第一行获得的、用于识别所^A脸图像的绕偏转轴 的旋转角度y的表达式7转换为表达式11,并使用表达式12来识别所述 人脸图像的绕偏转轴的旋转角度y，<formula>formula see original document page 5</formula>(12 )其中，<formula>formula see original document page 5</formula>(12)
11. 根据权利要求10所述的人脸图像处理设备，其中所^A脸姿态 估计装置预先根据表示所述平均三维人脸模型的特征点的三维位置的矩阵Xm来计算表达式12中的包括逆矩阵计算的(XmXj)"Xm。
12. 根据权利要求10所述的人脸图像处理设备，其中所述特征点位 置校正装置使用表达式13来获得经过校正的特征点的坐标Xs,其中，Xs 表示用于识别个人的特征点的三维定义的坐标，Xs表示通过基于人脸姿态 p和y以及比例值s来变换旋转和比例而获得的特征点的坐标，xs＝sRXy+C …(13)其中，
13. —种人脸图像处理方法，其中通过统计学习来选择用于识别个人 的特征点和特征，以及其中综合地使用所选的特征点来执行个人识别过 程，所述方法包括以下步骤输入由任意的人脸检测装置检测到的人脸图像；从输入的人脸图像中检测若干部位中的人脸部分的位置；基于检测到的人脸部分的位置来估计人脸姿态；基于人脸姿态估计步骤中的人脸姿态估计结果来对每个用于识别个 人的特征点的位置进行校正；以及通过以下方式来识别个人在特征点位置校正步骤中执行了位置校正 之后，计算所述输入的人脸图^ML每个特征点处的特征，并将所述特征对 照已记录的人脸的特征来进行检查。
14. 一种以计算机可读形式描述的、用于使得计算机执行人脸图l象处 理的计算机程序，在所i!A脸图像处理中，通过统计学习来选择用于识别 个人的特征点和特征，并综合地使用所选的特征点来执行个人识别过程， 所述程序使得所述计算机用作输入装置，用于输入由任意的人脸检测装置检测到的人脸图像；人iM5分检测装置，用于从输入的人脸图像中检测若干部位中的人脸 部分的位置；人脸姿态估计装置，用于基于检测到的人脸部分的位置来估计人^^态；特征点位置校正装置，用于基于所ii^脸姿态估计装置的人脸姿态估计结果iMt每个用于识别个人的特征点的位置进行校正；以及人脸识别装置，用于通过以下方式来识别个人在由所述特征点位置 校正装置执行了位置校正之后，计算所述输入的人脸图像在每个特征点处 的特征，并将所述特征对照已记录的人脸的特征来进行检查。
15. —种人脸图像处理设备，其通过统计学习来选择用于识别个人的 特征点和特征，并综合地使用所选的特征点来执行个人识别过程，所述设 备包括输入单元，被配置用于输入由任意的人脸检测装置检测到的人脸图像；人一分检测单元，被配置用于从输入的人脸图像中检测若干部位中 的人脸部分的位置；人脸姿态估计单元，被配置用于基于检测到的人脸部分的位置来估计 人脸姿态；特征点位置校正单元，被配置用于基于所U脸姿态估计单元的人脸 姿态估计结果来对每个用于识别个人的特征点的位置进行校正；以及人脸识别单元，被配置用于通过以下方式来识别个人在由所述特征 点位置校正单元执行了位置校正之后，计算所述输入的人脸图像在每个特 征点处的特征，并将所述特征对照已记录的人脸的特征来进行检查。
全文摘要
公开了一种人脸图像处理设备和方法及计算机程序。所述设备通过统计学习来选择用于识别个人的特征点和特征。所述设备包括输入装置，用于输入由任意的人脸检测装置检测到的人脸图像；人脸部分检测装置，用于从输入的人脸图像中检测若干部位中的人脸部分的位置；人脸姿态估计装置，用于基于检测到的人脸部分的位置来估计人脸姿态；特征点位置校正装置，用于基于所述人脸姿态估计装置的人脸姿态估计结果来对每个用于识别个人的特征点的位置进行校正；以及人脸识别装置，用于通过以下方式来识别个人在由所述特征点位置校正装置执行了位置校正之后，计算所述输入的人脸图像在每个特征点处的特征，并将所述特征对照已记录的人脸的特征来进行检查。
文档编号G06K9/00GK101377814SQ20081021054
公开日2009年3月4日 申请日期2008年8月27日 优先权日2007年8月27日
发明者佐部浩太郎, 大久保厚志, 横野顺 申请人:索尼株式会社