脸认证设备的制作方法

专利名称：脸认证设备的制作方法
技术领域：
本发明涉及使用脸图像数据来对个人进行认证的脸认证设备。
背景技术：
近年来，将脸图像、指纹、虹膜、血管图形、或人身体的其它部 分用作密钥的生物识别(biometric)认证作为一种安全系统已经引起关 注，该安全系统由于它不需要携带密钥等因而是方便的，并且该安全 系统还不易受由于丢失、被偷窃等引起的不正当使用的影响。特别地， 使用脸图像的认证方法具有下述优点，即，它们几乎不需要待认证的 人的时间和努力来注册个人认证所需要的生物体信息。即，使用脸图 像的认证方法不需要像在指纹认证或血管图形认证中一样伸出手指或 手，也不需要如在虹膜认证中一样用光直接照射眼球。因此即使待认 证的人在生物体信息的注册中不合作，也能够容易地执行认证。使用 脸图像的认证方法还具有下述优点，即，与使用指纹、虹膜和血管图 形的认证相比，被认证的那些对象具有更小的心理抗拒感。
日本专利特开申请No.2005-316888提出了一种关于脸认证设备的 技术，该技术通过马赛克化脸图像并且使神经网络对其进行学习而进 行认证。这里的神经网络是旨在借助于计算机上的仿真来表现在脑功 能中发现的一些属性的数学模型。在现有技术文献中描述的该技术能 够吸收脸的位置/角度的变化和照明的变化，以执行个人认证。日本专利特开申请No.2002-183734提出了一种关于认证设备的技 术，该技术通过根据注册者使用的频率改变用于个人认证的阈值而进 行认证。在现有技术文献中描述的该技术能够根据使用条件动态地改 变用于认证的阈值，并且能够提高方便性和安全性。
然而，在日本专利特开申请No.2005-316888中描述的技术可能不 能根据脸的位置/角度的变化程度和照明的变化程度而充分地学习，从 而可能不能足以响应在实际环境中的各种环境变化。在日本专利特开 申请No.2002-183734中描述的技术因为只根据注册者使用的频率改变 阈值，因此根本没有考虑脸的位置/角度的改变和照明的改变的对策。
例如，在通过监视相机获得的脸图像由脸认证设备进行认证的情 形中，监视相机周围的成像环境随着时间改变。因此，在预先注册的 特定人的脸图像的注册时的成像环境和在同一特定人的认证时的成像 环境通常是彼此不同的。在该情形中，仅因为注册脸图像的成像环境 接近待认证的输入脸图像的成像环境，完全不同的人的输入脸图像和 注册脸图像可能被判断为彼此相似。即，例如，假设在脸认证设备中 注册的注册脸图像在蓝色氖光下成像。另一方面，假设在认证时的输 入脸图像在相同蓝色氖光下成像。在该情形中，虽然输入脸图像属于 与注册脸图像的人不同的人，但脸认证设备可能判断两个图像彼此相 似。

发明内容
本发明要解决的问题
在上述背景下做出的本发明的目的是提供一种脸认证设备，其能 够以高准确度执行个人识别而不管输入脸图像的成像环境如何。
解决问题的方式
本发明的脸认证设备包括第一提取单元，用于从输入脸图像数 据项中提取特征数据项；脸图像数据注册单元，在指定成像条件下成像的脸图像数据项被注册在该脸图像数据注册单元中；第二提取单元， 用于从注册在脸图像数据注册单元中的脸图像数据项中提取特征数据 项；第一计算单元，用于彼此核对每个通过第一和第二提取单元提取 的特征数据项，以计算在两特征数据项之间的相似度；特征数据存储 部，用于存储多个特征数据项，每个特征数据项是从在与指定成像条 件几乎相同的条件下成像的多个人的多个脸图像数据项中提取的；第 二计算单元，用于核对通过第一提取单元提取的特征数据项与存储在
特征数据存储部中的特征数据项，以计算特征数据项之间的相似度；
阈值设置单元，用于基于由第二计算单元计算的相似度设置阈值，该
阈值用于判断输入脸图像数据项和在脸图像数据注册单元中注册的脸
图像数据项是否属于同一人；和确定单元，用于通过比较由阈值设置
单元设置的阈值与由第一计算单元计算的相似度而确定输入脸图像数
据项和在脸图像数据注册单元中注册的脸图像数据项是否属于同一人。
本发明的另一方面是脸认证方法，其包括第一提取步骤，从输 入脸图像数据项中提取特征数据项；第二提取步骤，参考在指定成像 条件下成像的脸图像数据项被注册在其中的脸图像数据注册单元，从 在脸图像数据注册单元中注册的脸图像数据项中提取特征数据项；第 一计算步骤，将每个在第一提取步骤和第二提取步骤中提取的特征数 据项彼此核对，以计算在两特征数据项之间的相似度；第二计算步骤， 参考用于存储多个特征数据项的特征数据存储部，核对在第一提取步 骤中提取的特征数据项与存储在特征数据存储部中的特征数据项，以 计算特征数据项之间的相似度，其中多个特征数据项每个都是从在与 指定成像条件几乎相同的条件下成像的多个人的多个脸图像数据项中 提取的；阈值设置步骤，基于在第二计算步骤中计算的相似度而设置 阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元中 注册的脸图像数据项是否属于同一人；确定步骤，通过比较在阈值设 置步骤中设置的阈值与在第一计算步骤中计算的相似度而确定输入脸 图像数据项和在脸图像数据注册单元中注册的脸图像数据项是否属于
8同一人。
本发明的另一方面是脸认证程序，该脸认证程序使计算机执行上 述脸认证方法的处理。
本发明的优点
本发明能提供具有下述优点的脸认证设备，g卩，不管输入脸图像 的成像环境如何，该脸认证设备都能够以高准确度执行个人识别。
如下文所述，存在本发明的其它方面。因此，该发明内容部分意 在提供本发明的一些方面，并且不意在限制在这里所描述和要求保护 的本发明的范围。


图1是示意性地示出根据本发明的实施例1的脸认证设备的构造 的方块图2是根据本发明的实施例的脸认证设备的操作流程图； 图3是示出根据本发明的实施例1的脸认证设备的原理的示意图； 图4是示意性地示出根据本发明的实施例2的脸认证设备的构造 的方块图5是根据本发明的实施例2的脸认证设备的操作流程图。 符号说明
1、 la:脸认证设备 10:脸图像数据获取单元 20:第一特征提取单元 30:脸图像数据注册单元 40:第二特征提取单元 50:第一相似度计算单元 60， 61:特征数据存储部611-61n:第一到第n副特征数据存储部 70， 70a:第二相似度计算单元
80:阈值设置单元
90:识别确定单元
100， 100b:特征数据分类单元
110:副特征数据存储部选择单元
120:特征数据更新判断单元
具体实施例方式
下面将具体描述本发明。下面的具体的描述和附图不限制本发明。 而是，本发明的范围由本发明的权利要求限定。
本发明的脸认证设备包括第一提取单元，用于从输入脸图像数 据项中提取特征数据项；脸图像数据注册单元，在指定成像条件下成 像的脸图像数据项被注册在该脸图像数据注册单元中；第二提取单元， 用于从在脸图像数据注册单元中注册的脸图像数据项中提取特征数据 项；第一计算单元，用于将每个通过第一和第二提取单元提取的特征 数据项彼此核对，以计算在两特征数据项之间的相似度；特征数据存 储部，用于存储多个特征数据项，每个特征数据项是从在与指定成像 条件几乎相同或基本相同的条件下成像的多个人的多个脸图像数据项 中提取的；第二计算单元，用于核对由第一提取单元提取的特征数据 项与存储在特征数据存储部中的特征数据项，以计算特征数据项之间 的相似度；阈值设置单元，用于基于通过第二计算单元计算的相似度 设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单 元中注册的脸图像数据项是否属于同一人；和确定单元，用于通过比 较由阈值设置单元设置的阈值与由第一计算单元计算的相似度而确定 输入脸图像数据项和在脸图像数据注册单元中注册的脸图像数据项是 否属于同一人。该构造允许根据输入脸图像数据项设置阈值，并且因 此，允许以高准确度进行个人识别而不管用于输入脸图像的成像环境 如何。特征数据存储部可以具有多个副特征数据存储部，用于存储从在 不同的成像条件下成像的脸图像数据项中提取的特征数据项，特征数 据项被根据成像条件的不同分类到多个副特征数据存储部中，并且第 二计算单元可以将由第一提取单元提取的特征数据项与存储在副特征
数据存储部之中对应于与用于注册在脸图像数据注册单元中的脸图像 数据项的指定成像条件最接近的成像条件的副特征数据存储部中的特 征数据项进行核对，并且计算特征数据项之间的相似度。该构造允许 根据每个成像条件将特征数据存储部划分并分类，并且因此，即使用 于输入脸图像数据项的成像条件变化，也允许以高准确度进行个人识 别而不管用于输入脸图像的成像环境如何。
当新的脸图像数据项被注册在脸图像数据注册单元中时，脸认证 设备可以将由第二提取单元提取的新的脸图像数据项的特征数据项存 储在对应于与用于新的脸图像数据项的成像条件最接近的成像条件的 多个副特征数据存储部的一个中。在该构造中，当添加新的脸图像数 据项的特征数据项时，特征数据项能够被分类并且存储在最合适的副 特征数据存储部中。
第一计算单元可以基于由第一和第二提取单元提取的特征数据项 之间的距离计算两特征数据项之间的相似度。在这种构造中，能够容 易地计算由第一和第二提取单元提取的特征数据项之间的相似度。
第二计算单元可以基于由第一提取单元提取的特征数据项和存储 在特征数据存储部中的特征数据项之间的距离计算两特征数据项之间 的相似度。在这种构造中，能够容易地计算特征数据项之间的相似度。
阈值设置单元可以基于由第二计算单元计算的相似度的平均值和 方差值设置阈值，该阈值用于判断输入脸图像数据项和在注册单元中 注册的脸图像数据项是否属于同一人。在该构造中，能够容易地设置
11适于个人识别的阈值。 (第一实施例)
下面将参考附图描述根据本发明的第一实施例(下文中被称为"实 施例1")的脸认证设备。在该实施例中说明的是下述脸认证设备的情 形，g卩，使用脸图像数据来对个人进行认证，并且用于房间的门的开/ 关认证、移动电话的使用的认证等。
图1是示意性地示出根据本发明的实施例1的脸认证设备的构造 的方块图。
如在图1中所示，根据本发明的实施例1的脸认证设备1包括 脸图像数据获取单元IO、第一特征提取单元20、脸图像数据注册单元
30、第二特征提取单元40、第一相似度计算单元50、特征数据存储部 60、第二相似度计算单元70、阈值设置单元80、和识别确定单元90。
脸图像数据获取单元IO获取例如从摄像机、图像扫描仪等输入的 脸图像数据。
第一特征提取单元20从输入到脸图像数据获取单元10的脸图像 数据中提取特征数据。第二特征提取单元40从在脸图像数据注册单元 30中注册的脸图像数据中提取特征数据。
具体地，第一和第二特征提取单元20和40例如基于脸图像数据 中的眼、鼻和嘴的位置等在脸图像数据中切出一定的大小和形状的脸 区域，并且提取特征数据"x"，所述特征数据"x"是从一维向量"v" 变换的特征数据，其中向量"v"的元素是在整个切出的区域中的像素 的亮度值。
作为将"v"变换成适于个人认证的数据"x"的方法，例如，提出了在"Weak OrthogonaJization of Face and Perturbation, CVPR 1998: Kenj i Nagao， Masaki Sohma,"中描述的方法等。
在上面的方法中，首先，为多个人准备在各种拍摄条件下拍摄的 同一人的多个图像，并且从这些图像中获得一维向量。然后，在该方 法中，从是同一人的变化成分的扰动成分分布和从是不同人之间的变 化成分分布的个体间变化成分分布获得他们各自特征向量分布的协方 差矩阵"SI"和"S2"，并且获得同时对角化两个协方差矩阵"SI"和 "S2"的矩阵"L"。
关于此，在矩阵"L"与协方差矩阵"SI"和"S2"之间的关系 被表示在等式(1)和(2)中 1^1/= A(" (1)
u:2lt = a(2) (2)
因为"L"是对角矩阵，所以等式(1)和(2)的"A(1)"和"A(2)" 被表示为如在等式(3)和(4)中所示 八("=diag|VU2(1), ...] (3) 八(2) = diag[、(2U2(2),…] (4)
通过使用对角化的矩阵"L"的对角成分的值，从等式(3)和(4) 生成"r"，如在下面描述的等式(5)中所示。除了等式(5)，有各种
其它生成"r"的生成方法。这些生成方法可以被用来生成"r"。
r = diag[a/W, (x2W2,…](5)
然后，其元素是在整个切出的区域中的像素的亮度值的一维向量
"v"乘以在下面描述的等式(6)中所示的矩阵"甲"。该相乘计算是 "x-平'v"。这能够将向量"v"变换成适于个人识别的特征。矩阵"甲" 能够从"r"和对角矩阵"L"获得，如等式(6)中所示
^-rL (6)如上，第一和第二特征提取单元20和40基于在脸图像数据中的 眼、鼻和嘴的位置等，在脸图像数据中切出一定的大小和形状的脸区 域，将其变换成适于个人认证的数据，并且从而提取特征数据。
在指定成像条件下成像的脸图像数据被预先注册在脸图像数据注 册单元30中。
第一相似度计算单元50将每个由第一和第二特征提取单元20和 40提取的特征数据项彼此核对，并且计算两特征数据项之间的相似度。 两特征之间的距离被计算为相似度。即，第一相似度计算单元50将每 个由第一和第二特征提取单元20和40提取的特征数据项的元素的系 列(series)视为一维向量，并且计算两向量之间的距离。作为计算两 向量之间的距离的方法，例如有利用特征向量之间的差分的L1范数和 L2范数的方法。关于另一个示例，有使用特征向量之间的相关值的方 法。这些方法可以被使用。如上，通过计算由第一和第二提取单元提 取的特征数据项之间的距离，能够容易地计算两特征数据项之间的相 似度。
特征数据存储部60存储多个特征数据项，其中每个特征数据项都 是从在与注册在脸图像数据注册单元30中的脸图像数据项的成像条件 几乎相同或基本相同的条件下成像的多个人的脸图像数据项中提取 的。存储在特征数据存储部60中的上述多个特征数据项每个都是从彼 此不同的人的脸图像数据项中提取的。存储在特征数据存储部60中的 多个特征数据项例如通过第二特征提取单元40提取。然而，上述提取 不被限制于此，并且多个特征数据项也可以被第一特征提取单元20提 取。替代地，多个特征数据项可以预先从彼此不同的人的脸图像数据 项中提取，并且然后多个特征数据项可以被存储在特征数据存储部60 中。第二相似度计算单元70核对由第一特征提取单元20提取的特征 数据项与存储在特征数据存储部60中的特征数据项中的每一个，以计 算特征数据项之间的相似度。同样在该计算中，两特征之间的距离被 计算作为相似度。通过计算由第一和第二提取单元提取的特征数据项
之间的距离，能够计算两特征数据项之间的相似度，如在等式(7)中
所示
相似度=1/ (l+距离) (7)
例如，在N个人的特征数据项被存储在特征数据存储部60中的情 形中，第二相似度计算单元7 0计算N个特征之间距离。
阈值设置单元80基于由第二相似度计算单元70计算的相似度数 据设置适于个人识别的阈值。S卩，阈值设置单元80基于由第二相似度 计算单元70计算的相似度设置阈值，该阈值用于判断输入脸图像数据 项和在脸图像数据注册单元30中注册的脸图像数据项是否属于同一 人。
现在，假设下述情形，其中特征数据存储部60存储对应于输入到 脸图像数据获取单元10的待认证的脸图像数据项的人的特征数据项。 在该情形中，在由第二相似度计算单元70计算的N个特征相似度中， 首先准备除了最大值之外的(N-l)个特征相似度。因此，从N个特征 相似度排除最大值允许预先消除同一人的脸图像数据项之间的相似 度。
在那之后，假设(N-l)个特征相似度具有正态分布，阈值设置单 元80从(N-l)个特征相似度计算平均值和方差值。基于上述结果， 阈值设置单元80计算输入到脸图像数据获取单元10的待认证的脸图 像数据项和存储在特征数据存储部60中的多个其它人的脸图像数据项 之间的相似度的出现概率(probabmty)。然后，依照可接受的错误接受 率设置适于个人识别的阈值。使用从(N-l)个特征相似度计算的平均值和方差值允许容易地设置适于个人识别的阈值。
识别确定单元90通过比较由阈值设置单元80设置的阈值和由第 一相似度计算单元50计算的相似度，确定输入脸图像数据项和在脸图
像数据注册单元30中注册的脸图像数据项是否属于同一人。
接着将基于附图描述如上构造的根据本发明的实施例1的脸认证
设备1的操作。图2是根据本发明的实施例的脸认证设备的操作流程图。
如在图2中所示，脸图像数据获取单元IO获取从相机、扫描仪等 输入的脸图像数据项(S201)。然后从由脸图像数据获取单元10获取 的脸图像数据项中提取特征(S202)。第二相似度计算单元70然后将 存储在特征数据存储部60中的每个特征数据项和输入脸图像数据项的 特征数据项彼此核对，并且计算特征数据项之间的相似度。在这里计 算每一特征数据项对之间的特征中的相似度(S203)。
然后，如果第二相似度计算单元70己经完成存储在特征数据存储 部60中的所有特征数据项和输入脸图像数据项的特征数据项之间的相 似度的计算(在S204,是)，则阈值设置单元80基于由第二相似度计 算单元70计算的相似度设置用于个人识别的阈值(S205)。如果第二 相似度计算单元70还没有完成存储在特征数据存储部60中的所有特 征数据项和输入脸图像数据项的特征数据项之间的相似度的计算(在 S204,否)，则重复S203的处理。
第一相似度计算单元50然后计算输入脸图像数据项和注册的脸图 像数据项的特征数据项之间的相似度(S206)。具体地，第一相似度计 算单元50将由第一特征提取单元20提取的特征数据项和由第二特征 提取单元40从在脸图像数据注册单元30中注册的脸图像中提取的特 征数据项彼此核对，并且计算两特征数据项之间的相似度。
16识别确定单元90然后比较由阈值设置单元80设置的阈值和由第
一相似度计算单元50计算的相似度(S207)。然后，如果由第一相似 度计算单元50计算的相似度大于阈值(S207)，则识别确定单元卯确 定输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据 项是同一人的数据项(S208)。另一方面，如果由第一相似度计算单元 50计算的相似度小于阈值(S207)，则识别确定单元90确定输入脸图 像数据项和在脸图像数据注册单元30中注册的脸图像数据项是不同的 人的数据项(S209)。
接着将基于附图具体地描述根据本发明的实施例1的脸认证设备 的原理。图3是示出根据本发明的实施例1的脸认证设备的原理的示 意图。
如在图3中所示，假设是输入到脸图像数据获取单元10的图像数 据项的输入脸图像201和202以及是在脸图像数据注册单元30中注册 的脸图像数据项的注册脸图像203都对应于同一人，其中输入脸图像 201和注册脸图像203在照明的强度和方向等方面彼此存在显著不同的 成像环境中成像，并且其中输入脸图像202和注册脸图像203在彼此 接近的成像环境中成像。
一般地，在脸认证中，在其成像环境彼此更接近的脸图像之间， 表示人是同一人的相似度趋于更高。因此，当在输入脸图像202和注 册脸图像203之间执行认证时的相似度趋于高于当在输入脸图像201 和注册脸图像203之间执行认证时的相似度。同样在不同人之间的相 似度的计算中，在显著不同的成像环境中成像的脸图像之间的相似度 趋于较低，并且在彼此接近的成像环境中成像的脸图像之间的相似度 趋于较高。因为如上相似度根据用于输入脸图像的成像环境之间的差 异具有不同的表现，所以当相似度趋于较低时阈值需要被设置得较低，
而当相似度趋于较高时阈值需要被设置得较高。
17因此，在根据本发明的实施例I的脸图像认证设备I中，预先准 备在与注册脸图像203相同的成像环境下成像的多个人的脸图像204，
并且多个人的这些脸图像的特征数据项被存储在特征数据存储部60 中。在图3中，在特征数据存储部60中示意性地示出在与注册脸图像 203相同的成像环境下成像的多个脸图像204。通过第二相似度计算单 元70计算在特征数据存储部60中的上述多个脸图像204的每一特征 数据项与输入脸图像的特征数据项之间的相似度，也能够获得相似度 的分布。
例如，在与注册脸图像203的成像环境不同的成像环境下成像的 输入脸图像201的特征数据项和存储在特征数据存储部60中的多个脸 图像204的特征数据项之间的相似度趋于较低。另一方面，在与注册 脸图像203的成像环境接近的成像环境下成像的输入脸图像202的特 征数据项和存储在特征数据存储部60中的多个脸图像204的特征数据 项之间的相似度趋于较高。
然后根据由第二相似度计算单元70计算的相似度的分布设置阈 值。这允许阈值当相似度趋于较低时被设置得较低，并且当相似度趋 于较高时被设置得较高，从而不管用于输入脸图像的成像环境如何， 个人识别都能以高准确度执行。
上述的根据本发明的实施例1的脸认证设备1被设置有特征数 据存储部60，其存储多个特征数据项，所述多个特征数据项每个都是 从在与注册在脸图像数据注册单元30中的脸图像数据项的成像条件几 乎相同的条件下成像的多个人的多个脸图像数据项中提取的；第二相 似度计算单元70，其将由第一特征提取单元20提取的特征数据项和存 储在特征数据存储部60中的特征数据项核对，以计算特征数据项之间 的相似度；和阈值设置单元80，其基于由第二相似度计算单元70计算 的相似度，设置阈值，该阈值用于判断输入脸图像数据项和在脸图像数据注册单元30中注册的脸图像数据项是否属于同一人。该构造允许 根据输入脸图像数据项设置阈值，并且允许不管输入脸图像的成像环 境如何，都以高准确度执行个人识别。
(第二实施例)
下面将参考附图描述根据第二实施例(在下文中被称为"实施例 2")的脸认证设备。图4是示意性地示出根据本发明的实施例2的脸 认证设备的构造的方块图。
根据本发明的实施例1的脸图像认证设备1的特征数据存储部60 不具有任何副特征数据存储部，如在图l中所示。与此相反，如在图4 中所示，根据本发明的实施例2的脸图像认证设备la的特征数据存储 部61具有多个副特征数据存储部611到61n，并且在这方面与实施例 1不同。
如在图4中所示，根据本发明的实施例2的脸图像认证设备la与 根据本发明的实施例1的脸图像认证设备1的不同之处在于，脸图像 认证设备la具有特征数据分类单元100和100b、副特征数据存储部选 择单元IIO、和特征数据更新判断单元120。
如在图4中所示，根据本发明的实施例2的脸认证设备la包括-脸图像数据获取单元IO、第一特征提取单元20、脸图像数据注册单元 30、第二特征提取单元40、第一相似度计算单元50、特征数据存储部 61、多个副特征数据存储部611到61n、第二相似度计算单元70a、阈 值设置单元80、识别确定单元卯、特征数据分类单元100和100b、副 特征数据存储部选择单元110、和特征数据更新判断单元120。如稍后 所述，特征数据分类单元IOO和100b具有相同的功能。
如在图4中所示，特征数据存储部61具有多个副特征数据存储部 611到61n。每个都从在不同成像条件下成像的多个人的脸图像数据项中提取的多个特征数据项被根据上述不同成像条件进行分类，并且被 存储在多个副特征数据存储部611到61n中。在描述中，例如，特征数据存储部61具有n个副特征数据存储部 611到61n。这些副特征数据存储部611到61n例如按照脸的方向被分 类成诸如正面、向上看、向下看、向左看、和向右看。第二相似度计算单元70a将由第一特征提取单元20提取的特征数 据项与在多个副特征数据存储部611到61n之中对应于与注册在脸图 像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条 件的副特征数据存储部中存储的多个特征数据项进行核对并且计算特 征数据项之间的相似度。特征数据分类单元100参考多个副特征数据存储部611到61n，确 定哪个副特征数据存储部对应于与注册在脸图像数据注册单元30中的 脸图像数据项接近的脸图像数据项，并且将注册的脸图像数据项分类。 例如，特征数据分类单元100确定脸图像数据项的方向属于正面、向 上看、向下看、向左看、和向右看中的哪个分类。副特征数据存储部选择单元110被连接到多个副特征数据存储部 611到61n、第二相似度计算单元70a、和特征数据分类单元100。根据 通过特征数据分类单元100获得的分类结果，副特征数据存储部选择 单元110选择多个副特征数据存储部611到61n之中对应于与注册在脸 图像数据注册单元30中的脸图像数据项的指定成像条件最接近的成像 条件的副特征数据存储部。特征数据更新判断单元120被连接到多个副特征数据存储部611 到61n、以及第一特征提取单元20和特征数据分类单元100b的输出。 与特征数据分类单元100的情形一样，特征数据分类单元100b确定副 特征数据存储部611到61n中的哪个对应于由脸图像数据获取单元10获取的脸图像数据项，并且将获取的脸图像数据项分类。基于由特征 数据分类单元100b获得的分类结果并且使用由第一特征提取单元20 提取的特征数据项，特征数据更新判断单元120更新存储在多个副特征数据存储部611到61n中的特征数据项。即，当新的脸图像数据项 被输入时，特征数据更新判断单元120将由第一特征提取单元20提取 的新的脸图像数据项的特征数据项存储在多个副特征数据存储部611 到61n之中对应于与用于新的脸图像数据项的成像条件最接近的成像 条件的副特征数据存储部。以这种方式，特征数据更新判断单元120 更新特征数据存储部61中的数据。下面将基于附图描述如上构造的根据本发明的实施例2的脸图像 认证设备la的操作。图5是根据本发明的实施例2的脸认证设备的操 作流程图。图2和图5的不同之处在于，增加了S501，增加S502以代 替S203,并且增加S503以代替S204。如图5中所示，脸图像数据获取单元IO获取从相机、扫描仪等输 入的脸图像数据项(S201)。然后从由脸图像数据获取单元10获取的 脸图像数据项中提取特征(S202)。然后，副特征数据存储部选择单元110选择特征数据存储部61中 的多个副特征数据存储部611到61n之中对应于与用于注册在脸图像 数据注册单元30中的脸图像数据项的指定成像条件最接近的成像条件 的副特征数据存储部(S501)。具体地，特征数据分类单元100参考副特征数据存储部611到61n， 首先确定多个副特征数据存储部611到61n之中哪个副特征数据存储 部对应于与注册在脸图像数据注册单元30中的脸图像数据项接近的脸 图像数据项，并且将注册的脸图像数据项分类。然后，基于由特征数据分类单元IOO分类的特征数据项，副特征21数据存储部选择单元110选择n个副特征数据存储部611到61n之中对 应于与用于注册在脸图像数据注册单元30中的脸图像数据项的指定成 像条件最接近的成像条件的副特征数据存储部。副特征数据存储部选 择单元110然后将关于被选择的副特征数据存储部的信息输入到第二 相似度计算单元70a。这里将具体地描述特征数据分类单元100的操作。特征数据分类 单元IOO参考副特征数据存储部611到61n，确定多个副特征数据存储 部611到61n之中哪个副特征数据存储部对应于注册在脸图像数据注 册单元30中的脸图像数据项所接近的脸图像数据项，并且将注册的脸 图像数据项分类。在其中多个副特征数据存储部611到61n根据脸的方向被分类的 情形中，脸的方向例如能够通过在"Real-Time Combined 2D+3D Active Appearance Models, J. Xiao, S. Baker, I. Matthews, and T. Kanade， Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2004,"中描述的方法等而确定。这里将介绍用于二维形状、三维形状和脸方向的基于AAM( Active Appearance Model(主动外观模型))的估算方法。AAM包括两个线性模 型形状模型和纹理(texture)模型，并且能够通过给形状和纹理模型 提供任意的参数，表示很多脸变化。形状模型采用二维坐标体系，而 纹理模型被表示为关于统计平均形状上的亮度的信息。在使用AAM的 特征点检测中，确定最小化模型和输入脸图像之间的差异的AAM的参 数，并且从那个参数的形状模型获取关于二维位置的信息。在这一点，二维形状能够由三维形状的二维投影(投影矩阵P) 表示。被增加有三维形状的该限制条件，确定匹配输入脸图像的AAM 的条件由表达式(8)给出。其中"I"是输入脸图像，"s2D"是二维模 型，并且"s3D"是三维形状模型<formula>formula see original document page 23</formula> ( 8 )在上面的表达式中，"K"是权重因数，而"K"的值越大，三维 形状的限制越强。如果最小化表达式(8)的参数被确定，则三维形状 和投影矩阵(即，脸的方向)还有特征点的位置能够被确定。然后，第二相似度计算单元70a计算在由副特征数据存储部选择 单元110所选择的副特征数据存储部中的所有特征数据项与由第一特 征提取单元20提取的脸图像数据项的特征数据项之间的相似度。在这 里计算特征数据项之间的距离的值(S502)。然后，如果第二相似度计算单元70a已经完成了在选择的副特征 数据存储部中存储的所有特征数据项与输入脸图像数据项的特征数据 项之间的相似度的计算(在S503，是)，则阈值设置单元80基于由第 二相似度计算单元70a所计算的相似度设置用于个人识别的阈值 (S205)。如果第二相似度计算单元70a还没有完成在选择的副特征数 据存储部中存储的所有特征数据项与输入脸图像数据项的特征数据项 之间的相似度的计算(在S503，否)，则重复S502的处理。第一相似度计算单元50然后计算输入脸图像数据项和注册的脸图 像数据项的特征数据项之间的相似度(S206)。具体地，第一相似度计 算单元50计算由第二特征提取单元40提取的特征数据项和由第一特 征提取单元20提取的特征数据项之间的距离。识别确定单元90然后比较由阈值设置单元80设置的阈值和由第 一相似度计算单元50计算的相似度(S207)。然后，如果由第一相似 度计算单元50计算的相似度大于阈值(在S207，是)，则识别确定单 元90确定输入脸图像数据项和注册在脸图像数据注册单元30中的脸 图像数据项是同一人的数据项(S208)。另一方面，如果由第一相似度计算单元50计算的相似度小于阈值(在S207，否)，则识别确定单元 90确定输入脸图像数据项和注册在脸图像数据注册单元30中的脸图像 数据项是不同的人的数据项(S209)。除了脸的方向之外的各种条件能够被用于特征数据分类单元100、 以及用于分类被特征数据分类单元100分类的多个副特征数据存储部 611到61n的标准。例如，下面所述的能够被使用当脸图像数据获取 单元10获取脸图像时的日期和时间；当脸图像数据获取单元10获取 脸图像时的天气信息；脸图像的成像位置；在对脸图像进行成像时的 设置角度；面具、太阳眼镜或其它附件的存在或不存在；在成像地点 的照明条件等。关于这样的拍摄条件，能够参考彼此不同的成像条件 等进行分类。如果根据脸的条件诸如面具、太阳眼镜、和眼镜进行分类，例如 提升(Boosting)或SVM (Support Vector Machine(支持向量机))能够被用来确定附件是否存在于脸上。提升(Boosting)作为用于构造二值辨别器(例如，用于确定眼镜 的存在或不存在)的通用技术被公知。通过准备很多弱辨别器产生强 分类器，每个弱辨别器被分配有各种权重。在广泛使用的技术之中是 adaBoost。在adaBoost中，辨别器被一个接着一个地选择。用于被之 前选择的辨别器错误地辨别的学习数据项的权重被增加，并且因此， 对所述学习数据项进行集中学习。被选择的辨别器被根据其错误率 (error rate)给定可信度"a"。辨别结果取决于由用可信度"a"加权 的辨别器的多数票决。SVM也作为用于构造值的辨别器(例如，用于确定眼镜的存在或 不存在)的普通技术被公知。确定穿过两类的中点的超平面以解决两 类分类问题。为了执行上述，在超平面和训练样本之间的最小距离被 用作评估函数，并且超平面被确定为使得评估函数被最大化。SVM实际上是线性辨别器。然而，能够通过使用核技巧(kernel trick)形成非线性辨别器。如果多个副特征数据存储部611到61n按照照明环境分类，则对 于照明的变化确定分类。具体地，例如，在"WeakOrthogonalizationof Face and Perturbation, CVPR 1998， Kenji Nagao, Masaki Sohma,"中描述的特征产生方法中，低维因素是脸的普通变化的成分。如果在拍摄环 境和照明条件中的很多变化被用作一个人的扰动成分，则表示拍摄环 境的改变和照明条件的变化的成分出现在分布的主成分中。如果该基 本向量被用来构造子空间，则能够获得主要表示照明的变化的子空间。 在该子空间中，通过使用每个分类的数据对分布的近似分类输入数据。能够如下所示地使用显式估计照明的方向和强度的技术。如在等 式(9)中所示，通过使用预先通过统计计算确定的法线反照矩阵(normal albedo matrix) "B(1)"的平均值"Bavr"，能够通过最小二乘法估计光源 "s"。",'=(5丄.7')乂'. (9)通过使用该估计的光源"s"，能够容易地执行按照照明的方向的分类。现在，图像"i"是输入图像。让"P"是它的像素数，那么由等式(10)表示法线反照矩阵"B(l)"。W、(V')，"/),..""/)) (10)在上面，"nP"是第p像素的反照率和单位法线向量的乘积，如在 等式(11)中所示"尸=0v，"py, -')r (11)光源"s"是照明的强度和在照明方向上的单位向量的乘积。如在等式(12)中所示在上述的根据本发明的实施例2的脸认证设备la中，特征数据存储部61具有多个副特征数据存储部611到61n，该多个副特征数据存 储部611到61n在特征数据项被根据成像条件的不同而分类到所述多 个副特征数据存储部的情况下存储从在不同成像条件下成像的脸图像 数据项提取的特征数据项，并且第二相似度计算单元70a将由第一特征 提取单元20提取的特征数据项与存储于在多个副特征数据存储部611 到61n之中对应于与注册在脸图像数据注册单元30中的脸图像数据项 的指定成像条件最接近的成像条件的副特征数据存储部中的特征数据 项进行核对并且计算特征数据项之间的相似度。这允许特征数据存储 部被根据每个成像条件分类，并且因此允许以高准确度执行个人识别 而不管输入脸图像的成像条件如何，即使用于输入脸图像数据项的成像条件是多种多样的。这里将具体地描述更新特征数据存储部61中的数据的方法。首先， 特征数据分类单元100b在多个副特征数据存储部611到61n之中选择 对应于与将被添加的新的脸图像数据项的成像条件最接近的成像条件 的副特征数据存储部。特征数据更新判断单元120然后判断是否将新 的脸图像数据项的特征数据项添加到被选择的副特征数据存储部。具 体地，特征数据更新判断单元120计算将被添加的特征数据项与在被 选择的副特征数据存储部中的所有特征数据项之间的距离的值。然后，如果没有统计上的异常值存在于计算的距离的值中，则该 特征数据项被添加到被选择的副特征数据存储部。另一方面，如果统 计上的异常值存在于计算的距离的值中，则该特征数据项不被添加到 被选择的副特征数据存储部。以该方式，在提供特征数据更新判断单元120的情况下，当新的 脸图像数据项的特征数据项被添加时，该特征数据项能够被分类到最 合适的副特征数据存储部并被存储在其中。顺便提一下，例如，当输 入图像是从运动图像获取时，同一人连续地出现。在该情形中，该设26备被构造为通过使用轨迹确定等，同一人将不会被注册。尽管已经描述了目前被认为是本发明的优选实施例的实施例，但 是将理解的是，可以对其做出多种修改和变化，并且所附权利要求覆 盖落在本发明的精神和范围内的所有的这样的修改和变化。工业适用性如上所述，根据本发明的脸图像认证设备具有下述优点，即，不 管输入脸图像的成像环境如何，都能够以高准确度执行个人识别，并 且用作使用脸图像数据来对人进行认证的脸认证设备等。
权利要求
1.一种脸认证设备，包括第一提取单元，用于从输入脸图像数据项中提取特征数据项；脸图像数据注册单元，在指定成像条件下成像的脸图像数据项被注册在所述脸图像数据注册单元中；第二提取单元，用于从在所述脸图像数据注册单元中注册的所述脸图像数据项中提取特征数据项；第一计算单元，用于将每个由所述第一提取单元和所述第二提取单元提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度；特征数据存储部，用于存储多个特征数据项，每个特征数据项是从在与所述指定成像条件几乎相同的条件下成像的多个人的多个脸图像数据项中提取的；第二计算单元，用于核对由所述第一提取单元提取的特征数据项与存储在所述特征数据存储部中的特征数据项，以计算特征数据项之间的相似度；阈值设置单元，用于基于由所述第二计算单元计算的所述相似度设置阈值，所述阈值用于判断所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同一人；和确定单元，用于通过比较由所述阈值设置单元设置的所述阈值与由所述第一计算单元计算的所述相似度而确定所述输入脸图像数据项和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同一人。
2.根据权利要求1所述的脸认证设备，其中所述特征数据存储部具有多个副特征数据存储部，用于存储从在不同的成像条件下成像的脸图像数据项中提取的特征数据项，所述特征数据项被根据所述成像条件的不同分类到所述多个副特征数据存储部，以及其中所述第二计算单元将由所述第一提取单元提取的特征数据项与存储在所述副特征数据存储部之中对应于与用于在所述脸图像数据注册单元中注册的所述脸图像数据项的所述指定成像条件最接近的成像条件的副特征数据存储部中的特征数据项进行核对，并且计算特征数据项之间的相似度。
3. 根据权利要求2所述的脸认证设备，其中当新的脸图像数据项被注册在所述脸图像数据注册单元中时，所述设备将由所述第二提取单元提取的所述新的脸图像数据项的特征数据项存储在所述多个副特征数据存储部之中对应于与用于所述新的脸图像数据项的成像条件最接近的成像条件的副特征数据存储部中。
4. 根据权利要求l所述的脸认证设备，其中所述第一计算单元基于两特征数据项之间的距离而计算由所述第一提取单元和所述第二提取单元提取的特征数据项之间的相似度。
5. 根据权利要求l所述的脸认证设备，其中所述第二计算单元基于特征数据项之间的距离而计算由所述第一提取单元提取的特征数据项和存储在所述特征数据存储部中的特征数据项之间的相似度。
6. 根据权利要求l所述的脸认证设备，其中所述阈值设置单元基于由所述第二计算单元计算的相似度的平均值和方差值而设置所述阈值，所述阈值用于判断所述输入脸图像数据项和在所述注册单元中注册的所述脸图像数据项是否属于同一人。
7. —种脸认证方法，包括第一提取步骤，从输入脸图像数据项中提取特征数据项；第二提取步骤，参考在指定成像条件下成像的脸图像数据项被注册在其中的脸图像数据注册单元，从在所述脸图像数据注册单元中注册的所述脸图像数据项提取特征数据项；第一计算步骤，将每个在所述第一提取步骤和所述第二提取步骤 中提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度； 第二计算步骤，参考用于存储多个特征数据项的特征数据存储部， 核对在所述第一提取步骤中提取的特征数据项与存储在所述特征数据 存储部中的特征数据项，以计算特征数据项之间的相似度，其中所述 多个特征数据项每个都是从在与所述指定成像条件几乎相同的条件下 成像的多个人的多个脸图像数据项提取的；阈值设置步骤，基于在所述第二计算步骤中计算的所述相似度而 设置阈值，所述阈值用于判断所述输入脸图像数据项和在所述脸图像 数据注册单元中注册的所述脸图像数据项是否属于同一人；确定步骤，通过比较在所述阈值设置步骤中设置的所述阈值与在 所述第一计算步骤中计算的所述相似度而确定所述输入脸图像数据项 和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同 一人。
8. —种脸认证程序，其使计算机执行第一提取步骤，从输入脸图像数据项中提取特征数据项；第二提取步骤，参考在指定成像条件下成像的脸图像数据项被注 册在其中的脸图像数据注册单元，从在所述脸图像数据注册单元中注 册的所述脸图像数据项提取特征数据项；第一计算步骤，将每个在所述第一提取步骤和所述第二提取步骤 中提取的特征数据项彼此核对，以计算在两特征数据项之间的相似度；第二计算步骤，参考用于存储多个特征数据项的特征数据存储部， 核对在所述第一提取步骤中提取的特征数据项与存储在所述特征数据 存储部中的特征数据项，以计算特征数据项之间的相似度，其中所述 多个特征数据项每个都是从在与所述指定成像条件几乎相同的条件下 成像的多个人的多个脸图像数据项提取的；阈值设置步骤，基于在所述第二计算步骤中计算的所述相似度而 设置阈值，所述阈值用于判断所述输入脸图像数据项和在所述脸图像 数据注册单元中注册的所述脸图像数据项是否属于同一人；确定步骤，通过比较在所述阈值设置步骤中设置的所述阈值与在 所述第一计算步骤中计算的所述相似度而确定所述输入脸图像数据项 和在所述脸图像数据注册单元中注册的所述脸图像数据项是否属于同 一人。
全文摘要
提供一种脸认证设备，该脸认证设备不管输入脸图像的成像环境如何，都能够以高准确度执行个人认证。该脸认证设备包括第一相似度计算单元(50)，用于计算输入脸图像数据项的特征数据项和在脸图像数据注册单元(30)中注册的脸图像数据项的特征数据项之间的相似度；第二相似度计算单元(70)，用于计算存储在特征数据存储部(60)中的特征数据项和由第一特征提取单元(20)提取的特征数据项之间的相似度；阈值设置单元(80)，用于基于由第二计算单元(70)计算的相似度设置阈值，该阈值用于判断输入脸图像数据项和注册的脸图像数据项是否属于同一人；和识别确定单元(90)，用于通过比较由阈值设置单元(80)设置的阈值与由第一相似度计算单元(50)计算的相似度而确定输入脸图像数据项和注册的脸图像数据项是否是同一人的数据项。
文档编号G06T7/00GK101558431SQ20078004639
公开日2009年10月14日 申请日期2007年12月11日 优先权日2006年12月13日
发明者中野渡祥裕, 山崎龙次 申请人:松下电器产业株式会社