图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备和图像处理方法，尤其涉及 一种能够提取要在面部认证中使用的特征量数据的图像处理设 备和图像处理方法。
背景技术：
传统地已知面部验证设备基于通过拍摄人面部所获得的 图像数据执行认证处理。面部验证设备接收通过使用固态图像 传感器的摄像设备所拍摄的、要认证的人的面部图像的输入。 面部验证设备从面部图像获取要认证的人的特征量数据，该特 征量数据表示眼睛、鼻子、口和面部轮廓等构成面部的组成部
分的特征量。然后，面部验证设备将预先存储的登记者的特征 量数据与要认证的人的每 一 特征量数据进行校验。面部验证设
备确定要^人证的人与登记者的相似度。然后，面部验证设备将 要认证的人认证为被确定为具有最大相似度的登记者。
当最大相似度小于预定认证阚值时，判断为要认证的人是 未登记者(不将要认证的人验证为登记者)。此外，当最大相似 度等于认证阈值时，预先确定是将要认证的人验证为登记者还
是未登记者。
面部验证设备将认证结果提供至例如用于锁定/解锁设施 的门的控制设备。该控制设备根据认证结果锁定/解锁该门。此
外，讨论了使用面部验证设备来指定在自动拒员机(ATM)进行 交易的用户。更具体地，讨论了将摄像设备安装在ATM中以使 用通过该摄像设备拍摄到的用户的面部图像来识别用户。因此， 用户认证所使用的插卡(例如，现金卡)和输入个人识別编号等操作变得不必要，这提高了可操作性。
传统的面部验证设备存储从登记者的正面图像所获得的 登记者的特征量数据。另一方面，根据摄像设备的安装环境和 摄像处理过程中要认证的人的姿势，确定验证过程中拍摄要认 证的人的面部图^f象的照明条件(照明方向、亮度和照明的颜色)。 因此，根据摄像设备的安装环境，从要认证的人的面部图像所 获取的特征量数据和与要认证的人相对应的登记者的特征量数
据之间的相似度可能降低。结果，即使当要认证的人是登记者 时，也可能将该人错误识别为未登记者。
为了降低发生将作为登记者的要认证的人验证为未登记 者的错误识别的可能性(即，误拒绝率)，可以将认证阈值设置 得低。相反，当将认证阈值设置得低时，发生将不是登记者的 要认证的人验证为登记者的错误识别的可能性(即，误接受率) 增大。因此，安全水平降低。因而，与在要应用于面部验证设 备的系统中所需的安全水平相对应地设置认证阔值。更具体地， 在需要高安全水平的系统中，将认证阈值设置得高。因此，与 降低误拒绝率相比，优先降低误接受率。
曰本特开2005-56004号公报讨论了这样一种技术，该技术 用于存储从在不同照明条件下拍摄的多个面部图像所获得的登 记者的特征量数据。该技术可以通过降低误拒绝率和误接受率 这两者来提高认证精度。更具体地，将登记者的面部图像制成 三维(3D)模型图像。根据3D模型图像生成照明条件不同的多个 二维(2D)模型图像。然后，从所生成的多个2D模型图像获取登 记者的特征量数据，并且存储该特征量数据。
然而，在日本特开2005-56004号公报中所讨论的结构中， 由于必须针对一 个登记者存储从不同照明条件下的多个面部图 像所获得的登记者的多个特征量数据，因而存在登记操作十分麻烦的问题。并且，不仅在存储登记者的特征量数据时，而且 在获取用于确定与登记者的特征量数据的相似度的要认证的人
的特征量数据时，也存在类似问题。更具体地，存在的问题是 为了消除照明条件的影响，需要从在改变照明条件时所拍摄的 多个面部图像获取要认证的人的特征量数据。

发明内容
本发明涉及一种能够提取特征量数据的图像处理设备，该 图像处理设备可以在不使用多个面部图像数据的情况下，获得 高认证精度。
根据本发明的一个方面， 一种检测电路，用于检测图像； 亮度校正电路，用于确定检测到的所述图像的亮度，并执行用 于降低检测到的所述图像中的亮度变化的校正；以及提取电路， 用于从由所述亮度校正电路校正后的检测到的所述图像中提取 要在认证处理中使用的特征量数据。
根据本发明的另一方面， 一种图像处理设备，包括检测 电路，用于检测图像；拖尾校正电路，用于确定检测到的所述 图像中的拖尾生成区域和拖尾生成量，并基于所述拖尾生成量 对包含在所述拖尾生成区域中的像素值进行校正；以及提取电 路，用于从由所述拖尾校正电路校正后的检测到的所述图像中 提取要在认证处理中使用的特征量数据。
根据本发明的另一方面， 一种图像处理方法，包括检测 图像；确定检测到的所述图像中的亮度，并执行用于降低所述 图像中的亮度变化的校正；以及从执行了用于降低所述亮度变 化的所述校正的检测到的所述图像中提取要在认证处理中使用 的特征量数据。
根据本发明的另一方面， 一种图像处理方法，包括检测图像；确定检测到的所述图像中的拖尾生成区域和拖尾生成量， 并基于所述拖尾生成量对包含在所述拖尾生成区域中的像素值 进行校正；以及从基于所述拖尾生成量对包含在所述拖尾生成 区域中的像素值进行了校正的检测到的所述图像中提取要在认 证处理中使用的特征量数据。
通过以下参考附图对典型实施例的详细说明，本发明的其 它特征和方面将变得明显。


包含在说明书中并构成说明书的 一部分的附图示出了本 发明的典型实施例、特征和方面，并与说明书一起用来解释本 发明的原理。
图1示出作为根据本发明第 一 典型实施例的图像处理设备 的 一 个例子的数字照相机的结构例子；
图2是示出根据典型实施例的图像处理设备的信号处理块 的示意图3是示出根据第 一典型实施例的面部图像数据获取单元 的操作的流程图4示出面部区域的块分割；
图5示出块的权重；
图6示出块的平均亮度值；
图7示出块的权重乘以亮度平均值的结果；
图8A和图8B示出块的校正增益；
图9示出拍摄中各灵敏度的校正增益阈值；
图IO是示出根据第二典型实施例的面部图像数据获取单 元的操作的流程图；以及
图ll示出检测到的面部以及图像传感器中的受光区域和遮光区域。
具体实施例方式
下面将参考附图详细说明本发明的各种典型实施例、特征
和方面o
图l是示出作为根据本发明第一典型实施例的图像处理设 备的一个例子的数字照相机的结构的图。
由电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS) 传感器等的光电转换元件构成图像传感器14。图像传感器14将 通过拍摄透镜10发送来的光学图像转换成电信号。模拟到数字 (A/D)转换器16将图像传感器14的模拟信号的输出转换成数字 信号。
时序发生单元18向图像传感器14、 A/D转换器16和数字到 模拟(D/A)转换器26提供时钟信号和控制信号。
图像处理单元20对来自A/D转换器16的数据或来自存储器 控制单元2 2的数据执行预定的像素插值处理和颜色转换处理。
图像处理单元20使用所拍摄到的图像数据执行预定的计 算处理。下面将说明该预定的计算处理。
存储器控制单元22控制A/D转换器16、时序发生单元18、 图像处理单元20、图像显示存储器24、 D/A转换器26、存储器 30和压缩/解压缩单元32。
通过存储器控制单元2 2将A / D转换器16的输出数据写入图 像显示存储器24或存储器30。
通过D/A转换器26，利用包括液晶显示器(LCD)或有机电激 发光(Organic Electroluminescence, EL)显示器等的图像显示单 元28显示被写入图像显示存储器24中的显示用图像数据。通过 利用图像显示单元28连续显示所拍摄到的图像数据，可以实现实时显示被摄体图像的电子取景器(EVF)功能。
存储器3 0是用于存储拍摄到的静止图像和运动图像的存 储装置。存储器30包括用于存储预定数量的静止图像和预定时 间段的运动图像的充足的存储容量。因此，在连续拍摄多个静 止图像时，可以将大量图像高速写入存储器30。此外，可以使 用存储器30作为系统控制单元50的工作区。
压缩/解压缩单元32读取存储在存储器30中的图像，使用自 适应离散余弦变换(ADCT)或小波变换等执行已知的数据压缩 处理或数据解压缩处理，并且将处理后的数据写入存储器30。
系统控制单元50例如是中央处理单元(CPU)，并且通过执 行存储在存储器52中的程序控制整个数字照相机100。存储器52 存储系统控制单元50中的操作所使用的常量、变量或程序等。
非易失性存储器56是电可擦写可记录存储器，例如，电可 擦写可编程只读存储器(EEPROM)。
操作单元70是被配置成向系统控制单元50输入各种操作 命令的操作部件。
通过设置在数字照相机IOO上的快门按钮(未示出)的第一 行程(例如，半按下)接通第一快门开关(SW1)62。当接通第一快 门开关(SWl)62时，系统控制单元50指示电路(未示出)开始调焦 控制、曝光控制和光量控制等的操作。
通过设置在数字照相机10 0上的快门按钮的第二行程(例 如，全按下)接通第二快门开关(SW2)64。当接通第二快门开关 (SW2)64时，指示开始包括曝光处理、显影处理和记录处理的 一系列处理。首先，在曝光处理中，通过A/D转换器16转换从 图像传感器14读取的信号，并且通过存储器控制单元2 2将图像 数据写入存储器30。此外，在图像处理单元20和存储器控制单 元22中，使用计算来执行显影处理。然后，执行记录处理，在
10该记录处理中，从存储器30读取图像数据，通过压缩/解压缩单 元3 2对图像数据进行压缩，并且将该图像数据写入外部记录介 质120。
在本典型实施例中，在联合图形专家组(JPEG)压缩模式下， 压缩/解压缩单元32读取被写入存储器30中的图像数据，以所设 置的压缩率对所读取的图像数据进行压缩，然后将压缩后的图 像数据记录在外部记录介质120中。
在原始模式下，对于与图像传感器14的颜色滤波器的像素 排列相对应的各行，通过A/D转换器16和存储器控制单元22, 压缩/解压缩单元32原样读取被写入存储器30中的图像数据，并 且将所读耳又的数据记录在外部记录介质120中。
接口 (1/F)91是图像处理单元20、存储器控制单元22与外部 记录介质120之间的接口 。
面部认证单元101分析在图像处理单元20中处理后的图像 数据和存储在图像显示存储器2 4中的拍摄到的图像数据，并且 检测拍摄到的图像中所包含的人面部。更具体地，面部认证单 元101检测预期作为人面部的区域(面部区域)。当^r测到面部区 域时，面部认证单元101输出人面部的可能性(可靠性)、人面部 在图像中的位置、大小和其它信息，作为与面部区域有关的信 息。此外，面部认证单元101计算并输出登记者的特征量数据(字 典数据(dictionary data))，该特征量数据表示所才全测到的面部区 域的眼睛、鼻子、口和面部轮廓等面部组成部分(特征点)的特 征量。
外部记录介质120可以是非易失性半导体存储卡或卡式硬 盘等，并且被可拆卸地安装到数字照相机IOO。
本典型实施例中的数字照相机100从拍摄到的图像检测人 面部的区域，并且生成表示眼睛、鼻子、口和面部轮廓等面部组成部分的特征量的特征量数据(要在面部认证中使用的字典 数据)。如上所述，在面部认证单元101中批^亍面部区域的4全测 和特征量数据的生成。
本典型实施例的特征在于当在斜射光或逆光中拍摄到的 图像等由于光源和面部之间的位置关系而导致在面部存在阴影 时，在对阴影区域进行部分灰度校正之后，生成特征量数据。
此外，利用具有8比特或更大灰度的伽玛校正前的信号， 更具体地，利用原始信号执行部分灰度校正，从而可以防止色 调跳跃，并且可以获取更精确的字典数据。在本典型实施例中， 面部认证单元101从显示用图像获取字典数据，其中，为了使得 图像显示单元28用作实时观察被摄体所使用的电子取景器 (EVF)而生成该显示用图像。
图2是详细示出本典型实施例的数字照相机100中与特征 量数据的获取有关的结构的框图。图3是示出图2中的操作的流 程图。将参考图2和图3说明本典型实施例的数字照相机100中的 特征量数据的获取操作。
在图3的步骤S101 ，图像传感器14以预先设置的周期(每 1 / 3 0秒 一 次)对被摄体(未示出)执行拍摄，并且输出与拍摄到的 图像相对应的图像信号。
在步骤S102， A/D转换器16将来自图像传感器14的模拟图 像信号转换成数字图像信号，并且存储器30临时记录该数字图 像信号。将此时的图像信号称为原始信号或原始数据。
在步骤S103，光学黑(OB)处理单元204使用图像传感器14 的光学黑区域上的数据，执行将原始信号的黑色电平设置为0 的黑色电平校正处理。此外，白平衡(WB)处理单元205通过已 知的自动白平衡校正处理估计光源，并且确定与各颜色信号相 乘以调节白色电平的增益(WB增益)。然后，WB处理单元205将WB增益应用于原始信号。
在步骤S104,通过YUV转换处理单元206，将应用WB增益 后的信号从红、绿和蓝(RGB)信号转换成YUV信号。RGB信号 是由与红(R)、绿(G)和蓝(B)各自的颜色滤波器相对应的像素的 输出值所表示的信号。Y U V信号是由亮度信号(Y)和色差信号 (U和V)所表示的信号。调整大小处理单元207将YUV信号的高 宽比调整成l: 1,并且将调整后的信号写入图像显示存储器24。 以1/30秒的周期重复步骤S101 ~ S104中的处理。因此，图像显 示单元28可以使用YUV信号和EVF的功能以每秒30帧显示拍摄 到的图像。
在步骤S105,还将来自调整大小处理单元207的YUV信号， 即表示显示用图^f象的信号提供至面部检测处理单元209。面部枱r 测处理单元209从显示用图像检测看起来像是人面部的图像区 域(面部区域)，并且作为面部4全测结果，向块积分处理单元210 输出大小、图像中的位置和可靠性等的信息。
在本典型实施例的面部4全测中，可以利用已知的面部纟全测 技术。作为已知的面部检测技术，存在如下的方法基于利用 神经网络等的学习的方法；以及使用模板匹配从图像搜索眼睛、 鼻子和口等具有特征形状的部分、并在相似度高时认为该图像
为面部的方法。此外，还存在许多其它方法，例如，；险测肤色 或眼睛形状等图像特征量、并使用统计分析的方法。通常，组 合地使用多个这些方法，以提高面部检测精度。具体例子包括 日本特开2002-251380号公报中所述的用于通过利用小波变换 和图像特4正量4全测面部的方法。
在步骤S106之后的处理中，执行用于降低所检测到的面部 区域中的亮度变化的校正，以降低面部区域中阴影的影响。在 步骤S106,块积分处理单元210根据来自面部4企测处理单元209的面部检测结果，将面部区域当作矩形，并且如图4所示将面部 区域分割成块。例如，可以预先确定块的大小，从而将具有平 均大小的面部区域分割成预定数量。
在本典型实施例中，通过二维坐标表示分割块的位置，在
该二维坐标中，由(O， O)指定右上角的块。在图4所示的例子中， 将面部区域在水平方向上分割成7块，在垂直方向上分割成8块。 块坐标从(O, 0)~(6， 7)。
在步骤S107,块积分处理单元210设置每一块的权重。在 本典型实施例中，将眼睛附近以上的块的4又重i殳置为0。此外， 将包括背景的块的权重设置为O。将其余块的权重设置为l。在 下面的说明中，将块(x, y)的权重表示为BLW[x][y]。
图5示出要在图4的块(0， 4)~(6, 7)处设置的权重的例子。 由于在计算中不使用眼睛以上的块(O, 0)~(6, 3)，因而图5省 略对这些块的说明。此外，在下面的说明中，"所有块"表示计 算中要使用的全部块，即块(O, 4)~(6， 7)，并且不包括块(O, 0)~(6, 3)。
在步骤S108,块积分处理单元210计算各沐的亮度平均值。 在下面的说明中，以YAV[x][y]表示块(x， y)的亮度平均值。图6 示出针对块(O, 4)~(6, 7)计算出的亮度平均值的例子。
在步骤S109,块积分处理单元210使用在步骤S107和S108 计算出的各块的块权重BLW[x][y]和亮度平均值YAV[x][y]，计 算面部区域中的亮度平均值A Y AV 。
AYAV = (YAV
[4]* BLW
[4] + YAV
[5]* BLW
[5〗+ ...YAV[6][3]* BLW[6][3〗)/(BLW
[4〗+ ... BLW[6〗[3])
图7示出通过将各块的块权重BLW[x][y]乘以亮度平均值 YAV[x][y]所获得的值。因此，通过将图7中各块的值的总和 (1510)除以权重的总值(22)获得亮度平均值AYAV(68.6)。在步骤S110，校正增益计算处理单元211计算用于将各块 的亮度平均值校正成一个预定亮度值的校正增益。在本典型实 施例中，确定用于将各块的亮度平均值校正成所有块的亮度平 均值的校正增益(块校正增益)。使用下面的表达式计算块(x, y)的校正增益CGA[x][y]。不对权重为0的块进行校正(也就是 说，校正增益=1)。
CGA[x〗[y〗=AYAV / YAV[x][y] (BLW[x][y]〉0)
CGA[x][y] = 1(BLW[x][y] = 0)
图8A示出当平均亮度值AYAV为68.6时计算出的块校正增 益的例子。不是必需使用平均亮度值确定块校正增益。例如， 预先设置面部区域的适当的亮度值。然后，可以确定用于将各 块的亮度平均值校正成适当的亮度值的块校正增益。图8 B示出 当适当的亮度值为120时计算出的块校正增益的例子。
在步骤S111,校正增益计算处理单元211计算块校正增益的 平均值。
CGAAverage = (CGA
[4] + CGA
[5〗+ ... CGA[6][3])/28 在步骤S112，校正增益计算处理单元211将如图9所示的预 先设置的拍摄时的各灵敏度的校正增益上限值和校正增益平均 值进行比较。当校正增益平均值超过上限值时(步骤Sl 12为 "否")，校正增益计算处理单元211判断为不从当前图像获取特 征量数据，并且处理返回至下一拍摄操作的步骤SIOI。这是因 为，随着增益的值增大，校正后的图像的噪声增大。因此，特 征量数据的可靠性降低。拍摄时的灵敏度越高，则原始增益越 高。因而，期望校正增益小。因此，拍摄时的灵敏度变得越高， 则设置的上限值越小。
另 一方面，如果校正增益平均值等于或小于上限值(步骤 S112为"是")，则在步骤S113,校正增益计算处理单元211通过线'性插值等插值处理，根据作为块单位的增益的块校正增益来 计算块中各像素的校正增益(像素校正增益)。
在步骤S114,亮度校正处理单元212通过将块中的像素乘 以像素校正增益，执行亮度校正。
在步骤S115, YUV转换处理单元213将亮度校正之后的图 像信号转换成YUV信号。
在步骤S116,调整大小处理单元214将YUV信号的高宽比 调整成l: 1。
在步骤S117，特征点提取处理单元215基于调整大小后的 YUV信号和面部检测结果，利用已知方法提取眼睛、鼻子、口 和面部轮廓等要认证的人的面部组成部分和这些面部组成部分 的特征量数据。
在步骤S118，当将数字照相机100设置成将所提取的特征 量数据登记为字典数据的字典登记模式时(步骤S118为"是")， 处理进入步骤S119。当将数字照相机100设置成认证模式时(步 骤S118为"否")，处理进入步骤S120,其中，认证模式将从图像 所提取的特征量数据与作为字典数据已记录在非易失性存储器 56中的特征量数据进行验证。
在步骤S119,特征点提取处理单元215将所提取的特征量 数据记录在例如非易失性存储器5 6中作为字典数据。
在步骤S120,特征点提取处理单元215将所提取的特征量 数据输出至特征量数据比较单元216。特征量数据比较单元216 从非易失性存储器56读取所有字典数据，并且计算与从特征点 提取处理单元215所输出的特征量数据的相似度。然后，通过判 断为所读取的字典数据中示出最高相似度的字典数据和从特征 点提取处理单元215输出的特征量数据属于同 一人，来执行认 证。因此，根据本典型实施例，在对图像执行面部区域的亮度 校正之后提取特征量数据，以提取面部认证所需的特征量数据。 因此，即使当在逆光或斜射光的环境下拍摄到的图像等由于照 明条件而导致在面部上投下阴影时，也可以降低阴影的影响， 并且可以登记良好精度的字典数据。
此外，在伽玛校正之前，在原始信号的状态下执行亮度校 正处理。因此，可以抑制发生由于亮度校正而引起的色调跳跃， 并且对于眼睛、鼻子、口和面部轮廓等面部组成部分，可以获 取良好精度的特征量数据。
此外，不仅在进行用于提取要作为字典数据登记的特征量 数据的操作中，而且在使用登记的字典数据执行面部认证中， 可以通过从应用了亮度校正处理的图像提取特征量数据来提高 认证精度。
接着，将说明本发明的第二典型实施例。根据本典型实施
例的图像处理设备的特征在于在面部区域中检测拖尾(smear) 的生成，并且当提取登记者的特征量数据(字典数据)时，计算 未受拖尾影响的面部组成部分的特征量，其中，特征量数据表 示眼睛、鼻子、口和面部轮廓等要认证的人的面部组成部分的 特征量。
在本典型实施例中，可以使用具有类似于第一典型实施例 的结构的数字照相机100。因此，省略对结构的重复说明。在本 典型实施例中，将说明要作为字典数据登记的特征量数据的提 取操作。
图IO是示出由作为本典型实施例中的图像处理设备的数 字照相机10 0所进行的特征量数据的提取处理的流程图。在本典 型实施例中，也使用显示用图像提取面部认证所使用的面部组 成部分的特征量数据(字典数据)。首先，类似于第一典型实施例中的步骤S101 ~ S104,执行 EVF显示用图像的拍摄、YUV信号的生成和调整大小处理。
在步骤S105,将YUV信号提供至面部检测处理单元209(图 2),并且检测人的面部区域。在步骤S904，图像处理单元20计 算拖尾生成量。
图ll示出图像传感器14，为了便于说明，图像传感器14具 有包括以下的结构水平方向上为26个^f象素且垂直方向上为30 个像素的受光像素110;以及水平方向上为26个像素且垂直方向 上为3个像素的拖尾4全测用遮光像素112。在下面的说明中，以 PIX(m， n)表示水平方向上第m个且垂直方向上第n个像素的输 出值。
当图像传感器14为CCD时，由电荷从饱和像素向垂直传输 通路的泄露而发生拖尾。因此，拖尾沿着垂直传输通路传播， 例如，图11中X坐标为7 9的列方向上的所有像素受到拖尾影 响。此外，由于挡住了遮光像素112的光，因而遮光像素112的 输出通常为O。然而，当发生拖尾时，通过CCD的垂直传输操作 传播拖尾，并且输出大于O的值。因此，拖尾检测区域中的输出 像素值在垂直方向上相加并进行平均，并且可以计算出各列中 的拖尾生成量SME[m]。
例如，通过下面的表达式可以计算第O列的拖尾生成量 SME[O]。
SME[O] = (PIX(O， 30) + PIX(0, 31) + PIX(0, 32))/3 在图ll的例子中，在第七列~第九列发生拖尾。它们的典 型值为
SME[7] = 700, SME[8] = 400,并且
SME[9] = 200 (当在任何情况下都使用10比特的A/D转换
18器时)。
在本典型实施例中，图像处理单元20执行拖尾生成量的计
算。此外，图^象处理单元20不仅检测拖尾生成量，而且还检测 拖尾生成区域和饱和像素区域。可以基于已检测到发生拖尾的 列中的像素值，检测拖尾生成区域和饱和像素区域。
接着，在步骤S905,图像处理单元20从相应列中所包含的 所有像素的值减去针对各列计算出的拖尾值，以对由于拖尾而 增大的像素值进行校正。也就是说，执行下面的计算。
PIX(m， n) 二 PIX(m, n) - SME[m]
在步骤S906，如第一典型实施例中所述，使用已知的方法 提取面部认证所需的面部组成部分和面部组成部分的特征量数 据。
在步骤S907,将与面部4全测处理单元209作为面部检测结 果输出的面部区域的位置有关的信息(面部坐标)设置为包含面 部区域的矩形区域的对角点坐标。然后，在图ll所示的例子中， 面部4全测处理单元209输出坐标(5, 2)和坐标(18, 27)作为面部 坐标。
在图ll所示的例子中，在以坐标(7, 1)和坐标(9, 29)作为 对角顶点的矩形区域中发生拖尾。说明这样一种情况由于发 生拖尾使得第七列和第八列中的所有受光像素饱和，像素值为 1023(当使用10比特的A/D转换器16时)，并且第九列的受光像素 具有相对小的拖尾值，并且像素值为1023或更小(即，800)。
在本典型实施例中，特征点提取处理单元215的特征在于 从拖尾校正之后的面部图 <象中提取面部组成部分，并且从特征 量数据的提取对象中排除包含在拖尾校正之前像素值饱和的区 域的面部组成部分。
在图ll所示的例子中，由于面部组成部分中右眼和右脸颊轮廓信号包含由于拖尾而饱和的图像，因而可以提取作为面部 组成部分，但是不将其特征量数据登记为字典数据。在这种情 况下，可以使用提取该特征量数据但不进行登记的方法或不提 取该特征量数据的方法。另一方面，对于口，由于口的右端在 第九列的拖尾生成区域中，而第九列的像素不饱和，因而从拖 尾校正之后的图像提取口作为面部组成部分，并且提取特征量 数据。因此，在图ll所示的例子中，提取口、左眼、鼻子、左 脸颊轮廓信号的特征量数据，并且登记为字典数据。面部组成 部分的类型与本发明没有直接关系。因此，这些面部组成部分 仅是例子，并且不是想要表示排除了其它面部组成部分的提取。 不是必需提取所有示出的面部组成部分。
根据本典型实施例，当根据拍摄到的图像登记面部认证所 需的字典数据时，检测拍摄到的图像中的拖尾生成区域，并且 从拖尾校正之后的图像提取面部组成部分和特征量数据。因此， 即使在户外光等强光源下，也可以登记具有小的拖尾影响和高 精度的字典数据。
此外，从要作为特征量数据登记的对象中排除包含拖尾校 正之前的々包和1象素区域的面部组成部分。因此，可以减少认证 所使用的特征量数据的登记量，可以提高特征量数据的精度， 并且可以实现认证精度的提高。
此外，不仅当登记字典数据时，而且当使用登记的字典数 据执行面部认证时，可以从应用了类似处理的图像提取特征量 数据，并且可以实现认证精度的提高。
在以上说明中，使用数字照相机作为本发明的典型实施 例，但是本发明不局限于数字照相机。还可以利用数字摄像机 实现本发明。此外，如果自从安装的记录介质或通过网络接收 的图像数据检测面部的特征量数据，则也可以通过在个人计算机上的应用程序来实现本发明。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明并不局限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.一种图像处理设备，包括检测电路，用于检测图像；亮度校正电路，用于确定检测到的所述图像的亮度，并执行用于降低检测到的所述图像中的亮度变化的校正；以及提取电路，用于从由所述亮度校正电路校正后的检测到的所述图像中提取要在认证处理中使用的特征量数据。
2. 根据权利要求l所述的图像处理设备，其特征在于，所 述图像是人的面部图像，以及其中，所述亮度校正电路通过如下操作执行所述校正将 所述面部图像的区域分割成多个块，确定用于将各块的亮度平 均值校正成预定亮度值的块校正增益，根据各块的所述块校正 增益生成各像素的像素校正增益，并将所述像素校正增益应用 于面部区域中的像素。
3. 根据权利要求2所述的图像处理设备，其特征在于，所述亮度校正电路确定所述块校正增益的平均值，以及其中，当所述平均值超过预定值时，所述提取电路不提取 所述特征量数据。
4. 根据权利要求3所述的图像处理设备，其特征在于，随 着为拍摄所述图像而设置的灵敏度变得越低，将所述预定值设 置成越高的值。
5. 根据权利要求l所述的图像处理设备，其特征在于，还 包括存储器，用于将由所述提取电路提取的所述特征量数据登 记为要在所述认证处理中使用的字典数据。
6. 根据权利要求l所述的图像处理设备，其特征在于，还 包括比较电路，用于通过计算由所述提取电路提取的所述特征量数据和预先存储在存储器中的字典数据之间的相似度，来执 行所述认证处理。
7. 根据权利要求l所述的图像处理设备，其特征在于，所 述亮度校正电路对所述图像的原始信号执行所述校正。
8. —种图像处理设备，包括 检测电路，用于检测图像；拖尾校正电路，用于确定检测到的所述图像中的拖尾生成 区域和拖尾生成量，并基于所述拖尾生成量对包含在所述拖尾 生成区域中的像素值进行校正；以及提取电路，用于/人由所述拖尾4交正电^各才交正后的一全测到的 所述图像中提取要在认证处理中使用的特征量数据。
9. 根据权利要求8所述的图像处理设备，其特征在于，还征量数据登记为要在所述认证处理中使用的字典数据，其中，所述拖尾校正电路检测所述拖尾生成区域中的饱和像素区 域，以及所述存储器不将所述饱和像素区域中的所述特征量数据登 记为所述字典数据。
10. 根据权利要求9所述的图像处理设备，其特征在于，所 述拖尾校正电路对所述图像的原始信号执行所述校正。
11. 一种图像处理方法，包括 检测图像；确定检测到的所述图像中的亮度，并执行用于降低所述图 像中的亮度变化的校正；以及从执行了用于降低所述亮度变化的所述校正的检测到的所 述图像中提取要在认证处理中使用的特征量数据。
12. 根据权利要求ll所述的图像处理方法，其特征在于，还包括将所提取的所述特征量数据作为要在所述认证处理中使用 的字典数据而登记在存储器中。
13. 根据权利要求ll所述的图像处理方法，其特征在于， 还包括通过计算所提取的所述特征量数据和预先存储在存储器中的字典数据之间的相似度，来执行所述认证处理。
14. 一种图像处理方法，包括 检测图像；确定检测到的所述图像中的拖尾生成区域和拖尾生成量， 并基于所述拖尾生成量对包含在所述拖尾生成区域中的像素值 进行校正；以及从基于所述拖尾生成量对包含在所述拖尾生成区域中的像 素值进行了校正的才企测到的所述图像中提取要在认证处理中使 用的特征量数据。
15. 根据权利要求14所述的图像处理方法，其特征在于， 还包括检测所述拖尾生成区域中的饱和像素区域，其中，将所述特征量数据中不位于所述饱和像素区域中的特征量数据作为要在所述认证处理中使用的字典数据而登记在存储器中，以及不将所述饱和像素区域中的特征量数据作为要在所述认证 处理中使用的所述字典数据而登记在所述存储器中。
全文摘要
本发明涉及一种图像处理设备和图像处理方法。该图像处理设备包括检测电路，用于检测图像；亮度校正电路，用于确定检测到的图像的亮度，并执行用于降低检测到的图像中的亮度变化的校正；以及提取电路，用于从由该亮度校正电路校正后的检测到的图像中提取要在认证处理中使用的特征量数据。
文档编号H04N5/232GK101631200SQ200910158570
公开日2010年1月20日 申请日期2009年7月16日 优先权日2008年7月16日
发明者池田荣一郎 申请人:佳能株式会社