模式匹配方法、模式匹配系统和模式匹配程序的制作方法

专利名称：模式匹配方法、模式匹配系统和模式匹配程序的制作方法
技术领域：
本发明涉及用于基于面部图像(facial image)的特征(characteristic) 匹配面部图像的模式(pattern)的模式匹配方法、模式匹配系统和模式匹 配程序。本发明还涉及用于提取出面部图像的特征的图像特征提取方法、 图像特征提取系统、图像特征提取设备和图像特征提取程序。
背景技术：
在入口/出口管理系统、使用访问控制的系统和其他安全系统中，使用 个体的物理特征来区分对象和另一人的传统方法是已知的。 一种使用面部 图像的认证方法是采用物理特征的个人识别方法的示例。在通过面部图像 进行的认证方法中，由照相机等捕获的面部图像被与预先注册在数据库等 中的面部图像相比较以验证对象的身份。然而，在通过面部图像进行的认 证方法中，面部方向或光照条件、图像被捕获时的日期和时间以及其他效 应一般使得仅仅通过将输入的图像叠加在注册图像上以比较匹配分数，无 法获得很高程度的识别性能。
一种被称为Eigenface方法(见非专利文献1)的方法是一种公知的使 用面部图像的匹配方法。在非专利文献1所描述的Eigenface方法中，图 像集合中图像的尺寸被归一化，并且通过主向量分析生成由图像的像素的 灰度值组成的特征向量的子空间。输入图像和注册图像的特征向量被投影 到子空间上以计算匹配分数。基于计算出的匹配分数确定受到认证的对象 的身份。然而，在非专利文献1所描述的Eigenface方法中，当特征向量 被投影到子空间上时，不仅相同个人内的图像变异受到抑制，而且不同人 之间的图像变异也受到抑制。因此，当利用面部图像执行验证时，不一定 能获得很高程度的识别性能。
提出了被称为Fisherface方法的方法(见非专利文献2)，以克服
Eigenface方法的问题。在非专利文献2所描述的Fisherface方法中，当有 多个个体时，每个个体被指派给单个类别。利用这样的方法(线性鉴别分 析)来构建子空间，在该方法中，大量人之间的类别内分散被减小，而类 别之间的分散被增大。输入图像和注册图像的特征向量被投影到子空间上 以计算匹配分数。基于计算出的匹配分数确定受到认证的对象的身份。在 非专利文献2所描述的Fisherface方法中，当有足够数目的用于获得类别 内(intra-class)协方差矩阵和类别间(inter-class)协方差矩阵的学习样本 图像时，通过利用面部图像的匹配试验已证实获得了比Eigenface方法更 高的精度。
非专禾U文献 1 : M. Turk, A. Pentland, "Eigenfaces for recognition," J(9M/- a/ o/Cog"z力've 7Vewms"'ewce, Vol. 3， No. 1， pp. 71-86, 1991 。
非专禾U文献2: W. Zhao, R. Chellappa, P. J. Philips, "Subspace linear discriminant analysis for face recognition," Tech. Rep. CAR-TR-914, Centre for Automation Research, University of Maryland, College Park, 1999。

发明内容
本发明要解决的问题
非专利文献2中所描述的Fisherface方法已知当用于学习的面部图像 (这种面部图像被用在计算类别内协方差矩阵和类别间协方差矩阵时)被 用作用于注册/匹配的面部图像(用于匹配的注册图像)时能够高精度地区 分一个人与另一人的面部。然而， 一般而言，即使当利用学习面部图像执 行匹配时识别能力很高，当利用除了学习面部图像以外的其他注册/匹配面 部图像执行匹配时识别能力也不一定很高。因此，当除了学习面部图像以 外的其他面部图像被注册作为注册/匹配面部图像时，存在在面部图像匹配 期间无法获得高识别能力的可能性。注册/匹配图像中的人之间的由于个体 姿态、照明等的变化分量也必须被考虑在内以高精度地匹配对象的身份。
因此，本发明的目的是提供一种能够通过考虑到每个注册个人的姿 态、照明或其他变化分量而利用面部图像执行高精度的身份匹配的图像特 征提取方法，并且提供一种模式匹配方法、图像特征提取系统、模式匹配
系统、图像特征提取设备、图像特征提取程序和模式匹配程序。 用于解决问题的手段
本发明的图像特征提取方法是一种用于提取出用于匹配面部图像模式 的面部图像的特征的图像特征提取方法，其中该图像特征提取方法的特征 在于包括变异图像生成步骤和图像特征量提取步骤，变异图像生成步骤用 于生成其中规定变异被添加到面部图像的多幅变异图像，图像特征量提取 步骤用于通过基于所生成的变异图像计算用于区分被处理的面部图像中的 个人和规定参照个人的规定特征量(例如，鉴别向量U或参数a和b)来 提取出被处理的面部图像的特征。本发明的目的可以通过采用如上所述的 配置确定前述人是否匹配来实现。
本发明的模式匹配方法是一种用于基于面部图像特征匹配面部图像模 式的模式匹配方法，其中该模式匹配方法的特征在于包括变异图像生成步 骤和图像特征量提取步骤，变异图像生成步骤用于生成其中规定变异被添 加到面部图像的多幅变异图像，图像特征量提取步骤用于通过基于所生成 的变异图像计算用于区分被处理的面部图像中的个人和规定参照个人的规 定特征量来提取出被处理的面部图像的特征。本发明的目的可以通过采用 如上所述的配置确定前述人是否匹配来实现。
该模式匹配方法还可包括分数计算步骤和匹配判决步骤，分数计算步 骤用于将作为事先注册的面部图像的注册图像的特征与作为被处理的面部 图像的匹配图像的特征相比较，并基于所提取的面部图像特征计算指示注 册图像和匹配图像之间的特征的一致程度的分数(例如，匹配分数S。， 匹配判决步骤用于通过将计算出的分数与规定阈值相比较来确定注册图像 中的个人和匹配图像中的个人是否是相同个人。
该模式匹配方法还可以是一种用于基于面部图像特征来匹配面部图像 的模式的模式匹配方法，其中该模式匹配方法的特征在于包括以下步骤 第一变异图像生成步骤，该步骤用于生成其中规定变异被添加到作为事先 注册的面部图像的注册图像的多幅变异图像；第一 图像特征量提取步骤， 该步骤用于通过基于由注册图像生成的变异图像计算用于区分规定参照个 人和注册图像中的个人的规定特征量来提取出注册图像的特征；第二变异
图像生成步骤，该步骤用于生成其中规定变异被添加到作为被匹配的面部 图像的匹配图像的多幅变异图像；第二图像特征量提取步骤，该步骤用于 通过基于由匹配图像生成的变异图像计算用于区分规定参照个人和匹配图 像中的个人的规定特征量来提取出匹配图像的特征；第一分数计算步骤， 该步骤用于基于所提取的注册图像的特征来计算指示注册图像和匹配图像 之间的特征的一致程度的第一分数(例如，匹配分数S。；第二分数计算 步骤，该步骤用于基于所提取的匹配图像特征来计算指示注册图像和匹配 图像之间的特征的一致程度的第二分数(例如，匹配分数S2);以及匹配 判决步骤，该步骤用于通过利用计算出的第一分数和计算出的第二分数的 阈值判决来确定注册图像中的个人和匹配图像中的个人是否是相同个人。
本发明的图像特征提取系统是一种用于提取出用于匹配面部图像模式 的面部图像的特征的图像特征提取系统，其中该图像特征提取系统的特征 在于包括变异图像生成装置(例如，由变异图像生成装置102实现)和图 像特征量提取装置(例如，由参照个人比较装置105实现)，变异图像生 成装置用于生成其中规定变异被添加到面部图像的多幅变异图像，图像特 征量提取装置用于通过基于由变异图像生成装置生成的变异图像计算用于 区分被处理的面部图像中的个人和规定参照个人的规定特征量来提取出被 处理的面部图像的特征。本发明的目的可以通过采用如上所述的配置确定 前述人是否匹配来实现。
本发明的模式匹配系统是一种用于基于面部图像特征匹配面部图像模 式的模式匹配系统，其中该模式匹配系统的特征在于包括变异图像生成装 置和图像特征量提取装置，变异图像生成装置用于生成其中规定变异被添 加到面部图像的多幅变异图像，图像特征量提取装置用于通过基于由变异 图像生成装置生成的变异图像计算用于区分被处理的面部图像中的个人和 规定参照个人的规定特征量来提取出被处理的面部图像的特征。本发明的 目的可以通过采用如上所述的配置确定前述人是否匹配来实现。
该模式匹配系统还可包括分数计算装置(例如，由分数计算装置301 实现)和匹配判决装置(例如，由匹配判决装置302实现)，分数计算装 置用于将作为事先注册的面部图像的注册图像的特征与作为被处理的面部
图像的匹配图像的特征相比较，并基于由图像特征量提取装置提取的面部 图像特征计算指示注册图像和匹配图像之间的特征的一致程度的分数，匹 配判决装置用于通过将规定阈值与由分数计算装置计算得到的分数相比较 来确定注册图像中的个人和匹配图像中的个人是否是相同个人。
在该模式匹配系统中可以采用这样的配置，其中匹配判决装置确定由 分数计算装置计算得到的分数是否大于规定阈值，并且当确定分数大于规 定阈值时确定注册图像中的个人和匹配图像中的个人是相同个人，而当确 定分数不大于规定阈值时确定注册图像中的个人和匹配图像中的个人不是 相同个人。
该模式匹配系统还可包括特征信息提取装置(例如，由特征提取装置 103实现)和鉴别空间投影装置，特征信息提取装置用于提取出指示由变 异图像生成装置生成的变异图像的特征的特征信息(例如，频率特征 f)，鉴别空间投影装置用于将由特征信息提取装置提取出的特征信息投影 在利用规定学习图像(例如，用于学习的图像)通过线性鉴别分析获得的 鉴别空间上；其中图像特征量提取装置基于鉴别空间投影装置将特征信息 投影在鉴别空间上的投影结果，来计算用于区分被处理的面部图像中的个 人和规定参照个人的规定特征量。
在该模式匹配系统中可以采用这样的配置，其中特征信息提取装置从 由变异图像生成装置生成的变异图像中提取出频率特征作为特征信息。
该模式匹配系统还可包括用于预先累积规定学习图像的学习图像累积 装置(例如，由学习图像数据库实现)，其中鉴别空间投影装置包括鉴别
空间计算装置(例如，由鉴别空间投影装置104实现)和投影装置(例 如，由鉴别空间投影装置104实现)，鉴别空间计算装置用于利用由学习 图像累积装置累积的学习图像通过线性鉴别分析来计算鉴别空间，投影装 置用于将由特征信息提取装置提取出的特征信息投影在由鉴别空间计算装 置计算得到的鉴别空间上。
在该模式匹配系统中可以采用这样的配置，其中变异图像生成装置生 成其中面部图像中所示的个人的面部方向、面部尺寸或面部位置被改变的 图像作为变异图像。
该模式匹配系统还可包括参照图像累积装置(例如，由参照图像数据 库实现)，该装置用于预先累积具有与被处理的面部图像中的个人的面部 相似的分布的人的面部图像的集合作为参照个人面部图像，其中图像特征 量累积装置基于由参照图像累积装置累积的面部图像来计算用于区分被处 理的面部图像中的个人和参照个人的特征量。
在该模式匹配系统中可以采用这样的配置，其中图像特征量提取装置 计算规定鉴别向量和规定参数，作为用于区分被处理的面部图像中的个人 和参照个人的特征量。
该模式匹配系统还可以是一种用于基于面部图像特征来匹配面部图像 的模式的模式匹配系统，其中该模式匹配系统的特征在于包括以下装置 第一变异图像生成装置(例如，由变异图像生成装置102实现)，该装置 用于生成其中规定变异被添加到作为事先注册的面部图像的注册图像的多
幅变异图像；第一图像特征量提取装置(例如，由参照个人比较装置105
实现)，该装置用于通过基于由第一变异图像生成装置生成的变异图像计 算用于区分规定参照个人和注册图像中的个人的规定特征量来提取出注册
图像的特征；第二变异图像生成装置(例如，由变异图像生成装置204实 现)，该装置用于生成其中规定变异被添加到作为被匹配的面部图像的匹 配图像的多幅变异图像；第二图像特征量提取装置(例如，由参照个人比 较装置205实现)，该装置用于通过基于由第二变异图像生成装置生成的 变异图像计算用于区分规定参照个人和匹配图像中的个人的规定特征量来 提取出匹配图像的特征；第一分数计算装置(例如，由分数计算装置 301A实现)，该装置用于基于由第一图像特征量提取装置提取出的注册 图像的特征来计算指示注册图像和匹配图像之间的特征的一致程度的第一 分数；第二分数计算装置(例如，由分数计算装置301A实现)，该装置 用于基于由第二图像特征量提取装置提取出的匹配图像的特征来计算指示 注册图像和匹配图像之间的特征的一致程度的第二分数；以及匹配判决装 置(例如，由匹配判决装置302A实现)，该装置用于通过执行利用由第 一分数计算装置计算得到的第一分数和由第二分数计算装置计算得到的第 二分数的阈值判决来确定注册图像中的个人和匹配图像中的个人是否是相
同个人。
本发明的图像特征提取设备是一种用于提取出用于匹配面部图像模式 的面部图像的特征的图像特征提取设备(例如，由注册图像累积服务器
40、 40A实现)，其中该图像特征提取设备的特征在于包括变异图像生成 装置和图像特征量提取装置，变异图像生成装置用于生成其中规定变异被 添加到面部图像的多幅变异图像，图像特征量提取装置用于通过基于由变 异图像生成装置生成的变异图像计算用于区分被处理的面部图像中的个人 和规定参照个人的规定特征量来提取出被处理的面部图像的特征。本发明 的目的可以通过采用如上所述的配置确定前述人是否匹配来实现。
本发明的图像特征提取程序是一种用于提取出用于匹配面部图像模式 的面部图像的特征的图像特征提取程序，其中该图像特征提取程序的特征 在于使得计算机执行变异图像生成例程和图像特征量提取例程，变异图像 生成例程用于生成其中规定变异被添加到面部图像的多幅变异图像，图像 特征量提取例程用于通过基于所生成的变异图像计算用于区分被处理的面 部图像中的个人和规定参照个人的规定特征量来提取出被处理的面部图像 的特征。本发明的目的可以通过采用如上所述的配置确定前述人是否匹配 来实现。
本发明的模式匹配程序是一种用于基于面部图像特征匹配面部图像模 式的模式匹配程序，其中该模式匹配程序的特征在于使得计算机执行以下
例程变异图像生成例程，该例程用于生成其中规定变异被添加到面部图
像的多幅变异图像；图像特征量提取例程，该例程用于通过基于所生成的
变异图像计算用于区分被处理的面部图像中的个人和规定参照个人的规定
特征量来提取出被处理的面部图像的特征；分数计算例程，该例程用于将 作为事先注册的面部图像的注册图像的特征与作为被处理的面部图像的匹 配图像的特征相比较，并基于所提取的面部图像特征计算指示注册图像和 匹配图像之间的特征的一致程度的分数；以及匹配判决例程，该例程用于 通过将计算出的分数与规定阈值相比较来确定注册图像中的个人和匹配图 像中的个人是否是相同个人。 本发明的效果
根据本发明，不仅利用线性鉴别分析执行注册图像的特征提取，还生 成面部图像的变异图像群组，并且执行特征提取。基于所生成的变异图像 群组来计算用于区分参照个人和面部图像中的个人的规定特征量。本发明 能够在考虑到面部图像的变异分量的情况下进行参照个人和面部图像中的 个人之间的两种类别的区分。即使当存在对于注册个人特定的变异时，也 可以通过执行参照个人和面部图像中的个人的两种类别的鉴别分析确定匹 配图像中的个人是否是注册图像中的个人，来高精度地匹配面部图像。因 此，通过考虑到每个注册个人的姿态、照明和其他变异分量，可以执行利 用面部图像的高度精确的身份匹配。
在本发明中采用了这样的配置，其中当鉴别空间投影装置生成鉴别空 间时，除了学习图像以外，还利用变异图像来鉴别空间，从而相对于使用 传统线性鉴别分析方法的面部匹配算法来说，学习模式的数目可以增大。 因此，可以提高面部图像匹配期间的鉴别能力。
在本发明中采用了这样的配置，其中生成了注册图像的变异图像群组 以及匹配图像的变异图像群组，并且计算用于区分参照个人和注册图像中 的个人的特征量，以及用于区分参照个人和匹配图像中的个人的特征量。 从而，可以计算其中多个匹配分数被取平均的平均匹配分数。因此，由于 可以基于其中多个匹配分数被取平均的平均匹配分数来确定匹配，因此可 以利用面部图像执行高度精确的身份匹配。


图1是示出根据本发明的模式匹配系统的结构示例的框图2是示出注册图像处理的示例的流程图，通过该处理模式匹配系统
计算预先注册的注册图像的特征；
图3是示出匹配图像处理的示例的流程图，通过该处理模式匹配系统 计算匹配图像的特征；
图4是示出身份判决例程的示例的流程图，通过该例程模式匹配系统 确定被认证的个人是否是事先注册的个人；
图5是示出参照面部空间和注册个人面部空间之间的关系的图6是示出模式匹配系统的另一种结构的示例的框图7是示出匹配图像处理的另一种示例的流程图，通过该处理模式匹 配系统计算匹配图像的特征；
图8是示出身份判决例程的另一个示例的流程图，通过该例程模式匹 配系统确定被认证的个人是否是事先注册的个人；
图9是示出模式匹配系统的结构的具体示例的框图；以及
图10是示出模式匹配系统的结构的另 一种具体示例的框图。
附图标记说明
10:模式匹配系统 100:注册图像累积装置 101:图像正规化装置 102:变异图像生成装置 103:特征提取装置 104:鉴别空间投影装置 105:参照个人比较装置 200:匹配图像输入装置 201:图像正规化装置 202:特征提取装置 203:鉴别空间投影装置 301:分数计算装置 302:匹配判决装置
具体实施方式
实施例1
下文中将参照附图描述本发明的实施例1。图1是示出根据本发明的 用于匹配两维面部图像之间的模式的模式匹配系统的结构示例的框图。如
图l所示，模式匹配系统IO包括注册图像累积装置100、匹配图像输入装 置200、图像正规化装置101、 201、变异图像(variation image)生成装置 102、特征提取装置103、 202、鉴别空间投影装置104、 203、参照个人比
较装置105、分数计算装置301和匹配判决装置302。
模式匹配系统10特别地是利用一个或多个工作站、个人计算机或其 他信息处理设备实现的。模式匹配系统10被应用于入口/出口管理系统、 使用访问控制的系统或另一种安全系统。例如，模式匹配系统IO被用在
相同个人判决系统(设备)的应用中，该系统(设备)用于在安全系统中 执行个人认证时确定两幅面部图像中所示的个人是否是相同个人。
注册图像累积装置100特别地由磁盘设备、光盘设备或其他数据库设 备实现。注册图像累积装置100预先累积可能受到认证的个人的面部图像 (注册图像)。在本实施例中，注册图像例如通过由模式匹配系统10的 操作者执行的注册操作预先累积在注册图像累积装置100中。注册图像累 积装置IOO可能预先累积有多幅注册图像。
图像正规化装置101特别地由根据程序进行操作的信息处理设备的 CPU实现。图像正规化装置101具有用于正规化注册图像的功能。在本实 施例中，图像正规化装置101从注册图像累积装置100中提取出注册图 像。图像正规化装置101检测所提取的面部图像(注册图像)的双眼的位 置。图像正规化装置101使用所获取(检测)的眼睛位置信息等来执行对 注册图像的仿射变换以使得眼睛位置与预定位置相一致，并且正规化面部 尺寸和位置。图像正规化装置101具有用于将正规化的面部图像(也称为 正规化图像)输出到变异图像生成装置102的功能。
变异图像生成装置102特别地由根据程序进行操作的信息处理设备的 CPU实现。变异图像生成装置102具有用于生成多幅变异图像的功能，其 中规定变异被添加到注册图像。在本实施例中，来自图像正规化装置101 的正规化的注册图像被输入到变异图像生成装置102。变异图像生成装置 102执行输入的正规化图像的规定转换，并且生成多幅(例如30副)变异 图像，其中注册图像中的个人的面部方向、面部尺寸和面部位置被改变。
例如，模式匹配系统10具有用于预先累积标准面部形状模型(例 如，多个人的面部被取平均的形状模型)的形状模型数据库(未示出)。 在这种情况下，变异图像生成装置102可以生成这样的变异图像，其中通 过将输入的正规化图像拟合到累积的标准面部形状模型、在三维空间中旋
转形状模型、以及将形状模型投影回两维平面上，来改变面部方向。变异 图像生成装置102还可以生成这样的变异图像，其中通过放大、縮小或平 移输入的正规化图像来改变面部尺寸或位置。
变异图像生成装置102具有用于将所生成的变异图像输出到特征提取
装置103的功能。变异图像生成装置102还具有用于将还未被改变的正规 化图像与变异图像一同输出到特征提取装置103的功能。下文中将使用术 语"变异图像群组"来总称由变异图像生成装置102输出的正规化图像和 变异图像。特别地，变异图像生成装置102将包括所生成的变异图象和输 入的正规化图像的变异图像群组输出到特征提取装置103。
特征提取装置103特别地由根据程序进行操作的信息处理设备的CPU 实现。特征提取装置103具有用于基于从变异图像生成装置102输入的变 异图像群组提取出指示变异图像的特征的特征信息的功能。在本实施例 中，从变异图像生成装置102输出的变异图像群组被输入到特征提取装置 103。特征提取装置103基于输入的变异图像群组提取出频率特征作为特 征信息，并且将频率特征输出到鉴别空间投影装置104。术语"频率特 征"指通过从图像中提取出频率分量而获得的图像特征信息。在本实施例 中，特征提取装置103提取出被包括在变异图像群组中的正规化图像和变 异图像中的每一种的频率特征。
在本实施例中，特征提取装置103基于指示变异图像的亮度的变异图 像亮度I (x, y)，通过利用下面的方程2和下面的方程1中所示的Gabor滤 波的计算来提取出频率特征f。
<formula>formula see original document page 18</formula>
在方程1禾卩2中，kx、 ky、 s、 xo和yo是任意参数。特征提取装置103 通过改变参数值，对于包括在变异图像群组中的每幅变异图像(包括正规 化图像)从变异图像中提取出M个特征。当变异图像群组中变异图像的数 目被指定为N时，特征提取装置103向鉴别空间投影装置104输出具有M
行和N列的矩阵T作为特征信息。
鉴别空间投影装置104特别地由根据程序进行操作的信息处理设备的
CPU实现。鉴别空间投影装置104具有用于将从特征提取装置103输入的
特征信息(注册图像的变异图像群组的特征)投影到鉴别空间上的功能， 鉴别空间是利用规定学习图像通过线性鉴别分析而计算得到的。鉴别空间
投影装置104还具有用于将指示将注册图像的变异图像群组的特征投影到 鉴别空间上的结果的信息输出到参照个人比较装置105的功能。"鉴别空 间"是这样一个空间，其中面部图像的特征被映射到该空间上以促进个人 识别。
在本实施例中，从特征提取装置103输出的频率特征被输入到鉴别空 间投影装置104。鉴别空间投影装置104输出将输入的频率特征投影到L 维鉴别空间上的结果。在这种情况下，鉴别空间投影装置104使用线性鉴 别分析来生成鉴别空间。
接下来将描述鉴别空间投影装置104生成鉴别空间的方法。例如，匹 配结果30具有用于预先累积多幅学习面部图像的学习图像数据库(未示 出)，学习面部图像是用于学习鉴别空间的面部图像。鉴别空间投影装置 104从学习图像数据库中输入(提取出)用于学习的面部图像(学习面部 图像)。鉴别空间投影装置104使用图像正规化装置101、变异图像生成 装置102和特征提取装置103来针对每幅学习面部图像计算指示学习面部 图像的特征的特征矩阵T,。下标i指示学习面部图像的号(例如，事先指 派给每幅学习面部图像的号)。
当计算出所有的学习面部图像的特征矩阵Ti时，鉴别空间投影装置 104基于计算出的特征矩阵Ti，来计算类别内协方差矩阵Sw和类别间协方 差矩阵Sb。在这种情况下，鉴别空间投影装置104使用下面的方程3来计 算类别内协方差矩阵Sw。鉴别空间投影装置104使用下面的方程4来计算 类别间协方差矩阵Sb。<formula>formula see original document page 19</formula>
<formula>formula see original document page 20</formula>
在方程3和4中，、指示特征矩阵T,的第j列向量，Rk指示第k个类 别。Zk指示第k个类别中特征向量Tu的平均值，z指示所有类别中特征向 量的平均值。nk指示属于第k个类别的特征向量的数目，n是特征向量的 总数。在方程3和4中，t指示向量转置。在下面的方程中，t指示向量或 矩阵的转置。
在本实施例中，对于每个人分配单个类别。例如，对于预先注册在注 册图像累积装置100中的注册图像内的每个人分配单个类别。在这种情况 下，由鉴别空间投影装置104计算得到的类别内协方差矩阵Sw指示对于相 同个人的面部方向或光照条件中的变异的大小。类别间协方差矩阵Sb指示 不同人之间面部方向或光照条件的变异的大小。
鉴别空间投影装置104计算矩阵(&)-'&，其中类别间协方差矩阵Sb被 乘以类别内协方差矩阵Sw的逆。鉴别空间投影装置104计算计算出的矩阵 (&广&的特征值和特征向量。这里，鉴别空间投影装置104计算矩阵 (&广&的L个特征值和特征向量。
鉴别空间投影装置104计算矩阵V，其中L个特征向量按矩阵(^)-A 的最大特征值的顺序排列。矩阵V是M行L列矩阵。由鉴别空间投影装 置104计算得到的矩阵V在下文中将被称为鉴别矩阵。参照个人比较装置 105利用下面的方程5，通过将从特征提取装置103输入的矩阵T乘以鉴 别矩阵V (计算矩阵T和鉴别矩阵V的乘积)来计算矩阵T'。
在本实施例中，鉴别空间投影装置104计算得到方程5中所示的矩阵 T，，作为指示将注册图像的特征投影到L维鉴别空间上的结果的信息。由 鉴别空间投影装置104计算得到的作为结果信息的矩阵T'在下文中也被称 为鉴别特征矩阵。鉴别空间投影装置104将计算出的鉴别特征矩阵T'的值 输出到参照个人比较装置105。
上述用于生成鉴别空间的方法在R. 0. Duda、 P. E. Hart和D. G. Stork (作者)以及M. Onoe (主译者)的"Pattern Recognition" , New TechnologyCommunications, pp. 114-121 (参照文件A)中有所描述。
参照个人比较装置105特别地由根据程序进行操作的信息处理设备的 CPU实现。参照个人比较装置105具有用于基于鉴别空间投影装置104的 将特征信息投影到鉴别空间上的结果来计算规定特征量的功能，规定特征 量用于高精度地区分规定参照个人和注册图像中的个人(也称为注册个 人)。术语"参照个人"指具有与被保留用于注册的面部(注册个人的面 部)相似的分布(distribution)的人的集合。
在本实施例中，参照个人比较装置105将由参照个人计算得到的鉴别 特征与从注册图像计算得到的鉴别特征(鉴别特征矩阵T')相比较，并且 计算在鉴别空间上具有注册个人和参照个人之间的最高鉴别度的轴。首 先，参照个人比较装置105利用下面的方程6对于注册个人计算鉴别特征 空间(鉴别特征被投影到的鉴别空间)内的协方差矩阵S^。
在方程6中，T'i指示鉴别特征矩阵T'的第i列向量，F是鉴别特征矩 阵T'的列向量的平均向量。
然后，参照个人比较装置105计算参照个人的协方差矩阵。例如，模 式匹配系统10具有用于预先累积参照个人的面部图像的参照图像数据库 (未示出)。当例如成年男子的面部图像被注册作为注册图像累积装置 100中的注册图像时，模式匹配系统10累积多幅成年男子的面部图像，作 为参照个人的面部图像。在这种情况下，参照个人比较装置105基于由参 照图像数据库累积的参照个人的面部图像来计算参照个人的协方差矩阵。
当参照个人假定是学习图像中的平均个人时，参照个人比较装置105 利用下面的方程7来计算参照个人的协方差矩阵Sw2。
参照个人比较装置105使用下面的方程8来计算鉴别空间中的最优轴 u，以根据线性鉴别分析方法来根据被匹配的个人识别注册个人和参照个 人的两种类别的模式分布。
在方程8中，Z是所有类别中的特征向量的平均值。
然后，参照个人比较装置105利用计算出的鉴别向量u来计算两个规 定参数a、 b的值。在这种情况下，参照个人比较装置105利用下面的方程 9来计算规定向量a。参照个人比较装置105还利用下面的方程IO来计算
当分数计算装置301计算用于注册的图像和用于输入的图像之间的规 定匹配分数时，利用方程9和10计算得到的两个参数a、 b的值是必需 的。参照个人比较装置105将计算得到的L维鉴别向量u和参数a、 b的值 输出到分数计算装置301。
匹配图像输入装置200特别地由根据程序进行操作的信息处理设备的 CPU和输入/输出接口单元实现。匹配图像输入装置200具有用于输入匹配 的输入面部图像(被称为匹配图像)的功能。例如，实现模式匹配系统10 的信息处理设备具有照相机或其他图像捕获装置。在这种情况下，匹配图 像输入装置200的图像捕获装置根据用户发布的操作指令输入所捕获的面 部图像作为匹配图像。匹配图像输入装置200具有用于将输入的匹配图像 输出到图像正规化装置201的功能。
图像正规化装置201特别地由根据程序进行操作的信息处理设备的 CPU实现。图像正规化装置201具有从匹配图像输入装置200输入匹配图 像的功能。图像正规化装置201还具有用于根据与图像正规化装置101执 行的相同的处理来正规化匹配图像的功能。图像正规化装置201还具有用 于将正规化的匹配图像输出到特征提取装置202的功能。
特征提取装置202特别地由根据程序进行操作的信息处理设备的CPU 实现。特征提取装置202具有从图像正规化装置201输入正规化的匹配图 像的功能。特征提取装置202还具有用于根据与特征提取装置103执行的 相同的特征提取处理提取出指示匹配图像的特征的特征信息的功能。特征
提取装置202还具有用于将所提取的匹配图像的特征信息输出到鉴别空间
投影装置203的功能。
特征提取装置202基于匹配图像提取出单幅图像的特征信息，这一点 与特征提取装置103不同，特征提取装置103基于变异图像群组提取出多 幅图像的特征信息。
鉴别空间投影装置203特别地由根据程序进行操作的信息处理设备的 CPU实现。鉴别空间投影装置203具有从特征提取装置202输入匹配图像 的特征信息的功能。鉴别空间投影装置203还具有用于根据与鉴别空间投 影装置104相同的处理将匹配图像的特征投影到鉴别空间上的功能。鉴别 空间投影装置203还具有用于将指示将匹配图像的特征投影到鉴别空间上 的结果的信息输出到分数计算装置301的功能。
鉴别空间投影装置203执行基于单幅图像(匹配图像)的处理，这一 点与鉴别空间投影装置104不同，鉴别空间投影装置104执行基于包括多 幅图像的变异图像群组的处理。因此，鉴别空间投影装置203生成鉴别特 征向量R，作为指示在L维鉴别空间中投影匹配图像的特征的结果的信 息，并且将鉴别特征向量R输出到分数计算装置301。
分数计算装置301特别地由根据程序进行操作的信息处理设备的CPU 实现。分数计算装置301具有用于将注册图像与匹配图像的特征相匹配 (相比较)以计算匹配分数的功能，匹配分数指示注册图像和匹配图像之 间的特征的一致程度。分数计算装置301还具有用于将计算出的匹配分数 输出到匹配判决装置302的功能。
在本实施例中，由用于注册的图像(注册图像)计算得到的参数a、 b 的值和鉴别向量u被从参照个人比较装置105输入到分数计算装置301。 由匹配图像计算得到的鉴别特征向量R也被从鉴别空间投影装置203输入 到分数计算装置301。然后，分数计算装置301利用输入的鉴别向量u、 参数a、 b和鉴别特征向量R来计算匹配分数。在这种情况下，分数计算 装置301利用下面的方程11来计算匹配分数S1Q<formula>formula see original document page 23</formula>
根据分别在方程9和10中示出的参数a、 b的既定方程，很明显当
R=P (即，当注册图像和匹配图像的鉴别特征相等)时匹配分数Si是l。 另外，很明显当R-z(即，当匹配图像的鉴别特征和参照个人的鉴别特征 相等)时匹配分数S!是-1。分数计算装置301将计算出的匹配分数Si输出 到匹配判决装置302。
匹配判决装置302特别地由根据程序进行操作的信息处理设备的CPU 实现。匹配判决装置302具有用于通过将匹配分数与规定阈值相比较，来 确定注册图像中的个人和匹配图像中的个人是否是相同个人的功能。匹配 判决装置302还具有用于输出指示上述个人是否相同的匹配结果30的功 能。
由分数计算装置301计算得到的匹配分数被输入到匹配判决装置 302。匹配判决装置302使用输入的匹配分数来确定注册图像中的个人和 匹配图像中的个人是否是相同个人。在这种情况下，匹配判决装置302确 定输入的匹配分数S!是否大于规定阈值t。当匹配分数Si被确定为大于阈 值t时，匹配判决装置302确定匹配图像中的个人与被匹配的个人相同 (即，注册图像中的个人与匹配图像中的个人是相同个人)。当匹配分数 Sr被确定为不大于阈值t (例如，匹配分数S,较小)时，匹配判决装置 302确定匹配图像中的个人是与被匹配的个人不同的个人(即，注册图像 中的个人与匹配图像中的个人不是相同个人)。
匹配判决装置302还输出确定匹配图像中的个人是否是被匹配的个人 的结果(匹配结果30)。例如，匹配判决装置302将匹配结果30输出到 入口/出口管理系统或其他安全系统。匹配判决装置302还可以在例如显示 器设备或其他显示设备中显示匹配结果30。
在本实施例中，实现模式匹配系统10的信息处理设备的存储设备 (未示出)存储用于执行用于提取面部图像特征的例程的各种类型的程 序。例如，信息处理设备的存储设备存储用于使计算机执行变异图像生成 例程和图像特征量提取例程的图像特征提取程序，变异图像生成例程用于 生成其中规定变异被添加到面部图像的多幅变异图像；图像特征量提取例 程用于通过基于所生成的变异图像计算用于区分被处理的面部图像中的个
人和规定参照个人的规定特征量，来提取出被处理的面部图像的特征。
在本实施例中，信息处理设备的存储设备存储用于执行用于匹配面部 图像模式的例程的各种类型的程序。例如，信息处理设备的存储设备使得 计算机执行用于生成其中规定变异被添加到面部图像的多幅变异图像的变 异图像生成例程；用于通过基于所生成的变异图像计算用于区分被处理的 面部图像中的个人和规定参照个人的规定特征量，来提取出被处理的面部 图像的特征的图像特征量提取例程；用于将作为事先注册的面部图像的注
册图像的特征与被匹配的面部图像的特征相比较，并基于所提取的面部图 像特征计算指示注册图像和匹配图像之间的特征的一致程度的分数的分数
计算例程；以及用于通过将计算出的分数与规定阈值相比较来确定注册图
像中的个人和匹配图像中的个人是否是相同个人的匹配判决例程。 接下来将描述本实施例的操作。在本实施例中，描述了这样的示例，
其中模式匹配系统10被应用于人口/出口管理系统，并且执行身份认证以 验证进入建筑物的个人是否是事先注册的个人。模式匹配系统10并不限 于入口/出口管理系统，并且也可以用在使用访问控制的系统或另一安全系 统中。
接下来将描述模式匹配系统10计算预先注册的注册图像的特征的操 作。图2是示出注册图像处理的示例的流程图，通过该处理模式匹配系统
计算预先注册的注册图像的特征。
图像正规化装置101在规定时刻从注册图像累积装置100提取出注册 图像。例如，图像正规化装置101当用户执行建筑物进入操作时从注册图 像累积装置100提取出注册图像。图像正规化装置101检测所提取的注册 图像中双眼的位置信息，并且通过变换面部尺寸或位置以使得眼睛处于预 定位置而正规化注册图像(步骤S101)。图像正规化装置101将正规化的 注册图像输出到变异图像生成装置102。
变异图像生成装置102基于来自图像正规化装置101的正规化图像生 成注册图像的多幅变异图像(歩骤S102)。在这种情况下，变异图像生成 装置102生成其中注册图像中的个人的面部方向、面部尺寸或面部位置被 改变的多幅变异图像。当生成变异图像时，变异图像生成装置102将变异
图像群组输出到特征提取装置103。
特征提取装置103提取出被包括在来自变异图像生成装置102的变异 图像群组中的变异图像(包括正规化图像)的特征信息(步骤S103)。在 这种情况下，特征提取装置103基于变异图像群组提取出作为特征信息的 变异图像的频率特征。特征提取装置103将所提取的频率特征输出到鉴别 空间投影装置104。
鉴别空间投影装置104基于来自特征提取装置103的频率特征，将从 注册图像的变异图像群组提取出的特征投影到鉴别空间上(步骤S104)。 鉴别空间投影装置104将指示将注册图像的变异图像群组的特征投影到鉴 别空间上的结果的信息输出到参照个人比较装置105。在这种情况下，鉴 别空间投影装置104执行利用方程3至5的计算，并且输出作为结果信息 的鉴别特征矩阵T'。
参照个人比较装置105将注册图像的特征与参照个人的特征相比较， 并基于来自鉴别空间投影装置104的结果信息计算用于高精度地区分注册 个人和参照个人的规定特征量(歩骤S105)。在这种情况下，参照个人比 较装置105执行利用方程6至8的计算，并且计算作为特征量的鉴别向量 u。参照个人比较装置105执行利用方程9和10的计算，并且计算作为特 征量的规定参数a、 b。然后，参照个人比较装置105将计算出的特征量输 出到分数计算装置301。
如上所述，通过执行步骤S101至S105中的例程，提取出注册图像的 特征。当在注册图像累积装置100中累积有多幅注册图像时，模式匹配系 统10可以对于每幅注册图像执行从步骤S101至歩骤S105的例程，并将 计算出的特征量输出到参照个人比较装置105。
以上描述了参照个人的面部图像被不加修正地使用以计算规定特征量 的情况，但是参照个人比较装置105也可以根据与步骤S102中相同的处 理在步骤S105中对于参照个人的每幅面部图像生成多幅变异图像。在这 种情况下，参照个人比较装置105可以执行用于将所生成的参照个人的变 异图像群组的特征投影到鉴别空间上的例程，并根据与步骤S103和S104 相同的处理计算规定特征量(鉴别向量u或参数a、 b)。从而，即使当例 如对于参照个人只累积有少量的面部图像的样本时，也可以适当地计算注 册图像的特征量。
与在进入操作时执行注册图像处理不同的是，模式匹配系统10可以 被配置为使得注册在注册图像累积装置100中的注册图像的特征被预先提 取并且被累积在数据库中。在这种情况下，模式匹配系统10具有例如用 于累积由参照个人比较装置105计算得到的特征量(鉴别向量U或参数
a、 b)的特征量数据库。参照个人比较装置105从特征量数据库中提取出 特征量，并根据来自分数计算装置301的请求将特征量输出到分数计算装 置301。
接下来将描述模式匹配系统10计算匹配图像的特征的操作。图3是 示出匹配图像处理的示例的流程图，通过该处理模式匹配系统计算匹配图 像的特征。
匹配图像输入装置200在规定时刻输入匹配图像。例如，当用户执行 建筑物进入操作时，匹配图像输入装置200使得被提供给模式匹配系统10 的照相机或其他图像捕获装置捕获执行进入操作的用户的面部的图像。然 后，匹配图像输入装置200输入由图像捕获装置捕获的面部图像作为匹配 图像。
图像正规化装置201根据与图像正规化装置101相同的处理正规化来 自匹配图像输入装置200的匹配图像(步骤S201)。图像正规化装置201 将正规化的匹配图像输出到特征提取装置202。
当从图像正规化装置201输入正规化的匹配图像时，特征提取装置 202根据与变异图像生成装置102相同的处理提取出匹配图像的特征信息 (频率特征)(步骤S202)。特征提取装置202将所提取的频率特征输出 到鉴别空间投影装置203。
鉴别空间投影装置203基于来自特征提取装置202的频率特征，根据 与鉴别空间投影装置104相同的处理将从匹配图像提取出的特征投影到鉴 别空间上(步骤S203)。鉴别空间投影装置203还将指示将匹配图像的特 征投影到鉴别空间上的结果的信息输出到分数计算装置301。在这种情况 下，鉴别空间投影装置203输出作为结果信息的鉴别特征向量R。
如上所述，通过执行步骤S201至S203中的例程，提取出匹配图像的特征。
接下来将描述模式匹配系统10将注册图像和匹配图像的特征相匹配 的操作。图4是示出身份判决例程的示例的流程图，通过该例程模式匹配 系统将注册图像和匹配图像的特征相匹配以确定被认证的个人是否是事先 注册的个人。
注册图像的特征量(鉴别向量u或参数a、 b)被从参照个人比较装置 105输入到分数计算装置301。匹配图像的特征量(鉴别特征向量R)被从 鉴别空间投影装置203输入到分数计算装置301。然后，分数计算装置 301将注册图像和匹配图像的特征相匹配，以基于输入的特征量计算出注 册图像和匹配图像之间的匹配分数(步骤S301)。在这种情况下，分数计 算装置301通过利用方程11的计算来计算匹配分数SlD分数计算装置301 将计算出的匹配分数输出到匹配判决装置302。
匹配判决装置302基于由分数计算装置301计算得到的匹配分数来确 定被匹配的个人是否是事先注册的个人(步骤S302)。在这种情况下，匹 配判决装置302确定匹配分数Si是否大于规定阈值t，并且当匹配分数Si 大于阈值t时确定匹配图像中的个人是事先注册的个人。当匹配分数Si被 确定为小于阈值t时，匹配判决装置302确定匹配图像中的个人不是事先 注册的个人。
当执行身份判决时，匹配判决装置302输出确定被匹配的个人是否是 事先注册的个人的结果(匹配结果30)。入口/出口管理系统基于匹配判 决装置302的匹配结果30允许或禁止执行进入操作的用户通过。在这种 情况下，当匹配判决装置302确定被匹配的个人是注册个人时，入口/出口 管理系统例如打开阻挡门，以允许用户经过。当匹配判决装置302确定被 匹配的个人不是注册个人时，入口/出口管理系统例如保持阻挡门关闭，以 阻止用户经过。
当在注册图像累积装置100中注册有多幅注册图像时，这些注册图像 的特征量可以被从参照个人比较装置105输入到分数计算装置301。在这 种情况下，匹配判决装置302对于每幅注册图像确定匹配图像中的个人是
否是事先注册的个人。当匹配图像中的个人被确定为是任何一副注册图像 中的个人时，匹配判决装置302确定被匹配的个人是注册个人。当匹配图 像中的个人被确定为不与任何一副注册图像中的个人相匹配时，匹配判决
装置302确定被匹配的个人不是注册个人。
图5是示出参照面部空间和注册个人面部空间之间的关系的图。在图 5中，f是注册个人面部空间中的平均向量。Swi是注册个人面部空间中的 协方差矩阵，z是参照面部空间中的平均向量，Sw2是参照面部空间中的协 方差矩阵。
在图5中，向量u是用于鉴别注册个人和参照个人的鉴别向量，并且 由参照个人比较装置105利用方程8得到。注册图像特征(鉴别向量u和 参数a、 b)由参照个人比较装置105计算得到。匹配图像特征(鉴别特征 向量R)由鉴别空间投影装置203计算得到。
匹配分数由分数计算装置301根据注册图像特征u、 a、 b和鉴别特征 向量R计算得到，作为当鉴别特征向量R被投影在鉴别向量u上时的值， 如图5所示。
如图5所示，当注册图像和匹配图像的鉴别特征相等(即，当R-F) 时，匹配分数Si是l。当匹配图像的鉴别特征和参照个人的鉴别特征相等 (即，当R=z)时，匹配分数S,是-1。因此，很明显匹配图像中的个人越 接近注册图像中的个人，匹配分数Si的值就越接近1。另外，很明显匹配 图像中的个人越接近参照个人(即，除了注册个人以外的个人)，匹配分 数Si的值就越接近-l。
根据如上所述的本实施例，利用线性鉴别分析从注册图像中提取出特 征，并且还从针对注册图像生成的变异图像的群组中提取出特征。另外， 基于所生成的变异图像群组计算用于区分参照个人和注册图像中的个人的 规定特征量。还执行参照个人和注册图像中的个人的两种类别的鉴别分 析，从而确定匹配图像中的个人是否是注册图像中的个人。本实施例能够 通过考虑注册图像的变异分量而对参照个人和注册图像中的个人进行两种 类别的区分。因此，即使当存在对于注册个人特定的变异时，也可以执行 高度精确的面部图像匹配。因而，对于每个注册个人，可以在考虑到姿
态、照明和其他变异分量的情况下利用面部图像高精度地匹配身份。
例如，将考虑这样的情况，其中不包括作为如图1所示的模式匹配系 统IO的构成元件的变异图像生成装置102。在这种情况下，由于不能生成 注册图像的变异图像群组，因此参照个人比较装置105不再能够生成鉴别 特征的协方差矩阵以用于注册。因此，模式匹配系统10不能执行考虑到 注册图像的变异分量的面部图像匹配。特别地，在本实施例中，变异图像
生成装置102和参照个人比较装置105的提供是能够进行考虑到注册图像
的变异分量的面部图像匹配的必要条件。
根据本实施例，当生成被鉴别空间投影装置104使用的鉴别空间时， 除了学习图像以外，还使用了变异图像以生成鉴别空间。因此，相对于使 用传统的线性鉴别分析方法的面部匹配算法来说，学习模式的数目增大。 因此，可以预期鉴别性能的提高。
实施例2
接下来将参照附图描述本发明的实施例2。图6是示出模式匹配系统 的另一种结构的示例的框图。如图6所示，本实施例中的模式匹配系统 IOA除了包括实施例1中所描述的构成元件以外，还包括变异图像生成装 置204和参照个人比较装置205。在本实施例中，鉴别空间投影装置 104A、特征提取装置202A、鉴别空间投影装置203A、分数计算装置 301A和匹配判决装置302A的功能与实施例1中相同组件的功能不同。
注册图像累积装置100、图像正规化装置101、变异图像生成装置 102、特征提取装置103、参照个人比较装置105、匹配图像输入装置200 和图像正规化装置201的功能与实施例1中相同组件的功能相同。
鉴别空间投影装置104A具有用于以与实施例1中所描述的鉴别空间 投影装置104相同的方式，基于从特征提取装置103输入的特征信息而将 注册图像的变异图像群组的特征投影到鉴别空间上的功能。鉴别空间投影 装置104A还具有用于将指示将注册图像的变异图像群组的特征投影到鉴 别空间上的结果的信息输出到参照个人比较装置105的功能。
除了实施例1中所描述的鉴别空间投影装置104的功能以外，鉴别空 间投影装置104A具有用于单独将注册图像的特征投影到鉴别空间上并将
指示将注册图像的特征投影到鉴别空间上的结果的信息输出到分数计算装
置301A的功能。在本实施例中，鉴别空间投影装置104A根据与实施例1 中所描述的鉴别空间投影装置203相同的处理生成作为结果信息的鉴别特 征向量R'，并将鉴别特征向量R'输出到分数计算装置301A。
变异图像生成装置204特别地由根据程序进行操作的信息处理设备的 CPU实现。变异图像生成装置204具有从图像正规化装置201输入正规化 的匹配图像的功能。变异图像生成装置204还具有用于根据与变异图像生 成装置102相同的处理，生成其中规定变异被添加到正规化的匹配图像的 多幅变异图像的功能。变异图像生成装置204还具有用于将所生成的变异 图像群组输入到特征提取装置202A的功能。
特征提取装置202A具有用于根据与特征提取装置103相同的处理， 基于从变异图像生成装置204输入的变异图像群组提取出指示变异图像的 特征的特征信息(例如，频率特征)的功能。特征提取装置202A还具有 用于将所提取的特征信息输出到鉴别空间投影装置203A的功能。
鉴别空间投影装置203A具有以与实施例1中所描述的鉴别空间投影 装置203相同的方式，从特征提取装置202输入匹配图像的特征信息并将 匹配图像的特征投影到鉴别空间上的功能。鉴别空间投影装置203A还具 有用于将指示将匹配图像的特征投影到鉴别空间上的结果的信息输出到分 数计算装置301A的功能。
除了实施例1中所描述的鉴别空间投影装置203的功能以外，鉴别空 间投影装置203A具有用于根据与鉴别空间投影装置104A相同的处理，基 于从特征提取装置202A输入的特征信息而将匹配图像的变异图像群组的 特征投影到鉴别空间上的功能。鉴别空间投影装置203A还具有用于根据 与鉴别空间投影装置104A相同的处理，将指示将匹配图像的变异图像群 组的特征投影到鉴别空间上的结果的信息输出到参照个人比较装置205的 功能。
参照个人比较装置205特别地由根据程序进行操作的信息处理设备的 CPU实现。参照个人比较装置205具有用于根据与参照个人比较装置105 相同的处理，计算用于高精度地区分匹配图像中的个人和规定参照个人的
规定特征量的功能。在本实施例中，参照个人比较装置205根据与参照个 人比较装置105相同的处理，计算作为规定特征量的鉴别向量U，和参数
a，、 b，。
分数计算装置301A具有用于将注册图像和匹配图像的特征相匹配以 计算匹配分数的功能。分数计算装置301A还具有用于将计算出的匹配分 数输出到匹配判决装置302A的功能。
在本实施例中，以与实施例1中所描述的分数计算装置301相同的方 式，由注册图像计算得到的鉴别向量u和参数a、 b的值被从参照个人比较 装置105输入到分数计算装置301A。由匹配图像计算得到的鉴别特征向 量R被从鉴别空间投影装置203A输入到分数计算装置301A。分数计算装 置301A利用输入的鉴别向量n、参数a、 b和鉴别特征向量R来计算匹配 分数(称为第一匹配分数)。在这种情况下，分数计算装置301A利用方 程11来计算第一匹配分数S1Q
由匹配图像计算得到的鉴别向量u'和参数a'、 b'的值被从参照个人比 较装置205输入到分数计算装置301A。由注册图像计算得到的鉴别特征 向量R，被从鉴别空间投影装置104A输入到分数计算装置301A。分数计算 装置301A利用输入的鉴别向量u'、参数a'、 b'和鉴别特征向量R'来计算 匹配分数(称为第二匹配分数)。在这种情况下，分数计算装置301A利 用下面的方程12来计算第二匹配分数S2。
分数计算装置301A还计算作为计算出的第一匹配分数S!和第二匹配 分数S2的平均值的匹配分数(称为平均匹配分数)S。分数计算装置301A 将计算出的平均匹配分数输出到匹配判决装置302A。
匹配判决装置302A具有用于确定注册图像中的个人和匹配图像中的 个人是否是相同个人的功能。匹配判决装置302A还具有用于输出指示注 册图像中的个人和匹配图像中的个人是否是相同个人的匹配结果30A的功 能。
在本实施例中，由分数计算装置301计算得到的平均匹配分数被输入
到匹配判决装置302A。匹配判决装置302A使用输入的平均匹配分数来确 定注册图像中的个人和匹配图像中的个人是否是相同个人。在这种情况 下，匹配判决装置302A确定输入的平均匹配分数S是否大于规定阈值t。 当平均匹配分数S被确定为大于阈值t时，匹配判决装置302A确定匹配 图像中的个人是被匹配的个人(即，注册图像中的个人和匹配图像中的个 人是相同个人)。当平均匹配分数S被确定为不大于阈值t时，匹配判决 装置302A确定匹配图像中的个人是除被匹配的个人以外的其他个人 (即，注册图像中的个人和匹配图像中的个人不是相同个人)。
匹配判决装置302A输出确定匹配图像中的个人是否是被匹配的个人 的结果(匹配结果30A)。例如，匹配判决装置302A将匹配结果30A输 出到入口/出口管理系统或其他安全系统。匹配判决装置302A还可以在例 如显示器设备或其他显示设备中显示匹配结果30A。
接下来将描述本实施例的操作。首先将描述模式匹配系统IOA计算预 先注册的注册图像的特征的操作。在本实施例中，模式匹配系统IOA根据 与在图2所示的歩骤S101至S105中执行的相同的处理来计算事先注册的 注册图像的特征。在本实施例的步骤S104中，鉴别空间投影装置104A将 注册图像的变异图像群组的特征投影到鉴别空间上，还将单独注册图像的 特征投影到鉴别空间上，并且将鉴别特征向量R'输出到分数计算装置 301A。
接下来将描述模式匹配系统IOA计算匹配图像的特征的操作。图7是 示出匹配图像处理的另一个示例的流程图，通过该处理模式匹配系统计算 匹配图像的特征。匹配图像输入装置200在规定时刻输入匹配图像。图像 正规化装置201根据与图3的步骤S201中相同的处理来正规化来自匹配 图像输入装置200的匹配图像(步骤S401)。图像正规化装置201将正规 化的匹配图像输出到变异图像生成装置204。
变异图像生成装置204基于来自图像正规化装置201的正规化图像生 成匹配图像的多幅变异图像(步骤S402)。在这种情况下，变异图像生成 装置204生成其中匹配图像中的个人的面部方向、面部尺寸或面部位置被 改变的多幅面部图像作为变异图像。当生成变异图像后，变异图像生成装
置204将变异图像群组输出到特征提取装置202A。
特征提取装置202A提取出包括在来自变异图像生成装置204的变异 图像群组中的变异图像(包括正规化的匹配图像)的特征信息(步骤
5403) 。在这种情况下，特征提取装置202A提取出变异图像的频率特征 作为基于变异图像群组的特征信息。特征提取装置202A将所提取的频率 特征输出到鉴别空间投影装置203A。
鉴别空间投影装置203A基于来自特征提取装置202A的频率特征将从 匹配图像的变异图像群组中提取出的特征投影到鉴别空间上(步骤
5404) 。鉴别空间投影装置203A将指示将匹配图像的变异图像群组的特 征投影到鉴别空间上的结果的信息输出到参照个人比较装置205。鉴别空 间投影装置203A将匹配图像的变异图像群组的特征投影到鉴别空间上， 将单独匹配图像的特征投影到鉴别空间上，并且将鉴别特征向量R输出到 分数计算装置301A。
参照个人比较装置205将匹配图像中的个人的特征与参照个人的特征 相比较，并且基于来自鉴别空间投影装置203A的结果信息计算用于高精 度地区分匹配图像中的个人和参照个人的规定特征量(步骤S405)。在这 种情况下，参照个人比较装置205执行利用方程6至8的计算，并且计算 作为特征量的鉴别向量u'。参照个人比较装置205执行利用方程9和10 的计算，并且计算作为特征量的规定参数a'、 b，。然后，参照个人比较装 置205将计算出的特征量输出到分数计算装置301A。
接下来将描述模式匹配系统10A将注册图像和匹配图像的特征相匹配 的操作。图8是示出身份判决处理的另一个示例的流程图，通过该处理模 式匹配系统将注册图像和匹配图像的特征相匹配以确定被认证的个人是否 是事先注册的个人。
注册图像的特征量(鉴别特征向量R，或鉴别向量u，以及参数a、 b) 被从鉴别空间投影装置104A和参照个人比较装置105输入到分数计算装 置301A。匹配图像的特征量(鉴别特征向量R或鉴别向量u'，以及参数 a，、 b，)被从鉴别空间投影装置203A和参照个人比较装置205输入到分数 计算装置301A。
34
分数计算装置301A将注册图像和匹配图像的特征量相匹配，以基于 输入的特征量计算注册图像和匹配图像之间的平均匹配分数(步骤
S501)。分数计算装置301A将计算出的平均匹配分数输出到匹配判决装 置302A。
匹配判决装置302A基于由分数计算装置301A计算得到的平均匹配分 数来确定被匹配的个人是否是事先注册的个人(步骤S502)。在这种情况 下，匹配判决装置302A确定平均匹配分数S是否大于规定阈值t。当平均 匹配分数S被确定为大于阈值t时，匹配判决装置302A确定匹配图像中 的个人是事先注册的个人。当平均匹配分数S被确定为不大于阈值t时， 匹配判决装置302A确定匹配图像中的个人不是事先注册的个人。
当执行身份判决后，匹配判决装置302A输出确定被匹配的个人是否 是事先注册的个人的结果(匹配结果30A)。入口/出口管理系统基于匹配 判决装置302A的匹配结果30A允许或禁止执行进入操作的用户通过。
根据如上所述的本实施例，对于注册图像以及匹配图像生成变异图像 群组。基于所生成的变异图像群组，不仅计算出用于区分注册图像中的个 人和参照个人的特征量，还计算出用于区分匹配图像中的个人和参照个人 的特征量。利用用于区分参照个人和注册图像中的个人的特征量计算出匹 配分数，并且还利用用于区分参照个人和匹配图像中的个人的特征量计算 出匹配分数。基于这两个匹配分数的平均匹配分数来执行面部图像匹配。 根据本实施例，由于可以基于通过对多个匹配分数取平均而获得的平均匹 配分数来执行匹配，因此可以利用更高的精度执行利用面部图像的身份匹 配。
接下来将参照附图描述本发明的示例1。本示例对应于实施例1中所 描述的模式匹配系统10的结构的更具体描述。图9是示出模式匹配系统 10的结构的具体示例的框图。如图9所示，模式匹配系统10包括用于预 先累积注册图像的注册图像累积服务器40和用于输入匹配图像的图像输 入终端50。注册图像累积服务器40和图像输入终端50经由LAN或其他 网络彼此连接。在图9中示出了单个图像输入终端50，但是模式匹配系统 10可包括多个图像输入终端50。
注册图像累积服务器40特别地由工作站、个人计算机或其他信息处
理设备实现。如图9所示，注册图像累积服务器40包括注册图像累积装 置100、图像正规化装置101、变异图像生成装置102、特征提取装置 103、鉴别空间投影装置104、参照个人比较装置105、分数计算装置301 和匹配判决装置302。注册图像累积装置IOO、图像正规化装置IOI、变异 图像生成装置102、特征提取装置103、鉴别空间投影装置104、参照个人 比较装置105、分数计算装置301和匹配判决装置302的基本功能与实施 例1中所描述的相同组件的功能相同。
图像输入终端50特别地由工作站、个人计算机或其他信息处理设备 实现。如图9所示，图像输入终端50包括匹配图像输入装置200、图像正 规化装置201、特征提取装置202和鉴别空间投影装置203。匹配图像输 入装置200、图像正规化装置201、特征提取装置202和鉴别空间投影装 置203的基本功能与实施例1中所描述的相同组件的功能相同。
在本示例中，当匹配图像输入装置200被用于输入匹配图像时，图像 输入终端50根据图3中所示的匹配图像处理来计算输入的匹配图像的特 征量。当计算出匹配图像的特征量时，鉴别空间投影装置203经由网络将 计算出的特征量发送到注册图像累积服务器40。在本示例中，鉴别空间投 影装置203通过发送匹配图像的特征量向注册图像累积服务器40请求匹 配图像和注册图像的匹配。
当接收到匹配图像的特征量时，注册图像累积服务器40根据图2中 所示的注册图像处理来计算事先注册的注册图像的特征量。然后，注册图 像累积服务器40根据图4中所示的身份判决处理，基于计算出的注册图 像的特征量和从图像输入终端50接收的匹配图像的特征量来确定匹配图 像中的个人是否是注册个人。
在本示例中，模式匹配系统10由注册图像累积服务器40和图像输入 终端50组成，但是模式匹配系统IO也可以由单个信息处理设备组成。
接下来将参照附图描述本发明的示例2。与示例1相似，本示例对应
于实施例1中所描述的模式匹配系统IO的结构的更具体描述。图10是示 出模式匹配系统10的结构的另一种具体示例的框图。如图IO所示，模式
匹配系统10包括用于预先累积注册图像的注册图像累积服务器40A和用 于输入匹配图像的图像输入终端50A。注册图像累积服务器40A和图像输 入终端50A也经由LAN或其他网络彼此连接。在图IO中示出了单个图像 输入终端50A，但是模式匹配系统10也可包括多个图像输入终端50A。
注册图像累积服务器40A特别地由工作站、个人计算机或其他信息处 理设备实现。如图IO所示，注册图像累积服务器40A包括注册图像累积 装置100、图像正规化装置101、变异图像生成装置102、特征提取装置 103、鉴别空间投影装置104、参照个人比较装置105和特征量累积装置 106。注册图像累积装置100、图像正规化装置101、变异图像生成装置 102、特征提取装置103、鉴别空间投影装置104和参照个人比较装置105 的基本功能与实施例1中所描述的相同组件的功能相同。
特征量累积装置106特别地由磁盘设备、光盘设备或其他数据库设备 实现。特征量累积装置106累积由参照个人比较装置105计算得到的注册 图像的特征量。
图像输入终端50A特别地由工作站、个人计算机或其他信息处理设备 实现。如图10所示，图像输入终端50A包括匹配图像输入装置200、图像 正规化装置201、特征提取装置202、鉴别空间投影装置203、分数计算装 置301和匹配判决装置302。匹配图像输入装置200、图像正规化装置 201、特征提取装置202、鉴别空间投影装置203、分数计算装置301和匹 配判决装置302的基本功能与实施例1中所描述的相同组件的功能相同。
在本示例中，注册图像累积服务器40A根据图2中所示的注册图像处 理来计算预先累积在注册图像累积装置100中的注册图像的特征量。注册 图像累积服务器40将计算出的注册图像的特征量预先累积在特征量累积 装置106中。
当匹配图像输入装置200被用于输入匹配图像时，图像输入终端50A 根据图3中所示的匹配图像处理来计算输入的匹配图像的特征量。当计算 出匹配图像的特征量时，图像输入终端50A经由网络将发送注册图像的特征量的请求发送到注册图像累积服务器40A。
当接收到发送特征量的请求时，注册图像累积服务器40A的参照个人 比较装置105从特征量累积装置106提取出注册图像的特征量。注册图像 累积服务器40A经由网络将所提取的特征量发送到图像输入终端50A。
当接收到特征量时，图像输入终端50A根据图4中所示的身份判决处 理，基于计算出的匹配图像的特征量和从注册图像累积服务器40A接收的 注册图像的特征量来确定匹配图像中的个人是否是注册个人。
工业适用性
通过将本发明应用于入口/出口管理系统、使用访问控制的系统等等， 可以预期本发明在安全领域中的应用。具体而言，本发明可以应用于使用 用于通过面部图像的匹配来认证用户的身份的相同个人判决系统的安全系统。
权利要求
1.一种用于提取出用于匹配面部图像模式的面部图像的特征的图像特征提取方法，所述图像特征提取方法的特征在于包括变异图像生成步骤，该步骤用于生成其中规定变异被添加到面部图像的多幅变异图像；以及图像特征量提取步骤，该步骤用于通过基于所生成的变异图像计算用于区分被处理的面部图像中的个人和规定参照个人的规定特征量来提取出所述被处理的面部图像的特征。
2. —种用于基于面部图像特征匹配面部图像模式的模式匹配方法，所述模式匹配方法的特征在于包括变异图像生成步骤，该步骤用于生成其中规定变异被添加到面部图像的多幅变异图像；以及图像特征量提取步骤，该步骤用于通过基于所生成的变异图像计算用 于区分被处理的面部图像中的个人和规定参照个人的规定特征量来提取出 所述被处理的面部图像的特征。
3. 如权利要求2所述的模式匹配方法，包括分数计算步骤，该步骤用于将作为事先注册的面部图像的注册图像的 特征与作为被匹配的面部图像的匹配图像的特征相比较，并基于所提取的 面部图像特征计算指示所述注册图像和所述匹配图像之间的特征的一致程度的分数；以及匹配判决步骤，该步骤用于通过将计算出的分数与规定阈值相比较来 确定所述注册图像中的个人和所述匹配图像中的个人是否是相同个人。
4. 一种用于基于面部图像特征来匹配面部图像的模式的模式匹配方法，所述模式匹配方法的特征在于包括第一变异图像生成步骤，该步骤用于生成其中规定变异被添加到作为事先注册的面部图像的注册图像的多幅变异图像；第一图像特征量提取步骤，该步骤用于通过基于由所述注册图像生成 的变异图像计算用于区分规定参照个人和所述注册图像中的个人的规定特征量来提取出所述注册图像的特征；第二变异图像生成步骤，该步骤用于生成其中规定变异被添加到作为 被匹配的面部图像的匹配图像的多幅变异图像；第二图像特征量提取步骤，该步骤用于通过基于由所述匹配图像生成 的变异图像计算用于区分规定参照个人和所述匹配图像中的个人的规定特 征量来提取出所述匹配图像的特征；第一分数计算步骤，该步骤用于基于所提取的所述注册图像的特征来 计算指示所述注册图像和所述匹配图像之间的特征的一致程度的第一分 数；第二分数计算步骤，该步骤用于基于所提取的匹配图像特征来计算指 示所述注册图像和所述匹配图像之间的特征的一致程度的第二分数；以及匹配判决步骤，该步骤用于通过利用计算出的第一分数和计算出的第 二分数的阈值判决来确定所述注册图像中的个人和所述匹配图像中的个人 是否是相同个人。
5. —种用于提取出用于匹配面部图像模式的面部图像的特征的图像特 征提取系统，所述图像特征提取系统的特征在于包括变异图像生成装置，该装置用于生成其中规定变异被添加到面部图像 的多幅变异图像；以及图像特征量提取装置，该装置用于通过基于由所述变异图像生成装置 生成的变异图像计算用于区分被处理的面部图像中的个人和规定参照个人 的规定特征量来提取出所述被处理的面部图像的特征。
6. —种用于基于面部图像特征匹配面部图像模式的模式匹配系统，所 述模式匹配系统的特征在于包括变异图像生成装置，该装置用于生成其中规定变异被添加到面部图像 的多幅变异图像；以及图像特征量提取装置，该装置用于通过基于由所述变异图像生成装置 生成的变异图像计算用于区分被处理的面部图像中的个人和规定参照个人 的规定特征量来提取出所述被处理的面部图像的特征。
7. 如权利要求6所述的模式匹配系统，包括 分数计算装置，该装置用于将作为事先注册的面部图像的注册图像的 特征与作为被处理的面部图像的匹配图像的特征相比较，并基于由所述图 像特征量提取装置提取的面部图像特征计算指示所述注册图像和所述匹配 图像之间的特征的一致程度的分数；以及匹配判决装置，该装置用于通过将规定阈值与由所述分数计算装置计 算得到的分数相比较来确定所述注册图像中的个人和所述匹配图像中的个 人是否是相同个人。
8. 如权利要求7所述的模式匹配系统，其中所述匹配判决装置确定由 所述分数计算装置计算得到的分数是否大于所述规定阈值，并且当确定所 述分数大于所述规定阈值时确定所述注册图像中的个人和所述匹配图像中 的个人是相同个人，而当确定所述分数不大于所述规定阈值时确定所述注 册图像中的个人和所述匹配图像中的个人不是相同个人。
9. 如权利要求6至8中的任意一个所述的模式匹配系统，包括特征信息提取装置，该装置用于提取出指示由所述变异图像生成装置生成的变异图像的特征的特征信息；以及鉴别空间投影装置，该装置用于将由所述特征信息提取装置提取出的 特征信息投影在利用规定学习图像通过线性鉴别分析获得的鉴别空间上； 其中所述图像特征量提取装置基于所述鉴别空间投影装置将所述特征信息 投影在所述鉴别空间上的投影结果，来计算用于区分所述被处理的面部图 像中的个人和规定参照个人的规定特征量。
10. 如权利要求9所述的模式匹配系统，其中所述特征信息提取装置 从由所述变异图像生成装置生成的变异图像中提取出频率特征作为特征信 息。
11. 如权利要求9或IO所述的模式匹配系统，包括用于预先累积规定 学习图像的学习图像累积装置，其中所述鉴别空间投影装置包括鉴别空间计算装置，该装置用于利用由所述学习图像累积装置累积的 学习图像通过线性鉴别分析来计算鉴别空间；以及投影装置，该装置用于将由所述特征信息提取装置提取出的特征信息 投影在由所述鉴别空间计算装置计算得到的鉴别空间上。
12. 如权利要求6至11中的任意一个所述的模式匹配系统，其中所述 变异图像生成装置生成其中面部图像中所示的个人的面部方向、面部尺寸 或面部位置被改变的图像作为变异图像。
13. 如权利要求6至12中的任意一个所述的模式匹配系统，包括参照 图像累积装置，该装置用于预先累积具有与所述被处理的面部图像中的个 人的面部相似的分布的人的面部图像的集合作为参照个人面部图像，其中所述图像特征量累积装置基于由所述参照图像累积装置累积的面部图 像来计算用于区分所述被处理的面部图像中的个人和所述参照个人的特征
14. 如权利要求6至13中的任意一个所述的模式匹配系统，其中所述 图像特征量提取装置计算规定鉴别向量和规定参数，作为用于区分所述被 处理的面部图像中的个人和所述参照个人的特征量。
15. —种用于基于面部图像特征来匹配面部图像的模式的模式匹配系 统，所述模式匹配系统的特征在于包括第一变异图像生成装置，该装置用于生成其中规定变异被添加到作为 事先注册的面部图像的注册图像的多幅变异图像；第一图像特征量提取装置，该装置用于通过基于由所述第一变异图像 生成装置生成的变异图像计算用于区分规定参照个人和所述注册图像中的 个人的规定特征量来提取出所述注册图像的特征；第二变异图像生成装置，该装置用于生成其中规定变异被添加到作为 被匹配的面部图像的匹配图像的多幅变异图像；第二图像特征量提取装置，该装置用于通过基于由所述第二变异图像 生成装置生成的变异图像计算用于区分规定参照个人和所述匹配图像中的 个人的规定特征量来提取出所述匹配图像的特征；第一分数计算装置，该装置用于基于由所述第一图像特征量提取装置 提取出的注册图像的特征来计算指示所述注册图像和所述匹配图像之间的 特征的 一致程度的第 一分数；第二分数计算装置，该装置用于基于由所述第二图像特征量提取装置提取出的匹配图像的特征来计算指示所述注册图像和所述匹配图像之间的 特征的一致程度的第二分数；以及匹配判决装置，该装置用于通过执行利用由所述第一分数计算装置计 算得到的第一分数和由所述第二分数计算装置计算得到的第二分数的阈值 判决来确定所述注册图像中的个人和所述匹配图像中的个人是否是相同个 人。
16. —种用于提取出用于匹配面部图像模式的面部图像的特征的图像 特征提取设备，所述图像特征提取设备的特征在于包括变异图像生成装置，该装置用于生成其中规定变异被添加到面部图像 的多幅变异图像；以及图像特征量提取装置，该装置用于通过基于由所述变异图像生成装置 生成的变异图像计算用于区分被处理的面部图像中的个人和规定参照个人 的规定特征量来提取出所述被处理的面部图像的特征。
17. —种用于提取出用于匹配面部图像模式的面部图像的特征的图像 特征提取程序，其中所述图像特征提取程序使得计算机执行以下例程变异图像生成例程，该例程用于生成其中规定变异被添加到面部图像 的多幅变异图像；以及图像特征量提取例程，该例程用于通过基于所生成的变异图像计算用 于区分被处理的面部图像中的个人和规定参照个人的规定特征量来提取出 所述被处理的面部图像的特征。
18. —种用于基于面部图像特征匹配面部图像模式的模式匹配程序，其中所述模式匹配程序使得计算机执行以下例程变异图像生成例程，该例程用于生成其中规定变异被添加到面部图像的多幅变异图像；图像特征量提取例程，该例程用于通过基于所生成的变异图像计算用 于区分被处理的面部图像中的个人和规定参照个人的规定特征量来提取出 所述被处理的面部图像的特征；分数计算例程，该例程用于将作为事先注册的面部图像的注册图像的 特征与作为被处理的面部图像的匹配图像的特征相比较，并基于所提取的面部图像特征计算指示所述注册图像和所述匹配图像之间的特征的一致程度的分数；以及匹配判决例程，该例程用于通过将计算出的分数与规定阈值相比较来确定所述注册图像中的个人和所述匹配图像中的个人是否是相同个人。
全文摘要
本发明公开了一种模式匹配方法和模式匹配系统。变异图像生成装置生成相对于正规化图像具有不同姿态、面部位置和尺寸的多幅变异图像。特征提取装置从多幅变异图像中提取出频率特征。鉴别空间投影装置将频率特征投影在通过线性鉴别分析获得的具有高鉴别能力的鉴别空间上。参照个人比较装置执行参照个人比较以提取出高度鉴别性的特征。利用特征提取装置和鉴别空间投影装置提取出匹配图像的鉴别特征。分数计算装置使用从注册图像获得的鉴别轴和从匹配图像获得的鉴别特征来输出匹配分数。匹配判决装置通过将匹配分数与阈值相比较来确定该个人是否是相同个人。
文档编号G06T7/00GK101189640SQ20068001946
公开日2008年5月28日 申请日期2006年5月25日 优先权日2005年5月31日
发明者今冈仁 申请人:日本电气株式会社