伽柏滤波器、图像识别设备及方法、程序和记录介质的制作方法

专利名称：伽柏滤波器、图像识别设备及方法、程序和记录介质的制作方法
技术领域：
本发明涉及Gabor (伽柏)滤波器、图像识别设备及方法、程序和记录介质，更具 体地，涉及能够针对任何图像的任何特征点以较小的计算量更精确地计算局部特征量的 Gabor滤波器、图像识别设备及方法、程序和记录介质。
背景技术：
作为用于确定两个面部图像是否对应于同一人物的技术，已存在以下技术该技 术用于通过使用Gabor滤波器提取面部的各种特征点的局部特征向量(Gabor jet)，通过 使用SVM(支持向量机)来学习由Gabor滤波器的全部维度的相关值构成的相关向量以生 成识别器，并通过该识别器执行识别处理。Gabor滤波器已被广泛用作用于各种图像识别技术的特征量，其代表性例子为面 部识别。例如，在论文"Face Recognition by Elastic BunchGraph Matching, von der Malsburg”中公开了一种使用Gabor滤波器的面部识别技术。在论文“Face Recognition by Elastic Bunch GraphMatching, von der Malsburg” 中，通过计算卷积积分获得面部特 征点的局部特征量。另外，由于上述计算公式满足DC-Free特性，因而可以提取对于照度变化具有鲁 棒性的特征量。为了满足DC-Free特性，必须进行相对于无限积分范围的积分。然而，在 实际情况中，由于不可能进行对图像的无限积分，因而将积分范围设置成充分大于高斯 (Gauss)窗函数的宽度。另外，本发明人首先提出了一种通过使用Adaboost进行统计学习处理来生成用 于识别模式中的识别处理的识别器的图像处理设备(例如，参考日本未审专利申请公开 2008-165731)。如日本未审专利申请公开2008-165731所公开的，可以通过从按比例和方 向排列通过例如40个Gabor滤波器获得的特征量中的一些得到的特征维度，选择具有任意 位置和大小的正方形区域，来确定一些组的局部特征量的组合。结果，可以消除不必要的参 数的影响。在 von der Malsburg 所写的论文"Face Recognition by Elastic BunchGraph Matching”中，对于具有不同频率和方向的Gabor核通常共同用于确定Gabor滤波器的形状 的参数σ的值，并且设置参数ο的值，以使得ο =2π。因此，Gauss窗函数的宽度变成 ο Λ，从而使得该宽度与频率k成反比。因此，为了计算低频特征量，需要取宽的积分范围。然而，在要进行提取物体图像的特征量的处理中的使用宽的积分范围的卷积计算 时，一般出现以下问题。首先，可能必须准备与积分范围相对应的足够大的输入。其次，例如，在核预先被计算且被存储在存储器中的情况下，可能必须提供大的存 储区域。
第三，如果要提取物体和背景之间的边界附近的特征量，则包括背景图像区域的 大量的特征量。
第四，计算量与积分面积成比例地增大。由于这些问题，在许多实际计算情况下，在允许不满足DC-Free特性且积分范围 受限的状态下进行卷积计算。在这种情况下，对于照度变化的鲁棒性降低。

发明内容
希望提供对于任何图像的任何特征点都能够利用更少的计算量更精确地计算局 部特征量的Gabor滤波器、图像识别设备及方法、程序和记录介质。根据本发明的第一实施例，提供了一种Gabor滤波器，其中，将确定具有不同的方 向和频率的多个Gabor函数的形状的参数ο的值配置为通过指定频率的频率参数ν的函 数而表示的可变值。指定根据Gabor滤 波器的计算的积分范围而确定的常数Vtl，并且将参数σ配置 为通过以下的公式5而计算出的可变值。(公式5)另外，可以用I表示输入图像的灰度值，用μ表示指定方向的方向参数；可以通过 以下的公式4表示多个Gabor滤波器中的第j个Gabor滤波器的结果Jj ；并且基于以下的 公式3、公式6和公式2来计算该结果。(公式4) (公式3) (公式6) (公式2) 在本发明的第一实施例中，将确定具有不同的方向和频率的多个Gabor函数的形 状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值。根据本发明的第二实施例，通过一种图像识别设备，该图像识别设备包括特征点 检测装置，用于检测输入图像数据的图像的特征点；特征量检测装置，用于通过使用Gabor 滤波器来检测特征点的局部特征量，其中，将确定具有不同的方向和频率的多个Gabor函 数的形状的参数ο的值配置为通过指定频率的频率参数ν的函数而表示的可变值；计算 装置，用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数；以及 输出装置，用于输出基于相关系数而确定输入图像数据的图像中是否包括登记图像的识别 结果。
指定根据Gabor滤波器的计算的积分范围而确定的常数νC1，并将参数σ配置为 通过以下的公式5而计算出的可变值。(公式5) 另外，可以用I表示输入图像的灰度值；用μ表示指定方向的方向参数；可以通 过以下的公式4来表示多个Gabor滤波器中的第j个Gabor滤波器的结果Jj ；并且基于以 下的公式3、公式6和公式2来计算该结果。(公式4) 根据本发明的第三实施例，提供了一种图像识别方法，该图像识别方法包括以下 步骤检测输入图像数据的图像的特征点；通过使用Gabor滤波器来检测特征点的局部特 征量，其中，将确定具有不同方向和频率的多个Gabor函数的形状的参数ο的值配置为通 过指定频率的频率参数ν的函数而表示的可变值；计算所检测到的特征量与预先登记的 登记图像的特征量之间的相关系数；以及输出基于相关系数而确定输入图像数据的图像中 是否包括登记图像的识别结果。根据本发明的第四实施例，提供了一种允许计算机用作图像识别设备的程序，该 图像识别设备包括特征点检测装置，用于检测输入图像数据的图像的特征点；特征量检 测装置，用于通过使用Gabor滤波器来检测特征点的局部特征量，其中，将确定具有不同方 向和频率的多个Gabor函数的形状的参数ο的值配置为通过指定频率的频率参数ν的函 数而表示的可变值；计算装置，用于计算所检测到的特征量与预先登记的登记图像的特征 量之间的相关系数；以及输出装置，用于输出基于相关系数而确定输入图像数据的图像中 是否包括登记图像的识别结果。在本发明的第二至第四实施例中，检测输入图像数据的图像的特征点；通过使用 Gabor滤波器来检测该特征点的局部特征量，其中将确定具有不同的方向和频率的多个 Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变 值；计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数；并且输出基 于该相关系数而确定输入图像数据的图像中是否包括登记图像的识别结果。根据本发明，对于任意图像的任意特征点，可以用更少的计算量来更精确地计算局部特征量。


图1是示出根据本发明实施例的图像处理设备的结构的例子的框图；图2是示出在基于比例和方向排列40个Gabor滤波器的情况下的例子的图；图3是示出用余弦(或正弦)分量构成的载波的例子的图；图4是示出Gauss窗函数的例子的图；图5是示出与图3和4相对应的Gabor滤波器的特性的波形的例子的图；图6是示出用余弦(或正弦)分量构成的载波的另一例子的图；图7是示出Gauss窗函数的另一例子的图；图8是示出相关技术中的Gabor滤波器的例子的图；图9是示出根据本发明的Gabor滤波器的例子的图；图10是示出图1的图像处理设备的识别处理的例子的流程图；图11是示出其中从Gabor滤波器中选择在任意位置处的具有任意大小的正方形 区域的状态的图；图12是示出根据本发明实施例的图像处理设备的结构的另一例子的框图；图13是示出图12的图像处理设备的学习处理的例子的流程图；图14是示出图12的图像处理设备的识别处理的例子的流程图；图15是示出个人计算机的结构的例子的框图。
具体实施例方式下面参考

本发明的典型实施例。图1是示出根据本发明实施例的图像处理设备11的结构的例子的框图。图像处理设备11通过使用拍摄的人物图像进行图像识别处理，并进行确定人物 是否是登记的人物的处理。图像处理设备11通过应用使用稍后描述的Gabor滤波器的处理来识别图像，并进 行用于确定要识别的图像是否包含登记的人物的面部的处理。图像处理设备11被配置成包括图像获取单元31、面部检测单元32、面部图像变换 单元33、面部识别处理单元34、面部登记数据库35和识别结果输出单元36。另外，尽管在下面的说明中，图像处理设备11中包括面部登记数据库35，但是可 以将面部登记数据库35配置成经由网络(未示出)等与图像处理设备11相连接。如果面 部登记数据库35经由网络等被连接到图像处理设备11，则一个面部登记数据库35可被多 个图像处理设备11所共用。图像获取单元31可被配置成包括例如照相机，以具有拍摄人物的功能。替代性 地，图像获取单元31可以从外部设置的照相机或其它设备获取被拍摄的人物的图像。另 外，图像获取单元31获取包括人物的面部部分(即，识别对象)的拍摄图像。由图像获取 单元31获取的图像是至少包括人物的面部部分的图像。图像获取单元31所获取的图像被 提供给面部检测单元32。面部检测单元32通过分析从图像获取单元31提供的图像来提取人物的面部的部分(该部分在面部上的位置和大小)，并检测所提取的人物面部的部分的图像(以下称为 面部图像)。从图像获取单元31提供的图像是包括要识别的人物的面部的图像。然而，该 图像不仅可以是面部图像，而且可以是例如人物的整个身体的图像。在这种情况下，面部检 测单元32根据该图像确定人物面部的区域，并提取与人物面部的部分相对应的图像。所检 测到的面部图像被提供给面部图像变换单元33的面部特征点检测单元51和面部配准单元 52。面部图像变换单元33被配置成包括面部特征点检测单元51和面部配准单元52。面部特征点检测单元51从提供自面部检测单元32的面部图像中检测用于稍后描 述的面部配准单元52的变形处理的配准特征点。配准特征点可以是诸如人物面部上的眼、 鼻或口等的特征部分，即，面部特征部分。除了面部特征部分之外，可以将人物面部的更细 微的部分检测为特征点。面部特征点检测单元51可以通过使用例如被称为AAM(动态外观模型)的方法来 检测特征位置。面部配准单元52通过分析从面部检测单元32提供的面部图像和由面部特征点检 测单元51检测到的配准特征点来检测所提取的面部朝向哪个方向。接着，面部配准单元52 进行诸如仿射变换等的变形处理，以使得面部特征位置与基准位置配准。因此，例如，在面 部的正面直视的面部的图像的情况下，进行变形处理，以使得左眼和右眼的位置在水平位 置上被分隔开预定距离，使得鼻位于左眼和右眼之间的中心的下方，且使得口位于鼻的下 方。因此，将从面部检测单元32提供的不是在面部的正面直视的面部图像变换成与在面部 的正面直视的面部图像基本上相同的面部图像。结果，也可以识别由图像获取单元31获取 的不是在面部的正面直视的面部图像。面部识别处理单元34被配置成包括局部特征计算单元71和面部识别单元74。将其提取的特征点被校正至基准位置的面部图像提供给面部识别处理单元34的 局部特征计算单元71。局部特征计算单元71针对所提供的面部图像的多个特征点计算局 部特征量。用于获得局部特征量的特征点可以与由面部特征点检测单元51检测到的配准 特征点相同。替代性地，该特征点可以是与由面部特征点检测单元51检测到的配准特征点 完全不相同的多个特征点。利用Gabor滤波器构成局部特征计算单元71。现在说明Gabor滤波器的处理(Gabor滤波)。首先，说明相关技术的Gabor滤波 器的处理。众所周知，人类视觉细胞包括具有对于特定方向的选择性的细胞。该视觉细胞包 括对垂直线敏感的细胞和对水平线敏感的细胞。Gabor滤波器是利用具有方向敏感性的多 个滤波器构成的空间滤波器。通过Gabor函数在空间上表示Gabor滤波器。通过以下的公式(1)表示Gabor函数。 在公式(1)中，带有矢量符号的X是用表示输入图像的特征点的坐标位置的元素 (x，y)构成的二维(2-D)矢量。另外，将特征点的坐标位置设置为例如由面部特征点检测 单元51检测到的配准特征点的坐标位置。另外，公式(1)中的o是用于确定Gabor函数的形式(即，Gabor滤波器的形式) 的参数。另外，公式(1)中的、表示根据频率参数和方向参数确定的局部特征量，并且在 实际情况中，kj是具有由公式⑵表示的元素(、x，kJy)的2-D矢量。
因此，通过将用余弦(或正弦)分量构成的载波乘以2-D Gauss分析形状中的包 络(Gauss窗函数)来构成由公式(1)表示的Gabor函数。另外，kv是根据频率参数v而改变的、与Gabor滤波器的频率相对应的值。另外， 小口是根据方向参数P而改变的、与Gabor滤波器的方向相对应的值。例如，可以通过设置五个频率参数v和八个方向参数ii来获得40 ( = 5X8)个 Gabor滤波器。公式(1)和公式(2)中的参数j指定上述的40个Gabor滤波器中的任一 个，且通过公式(3)表示该参数j。j = U +8V...(3)在Gabor滤波器的处理中的特征量计算中，通过使用具有不同的方向和频率的多 个Gabor滤波器来计算各个特征量。这里，通过使用具有八个方向和五个频率的总共40个 Gabor滤波器来进行计算特征点的特征量的处理。另外，由于为了通过使用稍后描述的公式⑷获得特征量矢量(Gaborjet)而必须 使用公式(1)的计算结果，因而可以预先进行该计算，且预先将计算结果存储在存储器等 中。换言之，可以将针对在一个特征点周围的以该特征点为其中心的预定范围中的像素的 公式(1)的计算结果存储在存储器等中。例如，在公式(1)中，可以将通过以下方式获得的计算结果预先存储在存储器等 中用坐标位置(x-32，y-32)至(x+32，y+32)中的各个坐标位置取代带有矢量符号的x。 因此，可以高速地进行通过稍后描述的公式(4)所表示的积分的计算。图2示出基于比例和方向排列40个Gabor滤波器的例子。另外，该Gabor滤波 器是相关技术中的Gabor滤波器。后面参考图9说明根据本发明的Gabor滤波器。在图2 中，40个正方形中的每个使Gabor滤波器可视化。这里，在该图中，通过区分加载在与正方 形的面积相对应的图像的像素位置上的Gabor滤波器的滤波器系数来使Gabor滤波器可视 化。在该图中，亮的部分对应于高的滤波器系数值，暗的部分对应于低的滤波器系数值。在图2中，纵轴表示频率方向的变化量。在该轴上，上部对应于高频，下部对应于 低频。另外，在该图中，横轴表示滤波器方向(角度)的变化量。在该轴上，最左的部分对 应于0度；随着向右移动，角度增大；中心部分对应于90度；最右侧对应于约180度的角 度。换言之，在图2的滤波器阵列中，最左的列中的滤波器和最右的列中的滤波器是随着角 度改变而连续的滤波器。通过上述频率参数v指定图2的纵轴上的位置，并且通过上述方向参数P指定图2的横轴上的位置。例如，具有高频和0度或180度的角度的滤波器适合于计算人面部上的眼附近的 特征量的处理。另外，具有低频和90度的角度的滤波器适合于计算人面部上的鼻附近的特 征量的处理。如果用J」表示第j个Gabor滤波器的结果(Gabor特征)，并且用I表示输入图像 的灰度值，则通过公式(4)表示Gabor滤波器的响应。另外，在公式(4)中，以带有矢量符 号的Xi表示特征点，其中i为1至M的整数。 换言之，在公式(4)中，通过将特征点周围的预定范围(例如从特征点的像素开始 的垂直方向和水平方向上的士32个像素的范围)取为积分范围来进行卷积积分。如果使 用40个Gabor滤波器，则对于一个特征点可以获得40个特征量。换言之，对于一个特征点 可以获得具有40个参数(元素)的特征量矢量(Gabor Jet)。另外，如上所述，如果将通过以下方式获得的各个计算结果预先存储在存储器等 中，则可以高速地进行公式(4)的积分计算用例如坐标位置(x-32，y-32)至(x+32，y+32) 取代公式(1)中的带有矢量符号的X。而且，将以上参考公式(1)描述的Gabor函数配置成满足DC-Free特性。具有 DC-Free特性的图像的特征量是不受图像的直流(DC)分量影响的特征量。在通过利用改变 照相机的白平衡或光圈拍摄同一被摄体而获得图像A和B的情况下，通过使用该特征量可 以增强用于识别出图像A和B是同一被摄体的图像的特性。换言之，具有DC-Free特性的 Gabor滤波器可以提取出不受图像的色调或拍摄时的光强度等的影响的特征。由于公式(1)中包括项“-eXp(-o2/2)”，因而公式(1)满足DC-Free特性。如上 所述，公式(1)中的参数o被指定为用于确定Gabor滤波器的形状的参数，并且在在相关 技术的Gabor滤波器的处理中计算Gaborjet时，已使用与参数j的值不相关的参数o的 共用值。换言之，在上述的公式(4)中，尽管通过改变参数j而计算出与40个Gabor滤波 器相对应的40个特征量，但是对于这40次计算已使用了相同值的参数o。例如，在 von der Malsburg 等人所著的论文"Face Recognition byElastic Bunch Graph Matching”中公开的方法中，将参数o设置为2 ji。另外，如上所述，将公式(1)配置为Gauss窗函数与用余弦(或正弦)分量构成的 载波的乘积。公式⑴中的项“(、70 2)6即(-00^72 02))”是6肌％窗函数，并且可以获 得该Gauss窗函数的宽度为o/k。换言之，公式(1)中的Gauss窗函数的宽度与Gabor滤 波器的频率成反比。如果Gauss窗函数的宽度大，则对于由公式(4)表示的特征量矢量的计算必须取 宽的积分范围。例如，考虑图3所示的用余弦(或正弦)分量构成的载波被乘以图4所示的Gauss 窗函数的情况。另外，在图3和4中，横轴对应于例如像素位置，并且纵轴对应于例如滤波 器系数的值。图3所示的波形的频率对应于上述的Gabor滤波器的频率。在图4中，以w表示 Gauss窗函数的宽度。在这种情况下，通过图5所示的波形表示Gabor滤波器的特性。在图5中，在Gauss窗函数的值增大的该图的中心处的部分中，波形的振幅大，而在Gauss窗 函数的值减小的该图的左右两端附近的部分中，波形的振幅小。对于图2所示的Gabor滤波器，在所有40个滤波器中都可以观察到其像素颜色从 白变成黑的四个波(条纹)。这样，Gabor滤波器被配置成具有与其振幅根据Gauss窗函数 的衰减而改变的波形相对应的形状。现在考虑其频率低于图3所示的载波的频率的、用余弦(或正弦)分量构成的图6 所示的载波。如上所述，由于公式(1)中的Gauss窗函数的宽度与Gabor滤波器的频率成反 比，因而与图6所示的载波的频率相对应的Gauss窗函数具有大的宽度w，如图7所示。因 此，在Gabor滤波器的频率低的情况下，如果该图中的横轴没有被取成具有足够大的长度， 则可能不能观察到其振幅根据Gauss窗函数的衰减而改变的波形。换言之，在该频率低的 情况下，如果横轴(例如像素位置)没有被取成具有如图7所示的足够大的长度，则Gauss 窗函数不会充分地衰减。因此，在Gabor滤波器的频率低的情况下，如果输入图像的面积没有被取得足够 大，则可能不能适当地获得特征量。换言之，在相关技术中的Gabor滤波器中，如果要计算低频部分(例如人面部上的 鼻部分)的特征量，则对于公式(4)的计算，必须使用该特征点周围的大量像素。换言之， 在公式(4)的计算中必须取宽的积分范围。然而，在使用公式(4)的特征量矢量的计算中，如果要进行如上所述的使用宽的 积分范围的卷积运算，则发生以下问题。首先，必须准备根据公式⑷的积分范围具有足够大的面积的输入图像。例如，在 图2所示的滤波器中，为了满足DC-Free特性，必须将具有该图的下部所示的低频的滤波器 的面积配置得大。其次，例如，在预先计算公式(1)并将其结果存储在存储器中的情况下，必须要设 置大的存储区域。换言之，为了满足DC-Free特性，由于必须增大具有低频的滤波器的面 积，因而积分范围也增大。结果，例如，在公式(4)中的下标j表示具有低频的Gabor滤波 器的情况下，如果要将大量计算结果存储在存储器中，则可能不能高速地进行公式(4)的 积分计算。例如，在公式(4)中的下标j表示具有高频的Gabor滤波器的情况下，可以将通过 用例如坐标位置(x-32，y-32)至(x+32，y+32)取代公式(1)中的带有矢量符号的x而获得 的各个计算结果预先存储在存储器中。然而，在下标j表示具有低频的Gabor滤波器的情 况下，如果预先存储通过用例如坐标位置(x-160，y-160)至(x+160，y+160)取代公式(1) 中的带有矢量符号的x而获得的各个计算结果，则可能不能高速地进行公式(4)的积分计算。第三，由于积分范围宽，因而，在要提取面部和背景之间的边界附近的特征量的情 况下，包括背景区域的大量的特征量。第四，公式(4)的计算量与输入图像的面积成比例地增大。换言之，如第二问题中 所述，如果积分范围增大，则计算量也增大。由于这些问题，在相关技术中的Gabor滤波器的处理的许多情况下，在以下的状 态下进行卷积计算在实际计算中可能允许不满足DC-Free特性，并且限制积分范围。例如，对于具有低频的Gabor滤波器，尽管必须要准备具有足够大的面积的输入图像，然而在 实际情况中，已使用用于具有高频的Gabor滤波器的输入图像和面积无变化的输入图像。 然而，在这种情况下，对于照度变化的鲁棒性降低。因此，在本发明中，无论对积分范围的限制如何，都可以满足DC-Free特性。如上所述，在相关技术的Gabor滤波器的处理中，将公式(1)中的参数o的值设 置为常数(例如2^0。然而，在本发明中，将参数o的值设置为变量。在本发明中，将参数 O的值表示为频率参数V的函数，并且通过使用公式(5)获得参数O的值。
…(5)在公式(5)中，％是通过公式⑷的计算中的积分范围确定的常数。在根据本发明的Gabor滤波器的处理中，代替上述公式(1)，使用公式(6)。另外， 通过将公式(2)和公式(5)代入公式(1)中而获得公式(6)。
…(6)另外，由于无论参数o的值如何，公式(1)都满足DC-Free特性，因而公式(6)也 满足DC-Free特性。在公式(6)中，Gauss窗函数的宽度为2的(-(v-v0)/2)次幂，其中，不管Gabor 滤波器的频率如何，该宽度都是恒定的。因此，如果将参数v^设置成适当值以使Gauss窗 函数在积分范围内充分衰减，则不管任意积分范围中的频率的大小如何，都可以构成满足 DC-Free特性的Gabor滤波器。在本发明中，对于公式⑷的计算使用公式(6)中的Vj(x)。因此，根据本发明的 图像处理设备11的局部特征计算单元71输出通过对于公式(4)的计算使用公式(6)中的 ￥j(x)而获得的特征量。因此，例如，为了高速地进行公式(4)的积分计算，可以将针对以 一个特征点为中心的该特征点周围的根据积分范围的预定范围中的像素的公式(6)的计 算结果存储在存储器等中。例如，可以由图像处理设备11的用户任意地指定积分范围。根 据所指定的积分范围确定上述的公式(5)和公式(6)中的常数％的值。图8和9是用于举例说明相关技术中的Gabor滤波器和根据本发明的Gabor滤 波器之间的差别的图。这里，说明了以下的例子准备了总共80个Gabor滤波器作为具有 8个方向和5个频率的余弦/正弦滤波器。在图8和9中，80( = 8X 10)个正方形均表示 Gabor滤波器。图8是示出相关技术中的Gabor滤波器的例子的图，而图9是示出根据本发明的 Gabor滤波器的例子的图。这里，在这些图中，通过区分加载在与正方形的面积相对应的图 像的像素位置上的Gabor滤波器的滤波器系数来使Gabor滤波器可视化。在这些图中，亮 的部分对应于高的滤波器系数值，暗的部分对应于低的滤波器系数值。另外，在图8和9中，纵轴表示频率方向的变化量。在该轴上，上部对应于高频，下部对应于低频。另外，在该图中，横轴表示滤波器方向(角度)的变化量。在该轴上，最左 的部分对应于0度；随着向右移动，角度增大；中心部分对应于90度；并且最右侧对应于约 180度的角度。在图8的情况下，在该图的下部的具有低频的Gabor滤波器中，在其处像素的颜色 从白色变成黑色的波超出了正方形的区域。另一方面，在图9的情况下，在该图的下部的 具有低频的Gabor滤波器中，在其处像素的颜色从白色变成黑色的波没有超出正方形的区 域。这样，图9所示的根据本发明的Gabor滤波器满足DC-Free特性，并且即使在低频时也 可以不必取大的积分范围。回到图1，将由局部特征计算单元71计算出的特征量提供给面部识别单元74。面部识别单元74将由局部特征计算单元71计算出的特征量矢量与登记在面部登 记数据库35中的登记的面部图像数据相比较。换言之，面部识别单元74计算相关系数，并 确定当前的人物是否与登记的人物相匹配。面部识别单元74将确定结果提供给识别结果 输出单元36。将用于识别登记的人物的特征量信息登记在面部登记数据库35中。换言之，将与 登记的人物的面部图像的特征点相对应的所有Gabor Jet都登记在面部登记数据库35中。登记在面部登记数据库35中的特征量的数据(登记的面部图像数据)是通过图1 所示的图像获取单元31至局部特征计算单元71的处理而获取并登记的数据。另外，可以 使用从外部获取并登记的数据作为通过图像获取单元31至局部特征计算单元71的处理而 获得的数据。识别结果输出单元36可以通过使用例如蜂鸣音、文本显示或LED闪烁将从面部识 别单元74提供的确定结果通知到外部。替代性地，识别结果输出单元36可以将该确定结 果输出至外部设备。更具体地，例如，可以将识别结果输出单元36配置成包括例如显示器。 替代性地，可以将识别结果输出单元36配置成以消息等的格式显示确定结果。例如，在面部登记数据库35中登记有与输入图像中所包括的面部图像相匹配的 登记的面部图像的情况下，可以输出诸如姓名等的与该面部图像的人物相关的信息。例如， 从面部登记数据库35读取与被确定为匹配的登记的面部图像相对应的人物相关的信息 (例如该人物的姓名)，并将该信息(例如姓名)作为确定结果而输出至识别结果输出单元 36。另外，在面部登记数据库35中未登记与输入图像中包括的面部图像相匹配的登 记的面部图像的情况下，可以输出表示未登记的信息。例如，作为确定结果而输出消息“未 登记的人物”。这样，图像处理设备11通过比较特征量来确定所获得的人物的面部图像是否与 登记的人物的面部图像相匹配。接着参考图10的流程图说明根据本发明的图像处理设备11的识别处理的例子。在步骤S101中，面部检测单元32从包括由图像获取单元31获取的面部图像的 图像中检测与该面部相对应的部分，并将检测到的面部图像提供给面部特征点检测单元51 和面部配准单元52。在步骤S102中，面部特征点检测单元51检测该面部的特征部分(面部特征位 置)，例如诸如眼、鼻或口等的特征部分。
在步骤S103中，面部配准单元52基于由面部特征点检测单元51检测到的面部特 征点而对从面部检测单元32提供的面部图像进行诸如仿射变换等的变形处理，以使得将 面部图像变换成对应于在面部的正面直视所拍摄的面部图像。将变换后的面部图像提供给 局部特征计算单元71。在步骤S104中，局部特征计算单元71例如通过使用参考图9详细说明的Gabor 滤波器来计算局部特征量。此时，如上所述，在本发明中，通过对于公式(4)的计算使用用 公式(6)表示的Gabor核来计算特征量矢量。在步骤S105中，面部识别单元74从面部登记数据库35读取登记的面部的特征
量。
在步骤S106中，面部识别单元74计算相关系数。此时，面部识别单元74计算从 局部特征计算单元71提供的特征量矢量与从面部登记数据库35读取的登记的面部的特征 量矢量之间的相关系数。在步骤S107中，识别结果输出单元36基于从面部识别单元74提供的计算结果而 输出对要识别的对象的存在的识别结果。例如，输出表示输入图像中是否包括要识别的对 象(例如从面部登记数据库35读取的登记的面部)的识别结果。然而，构成特征量矢量的Gabor jet被准备成具有各种频率和方向参数。然而，具 体地，在要获得面部图像的特征的情况下，由于用于表示特征点的特征所必需的频率和方 向参数不相同，因而可能存在不必要的特征点的参数。因此，由于根据不必要的参数而获得的Gabor特征通常可能具有与特征点的局 部特征无关的值，因而在获得包括不必要的参数的特征量矢量之间的相关系数的情况下， Gabor特征可能对所获得的结果具有不利影响。另外，在通过多个独立的因素(例如面部表情、个性、眼镜等)表示特征点的局部 特征的情况下，可能难以与用所有Gabor Jet构成的特征量矢量之间的相关值中的因素无 关地评价相关性。特征点所必需的频带和方向没有不必要的参数，S卩，可以假定特征点在连续范围 内。因此，可以从其中排列了所有Gabor滤波器的比例和方向的图2所示的特征维数中选 择图11所示的诸如正方形131、正方形132和正方形133等的具有任意的位置和大小的正 方形区域。这样，根据特征点所确定的特征量矢量的元素(以下称为局部特征量)的组合 非常适合于获得面部图像的特征。因此，如果从其中以比例和方向排列Gabor滤波器的特征维数中选择具有任意的 位置和大小的正方形区域，则其组合的数量最大为5C2X8P2 = 560，可以选择合理数量的特 征维数。另外，在特征点所必需的频带和方向被选择作为组合的正方形区域内的情况下， 换言之，在该频带和方向不被包括在与局部特征无关的Gabor特征的正方形区域中的情况 下，可以避免无关的特征量的不利影响。因此，在识别面部图像的处理的实际情况下，不是针对各个特征点计算通过使用 例如40个Gabor滤波器而计算出的所有局部特征量的相关系数，但是优选地，确定根据特 征点的局部特征量的组合。在确定了根据特征点的局部特征量的组合的情况下，例如可以将图像处理设备11 配置成如图12所示。图12是示出根据本发明的图像处理设备11的结构的另一例子的框图。图12示出了图像处理设备的例子，该图像处理设备例如通过使用参考图9所述的Gabor 滤波器来计算特征量矢量，并根据特征点确定局部特征量的组合。在该图中，用相同的附图 标记表示与图1的组件相同的组件。 在图12中，图像获取单元31至面部图像变换单元33与参考图1所述的图像获取 单元31至面部图像变换单元33相同，因此省略对其的详细说明。在图12的结构中，图像处理设备11在两种工作模式下工作，即，学习模式和识别 模式。学习模式是进行使用学习图像学习识别处理并生成要用于识别模式下的识别处理的 识别器的处理的模式。识别模式是进行使用在学习模式下生成的识别器来识别图像并确定 要识别的图像是否包括登记的人物的面部的处理的模式。另外，在图12中，面部识别处理单元34被配置成包括局部特征计算单元71、识别 器生成单元72、学习数据存储单元73和面部识别单元74。在图12中，将由局部特征计算单元71计算出的特征量矢量配置成在学习模式下 被提供给识别器生成单元72且在识别模式下被提供给面部识别单元74。在图12的情况下，在学习模式中，局部特征计算单元71通过指定至少包括通过40 个Gabor滤波器所获得的特征量中的一些特征量的多维特征矢量集作为局部特征量来针 对每个特征点生成多种组合。可以生成这些组合以包括通过40个Gabor滤波器获得的所有特征量。换言之，这 些组合可以包括或者可以不包括40维的特征矢量。换言之，局部特征计算单元71针对一个特征点可以获得多个具有40个或更少的 参数的特征量矢量。例如，N个特征点的局部特征量可被配置成针对一个面部图像而被计 算出。另外，准备Gabor滤波器的P种组合。在这种情况下，针对一个特征点可以获得P种 特征量矢量，并且针对一个面部图像可以获得NXP个特征量矢量。这样，局部特征计算单元71生成通过40个Gabor滤波器获得的一些特征量集合 的组合作为局部特征量。但是，在选择这些组合中的用作局部特征量的组合时，可以选择随 机组合。然而，这些组合的总数必然非常大。因此，局部特征计算单元71通过以下方式来确定局部特征量的组合从图2所示 的Gabor滤波器中选择图11所示的诸如正方形131、正方形132或正方形133等的具有任 意的位置和大小的正方形区域。另外，这里，尽管为了简化说明而从图2的Gabor滤波器中 选择图11所示的正方形区域，但是在实际情况下，从以上参考图9所述的Gabor滤波器中 选择具有任意的位置和大小的正方形区域。在学习模式下，局部特征计算单元71将针对每个特征点的多个具有40个或更少 的参数的特征量矢量提供给识别器生成单元72。另外，在识别模式下，局部特征计算单元 71基于存储在学习数据存储单元73中的识别特征量来计算与特征点相对应的局部特征 量，并将该局部特征量提供给面部识别单元74。识别特征量是表示哪个特征点的哪个局部 特征量(即，Gabor滤波器的哪个部分)被用于通过识别器生成单元72中的学习而生成的 识别器的信息。因此，不仅可以使用每个特征点的所有维数对包括特征量矢量的一个相关系数进 行识别器生成以及在面部识别时所进行的相关系数计算，而且还可以使用一些维数对包括 该特征量矢量的多个相关系数进行识别器生成以及在面部识别时所进行的相关系数计算。换言之，对于学习和识别可以使用不同维数的多个特征量。在学习模式下，识别器生成单元72通过使用由局部特征计算单元71计算出的学 习图像特征量和预先存储的学习模型特征量来进行使用Ababoost的统计学习处理。在识 别模式下，识别器生成单元72生成要用于识别处理的识别器。接着，识别器生成单元72将 所生成的识别器以及与该识别器相关的信息(表示相关值和该识别器的可靠性的信息)存 储在学习数据存储单元73中。另外，识别器生成单元72在识别器的学习期间、仅提取对于 对要识别的面部图像的识别影响大的模型特征量。接着，识别器生成单元72将表示哪个特 征点的哪个局部特征量(Gabor滤波器的哪个正方形区域部分)被用于该识别器的信息作 为识别特征量而提供给学习数据存储单元73，并将该信息存储在学习数据存储单元73中。
Adaboost是Freund等人在1996年提出的理论，其能够通过组合多组“比随机识 别器更优的识别器”(有时被称为弱学习器)来实现“强识别器”。通过识别器生成单元72 生成的识别器是“比随机识别器更优的弱识别器”，并且这些识别器中的每个被生成以使得 在该识别器之前所生成的识别器为差的识别分配加权因子。因此，在识别处理中，根据每个弱识别器的可靠性如何而获得可靠性，并基于该可 靠性进行大多数确定。将通过识别器生成单元72生成的识别器、与该识别器相关的信息以及识别特征 量存储在学习数据存储单元73中。在图12的情况下，在识别模式下，面部识别单元74通过使用存储在学习数据存储 单元73中的识别器而将由局部特征计算单元71计算出的特征量与登记在面部登记数据库 35中的登记的面部图像数据相比较。例如，计算该特征量与登记的面部图像数据之间的相 关系数，并确定是否存在与登记的人物之间的匹配。将确定结果提供给识别结果输出单元 36。换言之，面部识别单元74基于存储在学习数据存储单元73中的识别器的可靠性而对 识别器的确定结果进行大多数确定，以确定是否存在与登记的人物之间的匹配。在图12的情况下，将与识别登记的人物所必需的特征量相关的信息登记在面部 登记数据库35中。换言之，可以将登记的人物的面部图像中的全部特征点的所有Gabor Jet存储在面部登记数据库35中。然而，可以至少登记与对应于识别特征量的特征量相关 的信息。将登记在面部登记数据库35中的特征量的数据(登记的面部图像数据)配置为 通过进行图1的图像获取单元31至局部特征计算单元71的处理而获得的且被登记的数 据。另外，可以使用从外部获取并被登记的数据作为通过图像获取单元31至局部特征计算 单元71的处理而获得的数据。识别结果输出单元36可以通过使用例如蜂鸣音、文本显示或LED闪烁将从面部识 别单元74提供的确定结果通知到外部。替代性地，识别结果输出单元36可以将确定结果 输出至外部设备。更具体地，例如可以将识别结果输出单元36配置成包括例如显示器。替 代性地，可以将识别结果输出单元36配置成包括以消息等的格式显示判断结果的单元。例如，在面部登记数据库35中登记有与输入图像中包括的面部图像相匹配的登 记的面部图像的情况下，可以输出诸如姓名等的与该面部图像的人物相关的信息。例如， 从面部登记数据库35读取与被确定为匹配的登记的面部图像相对应的人物的相关的信息 (例如姓名)，并将该信息(例如姓名)作为确定结果而输出至识别结果输出单元36。
另外，在面部登记数据库35中未登记与输入图像中包括的面部图像相匹配的登 记的面部图像的情况下，可以输出表示未登记的信息。例如，作为确定结果而输出消息“未 登记的人物”。可以如下地配置图像处理设备11。另外，在日本未审专利申请公开2008-165731中公开了一种通过进行使用 Adaboost的统计学习处理来生成用于识别模式下的识别处理的识别器的图像处理设备。接着参考图13的流程图来说明在学习模式下由如图12所示地配置的图像处理设 备11所进行的学习处理。在步骤S131中，面部检测单元32从包括通过图像获取单元31而获取的面部图像 的图像中检测与该面部相对应的部分，并将检测到的面部图像提供给面部特征点检测单元 51和面部配准单元52。 在步骤S132中，面部特征点检测单元51检测该面部的特征部分(面部特征位 置)，例如诸如眼、鼻或口等的特征部分。在步骤S133中，面部配准单元52基于由面部特征点检测单元51检测到的面部特 征点而对从面部检测单元32提供的面部图像进行诸如仿射变换等的变形处理。由此将该 面部图像变换成与在面部的正面直视所拍摄的面部图像相对应。将变换后的面部图像提供 给局部特征计算单元71。在步骤S134中，局部特征计算单元71例如通过使用参考图9详细说明的Gabor 滤波器来计算局部特征量。在步骤S135中，局部特征计算单元71对通过参考图11所述的Gabor滤波器而获 得的局部特征量中的至少一部分的一些集合进行组合，并将这些集合提供给识别器生成单 元72。可以预先通过试验或按照经验来确定组合方法和所生成的组合的数量。更具体地， 可以选择组合方法和所生成的组合的数量，以使得如参考图11所述的，频带和方向是连续 的。在步骤S136中，识别器生成单元72的相关系数计算单元101从学习模型特征量 存储单元102读取学习模型的特征量，并计算从局部特征计算单元71提供的局部特征量的 组合与该组合中的学习模型之间的相关系数。在步骤S137中，识别器生成单元72生成识别器。在步骤S138中，识别器生成单元72登记通过步骤S137的处理而生成的识别器。 此时，例如，将生成的识别器和与该识别器相关的信息(表示相关值和该识别器的可靠性 的信息)存储在学习数据存储单元73中。由于该处理，在学习模式下，生成识别器，并将识别器存储在学习数据存储单元73 中，而且将与该识别器相对应的模型特征量和该识别器的可靠性存储在学习数据存储单元 73中。换言之，将与以下识别特征量以及识别器的可靠性相关的信息存储在学习数据存储 单元73中该识别特征量表示将用于生成识别器的Gabor特征与哪个特征点的哪个组合 相关联(例如，如果准备了总共40个Gabor滤波器，则将该Gabor特征与哪个滤波器相关 联)。接着参考图14的流程图说明如图12所示地配置的图像处理设备11所进行的识 别处理。
在步骤S171中，面部检测单元32从包括由图像获取单元31获取的面部图像的 图像中检测与该面部相对应的部分，并将检测到的面部图像提供给面部特征点检测单元51 和面部配准单元52。 在步骤S172中，面部特征点检测单元51检测该面部的特征部分(面部特征位 置)，例如诸如眼、鼻或口等的特征部分。在步骤S173中，面部配准单元52基于由面部特征点检测单元51检测到的面部特 征点而对从面部检测单元32提供的面部图像进行诸如仿射变换等的变形处理。在步骤S174中，局部特征计算单元71例如通过使用参考图9所述的Gabor滤波 器来计算局部特征量。在步骤S175中，局部特征计算单元71从学习数据存储单元73获取与识别特征量 相关的信息。这里，该与识别特征量相关的信息是表示将用于生成识别器的Gabor特征与哪个 特征点的哪个组合相关联的信息(例如，如果准备了总共40个Gabor滤波器，则该信息表 示将哪个特征点与识别器的生成中的滤波器中的滤波器的组合相关联)。在步骤S176中，局部特征计算单元71生成Gabor滤波器所获得的局部特征量与 基于所获取的识别特征量的信息的在该识别特征量中表示的特征点的局部特征量的组合， 并将该局部特征量的组合作为相关系数计算信息而提供给面部识别单元74。在步骤S177中，面部识别单元74从面部登记数据库35读取登记的人物的特征 Mo在步骤S178中，面部识别单元74从学习数据存储单元73读取识别器，并通过将 该特征量代入其中来进行计算。面部识别单元74计算与以下组合相对应的相关系数作为 从局部特征计算单元71提供的相关系数计算信息的识别特征量中所表示的特征点的局部 特征量的组合、以及从面部登记数据库35读取的登记的面部的特征量中的识别特征量中 所表示的特征点的局部特征量的组合。接着，面部识别单元74通过将所获得的相关系数作 为特征量而代入从学习数据存储单元73读取的识别器中来进行计算。在步骤S179中，识别结果输出单元36基于从面部识别单元74提供的计算结果而 输出对要识别的对象的存在的识别结果。因此，可以根据特征点确定局部特征量的组合，从而使得可以对于学习和识别使 用多个不同维数的特征量。另外，图像处理设备11的根据特征点确定局部特征量的组合的结构不限于图12 所示的结构，而且还可以使用其它结构。另外，可以以硬件方式或软件方式进行上述的系列处理。在以软件方式进行上述 的系列处理的情况下，可以将构成该软件的程序通过网络或记录介质而安装在诸如图15 所示的通用个人计算机700等的计算机中，其中该计算机被装配在专用硬件中，或者该计 算机允许被安装各种程序以执行各种功能。在图15中，CPU (中央处理单元)701根据存储在R0M(只读存储器)702中的程序 或从存储单元708加载到RAM(随机存取存储器)上的703的程序来执行各种处理。RAM 703还适当地存储执行CPU 701的各种处理所必需的数据。CPU 701、ROM 702和RAM 703经由总线704而相互连接。另外，还将输入/输出接口 705连接至总线704。输入/输出接口 705被连接至诸如键盘和鼠标等的输入单元706、用诸如IXD (液 晶显示器)之类的显示器和扬声器构成的输出单元707、用硬盘等构成的存储单元708、以 及用诸如调制解调器和LAN卡之类的网络接口卡构成的通信单元709。通信单元709经由 包括互联网的网络进行通信处理。
另外，如果必要的话，将驱动器710连接到输入/输出接口 705。适当地加载诸如 磁盘、光盘、磁光盘或半导体存储器等的可拆卸介质711，并且如果必要的话将从可拆卸介 质711读取的计算机程序安装在存储单元708中。在进行上述的系列处理的情况下，经由诸如互联网等的网络或者从诸如可拆卸介 质711等的记录介质来安装构成该软件的程序。另外，可将该记录介质配置成可拆卸介质711，其中可拆卸介质711被分发给用 户，以从如图15所示的设备的主体单独地将该程序分发至用户。作为可拆卸介质711的例 子，存在记录程序的磁盘(包括软盘(fIoppydisk(注册商标)))、光盘(包括⑶-ROM(压缩 盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(mini-disk)(注册商标))、 或半导体存储器等。另外，可以在记录介质被预先装配在设备的主体中的状态下分发记录 介质。记录介质可以包括在其中记录程序的ROM 702或者存储单元708中包括的硬盘等。另外，可以根据本发明的说明书中公开的时间顺序来执行上述的系列处理。替代 性地，作为对根据时间顺序的执行的替代，还可以并行地或个别地执行所述处理。另外，本发明的实施例不局限于上述的实施例，并且在不脱离本发明的精神的范 围内可以有各种变型。本申请包含与2009年4月8日在日本专利局提交的日本优先权专利申请JP 2009-093623中公开的主题相关的主题，该日本优先权专利申请的全部内容通过引用合并 于此。本领域的技术人员应当理解，可以根据设计需求和其它因素而进行各种变型、组 合、子组合和改变，只要所述变型、组合、子组合和改变在所附权利要求或其等同内容的范 围之内即可。
权利要求
一种伽柏滤波器，其中，将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为由指定所述频率的频率参数v的函数表示的可变值。
2.根据权利要求1所述的伽柏滤波器，其中，指定根据所述伽柏滤波器的计算的积分 范围而确定的常数V(l，并将所述参数o配置为通过以下的公式5而计算出的可变值cr(i/) = 27T.2 (公式 5)。
3.根据权利要求2所述的伽柏滤波器，其中，用I表示输入图像的灰度值，并且用y表示指定所述方向的方向参数； 其中，通过以下的公式4表示所述多个伽柏滤波器中的第j个伽柏滤波器的结果Jj ；以及其中，基于以下的公式3、公式6和公式2来计算所述结果Jj(元广丄昭’)购(无-X’)d2i’ (公式4)j = u+8v(公式 3)iP-(x) = 2v'expk,=x2丛、2 2. 2~[exp(电 5)-exp(-兀2.之卞部)](公式6)/ V . \'kj/cos^/i'k 、K.jy;’k厂2_夢吾(公式2) 一 p g
4.一种图像识别设备，包括特征点检测装置，用于检测输入图像数据的图像的特征点；特征量检测装置，用于通过使用伽柏滤波器来检测所述特征点的局部特征量，在所述 伽柏滤波器中，将确定具有不同的方向和频率的多个伽柏函数的形状的参数o的值配置 为通过指定所述频率的频率参数v的函数而表示的可变值；计算装置，用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系 数；以及输出装置，用于输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所 述登记图像的识别结果。
5.根据权利要求4所述的图像识别设备，其中，指定根据所述伽柏滤波器的计算的积 分范围而确定的常数v。，并将所述参数o配置为通过以下的公式5而计算出的可变值a(y) = 271-2 ~ (公式 5)°
6.根据权利要求5所述的图像识别设备，其中，用I表示输入图像的灰度值，并且用P表示指定所述方向的方向参数； 其中，通过以下的公式4表示所述多个伽柏滤波器中的第j个伽柏滤波器的结果J」；以及其中，基于以下的公式3、公式6和公式2来计算所述结果 Jj(xO = il(x')ti(xl-x')d2x'(公式 4)j = u+8v(公式 3)
7.一种图像识别方法，包括以下步骤检测输入图像数据的图像的特征点；通过使用伽柏滤波器来检测所述特征点的局部特征量，其中，将确定具有不同的方向 和频率的多个伽柏函数的形状的参数o的值配置为通过指定所述频率的频率参数v的函 数而表示的可变值；计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数；以及输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所述登记图像的 识别结果。
8.一种允许计算机用作图像识别设备的程序，所述图像识别设备包括特征点检测装置，用于检测输入图像数据的图像的特征点；特征量检测装置，用于通过使用伽柏滤波器来检测所述特征点的局部特征量，其中，将 确定具有不同的方向和频率的多个伽柏函数的形状的参数o的值配置为通过指定所述频 率的频率参数v的函数而表示的可变值；计算装置，用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系 数；以及输出装置，用于输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所 述登记图像的识别结果。
9.一种记录介质，在所述记录介质上记录有根据权利要求8所述的程序。
10.一种图像识别设备，包括特征点检测单元，用于检测输入图像数据的图像的特征点；特征量检测单元，用于通过使用伽柏滤波器来检测所述特征点的局部特征量，其中，将 确定具有不同的方向和频率的多个伽柏函数的形状的参数o的值配置为通过指定所述频 率的频率参数v的函数而表示的可变值；计算单元，用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系 数；以及输出单元，用于输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所 述登记图像的识别结果。
全文摘要
提供了伽柏滤波器、图像识别设备及方法、程序和记录介质。在该伽柏滤波器中，将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为通过指定所述频率的频率参数ν的函数而表示的可变值。
文档编号G06K9/00GK101859381SQ20101015119
公开日2010年10月13日 申请日期2010年4月1日 优先权日2009年4月8日
发明者大久保厚志 申请人:索尼公司