专利名称：对象图像检测装置、面部图像检测程序及面部图像检测方法
技术领域：
本发明涉及图形识别和对象识别技术，涉及用于检测图像中是否包含人脸那样的对象的对象图像检测装置、面部图像检测程序及面部图像检测方法。
背景技术：
以往，作为从尚未判明是否包含人脸那样的对象的检测对象图像中识别该对象的方法，像日本特开2003-271933号公报记载的那样，使用表示平均的面部图像的模板，进行与该检测对象图像的匹配，由此检测面部图像。
但是，在以往的方法中，由于使用模板，所以在面部的朝向发生变化时，有时会产生面部的检测遗漏。另一方面，如果为了防止该检测遗漏，而放宽模板的基准，则存在把面部以外的图像错误检测为面部的问题。
发明内容
为了解决上述问题，本发明的对象图像检测装置检测在尚未判明是否包含有对象图像的检测对象图像中是否存在对象图像，其特征在于，该对象图像检测装置具有图像读取单元，其读取所述检测对象图像的规定区域作为检测对象区域；特征向量生成单元，其把按规定的大小归一化后的所述检测对象区域的图像划分为多个块，对该每个块计算表示规定的图像特性的图像特征量的代表值，根据该代表值生成表示所述检测对象区域内的该图像特性的特征的特征向量；以及至少两个以上的识别单元，其根据所述特征向量表示的所述图像特性，利用不同的基准来识别在所述检测对象区域内是否存在对象图像。
根据上述结构，由被划分为多个块的检测对象区域的图像特征量的代表值生成表示检测对象区域的图像特征量的特征向量，并被输入以不同基准进行识别的至少两个以上的识别单元。因此，针对检测对象区域以至少两个以上的不同基准来识别是否是对象，所以本发明的对象图像检测装置不依赖于对象的朝向，能够高可靠性地检测检测对象区域的对象。
本发明的对象图像检测装置优选还具有识别单元选择部，其根据所述特征向量表示的所述图像特性的统计特征，选择所述识别单元。
根据上述结构，识别单元是根据特征向量表示的图像特性的统计特征被适当地选择的，所以对象的检测精度和检测处理速度提高。
在本发明的对象图像检测装置中，优选所述特征向量生成单元具有归一化部，其按规定的大小把所述检测对象区域内的图像归一化；图像特性计算部，其按照所述规定的图像特性将所述图像数值化并算出；平均方差值计算部，其把所述检测对象区域划分为多个块，对该每个块计算所述数值化的数值的平均值或方差值。
根据上述结构，被以规定的大小归一化的检测对象区域的图像被划分为多个块，并且通过利用平均值或方差值来代表该每个块的特征值来计算特征向量。因此，除了每个块的特性值未被破坏外，由于计算特征向量的计算量锐减，所以能够可靠快速地计算特征向量。
在本发明的对象图像检测装置中，优选所述图像特性计算部具有亮度计算部，其计算构成所述检测对象区域内的图像的各个像素的亮度值。
另外，在本发明的对象图像检测装置中，优选所述图像特性计算部具有边缘强度计算部，其计算所述检测对象区域内的边缘的强度。
根据上述结构，在检测对象区域内存在对象图像时，可以高精度地快速地识别该图像。
在本发明的对象图像检测装置中，优选所述边缘的强度是使用构成所述检测对象区域内的图像的各个像素的Sobel算子来计算的。
根据上述结构，可以高精度地检测边缘的强度。
在本发明的对象图像检测装置中，优选所述识别单元由支持向量机(support vector machine)构成，该支持向量机预先学习了多个学习用样本对象图像和样本非对象图像。
根据上述结构，可以快速且高精度地识别检测对象区域内是否存在对象图像。
在本发明的对象图像检测装置中，优选所述识别器包括前级识别器和后级识别器，所述前级识别器能够比所述后级识别器更快速地进行识别处理，所述后级识别器能够比所述前级识别器更高精度地进行识别处理。
并且，在本发明的对象图像检测装置中，优选所述后级识别器把所述前级识别器可识别的所述特征向量识别为对象。
根据上述结构，通过组合快速识别器和高精度识别器来进行识别处理，可以高效地进行识别处理。
在本发明的对象图像检测装置中，优选所述前级识别器具有线性的核函数作为所述支持向量机的识别函数。
并且，在本发明的对象图像检测装置中，优选所述后级识别器具有非线性的核函数作为所述支持向量机的识别函数。
根据上述结构，通过把识别处理转换为核函数来进行运算，除简化运算外，还可以降低运算量，所以能够实现快速的识别处理。
在本发明的对象图像检测装置中，优选所述识别器包括一方识别器、和配置在所述一方识别器的后级的另一方识别器，所述各识别器根据分别不同的所述图像特性来进行识别。
根据上述结构，连续进行基于分别不同的图像特性的识别，所以能够实现更高精度的识别。
在本发明的对象图像检测装置中，优选所述另一方识别器具有支持向量机，该支持向量机学习了所述学习用对象图像、和所述一方识别器误识别的非对象图像。
根据上述结构，所述另一方识别器能够进行有效的学习，以便不会再次对误识别图像进行误识别。
并且，通过把上述的对象图像适用于面部图像，可以实现检测处理速度快、并且检测可靠性高的面部图像检测装置。
为了解决上述课题，本发明的面部图像检测程序检测在尚未判明是否包含有面部图像的检测对象图像中是否存在面部图像，其特征在于，该程序使计算机发挥作为以下单元的作用图像读取单元，其读取所述检测对象图像的规定区域作为检测对象区域；特征向量生成单元，其把按规定的大小归一化的所述检测对象区域的图像划分为多个块，对该每个块计算表示规定的图像特性的图像特征量的代表值，根据该代表值生成表示所述检测对象区域内的该图像特性的特征的特征向量；以及至少两个以上的识别单元，其根据所述特征向量表示的所述图像特性，利用不同的基准来识别在所述检测对象区域内是否存在对象图像。
根据上述程序，根据被划分为多个块的检测对象区域的图像特征量的代表值生成表示检测对象区域的图像特征量的特征向量，并输入以不同的基准进行识别的至少两个以上的识别单元。因此，对于检测对象区域以至少两个以上的不同基准来识别是否是对象，所以本发明的面部图像检测程序不依赖于对象的朝向，能够高可靠性地检测检测对象区域的对象。
为了解决上述课题，本发明的面部图像检测方法检测在尚未判明是否包含有面部图像的检测对象图像中是否存在面部图像，其特征在于，所述面部图像检测方法包括选择所述检测对象图像内的规定区域作为检测对象区域的步骤；按规定的大小把所述检测对象区域内的图像归一化的步骤；把所述检测对象区域划分为多个块的步骤；计算所述每个块中包含的图像特征量的代表值的步骤；根据所述图像特征量的代表值，生成表示所述检测对象区域内的图像的特征的特征向量的步骤；以及把所述特征向量输入到识别基准各不相同的至少两个以上的识别器中，检测在所述检测对象区域内是否存在面部图像的步骤。
根据上述方法，根据被划分为多个块的检测对象区域的图像特征量的代表值生成表示检测对象区域的图像特征量的特征向量，并输入以不同基准进行识别的至少两个以上的识别器。因此，对于检测对象区域以至少两个以上的不同基准来识别是否是对象，所以本发明的面部图像检测方法不依赖于对象的朝向，能够高可靠性地检测检测对象区域的对象。
本发明的上述及其他目的、特征和优点，根据以下的参照
的本发明的优选实施方式的详细记述将更容易明白。
图1是表示本发明涉及的面部图像检测装置的一个实施方式的方框图。
图2是表示面部图像检测装置的硬件结构的图。
图3是表示本实施方式的SVM(支持向量机)的结构的概要结构图。
图4是说明对SVM的学习方法的图。
图5是表示对成为检测对象的图像的面部图像检测方法的一例的流程图。
图6是表示图像特征向量的生成的流程图。
图7是表示Sobel的滤波器的形状的图。
图8是表示检测对象区域的分块化的图。
具体实施例方式
以下，使用检测人物的面部图像的面部图像检测装置作为对象图像检测装置的一例，来说明本发明的实施方式。
(实施方式)(A.装置的结构)以下，参照附图具体说明实施本发明的优选方式。
图1是表示本发明涉及的面部图像检测装置1的一个实施方式的结构的方框图。如图所示，该面部图像检测装置1主要包括图像读取单元10，其用于读取作为学习用的样本图像的学习图像80和检测对象图像90；特征向量生成单元30，其生成划分为多个块的图像的特征向量；多个识别单元50即SVM(支持向量机)，其以该特征向量为输入，识别所述检测对象图像90是否是面部图像候选区域；识别单元选择部40，其从这些多个SVM 50中选择进行识别处理的SVM 50。
图像读取单元10具体讲是数字照相机或数字摄像机等CCD(ChargeCoupled Device电荷耦合元件)照相机或摄像机、图像扫描仪等。该图像读取单元10具有如下功能，读入检测对象图像90内的规定区域、及成为学习图像80的多个面部图像或非面部图像，并且对所读入的数据进行A/D转换后发送给特征向量生成单元30。
特征向量生成单元30具有把由图像读取单元10读取的图像归一化为规定的大小的归一化部31；将归一化的图像的图像特性数值化并算出的图像特性计算部32；按规定的大小把像素区域划分为多个块，计算被数值化的数值的平均值或方差值的平均方差值计算部38。并且，该图像特性计算部32具有计算图像中的亮度的亮度计算部34，和计算图像中的边缘的强度的边缘强度计算部36。表示检测对象图像90和学习图像80的图像特性的图像特征向量分别在这些功能部中生成，并依次发送给识别单元选择部40。
其中，归一化部31把检测对象图像90和学习图像80的大小归一化为规定的大小(例如24×24像素)。此处，作为归一化的方法，可以采用图像像素之间的插值方法即双线性法(bi-linear method)或双三次法(bi-cubic method)。另外，关于其他各个功能将在后面具体说明。
识别单元选择部40根据所生成的图像特征向量表示的图像特性的统计特征，从多个SVM 50中选择合适的SVM 50。关于该选择SVM 50的处理将在后面叙述。
SVM 50具有如下功能，从学习图像80学习多个面部图像和非面部图像，并且根据该学习结果识别由特征向量生成单元30生成的检测对象图像90内的规定区域是否是面部图像。
此处，具体说明在本发明中使用的SVM 50。该SVM 50是在1995年由AT&T的V.Vapnik在统计学习理论的框架结构中提出的。该SVM 50是一种能够使用边缘(margin)这样的指标来求出最适合于把所有两级的输入数据进行线性分离的超平面的学习机，被认为是图形识别能力最优秀的学习模型之一。并且，被认为即使在不能进行线性分离的情况下，通过使用核技巧(kernel trick)这样的技术，可以发挥高的识别能力。
另外，在本实施方式中使用的SVM 50可以划分为以下两个步骤。
(1)进行学习的步骤(2)进行识别的步骤首先，(1)进行学习的步骤，如图1所示利用图像读取单元10读取由作为学习用的样本的多个面部图像和非面部图像构成的学习图像80。并且，利用特征向量生成单元30生成已归一化的学习图像80的特征向量，并将其作为图像特征向量进行学习。
然后，(2)在进行识别的步骤中，依次读取检测对象图像90内的规定区域，利用特征向量生成单元30生成已归一化的该区域的图像特征向量，把其作为特征向量而输入。并且，确认所输入的图像特征向量相对于识别超平面是否对应于某个区域，根据其结果，判定是否是面部图像存在的可能性大的区域。
另外，关于该SVM 50，根据“パタ一ン認識と学習の統計学”(岩波書店，麻生英樹、津田宏治、村田昇著)第107～118页的记述，稍进行具体说明。即，在要识别的对象是非线性时，在SVM 50中可以使用非线性的核函数，此时的识别函数利用下述算式表示。此处，识别函数的值是“0”时为识别超平面，在“0”以外时为距根据所赋予的图像特征向量而计算的识别超平面的距离。并且，在识别函数的结果为非负时是面部图像，结果为负时是非面部图像。
f((φ(x))=Σi=1nαi*yi*K(X,Xi)+b]]>其中，x表示特征向量，xi表示支持向量，采用由特征向量生成单元30生成的值。K表示核函数，一般使用多项式或高斯函数。在本实施方式中，进行快速处理的快速SVM(50A、图3)使用线性函数，而高性能SVM(50B、图3)使用作为非线性函数的RBF函数。另外，本实施方式中的多个SVM 50的识别特性将在后面叙述。
下面，图2是表示该面部图像检测装置1的硬件结构的图。如该图所示，面部图像检测装置1的硬件结构为，利用由PCI(PeripheralComponent Interconnect，外部设备互联)总线、ISA(Industrial StandardArchitecture，工业标准架构)总线和USB(Universal Serial Bus，通用串行总线)总线等构成的处理器总线、存储器总线、系统总线、输入输出总线等各种总线70，将以下各个部分进行总线连接而构成负责各种控制和运算处理的中央运算处理装置即CPU(Central Processing Unit)60；主存储装置(Main Storage)中使用的RAM(Random Access Memory，随机访问存储器)64；作为读出专用的存储装置的ROM(Read OnlyMemory，只读存储器)62；硬盘驱动器装置(HDD)和半导体存储器等辅助存储装置(Secondary Storage)66；及由监视器(LCD(液晶显示器)、CRT(阴极射线管))等构成的输出装置72；由图像扫描仪、键盘、鼠标、CCD(Charge Coupled Device)、CMOS(Complementary Metal OxideSemiconductor)等摄像传感器等构成的输入装置74；以上各部分的输入输出接口(I/F)68等。
对这种硬件结构，例如把通过CD-ROM或DVD-ROM等存储介质或通信网络(LAN，WAN，因特网等)76提供的各种控制用程序和数据，安装在辅助存储装置66等上。所安装的程序和数据根据需要装载到RAM 64中，并且按照装载到RAM 64中的程序，CPU 60驱动各种资源，进行规定的控制和运算处理。这些运算处理结果(处理数据)通过总线70输出给输出装置72，并且这些数据根据需要适当存储在由辅助存储装置66构成的数据库中，进行保存(更新)处理。
另外，构成该面部图像检测装置1的图像读取单元10、特征向量生成单元30、识别单元选择部40和SVM 50等，实际上通过由CPU 60和RAM 64等构成的硬件资源、与存储在ROM 62和辅助存储装置66中的软件有机地协作工作，来实现各自的功能。
下面，说明SVM 50的识别特性。图3是表示本实施方式的SVM 50的结构的概要结构图。构成该面部图像检测装置1的多个SVM 50大致可以分为两种识别特性。即，一种是表示推定能力的通用性能未必很高、但能够进行快速的识别处理的快速SVM 50A。另一种是虽然花费的处理时间多于快速SVM 50A，但通用性能高的能够进行高精度的识别处理的高性能SVM 50B。关于该高性能SVM 50B，可以对对应的图像特征向量表示的图像特性适用各种特性。例如，与使用图像的各个像素中的亮度值而生成的图像特征向量对应的亮度对应SVM(50E、50G)，和与使用图像的边缘强度而生成的图像特征向量对应的边缘强度对应SVM(50F、50H)等。
另外，高性能SVM 50B可以利用图像特征量的统计性质，使SVM 50专用化。例如，对于人物的面部，一种是把日本人面部作为样本图像进行了学习的日本人面部用SVM 50C，另一种是把欧美人面部作为样本图像进行了学习的欧美人面部用SVM 50D。这种图像特征量的统计性质是按下面所述求出的。
(1)根据人种或视觉特征将面部图像分组。
(2)从分组后的面部图像计算出平均的面部图像的图像特征量。
(3)对于学习图像80和检测对象图像90，求出与各组的平均的面部图像的欧几里得(Euclid)距离，判定为该学习图像80和检测对象图像90属于该距离为最小的组。
根据各个处理的阶段和层次，由识别单元选择部40适当地选择以上叙述的SVM 50。此外，该识别单元选择部40不限于只选择一个SVM 50，通过选择多级的SVM 50，进行复合的识别处理。作为这种多级选择的模式，可以适用下述组合。
(1)“快速处理和高精度处理的串联模式”(2)“基于不同的图像特性的处理的串联模式”(3)“按照图像特征量的统计性质进行专用化的并联模式”作为(1)“快速处理和高精度处理的串联模式”，例如，作为面部图像选择的前级处理，选择快速SVM 50A，该快速SVM 50A以粗精度进行识别。然后，作为后级的处理，选择高性能SVM 50B，该高性能SVM50B把快速SVM 50A已识别出的图像作为对象，进行精度高的识别。
作为(2)“基于不同的图像特性的处理的串联模式”，例如，在高性能SVM 50B中作为前级的处理，选择亮度对应SVM 50E，该亮度对应SVM 50E进行面部图像的识别。然后，把已识别出的图像作为对象，作为后级的处理，选择边缘强度对应SVM 50F，该边缘强度对应SVM 50F把已识别出的图像作为对象，进行精度更高的识别。
作为(3)“按照图像特征量的统计性质进行专用化的并联模式”，例如，准备多个利用面部图像特征量的统计性质而专用化的SVM 50，根据要识别的面部图像的统计性质，适当地选择进行处理的SVM 50。
并且，通过进一步组合上述的模式，可以进行进一步复合的SVM 50的处理。
(B.SVM的学习方法)下面，说明SVM 50的学习方法。图4是表示对SVM 50的学习方法的图。在该图中，利用前述(2)“基于不同的图像特性的处理的串联模式”构成SVM 50的组合。即，在高性能SVM 50B中，作为前级的处理，使用边缘强度对应SVM 50F，并且作为后级的处理，使用亮度对应SVM 50E。并且，在高性能SVM 50B中，限定于把日本人面部作为样本图像进行了学习的日本人面部用SVM 50C的情况进行说明，但对于把欧美人面部作为样本图像进行学习的欧美人面部用SVM 50D，也可以利用与日本人面部相同的方法来学习。
作为学习方法，首先，作为前级的处理，利用日本人面部用SVM 50C中的边缘强度对应SVM 50F进行学习。即，从前级SVM中的学习图像80A中选择面部图像81或非面部图像82，利用特征向量生成单元30的归一化部31将所选择的图像归一化，然后利用边缘强度计算部36计算归一化的图像的边缘强度，生成把所计算的边缘强度作为图像特性的特征向量。并且，把该特征向量输入边缘强度对应SVM 50F，使该边缘强度对应SVM 50F进行学习。通过对多个面部图像81和非面部图像82进行以上的学习，边缘强度对应SVM 50F的推定能力提高。
然后，把在边缘强度对应SVM 50F的学习中使用的非面部图像82分为已被正常识别的组85B和被误识别的组85A。并且，把误识别的组85A的非面部图像83用作后级SVM中的学习图像80B。在该后级SVM中的学习图像80B中使用的面部图像81，使用在前级SVM中的学习图像80A的面部图像81。
其次，作为后级的处理，利用日本人面部用SVM 50C中的亮度对应SVM 50E进行学习。即，从在后级SVM中的学习图像80B中选择面部图像81或非面部图像83，利用特征向量生成单元30的归一化部31将所选择的图像归一化，然后利用亮度计算部34计算归一化的图像的亮度，生成把所计算的亮度作为图像特性的特征向量。并且，把该特征向量输入亮度对应SVM 50E，使该亮度对应SVM 50E进行学习。通过对多个面部图像81和非面部图像83进行以上的学习，亮度对应SVM 50E的推定能力提高。
(C.SVM的识别处理流程)下面，说明把前述结构适用于面部图像检测装置1的面部图像检测方法的一例。
图5是表示对实际成为检索对象的图像的面部图像检测方法的一例的流程图。但是，在使用实际的检测对象图像实施识别之前，如前面所述，需要经过让用于识别的SVM 50对成为学习用样本图像的面部图像和非面部图像进行学习的步骤。
该学习步骤与以往相同，生成作为样本图像的每个面部图像和非面部图像的特征向量，将该特征向量与表示是面部图像还是非面部图像的信息一起输入。另外，此处用于学习的学习图像，优选使用实施了与实际的检测对象图像的区域相同的处理的图像。即，成为本发明的识别对象的图像区域被进行了维数压缩，所以通过使用预先压缩成与之相同的维数的图像，可以进行更快速且高精度的识别。
并且，在该面部图像检测装置1中，SVM 50的识别处理首先按照前述的(1)“快速处理和高精度处理的串联模式”来进行识别。然后进行(3)“按照图像特征量的统计性质而专用化的并联模式”的处理。并且，在该并联模式中，分别组合(2)“基于不同的图像特性的处理的串联模式”，进行复合的识别处理。
该面部图像检测装置1在开始使用时，首先执行输入检测对象图像的步骤。即，面部图像检测装置1通过图像读取单元10从输入装置74输入成为面部检测的对象的检测对象图像90(步骤S100)。
然后，面部图像检测装置1设定检测对象图像内的成为检测对象的区域。另外，作为该检测对象区域的确定方法没有特别限定，可以直接采用由其他的面部图像识别单元得到的区域，或者可以采用由本系统的使用者等在检测对象图像内任意指定的区域。关于该检测对象图像，基本上可以认为，不仅在哪个位置包含有面部图像、而且是否包含有面部图像，原则上都是不知道的。因此，优选例如从以检测对象图像的左上角为始点的一定区域开始，边依次沿水平和垂直方向移动每一定像素边搜索所有区域，来选择该区域。并且，该区域的大小不需要固定，也可以在适当地改变大小的同时进行选择(步骤S102)。
然后，面部图像检测装置1利用归一化部31，把该最初的检测对象区域的大小归一化(调整)为规定的大小、例如24×24像素。即，原则上当然在成为检测对象的图像中是否包含面部图像、以及其大小是未知的，所以根据选择的区域的面部图像的大小，其像素数有很大不同，所以把所选择的区域归一化为基准的大小(24×24像素)(步骤S104)。
然后，面部图像检测装置1利用特征向量生成单元，使用其中一个图像特性即图像的边缘强度来生成图像特征向量。关于该图像特征向量的生成将在后面叙述(步骤S106)。
然后，面部图像检测装置1利用识别单元选择部40选择快速SVM50A，输入图像特征向量，由此判定最初的检测对象区域中是否存在面部图像(步骤S108)。
此处，在判定为不存在面部图像时(步骤S110为否)，转入判断为最初的检测对象区域的图像为非面部图像的步骤(步骤S126)。
另一方面，在判定为存在面部图像时(步骤S110为是)，转入下一步骤(步骤S112)。
然后，面部图像检测装置1通过识别单元选择部40，从利用面部图像特征量的统计性质而专用化的高性能SVM(50C、50D)中选择任意一个(步骤S112)。另外，以后的步骤不管选择哪一个都是相同的，所以为了方便假设选择了利用日本人面部进行了学习的日本人面部用SVM50C。
然后，面部图像检测装置1向边缘强度对应SVM 50F输入使用图像的边缘强度而生成的图像特征向量，由此判定在最初的检测对象区域中是否存在面部图像(步骤S114)。
此处，在判定为不存在面部图像时(步骤S116为否)，转入判断为最初的检测对象区域的图像为非面部图像的步骤(步骤S126)。
另一方面，在判定为存在面部图像时(步骤S116为是)，转入下一步骤(步骤S118)。
面部图像检测装置1利用特征向量生成单元，使用其中另一个图像特性即图像的亮度来生成图像特征向量。关于该图像特征向量的生成将在后面叙述(步骤S118)。
然后，面部图像检测装置1向亮度对应SVM 50E输入使用图像的亮度而生成的图像特征向量，由此判定在最初的检测对象区域中是否存在面部图像(步骤S120)。
此处，在判定为不存在面部图像时(步骤S122为否)，转入判断为最初的检测对象区域的图像为非面部图像的步骤(步骤S126)。
另一方面，在判定为存在面部图像时(步骤S122为是)，转入判断为是面部图像的步骤(步骤S124)。
在判断为是非面部图像的步骤(步骤S126)、和判断为是面部图像的步骤(步骤S124)中，各判断结果在每次做出该判断时、或者与其他判断结果一起作为识别结果的输出95，通过输出装置72显示给面部图像检测装置1的使用者，并且转入下一步骤(步骤S128)。
面部图像检测装置1判定是否已在全部的所设定大小的检测对象区域中针对检测对象图像的区域进行了检测(步骤S128)。
此处，在判定为所设定大小的检测对象区域中的检测没有全部完成时(步骤S128为否)，变更检测对象区域的大小(步骤S130)，返回利用归一化部31把检测对象区域的大小归一化为规定的尺寸的步骤(步骤S104)。
并且，在判定为所设定的大小的检测对象区域中的检测已全部完成时(步骤S128为是)，结束面部图像检测处理。
下面，说明图像特征向量的生成方法。图6是表示图像特征向量的生成的流程图。当该图像特征向量的生成处理开始时，首先执行判断图像特性是否采用边缘强度的步骤(步骤S140)。此处，对于是采用边缘强度还是采用像素的亮度作为图像特性，在图像特征向量的生成处理开始之前已经预先决定。
按照前述的决定，判断为图像特性采用边缘强度时(步骤S140为是)，面部图像检测装置1利用边缘强度计算部36计算检测对象区域的图像的边缘强度，作为图像特征量(步骤S142)。然后，转入下一步骤(步骤S146)。
另外，作为检测该边缘的方法，可以适用图7所示的差分型边缘检测算子之一即“Sobel算子”。图7(a)所示的算子(滤波器)通过调整包围第2行第2列的关注像素的8个像素值中、位于左列和右列的各3个像素值，来强调横向的边缘，图7(b)所示的算子通过调整包围第2行第2列的关注像素的8个像素值中、位于上行和下列的各3个像素值，来强调纵向的边缘，由此检测纵横边缘。
并且，已知在对利用这种算子生成的结果进行平方和后，求出平方根，从而求出边缘强度，生成各个像素的边缘的强度或边缘的方差值，由此能够高精度地检测图像特征向量。
并且，按照前述的决定，判断为图像特性不采用边缘强度时(步骤S140为否)，面部图像检测装置1利用亮度计算部34计算检测对象区域的像素的亮度，作为图像特征量(步骤S144)。然后，转入下一步骤(步骤S146)。
面部图像检测装置1把检测对象区域内部划分为多个块。图8是表示分块后的区域的图，利用4×3像素的块94来划分检测对象区域90A内的归一化的像素92(步骤S146)。
然后，面部图像检测装置1判断在平均方差值计算部38中是否采用平均值(步骤S148)。此处，对于是采用平均值还是采用方差值作为代表值，在图像特征向量的生成处理开始之前已经预先决定。
按照前述的决定，判断为采用平均值时(步骤S148为是)，计算各个块内的图像特征量的平均值(步骤S150)，结束图像特征向量的生成处理。
并且，按照前述的决定，判断为不采用平均值时(步骤S148为否)，计算各个块内的图像特征量的方差值(步骤S152)，结束图像特征向量的生成处理。
根据以上叙述的实施例，具有以下效果。
(1)在根据串联模式构成的高性能SVM 50B的学习中，由于在后级侧的SVM 50E中使用的学习图像采用在前级侧的SVM 50F中被误识别的非面部图像83，所以在后级侧能够进行有效的学习，可以获得被误识别的非面部图像83不会再次被误识别的高可靠性的学习效果。
(2)除上述效果外，前级侧的SVM 50E和后级侧的SVM 50F使用不同的图像特征量，所以能够可靠地识别面部图像。
(3)根据图像特征量的统计性质，区分使用根据该性质而专用化的SVM 50，由此使识别超平面简单化，可以提高检测精度和识别的处理速度。
以上，根据图示的实施方式说明了本发明的面部图像检测装置，但本发明不限于此，也可以假定以下叙述的变形例。
(1)在本发明中，作为检测对象图像，把人的整个面部的图像作为对象，但不限于此，也可以适用于人的面部或身体的特定部位、或者不限于人而适用于动物的面部识别。
(2)作为求出边缘强度的方法，采用了“Sobel算子”，但不限于此，也可以采用“Roberts”和“Prewitt”等算子。
权利要求
1.一种对象图像检测装置，该装置检测在尚未判明是否包含有对象图像的检测对象图像中是否存在对象图像，其特征在于，该对象图像检测装置具有图像读取单元，其读取所述检测对象图像的规定区域作为检测对象区域；特征向量生成单元，其把按规定的大小归一化的所述检测对象区域的图像划分为多个块，对该每个块计算表示规定的图像特性的图像特征量的代表值，根据该代表值生成表示所述检测对象区域内的该图像特性的特征的特征向量；以及至少两个以上的识别单元，其根据所述特征向量表示的所述图像特性，利用不同的基准来识别在所述检测对象区域内是否存在对象图像。
2.根据权利要求1所述的对象图像检测装置，其特征在于，还具有识别单元选择部，其根据所述特征向量表示的所述图像特性的统计特征，选择所述识别单元。
3.根据权利要求1或2所述的对象图像检测装置，其特征在于，所述特征向量生成单元具有归一化部，其按规定的大小把所述检测对象区域内的图像归一化；图像特性计算部，其按照所述规定的图像特性将所述图像数值化并算出；平均方差值计算部，其把所述检测对象区域划分为多个块，对该每个块计算所述数值化的数值的平均值或方差值。
4.根据权利要求1～3中任一项所述的对象图像检测装置，其特征在于，所述图像特性计算部具有亮度计算部，该亮度计算部计算构成所述检测对象区域内的图像的各个像素的亮度值。
5.根据权利要求1～4中任一项所述的对象图像检测装置，其特征在于，所述图像特性计算部具有边缘强度计算部，其计算所述检测对象区域内的边缘的强度。
6.根据权利要求5所述的对象图像检测装置，共特征在于，所述边缘的强度是使用构成所述检测对象区域内的图像的各个像素的Sobel算子来计算的。
7.根据权利要求1～6中任一项所述的对象图像检测装置，其特征在于，所述识别单元由支持向量机构成，该支持向量机预先学习了多个学习用样本对象图像和样本非对象图像。
8.根据权利要求1～7中任一项所述的对象图像检测装置，其特征在于，所述识别器包括前级识别器和后级识别器，所述前级识别器能够比所述后级识别器更快速地进行识别处理，所述后级识别器能够比所述前级识别器更高精度地进行识别处理。
9.根据权利要求8所述的对象图像检测装置，其特征在于，所述后级识别器把所述前级识别器可识别的所述特征向量识别为对象。
10.根据权利要求8或9所述的对象图像检测装置，其特征在于，所述前级识别器具有线性的核函数作为所述支持向量机的识别函数。
11.根据权利要求8～10中任一项所述的对象图像检测装置，其特征在于，所述后级识别器具有非线性的核函数作为所述支持向量机的识别函数。
12.根据权利要求1～11中任一项所述的对象图像检测装置，其特征在于，所述识别器包括一方识别器、和配置在所述一方识别器后级的另一方识别器，所述各识别器根据分别不同的所述图像特性来进行识别。
13.根据权利要求12所述的对象图像检测装置，其特征在于，所述另一方识别器具有支持向量机，该支持向量机学习了所述学习用对象图像、和被所述一方识别器误识别的非对象图像。
14.根据权利要求1～13中任一项所述的对象图像检测装置，其特征在于，所述对象图像是面部图像。
15.一种面部图像检测程序，该程序检测在尚未判明是否包含有面部图像的检测对象图像中是否存在面部图像，其特征在于，该面部图像检测程序使计算机发挥作为以下单元的作用图像读取单元，其读取所述检测对象图像的规定区域作为检测对象区域；特征向量生成单元，其把按规定的大小归一化的所述检测对象区域的图像划分为多个块，对该每个块计算表示规定的图像特性的图像特征量的代表值，根据该代表值生成表示所述检测对象区域内的该图像特性的特征的特征向量；以及至少两个以上的识别单元，其根据所述特征向量表示的所述图像特性，利用不同的基准来识别在所述检测对象区域内是否存在对象图像。
16.一种面部图像检测方法，该方法检测在尚未判明是否包含有面部图像的检测对象图像中是否存在面部图像，其特征在于，该面部图像检测方法包括把所述检测对象图像内的规定区域设定为检测对象区域的步骤；按规定的大小把所述检测对象区域内的图像归一化的步骤；把所述检测对象区域划分为多个块的步骤；计算所述每个块中包含的图像特征量的代表值的步骤；根据所述图像特征量的代表值，生成表示所述检测对象区域内的图像的特征的特征向量的步骤；以及把所述特征向量输入到识别基准各不相同的至少两个以上的识别器中，检测在所述检测对象区域内是否存在面部图像的步骤。
全文摘要
本发明提供对象图像检测装置、面部图像检测程序及面部图像检测方法。面部图像检测装置(1)具有读取检测对象区域的图像读取单元(10)；特征向量生成单元(30)，其把规一化的图像划分为多个块，对该每个块计算图像特征量的代表值，根据该代表值生成表示图像特性的特征的特征向量；至少两个以上的识别单元(50)，其根据所述特征向量表示的所述图像特性，以不同的基准识别在所述检测对象区域内是否存在面部图像；识别单元选择部(40)，其根据所述特征向量选择所述识别单元。
文档编号G06T1/00GK1973300SQ20058002061
公开日2007年5月30日 申请日期2005年7月28日 优先权日2004年8月4日
发明者长桥敏则, 日向崇 申请人:精工爱普生株式会社