信息处理设备、信息处理方法和程序的制作方法

专利名称：信息处理设备、信息处理方法和程序的制作方法
信息处理设备、信息处理方法和程序技术领域
本公开内容涉及一种信息处理设备、信息处理方法和程序，更具体地，涉及能够利用少量特征、以高性能判别在输入图像中是否显现了预定对象的信息处理设备、信息处理方法和程序。
背景技术：
作为用于学习分类器的集成学习(ensemble learning)，例如，存在提升 (boosting)或装袋(bagging)，其中，该分类器通过对作为多个弱分类器的输出的弱假设的多数判定来执行分类。
例如，第7，099，510号美国专利、第4517633号日本专利或IEEEInternational Conference on Computer Vision 2005 (ICCV 2005)的会议录中由 Τ· Mita、Τ· Kaneko 和 0· Hori 所著的“Joint Haar-Iike Features for Face Detection，，公开了如下方法(对象判别方法)使用能够通过集成学习获得的分类器来识别图像图案(pattern)，以判别图像中是否显现了预定对象。
在第7，099，510号美国专利中，通过使用从从外部输入的、被称为积分图像的输入图像中剪切的区域的亮度的和作为用于对象判别处理的图像的特征，高速地执行特征计算和对象确定，其中，该对象判别处理用于判别图像中是否显现了预定对象。
在第4517633号日本专利中，将仅通过被称为减法的非常简单的处理计算出的、 输入图像中的两个像素的像素值之间的差用作特征。因此，使用仅通过减法计算出的特征充分实现了对象判别的性能。
在第4517633号日本专利中，由于针对分类器的每个弱分类器设置用于计算作为特征的差的两个像素的位置，因此，仅需要计算分类器的弱分类器的数量的特征。
然而，可以仅通过被称为减法的非常简单的处理来计算作为特征的、像素值之间的差。因此，即使当像素值之间的差是仅分类器的弱分类器的数量的特征时，也可以高速地计算该差。结果，可以高速地执行对象判别处理。
在 IEEE International Conference on Computer Vision 2005 (ICCV2005)的会议录中由 Τ· Mita、Τ· Kaneko 禾口 0· Hori 所著的"Joint Haar-Iike Features for Face Detection”中，将Q个特征中的每一个均分类成两个值之一，并且在Q个特征的两个值的2Q 个组合中，输出能够分配给Q个特征中的各个特征的两个值的分类结果的组合的类别作为表格(所谓的判定表)中的一个弱假设(一个弱分类器的输出)，其中，两个类别之一表示输入图像中是否显现了对象。
相应地，在 IEEE International Conference on Computer Vision 2005 (ICCV 2005)的会议录中由 T.Mita、T. Kaneko 和 0. Hori 所著的“Joint Haar-Iike Features for Face Detection”中，在一个弱分类器中关于多个特征输出一个弱假设。困此，与在一个弱分类器中关于一个特征输出一个弱假设的情况相比，可以更高效地处理特征。发明内容
在 IEEE International Conference on Computer Vision 2005 (ICCV2005)的会议录中由 T.Mita、Τ· Kaneko 禾口 0· Hori 所著的"Joint Haar-Iike Features for Face Detection”中，弱假设单元将Q个特征中的每一个分类成两个值之一，并且输出能够分配给的Q个特征中的各个特征的两个值的分类结果的组合的类别作为弱假设。
由于类别表示在输入图像中是否显现了对象，因此，类别具有两个值。相应地，在 IEEE International Conference on Computer Vision 2005 (ICCV 2005)的会议录中由 Τ· Mita、Τ· Kaneko 禾口 0. Hori 所著的"Joint Haar-Iike Features for Face Detection，， 中，对Q个特征中的各个特征的两个值的分类结果的组合数字化并输出作为弱假设。因此， 由于在数字化后的弱假设中丢失了包括在特征中的许多信息，困此，信息的大量丢失可能对于对象判别处理的性能产生不好的影响。
为了防止信息丢失并且以高性能执行对象判别处理，可以将多个特征用作给予弱假设单元的多个特征。然而，当使用多个特征时，计算多个特征花费一定时间。结果，可能无法高速地执行对象判别处理。
期望提供一种能够利用少量特征、以高性能执行对象判别处理的信息处理设备、 信息处理方法和程序。
根据本公开内容的实施例，提供了一种信息处理设备或者使计算机起到该信息处理设备的作用的程序，其中，该信息处理设备包括判别单元，该判别单元通过使用包括多个弱分类器的集成分类器以及从输入图像中提取的多个特征，关于多个特征顺序地对弱分类器输出的弱假设进行积分，并且基于弱假设的积分值判别输入图像中是否显现了预定对象，其中，弱分类器响应于从图像中提取的多个特征的输入，输出表示图像中是否显现了预定对象的弱假设。弱分类器基于阈值将多个特征中的每一个分类成三个以上的子划分之一，计算多个特征的子划分的和划分作为多个特征被分类成的全体划分，并且输出能够分配给多个特征的全体划分的、全体划分的可靠度作为弱假设。通过集成学习计算集成分类器。在集成学习中，能够将全体划分的可靠度分配给弱分类器的各全体划分。
根据本公开内容的另一实施例，提供了一种信息处理方法，其包括通过使用包括多个弱分类器的集成分类器、以及从输入图像中提取的多个特征，通过信息处理设备，关于多个特征顺序地对弱分类器输出的弱假设进行积分，并且基于弱假设的积分值判别输入图像中是否显现了预定对象，其中，弱分类器响应于从图像中提取的多个特征的输入，输出表示图像中是否显现了预定对象的弱假设。弱分类器基于阈值将多个特征中的每一个分类成三个以上子划分之一，计算多个特征的子划分的和划分作为多个特征被分类成的全体划分，并且输出能够分配给多个特征的全体划分的、全体划分的可靠度作为弱假设。通过集成学习计算集成分类器。在集成学习中，能够将全体划分的可靠度分配给弱分类器的各全体划分。
根据本公开内容的实施例，通过使用包括多个弱分类器的集成分类器以及从输入图像中提取的多个特征，关于多个特征顺序地对弱分类器输出的弱假设进行积分，并且基于弱假设的积分值判别在输入图像中是否显现了预定对象，其中，弱分类器响应于从图像中提取的多个特征的输入，输出表示图像中是否显现了预定对象的弱假设。弱分类器基于阈值将多个特征中的每一个分类成三个以上子划分之一，计算多个特征的子划分的和划分作为多个特征被分类成的全体划分，并且输出能够分配给多个特征的全体划分的、全体划分的可靠度作为弱假设。通过集成学习计算集成分类器。在集成学习中，能够将全体划分的可靠度分配给弱分类器的各全体划分。
信息处理设备可以是独立设备或者可以是一个设备的内部块。
可以经由传输介质传输程序或者可以记录程序从而以记录介质中来提供。
根据本公开内容的实施例，可以利用少量特征、以高性能执行判别在输入图像中是否显现了预定对象的对象判别处理。


图1是根据本公开内容的实施例的、应用了信息处理设备的判别设备的配置示例的框图2是缩放单元的处理的图3是扫描单元的处理的图4是存储在分类器存储单元中的集成分类器的概述的图5是判别单元从窗口图像中提取的特征的图6A至图6C是阶段分类器(stump classifier)的图7是具有阶段分类器的分类器的图8是具有联合分类器(joint classifier)的分类器的图9是具有回归阶段分类器的分类器的图10是具有多阈值分类器的分类器的图11是具有新弱分类器的分类器的图12是新集成学习处理的流程图13是弱分类器生成处理的流程图14是弱分类器生成处理的流程图15是第二要素函数h2,t(x)的虚拟最佳参数计算处理的流程图16是第一要素函数Ii1, t(x)的虚拟最佳参数计算处理的流程图17是计算中止阈值的方法的图18是学习用于新集成学习的学习图像的示例的图19是判别处理的流程图20是从对象区域中排除相互重叠的两个对象区域之一的处理的图21是窗口图像判别处理的流程图；以及
图22是根据本公开内容的实施例的计算机的配置示例的框图。
具体实施方式
根据本公开内容的实施例，公开了一种信息处理设备，包括判别单元，通过使用包括多个弱分类器的集成分类器以及从输入图像提取的多个特征，关于所述多个特征顺序地对所述弱分类器输出的弱假设进行积分，并且基于所述弱假设的积分值判别所述输入图像中是否显现了预定对象，其中，所述弱分类器响应于从图像中提取的所述多个特征的输入，输出表示所述图像中是否显现了所述预定对象的所述弱假设，其中，所述弱分类器基于阈值将所述多个特征中的每一个分类成三个以上的子划分之一，计算所述多个特征的子划分的和划分作为所述多个特征被分类成的全体划分，并且输出能够分配给所述多个特征的所述全体划分的、全体划分的可靠度作为所述弱假设，其中，通过集成学习计算所述集成分类器，并且其中，在所述集成学习中，能够将所述全体划分的可靠度分配给所述弱分类器的各全体划分。
根据本公开内容的另一实施例，公开了一种信息处理方法，包括通过使用包括多个弱分类器的集成分类器以及从输入图像中提取的多个特征，通过信息处理设备，关于所述多个特征顺序地对所述弱分类器输出的弱假设进行积分，并且基于所述弱假设的积分值判别所述输入图像中是否显现了预定对象，其中，所述弱分类器响应于从图像中提取的所述多个特征的输入，输出表示所述图像中是否显现了所述预定对象的所述弱假设，其中，所述弱分类器基于阈值将所述多个特征中的每一个分类成三个以上子划分之一，计算所述多个特征的子划分的和划分作为所述多个特征被分类成的全体划分，并且输出能够分配给所述多个特征的所述全体划分的、全体划分的可靠度作为所述弱假设，其中，通过集成学习计算所述集成分类器，并且其中，在所述集成学习中，能够将所述全体划分的可靠度分配给所述弱分类器的各全体划分。
根据本公开内容的实施例的确定设备
图1是根据本公开内容的实施例的、应用了信息处理设备的判别设备的配置示例的框图。
在图1中，判别设备包括缩放单元11、扫描单元12、判别单元13、分类器存储单元 14和学习单元15。判别设备执行判别从外部输入的输入图像中是否显现了预定对象(诸如人脸)的对象判别处理，并且接着输出判别结果。
要经受对象判别处理的对象的输入图像被提供给缩放单元11。
缩放单元11在判别单元13的控制下通过例如双线性内插以缩小率缩小输入图像，并且将通过缩小获得的缩小图像作为从输入图像缩放得到的缩放图像提供给扫描单元 12。
扫描单元12在判别单元13的控制下，通过诸如所谓的光栅扫描的扫描在来自缩放单元11的缩放图像上扫描在水平方向和垂直方向上预定尺寸例如为20像素X20像素等的窗口的位置，并且在缩放图像上移动窗口的位置。
扫描单元12切去缩放图像中的、窗口内的图像(在下文中，也称为窗口图像)，并且将该窗口图像提供给判别单元13。
判别单元13通过使用存储在分类器存储单元14中的分类器和从扫描单元12提供的窗口图像，判别输入图像中是否显现了诸如人脸的预定对象，同时控制缩放单元11和扫描单元12。然后，判别单元13输出表示判别结果的判别结果信息。
S卩，判别单元13控制缩放单元11，以便以预定的缩小率缩小输入图像。
缩放单元11在判别单元13的控制之下，将通过以预定缩小率缩小输入图像而获得的缩小图像作为缩放图像提供给扫描单元12。
判别单元13控制扫描单元12，以便在从缩放单元11获得的缩放图像上以光栅扫描顺序移动窗口。
在判别单元13的控制下，扫描单元12重复以下处理从缩放图像的左上部起将窗口以诸如一个像素的预定像素数单位向右移动，当窗口到达缩放图像的右端时将窗口以诸如一个像素的预定像素数单位向下移动，并且接着再次将窗口向右移动，直到窗口到达缩放图像的右下部。
然后，扫描单元12每当窗口移动时，从缩放图像中切去作为在移动后的位置处的窗口内的图像的窗口图像，并且接着将窗口图像提供给判别单元13。
以此方式，判别单元13执行判别在从扫描单元12提供的窗口图像中是否显现了对象的窗口图像判别处理。
判别单元13控制缩放单元11，以使得当窗口到达缩放图像的右下部时，输入图像以比上次的缩小率小的缩小率缩小。然后，判别单元13重复相同处理，直到缩放图像具有比窗口尺寸小的尺寸。
因而，判别单元13可以通过执行窗口图像判别处理检测存在于输入图像中的具有各种尺寸的对象，其中，该窗口图像判别处理判别在从通过以各种缩小率缩小输入图像而获得的缩放图像切去的窗口图像中是否显现了对象。
分类器存储单元14存储集成分类器，其是在学习单元15执行集成学习时所需的分类器。
存储在分类器存储单元14中的集成分类器具有多个弱分类器，其中，弱分类器响应于从输入图像中提取的多个特征的输入，输出表示输入图像中是否显现了对象的弱假设。
判别单元13通过在窗口图像判别处理中由扫描单元12从窗口图像中提取(计算)多个特征并且将多个特征输入到构成集成分类器的弱分类器中，获得关于多个特征而从弱分类器输出的弱假设。
判别单元13顺序地对构成集成分类器的各弱分类器输出的弱假设进行积分，并且基于积分值判别窗口图像中是否显现了对象。
学习单元15通过执行集成学习来计算用于识别图像中是否存在对象(图像中是否显现对象)的集成分类器，并且接着提供集成分类器并将该集成分类器存储在分类器存储单元14中。
即，将用于集成学习的多个学习图像提供给学习单元15。
学习图像的尺寸与窗口图像的尺寸相同。多个学习图像包括显现了对象的正像以及未显现对象的负像。
表示学习图像是正像和负像之一的标记(准确性标记)附加于每个学习图像。
学习单元15通过使用多个学习图像执行集成学习，计算用于识别图像中是否存在对象的集成分类器。
在图1中，判别设备包括执行用于计算集成分类器的集成分类的学习单元15。然而，判别设备可以不包括学习单元15，并且学习单元15可以被配置为与判别设备分离的设备。
缩放单元11的处理
图2是用于描述图1中的缩放单元11的处理的图。
如图1所示，缩放单元11在判别单元13的控制下，以逐渐变小的缩小率缩小输入图像，并且生成作为对应于各缩小率的缩小图像的缩放图像。
扫描单元12的处理
图3是用于描述图1中的扫描单元12的处理的图。
如以上参照图1所述，在判别单元13的控制下，扫描单元12重复以下处理从来自缩放单元11的缩放图像的左上部起将窗口以诸如一个像素的预定像素数单位向右移动，并且当窗口到达缩放图像的右端时将窗口以诸如一个像素的预定像素数单位向下移动，并且接着再次将窗口向右移动，直到窗口到达缩放图像的右下部。
然后，扫描单元12每当窗口移动时，从缩放图像中切去作为在移动后的位置处的窗口内的图像的窗口图像，并且接着将窗口图像提供给判别单元13。
集成分类器的概述
图4是存储在图1中的分类器存储单元14中的集成分类器的概述的图。
集成分类器包括T个弱分类器#1，#2，...，和#1\这些弱分类器响应于从窗口图像(从输入图像切去的窗口图像)中提取的多个特征的输入，输出表示在窗口图像中是否显现了对象的弱假设。
判别单元13 (参见图1)通过从窗口图像中提取(计算)多个特征X并将多个特征X输入到集成分类器的弱分类器#1至#τ，关于多个特征X获得从弱分类器#1至#τ输出的弱假设 (x)，f2(x)，···，和 fT(X)。
判别单元13对集成分类器的各个弱分类器#t输出的弱假设ft(X)执行加权多数判定，并且执行基于加权多数判定的结果判别窗口图像中是否显现了对象的窗口图像判别处理。
即，判别单元13顺序地对集成分类器的各个弱分类器#t输出的弱假设ft⑴(如果需要，则对其加权)进行积分，并且执行基于作为计算结果所获得的积分值Σ ft(X)(= f\(X)+f2(X)+... +fT(X))判别窗口图像中是否显现了对象的窗口图像判别处理。
特征
图5是图1中的判别单元13从窗口图像中提取的特征的图。
判别单元13可以采用任何特征作为从窗口图像中提取的特征。
S卩，判别单元13可以采用例如第7，099，510号美国专利中所描述的Haar-Iike特征等作为从窗口图像中提取的特征。
以此方式，判别单元13可以采用任何特征作为从窗口图像中提取的特征。然而， 当计算(提取)特征要花费一定时间时，会禁止高速地执行由图1中的判别设备执行的对象判别处理。
困此，在本公开内容的实施例中，采用可以通过简单处理计算的特征，以便高速地执行对象判别处理。
例如，可以将位于窗口图像中的两个位置处的像素的像素值之间的差别(下文中，也称为像素间差别特征)用作可以通过简单处理计算的特征。
像素间差别特征是像素值之间的差别，诸如位于窗口图像中的两个位置处的像素的亮度之间的差。由于可以通过称为减法的非常简单的处理计算像素间差别特征，因此，可以高速地计算像素间差别特征。
当窗口图像的尺寸例如为在水平方向和垂直方向上20像素X20像素时，窗口图像的尺寸为20像素X20像素。另外，作为用于从具有20像素X20像素的窗口图像中提取像素间差别特征的两个像素的位置的组合，仅存在79，800 = 400X399/2个组合。
因此，当窗口图像的尺寸为20像素X 20像素并且将像素间差别特征用作从窗口图像中提取的特征时，可以定义79，800个组合(其是用于提取像素间差别特征的两个像素的位置的组合的总数)的特征。
如图5所示，例如，当将亮度值I1和亮度值I2示为在窗口图像中的两个像素的位置(像素位置)处的像素的像素值时，可以通过以下表达式(1)计算像素间差别特征χ。
X = I1-I2 …(1)
当计算像素间差别特征时，需要两个像素位置。作为表示像素位置的方法，例如， 可使用将窗口图像的左上点用作原点的xy坐标系的xy坐标。替选地，可采用以下方法(下文中，也称为光栅扫描顺序的序列)当以光栅扫描顺序扫描窗口图像的像素时，使窗口图像的像素对应于窗口图像的第几号像素。
由于xy坐标是两维的并且光栅扫描顺序的序列是一维的，因此，作为表示像素位置的方法，存储像素位置的存储器的容量在光栅扫描顺序的序列中比在xy坐标中使用得更少。
以下将描述在计算像素间差别特征中计算两个像素位置的方法。包括通过集成学习计算出的分类器的弱分类器
接下来，在描述图1中的学习单元15执行的集成学习之前，作为前一阶段的准备， 将描述通过根据现有技术的集成学习计算出的分类器的弱分类器。
图6A至图6C是被称为阶段分类器的弱分类器的图。
作为弱分类器，通过使用图像的特征将图像分类成表示是否显现了诸如人脸的对象的两个类别。根据特征与阈值TH之间的大小关系对阶段分类器进行分类。
S卩，对于阶段分类器，根据特征χ是否满足表达式“χ > TH”，将图像分类(划分) 成对象被显现的类别和对象未被显现的类别。
图6A、图6B和图6C示出了包括显现了对象的图像(正像)和未显现对象的图像 (负像)的多个图像的特征X的频率分布的示例。
这里，当图像是正像时，将准确性标记y设置为+1。当图像是负像时，将准确性标记y设置为-1。
在图6A中，准确性标记y为+1的图像(即，正像)的特征X相对分布在右侧，而准确性标记y为-1的图像(即，负像)的特征χ相对分布在左侧。
在这种情况下，例如，对于阶段分类器，可以通过将正像(y = +1)的特征χ的频率分布与负像(y = _l)的特征χ的频率分布之间的中点设置为阈值TH，将图像比较准确地分类成显现了对象的类别和未显现对象的类别。
当以+1表示显现了对象的类别并且以-1表示未显现对象的类别时，作为阶段分类器的弱分类器h (χ)在特征X满足表达式“X > ΤΗ”时输出+1作为弱假设h (χ)，而在特征 X不满足表达式“X > ΤΗ”时输出-1作为弱假设h(x)。
如图6A所示，当正像(y = +1)的特征χ的频率分布和负像(y = _1)的特征χ的频率分布相对分开分布时，可以比较准确地对图像进行分类。
然而，在一些情况下，未显现对象的负像(即，显现了除对象以外的部分的负像) 的特征相对均勻地分布在特征的空间(特征空间)内。
当采用像素间差别特征作为特征时，负像的各像素的亮度不存在如此大的差异， 并且负像的像素间差别特征相对集中地分布在0附近。
在这种情况下，图6B和图6C中示出了特征的频率分布。
在图6B中，正像(y = +l)的特征χ相对集中地分布在中心处，并且负像(y = _1) 的特征χ相对分散地远离中心分布。
在图6C中，正像(y = +1)的特征χ相对分散地远离中心分布，并且负像(y = _1) 的特征X相对集中地分布在中心处。
对于图6B和图6C所示的分布，可以通过使用在集中在中心处的分布中交错的两个阈值TH1和TH2( > TH1)来相对准确地对图像进行分类。
即，当特征χ满足表达式"TH1 < χ < TH2"时，输出+1作为弱假设h(x)。当特征 X不满足表达式〃 TH1SXCTH2"时，输出_1作为弱假设h (χ)。以此方式，在图6Β所示的分布中，可以相对准确地对图像进行分类。
另外，当特征χ满足表达式〃 XCTH1"或表达式〃 TH2 <χ〃时，输出+1作为弱假设Η(χ)。当特征χ不满足表达式〃 XCTH1"或表达式〃 ΤΗ2<Χ〃时，输出-1作为弱假设H(X)。以此方式，在图6C所示的分布中，可以相对准确地对图像进行分类。
当使用了两个阈值TH1和TH2时，可以将特征划分成三个划分满足表达式χ ( TH1 的划分(范围)、满足表达式TH1 < χ < TH2的划分、以及满足表达式TH2 < χ的划分。
相应地，当使用两个阈值TH1和TH2时，可以将特征χ分类成满足表达式χ ( TH1的区间、满足表达式TH1 < χ≤TH2的区间以及满足表达式TH2 < χ的区间之一。因此，作为阶段分类器的弱分类器h(x)可以输出对应于三个区间的三个值之一，作为弱假设。
即，当使用了两个阈值TH1和TH2时，作为阶段分类器的弱分类器可以使用图像的特征X来将图像分类成三个类别。
在这种情况下，将作为弱分类器的输出的弱假设h(x)表达为表达式O)。
h(x) = [χ > TH2]+ [χ > TH1] . . . (2)
在表达式O)中，当χ满足方括号内的表达式x> TH时，[χ > TH2]变为1，而当 χ不满足方括号内的表达式χ > TH时，[χ > TH2]变为0。
根据表达式O)，当特征χ等于或小于阈值TH1时，弱假设h(x)变为0。当特征χ 大于阈值TH1且等于或小于阈值TH2时，弱假设h(x)变为1。当特征χ等于或大于阈值TH2 时，弱假设h(x)变为2。具有作为弱分类器的阶段分类器的分类器
图7是具有作为弱分类器的阶段分类器的分类器(通过集成学习计算出的分类器)的图。
这里，由于分类器的弱分类器响应于特征χ的输入而输出弱假设，因此，可以将弱分类器认为是使用特征X作为参数的函数。
相应地，以下将分类器的第t个弱分类器以及作为弱分类器的输出的弱假设适当地表达为使用特征X作为参数的函数(值)ht(X)或ft(X)。
另外，ht(x)表示输出整数作为离散值的函数，以及ft(x)表示输出实数作为函数值的函数。
在具有作为弱分类器的阶段分类器的分类器中，例如，第t个弱分类器ht (χ)根据特征X与阈值TH之间的大小关系输出两个值+1和-1之一。即，当特征X等于或小于阈值TH时，第t个弱分类器ht (χ)输出-1，而当特征χ大于阈值TH时，其输出+1。
具有作为弱分类器的阶段分类器的分类器输出加权求和值Σ atht(x)(= αΛω + αΑω+.,.+αΑω)的符号作为图像是正像或负像的分类结果(最终假设)， 其中，该加权求和值是通过使用第t个弱分类器的可靠度a t作为权重来对第t个弱分类器ht(x)进行加权(加权多数判定)而获得的。
当最终假设是正的(+)(即，加权求和值Σ atht(x)大于0)时，意味着图像是正像。当最终假设不是正的时，意味着图像是负像。
以此方式，可以通过例如作为一种提升的AdaBoost来执行对具有作为弱分类器的阶段分类器的分类器的集成学习。困此，计算阈值TH和可靠度at，作为弱分类器ht(x) 的参数(至少一个参数)。
具有作为弱分类器的联合分类器的分类器
图8是具有作为弱分类器的联合分类器的分类器的图。
联合分类器是在 IEEE International Conference on Computer Vision2005(ICCV 2005)的会议录中由 Τ. Mita、Τ. Kaneko 和 0. Hori 所著的 “Joint Haar-Iike Features for Face Detection”中描述的弱分类器。联合分类器中具有多个函数，如阶段分类器。
联合分类器中所具有的功能是联合分类器的构成要素，并且下文中也称为要素函数。
联合分类器响应于多个特征的输入而输出一个弱假设。
另外，联合分类器具有数量与向其输入的Q个特征的数量相同的要素函数。可以将多个特征分别赋予相应的要素函数。
在分类器中所包括的第t个联合分类器中，被提供了多个特征当中的第q个特征 χ的要素函数以I^t(X)表示。
图8示出了被提供了三个特征x、x'和χ"的联合分类器ht(x，x'，χ")的示例。 相应地，联合分类器ht(x，x'，X")具有三个要素函数Kt(X)、h2,t(x')和tl3,t(X〃)。
如参照图7描述的阶段分类器一样，要素函数Iv t (χ)根据特征χ与阈值th,之间的大小关系输出两个值+1和-1之一。
根据联合分类器ht(X= (X，χ'，χ"))，可以通过联合三个要素函数KtUhh2, t(x')和h3,t(x〃)的两个值的输出，将三个特征X= (x，x'，x〃)分类成8 = 23个组合的划分。
联合分类器ht(X)具有查找表(LUT)，其中，针对上述八个组合中的每一个以及要素函数hq,t(x)将两种类别(其为表示正像的类别和表示负像的类别)之一分配给该查找表。
在这种情况下，由于存在两种类别，因此，可以以一个比特来表达类别。因此，联合分类器ht (χ)的LUT是可以按八个组合的划分被分配了以一个比特表达的类别的表格，并且具有8比特的容量。
S卩，在联合分类器ht(x)的LUT中，能够分配给划分的1比特类别登记在与八个组合的划分中的每一个对应的地址中。
联合分类器ht(x)输出8比特LUT中能够分配给三个特征X = (χ, χ'，χ")被分类成的划分的1比特类别作为弱假设。
如参照图7所述的阶段分类器一样，例如，当以+1表示正像的类别并且以-1表示负像的类别时，第t个联合分类器ht (χ)输出两个值+1和-1之一作为弱假设。
如参照图7所述的阶段分类器一样，具有作为弱分类器的阶段分类器的分类器输出加权求和值Σ atht(x)(= α^ω + α^ω+,.,+αΛω)的符号，作为图像是正像或负像的分类结果，其中，该加权求和值是通过将第t个弱分类器的可靠度a t用作权重来对第t个弱分类器ht (χ)进行加权而获得的。
还可以通过例如AdaBoost来执行对具有作为弱分类器的联合分类器的分类器的集成学习。因此，计算每个要素函数I^t(X)的阈值ttv可靠度a t、和在多个特征χ被分类成的划分中被分配了 1比特类别的LUT，作为弱分类器ht(x)的参数。
与关于一个特征而输出一个弱假设的阶段分类器相比，由于联合分类器关于多个特征(诸如，三个特征)而输出一个弱假设，因此，可以同时评价多个图像图案。另外，可以在早期执行使特定图像图案变窄(例如，根据以下所述的中止阈值中止弱假设的乘积计算)。
如上所述，联合分类器ht(x)的参数包括每个要素函数hq,t(X)的阈值ttv可靠度 a t、和在多个特征χ的划分中被分配了 1比特类别的LUT。由于处理多个特征所需要的参数比图7中的阶段分类器的参数更简单，因此，存储参数的存储器可具有更小的容量。
S卩，当使用联合分类器ht(x)作为弱分类器来处理三个特征时，需要三个要素函数 hljt(x),h2jt(x')和I^tU")的阈值仇、仇和让3、一个可靠度at、以及8比特LUT作为联合分类器ht(x)的参数。
另一方面，当使用阶段分类器ht(x)作为弱分类器来处理三个特征时，三个阶段分类器中的每一个均需要一个阈值和一个可靠度作为阶段分类器ht(x)的参数。S卩，总共需要三个阈值和三个可靠度。
因此，当假设可以将例如8比特、16比特等(等于或大于8比特的值)分配给阈值和可靠度时，联合分类器ht(x)具有LUT。然而，由于关于三个特征仅需要一个可靠度，因此，尽管阶段分类器不具有LUT，但与需要三个可靠度的阶段分类器相比，存储参数的存储器具有较小的容量。
具有作为弱分类器的回归阶段分类器的分类器
图9是具有作为弱分类器的回归阶段分类器的分类器的图。
回归阶段分类器ft(x)与参照图7所述的阶段分类器ht(x)相同之处在于，回归阶段分类器ft (χ)根据特征X与阈值TH之间的大小关系输出弱假设。
然而，在阶段分类器ht (χ)中，由于当特征χ等于或小于阈值TH时输出-1作为弱假设，而当特征X大于阈值TH时输出+1，因此，将相同的可靠度CIt乘以任何弱假设。相反，在回归阶段分类器ft(x)中，当特征χ等于或小于阈值TH时，输出值(实数) 作为弱假设，而当特征χ大于阈值TH时，输出值(实数)％+ 作为弱假设。因此，回归阶段分类器 ft(x)不同于阶段分类器ht(x)。
S卩，回归阶段分类器ft(x)输出通过将阶段分类器ht(x)输出的弱假设-1或+1乘以可靠度a t而获得的值，作为弱假设。
然而，在回归阶段分类器ft(x)中，当特征χ等于或小于阈值TH时以及当特征大于阈值TH时，可以使用不同的可靠度。即，当特征χ等于或小于阈值TH时，可以使用可靠度 ，而当特征大于阈值TH时，可以使用可靠度 + 。结果，可以使误差在回归阶段分类器ft(x)中比在参照图7所述的阶段分类器ht(x)中更小。
回归阶段分类器ft(x)(回归阶段分类器ft(x)输出的弱假设)通过表达式(3)来表达。
ft (χ) = a2 X [χ > ΤΗ] +B1 ... (3)
在该表达式中，如在表达式O)中所述，当满足表达式“χ> ΤΗ”时，χ变为1，而当未满足表达式“X > ΤΗ”时，X变为O。
当在表达式(3)的回归阶段分类器ft(x)中设置“ = a2= at”时，回归阶段分类器ft(x)起到阶段分类器ht(x)的作用。
在具有作为弱分类器的回归阶段分类器的分类器中，第t个弱分类器ft(x)根据特征X与阈值TH之间的大小关系输出两个值 和^+ 之一，如上所述。
S卩，当特征χ等于或小于阈值TH时，即，当特征被分类为如表达式“χ ( TH"表达的划分时，输出 作为弱假设ft(x)。当特征X大于阈值TH时，S卩，当特征χ被分类为如表达式“χ > TH”表达的划分时，输出 + 作为弱假设ft(x)。
这里，由回归阶段分类器ft (χ)输出作为弱假设ft (x)的 和4+ 以及构成 和 ai+a2的 和 对应于复合到阶段分类器ht (χ)的可靠度α t，并且因而被称为可靠度。
另外，可以将 称为能够分配给如表达式“X彡TH”表达的划分的可靠度，并且可以将ai+ii2称为能够分配给如表达式“X > TH”表达的划分的可靠度。
此后，如参照图7所述的阶段分类器一样，具有作为弱分类器的回归阶段分类器的分类器输出求和值Σ ft(x) ( = fiOO+fJx)+· · · +fT(x))的符号，作为图像是正像或负像的最终假设，其中，该求和值是通过对每个弱分类器ft(x)进行加权(加权多数判定)而获得的。
如上所述，可以通过例如作为一种提升的Real AdaBoost来执行对具有作为弱分类器的回归阶段分类器的分类器的集成学习。因此，计算阈值TH和两个可靠度 和 作为弱分类器ft(x)的参数。
当针对两个可靠度 和 中的可靠度 来计算求和值Σ ft(x)时，可以预先计算和存储分类器的全部回归阶段分类器ft(X)的可靠度％的总和。在此情况下，要预先存储作为一个回归阶段分类器ft (X)的参数的参数是阈值TH和一个可靠度％，并且困而与参照图7所述的阶段分类器ht(x)的参数相同。
具有作为弱分类器的多阈值分类器的分类器
图10是具有作为弱分类器的多阈值分类器的分类器的图。
参照图9所述的回归阶段分类器使用一个阈值来输出弱假设，但弱分类器可以使用至少两个阈值来输出弱假设。
图10中的多阈值分类器是如下弱分类器其是参照图9所述的回归阶段分类器的扩展分类器以使用多个阈值。
图10中的多阈值分类器ft(x)与参照图9所述的回归阶段分类器ft(x)相同之处在于，多阈值分类器ft(x)根据特征X与阈值TH之间的大小关系，输出可靠度作为弱假设。
在参照图9所述的回归阶段分类器ft(x)中，使用一个阈值TH来将特征χ分类成如表达式“X ( TH”表示以及如表达式“χ > TH”表示的两个划分之一，并且输出能够分配给特征χ的划分的可靠度 或^+ 作为弱假设ft (x)。然而，多阈值分类器ft (x)与回归阶段分类器ft(x)不同之处在于，在多阈值分类器ft(x)中，使用多个阈值将特征分类成对应于多个阈值的至少三个划分之一，并且输出能够分配给特征χ的划分的可靠度作为弱假设 ft(x)。
在图10的多阈值分类器ft (χ)中，通过使用两个阈值TH1和TH2来将特征χ分类成如表达式“χ彡ΤΗ/’表达的划分、如表达式"TH1 < χ^ ΤΗ2”表达的划分以及如表达式"TH2 <x”表达的划分之一。
在图10中，假设可以将可靠度 分配给如表达式“X彡TH1 ”表达的划分，可以将可靠度^+ 分配给如表达式"TH1 < χ ^ TH2”表达的划分，以及可以将可靠度^+ + 分配给如表达式"TH2 < χ”表达的划分。因此，当将特征χ分类成如表达式“χ ( TH/’表达的划分时，多阈值分类器ft(x)输出可靠度％作为弱假设ft(x)。当将特征χ分类成如表达式"TH1 <x彡TH2 ”表达的划分时，多阈值分类器ft(x)输出可靠度^+ 作为弱假设ft(x)。当将特征χ分类成如表达式"TH2 < χ”表达的划分时，多阈值分类器ft(x)输出可靠度Wa3 作为弱分类器ft(x)。
因此，多阈值分类器ft(x)(多阈值分类器ft(x)输出的弱假设)以表达式⑷表达。
ft (χ) = a3X [χ > TH2]+ X [χ > TH1]+B1 ... (4)
如参照图7所述的阶段分类器一样，具有作为弱分类器的多阈值分类器的分类器输出求和值Σ=的符号，作为图像是正像或负像的最终假设，其中，该求和值是通过对弱分类器ft(X)进行求和(加权多数判定)而获得的。
如上所述，如参照图9所述的回归阶段分类器一样，可以通过例如Real AdaBoost 来执行对具有作为弱分类器的多阈值分类器的分类器的集成学习。因此，计算阈值TH1和 TH2以及三个可靠度 至 作为弱分类器ft(x)的参数。
当针对三个可靠度 至 中的可靠度 计算求和值Σ ft(x)时，可以预先计算和存储分类器的全部多阈值分类器ft(x)的可靠度％的总和。在此情况下，要预先存储作为一个多阈值分类器ft(x)的参数的参数是阈值THjn TH2以及两个可靠度 和 。因此，与参照图9所述的回归阶段分类器ft(x)的参数相比，一个阈值和一个可靠度增大。
然而，一个多阈值分类器ft(x)基本上起到利用一个阈值的两个回归阶段分类器 ft(x)的作用。
另外，由于多阈值分类器ft(x)具有数量比分段(piecewise)函数的参数少的参数。
具有作为弱分类器的新弱分类器的分类器
图11是具有作为弱分类器的新弱分类器的分类器的图。
这里，可以通过图1中的学习单元15执行的集成学习来计算具有新弱分类器的分类器。图1中的学习单元15执行的集成学习是使用诸如Real AdaBoost或Gentle Boost 的提升执行的学习，并且在下文中也被称为新集成学习。
下文中，通过新集成学习计算出的分类器也称为集成分类器，并且构成集成分类器的弱分类器也称为新弱分类器。
如参照图8所述的联合分类器一样，新弱分类器具有与阶段分类器的函数相同的多个函数(要素函数)，并且响应于数量与要素函数相同的多个特征的输入来输出一个弱假设。在图11中，将两个特征作为多个特征输入到新弱分类器。新弱分类器具有作为数量与Q个特征的数量(即，输入到弱分类器的两个特征)相同的要素函数的两个要素函数 (联合)。可以将两个特征提供给相应的要素函数。S卩，在图11中，将两个特征X= (X，χ')提供给新弱分类器ft(X= (X，χ'))。 另外，如在图8的情况下一样，当被提供了多个特征当中的第q个特征χ的要素函数在集成分类器中所包括的第t个新弱分类器ft(x)中以I^t(X)表示时，新弱分类器ft (X= (x, X'))具有两个要素函数huOO和t!2,t(x')。要素函数Ivt(X)根据多个特征X当中被提供(输入)给该要素函数的特征X与多个阈值之间的大小关系输出三个以上的值之一。S卩，在图11中，要素函数hq,t(X)通过使用两个阈值THtll和THtl2将特征χ分类成三个划分(即，如表达式X彡THql表达的划分、如表达式THtll < X彡THq2表达的划分、以及如表达式THtl2 < χ表达的划分)之一。在图11中，可以将作为表示如表达式χ彡THtll表达的划分的值(整数)的O分配给该划分，可以将作为表示如表达式THtll < χ ( THq2表达的划分的值的1分配给该划分， 并且将作为表示如表达式THtl2 < χ表达的划分的值的2分配给该划分。因此，要素函数 t(x)输出三个值0、1和2之一作为特征χ的划分(表示该划分的值)。这里，可以将要素函数hq,t(X)表达为表达式(5)。hQjt(x) = [χ > THq2]+ [χ > THql] · · · (5)新弱分类器ft (X= (χ, χ'))输出通过将新弱分类器ft (X= (x, x'))的要素函数Ivt(X)输出的划分相加而获得的值，作为用于对多个特征X = (χ, χ')的全部进行分类的划分。S卩，当将多个特征X= (χ, χ')的全部被分类成的划分称为全体划分时，要素函数hy (χ)输出的特征X被分类成的划分是子划分，并且将多个特征X当中输入到要素函数 hq,t(x)的特征称为χω，要素函数Ivt(X)根据输入到两个特征X= (χω,χ(2))的要素函数 hq,t(x)的特征χω与图11中的两个阈值THtll和THtl2之间的大小关系，计算并输出特征χω 的子划分。另外，新弱分类器ft(X= (x(1),x(2)))联合新弱分类器ft (X)的要素函数
和1^(χ(2))输出的子划分(S卩，例如，排列(line up)要素函数Κχ(1))和1^(Χ(2))输出的子划分(表示子划分的值))，并且接着输出所排列的子划分的值作为用于对两个特征X =(x(1),x(2))都进行分类的全体划分。困此，新弱分类器ft (X)可以通过联合(组合)要素函数Kt(X = Xa))和ti2,t(x' =X(2))中的每一个的三个值的子划分来将两个要素X= (X，X' ) = (χω, Χ(2))分类成9 =32个组合的全体划分。与要素函数I^t(X)不同，新弱分类器ft(X)具有针对上述9个组合的全体划分中的每一个被分配了可靠度…的LUT (下文中，也称为可靠度LUT)。这里，可靠度…是全体划分j的可靠度。当将要素函数KtU(D)和Jl2 t0^))输出的子划分分别称为J1和j2时，全体划分j可以以子划分J1与j2的相加来表达，并且因而可以表达为十进制数的表达式j = 3X丄+」2。当一个可靠度…以例如一个字节表达时，新弱分类器ft (X)的可靠度LUT是可以针对9个组合的全体划分而被分配了以一个字节表达的可靠度…的表格，并且具有8字节容量。即，在新弱分类器ft (X)的可靠度LUT中，能够分配给全体划分的1字节可靠度… 被登记到与9个组合的全体划分对应的地址。新弱分类器ft (X)输出8字节可靠度LUT中能够分配给两个特征X= (χ, χ')全部被分类成的全体划分j的1字节可靠度 ，作为弱假设。具有作为弱分类器的新弱分类器的集成分类器输出求和值Σ ft(x)(= ^(^+^(^+...+^(x)的符号(其中，对于每个新弱分类器，多个特征X相互不同)，作为图像是正像或负像的最终假设，其中，该求和和值是通过对弱假设ft(x)进行求和(加权多数判定)而获得的。如所述的，可以通过使用例如Real AdaBoost、通过以下所述的新集成学习来执行对具有作为弱分类器的新弱分类器的集成分类器的集成学习。因此，计算要素函数\ t (χ) 的阈值THtll和THtl2以及1字节可靠度…分配给多个特征X被分类成的全体划分的可靠度 LUT,作为新弱分类器ft (X)的参数。参照图8所述的联合分类器ht(x)将多个特征(即，三个特征X= (χ,χ'，x〃 )) 分类成8个组合之一，通过使用被分配了两个类别(即，表示正像的类别和表示负像的类别)之一的LUT、以8个组合将三个特征的划分数字化为表示正像的类别的+1或表示负像的类别的-1，并且输出该结果作为弱假设。因此，在联合分类器ht(x)中，由于关于多个特征(即，三个特征X)输出数字化值作为弱假设(包括在三个特征X中)，因此丢失了大量信息。另一方面，新弱分类器ft(x)根据两个(以上)阈值将多个特征(即，两个特征X) 分类成三个(以上)子划分之一，并且计算通过将两个特征的各个子划分相加而获得的划分j作为两个特征χ被分类成的全体划分。另外，输出在可靠度LUT中能够分配给全体划分j的、全体划分j的可靠度 作为弱假设。困此，由于新弱分类器ft (X)关于多个特征(即，两个特征X)输出数量与全体划分的总数相同的一个值作为弱假设，所以可以防止信息在联合分类器ht(X)中丢失。另外，由于将每个特征分类成三个子划分并处理两个特征X的新弱分类器ft(X) 的参数数量总共为13 = 2+2+9( S卩，图11中的要素函数Ux)的两个阈值TH11和TH12、要素函数h2, t (χ)的两个阈值TH21和ΤΗ22、以及可靠度LUT中所登记的九个可靠度a」)，因此， 关于一个特征需要存储6. 5 = 13/2个参数。另一方面，如关于图11所述的新弱分类器ft (X) —样，需要存储总共四个参数 (即，阈值TH1和TH2以及可靠度 和 ，如参照图10所述)作为将一个特征分类成三个划分的、图10的多阈值分类器的参数。因此，当关于一个特征计算参数时，需要存储用于新弱分类器ft(X)的6. 5个参数，并且需要存储用于多阈值分类器的4个参数。因此，由于新弱分类器ft (X)的参数的数量比多阈值分类器的参数的数量大2. 5 = 6. 5-4，因此存储新弱分类器ft (X)的参数的存储器的容量相应地增加。然而，可以通过当多阈值分类器的参数以例如所谓的short (段型)(16比特)表达时将表达新弱分类器ft (X)的参数的比特数减少得比表达多阈值分类器的参数的比特数少(即，以例如字节(8比特)表达新弱分类器ft (X)的参数)，减小存储新弱分类器ft (X) 的参数的存储器的容量。如上所述，新弱分类器ft (X)具有数量与输入到新弱分类器ft (X)的Q个特征和可靠度LUT的数量相同的要素函数I^t(X)，其中，对于可靠度LUT，可靠度…被分配给全部多个特征被分类成的全体划分j中的每一个。要素函数hq,t(X)根据两个(以上)阈值将多个特征当中输入到要素函数hq,t(X) 的特征分类成三个(以上)子划分，并且新弱分类器ft (X)计算作为多个特征的子划分的总和的划分作为多个特征被分类成的全体划分j。另外，新弱分类器ft(X)输出在可靠度LUT中能够分配给多个特征的全体划分j 的、全体划分j的可靠度 作为弱假设。因此，新弱分类器ft (X)处理多个特征。然而，与图8的输出数字化后的弱假设的联合分类器相比，由于抑制了包括在多个特征中的信息的丢失，因此可以以非常高的性能区分对象。另外，即使当多个特征的数量小时，新弱分类器ft (X)也可以抑制包括在多个特征中的信息的丢失，即，可以有效地提取并利用包括在多个特征中的信息。困而，新弱分类器 ft(x)可以以高性能区分对象。S卩，新弱分类器ft (X)可以以少量特征区分对象。由于用于区分对象的特征数量小，因此，在计算特征时，访问存储图像的存储器的次数少。因此，可以高速地以高性能区分对象。在本公开内容的该实施例中，由于将仅通过减法计算出的像素间差别特征用作多个特征中的每一个，因此，可以高速地计算多个特征。结果，可以高速地区分对象。因而，由于将像素间差别特征用作特征并具有新弱分类器ft(X)的集成分类器可以高速地且以高性能区分对象，因此，例如，集成分类器用于具有例如通过检测用户是否存在来切换操作模式的功能的TV(电视机)。即，在具有通过检测用户是否存在来切换操作模式的功能的TV中，当操作模式是输出节目的图像和音频的正常模式并且未检测到用户时，可以将操作模式切换为不输出节目的图像和音频的节电模式。当操作模式是节电模式并且检测到用户时，可以将操作模式切换为正常模式。在这种情况下，在TV中，具体地，当在用户远离TV并因而操作模式被切换为节电模式之后，用户返回到TV前面但操作模式未被快速切换为正常模式时，用户会感到不舒适的感觉。为了快速地将操作模式从节电模式切换为正常模式以使得用户不会感到不舒适的感觉，需要高速地且以高性能区分诸如人脸的对象。这里，将像素间差别特征用作特征并具有新弱分类器ft(X)的集成分类器可以高速地且以高性能区分对象。新集成学习图12是集成学习(新集成学习)的流程图，其中，由具有新弱分类器ft (X)的集成分类器的、图1中的学习单元15执行该集成学习。图12中的新集成学习是使用Real AdaBoost的学习。然而，可以使用除了 RealAdaBoost外的诸如Gentle Boost的集成学习(使用加权多数判定的集成学习)来执行新集成学习。在该实施例中，假设通过使用像素间特征作为特征来将两个特征X= (χ,χ')= (χω,χ(2))作为多个特征X输入到构成集成分类器的新弱分类器ft(X)中。困此，新弱分类器ft (X)具有两个要素函数，即，被输入了两个特征X之中的第一特征χ的要素函数kt(x)以及被输入了第二特征χ'的要素函数ti2,t(X')。在该实施例中，假设要素函数Ivt(X)具有两个阈值THtll和THtl2以将特征χ分类为作为三个以上子划分的例如三个子划分之一。在这种情况下，在新弱分类器ft (X)中，除了从两个要素函数huOO和t!2,t(X') 中的每一个输出的子划分外全部两个特征X被分类成的全体划分j是9 = 32个组合，如参照图11所述。能够分配给9个组合的全体划分j中的每一个的可靠度…(即，九个可靠度 a0、B1^a2, a3> a4、a5、a6、a7和a8)登记在新弱分类器ft (X)具有的可靠度LUT中。困此，新弱分类器ft(X)的参数包括用于计算像素间差别特征作为两个特征X中的第一特征X的两个像素的像素位置(一对像素位置)Pn和P12，用于计算像素间差别特征作为第二特征X'的两个像素的一对像素位置P21和P22、第一要素函数hi, t(x)的两个阈值丁！^和^…第二要素函数!!^^')的两个阈值TH2JPTH22、以及登记在可靠度LUT中的九个可靠度 aO Ma80在该实施例中，在区分对象的处理中为了对作为新弱分类器ft(X)的输出的弱假 Sft(X)的加权多数判定(总和)进行运算而执行积分。然而，在参照图12所述的新集成学习中，计算用于确定是否中止积分的中止阈值Rt作为新弱分类器ft(X)的参数。困此，在参照图12所述的新集成学习中，计算四种参数(S卩，像素位置对(Pn，P12) 和(P21, P22)、阈值(TH11, TH12)和(TH21, TH22)、可靠度a0至a8、以及中止阈值Rt作为一个新弱分类器ft (X)的参数。在新集成学习中，多个学习图像被输入到学习单元15(参见图1)。如在图1中所述的一样，学习图像是尺寸与扫描单元12 (参见图1)中所使用的窗口的尺寸相同的图像。多个学习图像包括显现了对象的正像和未显现对象的负像。负像是显现了除对象以外的任何部分(风景等)的图像。表示学习图像是正像和负像之一的准确性标记通过手工而被附加于每个学习图像。当多个学习图像的总数为N时，N个学习图像当中的第i个学习图像被表示为学习图像#i。另外，第i个学习图像的准确性标记以Ii表示。在新集成学习中，在步骤Sll中，学习单元15将用于对构成集成分类器的弱分类器ft (X)的数量进行计数的变量t初始化为1，并且接着处理进行到步骤S12。在步骤S12中，学习单元15针对第一弱分类器(X)将提供给学习单元15的学习图像#1至#N的权重D1 (1)至D1 (N)初始化为例如1/N。然后，处理进行到步骤S13。这里，Dt⑴表示第i个学习图像#i的第t个新弱分类器ft⑴的权重。在步骤S13中，学习单元15执行生成第t个新弱分类器f t (X)的弱分类器生成处理。然后，处理进行到步骤S14。在步骤S14中，学习单元15确定变量t是否与作为构成集成分类器的新弱分类器 ft(X)的总数的设置总数T相同，其中，该设置总数T为预设值。当在步骤S14中，学习单元15确定变量t与设置总数T不相同(即，尚未生成数量与设置总数T相同的新弱分类器(X)至ft(X))时，处理进行到步骤S15。然后，学习单元15根据例如Real AdaBoost的算法，将用于第t个新弱分类器ft (X)的每个学习图像#士的权重Dt⑴更新为用于第(t+Ι)个新弱分类器ft+1⑴的每个学习图像#i的权重Dt+1⑴。S卩，学习单元15通过表达式(6)更新权重Dt(i)。Dt (i) = Dt (i) exp (-yift (Xi))... (6)在表达式(6)中，exp ()表示以指数e为底数的指数函数，以及Yi表示第i个学习图像#i的准确性标记。另外，&表示从第i个学习图像射提取的多个特征(这里，作为两个特征的两个像素间差别特征)，以及ft(Xi)表示由紧接提前在步骤S13中生成的第t个新弱分类器ft(X) 响应于两个特征&的输入而输出的弱假设。根据表达式(6)，当准确性标记Ji的符号与弱假设A(Xi)的符号相同时(当弱假 Sft(Xi)是准确的时)，将权重Dt (i)更新为更小的值。当准确性标记Yi的符号与弱假设 A(Xi)的符号不相同时(当弱假设ft (Xi)不准确时)，将权重Dt(i)更新为更大的值。此后，学习单元15通过表达式(7)对更新后的权重Dt (i)进行归一化，并且计算归一化后的权重Dt (i)作为用于第(t+Ι)个新弱分类器ft+1(X)的权重Dt+1(i)。Dt (i) = Dt (i)/ Σ iDt(i) · · · (7)在表达式(7)中，Σ i表示对通过将变量i从1改变为N而得到的Dt (i)的求和 (Dt (i)的总和)。在步骤S15中，计算用于随后计算的第(t+Ι)个新弱分类器ft+1(X)的每个学习图像#i的权重Dt+1 (i)，并且接着处理进行到步骤S161然后，学习单元15将变量t加1。处理从步骤S16返回到步骤S13，以在下文中重复相同处理。另一方面，当在步骤S14中，学习单元15确定变量t与设置总数T相同(S卩，生成数量与设置总数T相同的新弱分类器(X)至ft(X))时，处理进行到步骤S17。然后，学习单元15输出由新弱分类器(X)至ft(X)(其参数)构成的集成分类器并将其存储在分类器存储单元14中，并且新集成学习处理结束。弱分类器生成处理图13是由图1中的学习单元15在图12的步骤S13中生成新弱分类器ft(X)的弱分类器生成处理的流程图。在步骤S21中，学习单元15将预定数量的M个联合设置为用于生成像素间差别特征X作为特征的两个像素的位置的联合(像素位置对)。S卩，学习单元15生成在单幅学习图像中要获取的全部组合的像素位置对，并且例如随机地从全部组合的像素位置对中选择用于弱分类器生成处理的M个组合的像素位置对。这里，当全部组合的像素位置对等于或小于M个组合时，将全部组合的像素位置对选择作为用于弱分类器生成处理的像素位置对，并且将预定数量M设置为像素位置对的数量。另外，基于学习单元15的性能和对M个组合的像素位置对执行以下处理需要的计算量等，将预定数量M设置成使得弱分类器生成处理在给定时间内结束。当在步骤S21中选择(设置)了 M个组合的像素位置对时，处理进行到步骤S22。 学习单元15将用于对M个组合的像素位置对进行计数的变量m初始化为1，并且接着处理进行到步骤S23。在步骤S23中，学习单元15针对第1至第N个学习图像#1至測提取在M个组合的像素位置对当中的第m个像素位置对处的两个像素的像素值(例如，亮度)P1和p2，并且计算作为像素间差别特征的特征Xi = P1-P2作为在提供给第t个新弱分类器ft(X)的两个特征X当中的第一特征，并且接着处理进行到步骤S24。在步骤SM中，学习单元15将初始值^cmin设置为变量thn，其表示在第t个新弱分类器ft(x)具有的两个要素函数hi,t(x)和ti2,t(x)的第一要素函数hi,t (χ)中所设置的两个阈值之中较小的阈值(下文中，也称为第一阈值)，并且接着处理进行到步骤S25。这里，在以诸如8比特或16比特的预定比特数表达的像素间差别特征的值当中使用最小值等作为初始值^in。在步骤S25中，学习单元15将初始值thn+l设置为变量th12，其表示第t个新弱分类器ft(x)具有的第一要素函数hi,t(x)中所设置的两个阈值之中较大的阈值(下文中， 也称为第二阈值)，并且接着处理进行到步骤S26。在步骤S26中，学习单元15关于根据每个学习图像#i计算出的第一特征^ci计算特征Xi的子划分j ( = J1)，其是第一要素函数hi, t (χ)关于特征Xi输出的第一函数值hi,
t(Xi) ο即，具有两个阈值thn和th12的第一要素函数hu (χ)基于第一特征Xi与阈值thn 和th12的大小关系，关于第一特征Xi输出三个值0、1和2之一。具体地，要素函数Ill, t (χ)通过使用两个阈值thn和th12将特征Xi分类为三个子划分之一，即，如表达式Xi ^ thn表达的子划分、如表达式thn < Xi < th12表达的子划分、 以及如表达式th12 < Xi表达的子划分。这里，可以向如表达式Xi ( thn表达的子划分分配作为表示该子划分的值(整数)的0，可以向如表达式thn < Xi < th12表达的子划分分配作为表示该子划分的值的1， 以及可以向如表达式th12< Xi表达的子划分分配作为表示该子划分的值的2。要素函数、， t(x)基于特征Xi与阈值thn和th12的大小关系，输出三个值0、1和2之一作为特征Xi的子划分(表示子划分的值)。下文中，还将由第一要素函数K t(x)输出的第一特征Xi的子划分j( = J1)称为第一划分。另外，当针对第t个新弱分类器ft(X)执行步骤S26的处理时，由于还未设置第t 个新弱分类器ft (X)具有的两个要素函数hi,t(x)和ti2,t(x)之中的第二要素函数ti2,t(X)的两个阈值，因此不能计算作为第二要素函数h2, t (χ)的输出的子划分。此外，作为提供给第t个新弱分类器ft (X)的多个特征的全部两个特征X= (x, X')被分类成的全体划分j是由第一要素函数&t(X)输出的子划分(第一划分)J1与由第二要素函数Ii2Jx')输出的子划分j2的和。因此，在不能计算作为第二要素函数h2,t(x)的输出的子划分的阶段，也不能计算全体划分j。在不能计算全体划分j( S卩，在第t个新弱分类器ft (X)具有的要素函数Ivt(X)当中存在未设置阈值的要素函数)的阶段，假设根据作为在该阶段设置了阈值的要素函数的输出的子划分计算出的划分是全体划分j以执行处理。在执行步骤S26的阶段，由于阈值被设置的要素函数仅为第一要素函数Ii1, t (χ)， 因此，根据由要素函数Ii1,t(x)输出的特征Xi的第一划分J1计算划分。例如，假设第一划分 J1本身为全体划分j以执行处理。当在步骤S26中关于每个学习图像#i的第一特征Xi计算特征Xi的第一划分 J1 (即，全体划分j)(这里，全体划分与第一划分J1相同，如上所述)时，处理进行到步骤 S27。学习单元15将权重添加到每个类别k和每个全体划分j以计算加权直方图Hkj。在该实施例中，将显现了对象的类别和未显现对象的类别用作类别k。也就是说， 将学习图像#i表示正像的类别和学习图像#i表示负像的类别这两个类别用作类别k。学习图像#i表示正像的类别k以+1表示，以及学习图像#i表示负像的类别k 以-1表示。加权直方图Hkj是在特征Xi被分类成全体划分j的学习图像#i当中类别k的学习图像的加权频率，并且可以通过表达式⑶使用权重Dt(i)来计算。Hkj = Σ Dt (i) ... (8)在表达式(8)中，Σ表示在权重Dt⑴中，仅对类别k的学习图像#i的权重Dt (i) 的求和，其中，该类别k被划分成全体划分j。当计算加权直方图Hkj时，类别k的学习图像#i是准确性标记yi与类别k相同的学习图像#i，并且学习图像#i的全体划分j是在紧接之前的步骤S26中根据学习图像#i 的特征计算出的全体划分j。通过表达式(8)，计算权重Dt (i)中类别k(其被划分成全体划分j)的学习图像#i 的权重Dt(i)的积分值作为类别k(其被划分成全体划分j)的学习图像的加权直方图Hw。在步骤S27中，针对每个类别k和每个全体划分j计算加权直方图Hkj (在该实施例中，k = -l和+1以及j = 0、l和2的联合)。然后，处理进行到步骤S28。学习单元15 通过表达式(9)、使用加权直方图Hkj，针对第m个像素位置对以及第一要素函数Ill,t(x)的两个阈值让^和th12(在下文中，还称为阈值组th12))计算具有第一要素函数Ii1, t(x)的第t个新弱分类器ft(X)的误差e(m，thn，th12)。e (m, thn, th12) = Σ jmin (Hkj)... (9)在表达式(9)中，mink(HkJ)表示作为全体划分j的加权直方图Hw的加权直方图 H^lj和H+lj之间的最小加权直方图Hkj (这里，Hlj或H+1J)。在表达式(9)中，Σ」表示通过将变量j改变为0、1和2(其是作为全体划分j (其在这里与第一划分J1相同，如上所述)而得到的值)而得到的Mnk(Hkj)的求和。利用表达式(9)，通过针对全体划分j = 0、1和2对被划分成全体划分j的学习图像#i的各个类别k = -1和+1的加权直方图Hkj之间的最小加权直方图Hkj(即，加权直方图H,和H+lj中较小的加权直方图)进行积分，关于第m个像素位置对和阈值组(thn和 th12)计算具有第一要素函数Ii1,t(x)的第t个新弱分类器ft(X)的误差e(m，thn，th12)。这里，具有第一要素函数hi,t (χ)的第t个新弱分类器ft (X)的误差e(m，thn，th12)表示具有第一要素函数kt (χ)的第t个新弱分类器ft (X)输出的弱假设ft (X)在针对第m 个像素位置对而获得的特征χ被提供给(输入到)具有阈值th12的要素函数Kt(X) 时错误的程度。在步骤S28中，计算具有要素函数比,t(x)的第t个新弱分类器ft (X)的误差e (m， thn，th12)，并且接着处理进行到步骤S29。学习单元15确定第一要素函数Ill, t(x)的第二阈值th12与被当作以预定比特数表达的像素间差别特征的值的最大值Xmax是否相同。当在步骤S^中学习单元15确定阈值th12与最大值Iax不相同(即，阈值th12小于最大值^liax)时，处理进行到步骤S30。然后，学习单元15将阈值th12加一。处理从步骤S30返回到步骤S26，以重复相同的处理。另一方面，当在步骤S29中学习单元15确定阈值th12与最大值^ax相同时，处理进行到步骤S31。然后，学习单元15确定第一要素函数Ux)的第一阈值thn是否与最大值Iax-I相同。当在步骤S31中学习单元15确定第一阈值thn与最大值Iax-I不相同(即，第一阈值thn小于最大值^liax-I)时，处理进行到步骤S32。然后，学习单元15将阈值thn加一。处理从步骤S32返回到步骤S25以重复相同的处理。另一方面，当在步骤S31中，学习单元15确定第一阈值thn与最大值Iax-I相同时，处理进行到步骤S33。然后，学习单元15确定变量m是否与预定数量M相同。当在步骤S33中，学习单元15确定变量m与预定数量M不相同时，处理进行到步骤S34。然后，学习单元15将变量m加一。处理从步骤S34返回到步骤S23以重复相同的处理。另一方面，当在步骤S33中，学习单元15确定变量m与预定数量M相同时，S卩，当针对M个组合的像素位置对中的每一对以及表达为表达式^cmin ^ thn ^ Xfflax-I和表达式 thn+l彡的范围的阈值组Uh1JPth12)中的每一个，计算第t个新弱分类器ft (X) 的误差e(m，thn，th12)时，处理进行到步骤S35。然后，学习单元15针对第一要素函数Ii1, t(x)将像素位置对(P11和P12)和阈值组(TH11和TH12)确定为虚拟的最佳参数。S卩，在步骤S35中，学习单元15计算如下的像素位置对和阈值组(thn和th12) 误差e (m, thn，th12)在针对M个组合的像素位置对以及表达为表达式Iin ( thn ( Xfflax-I 和表达式thn+l彡th12彡Xfflax的范围的阈值组(thn和th12)计算出的第t个新弱分类器 ft(X)的误差e(m，thn，th12)当中是最小的，并且学习单元15接着确定像素位置对和阈值组(thn和th12)作为虚拟的最佳像素位置对(最佳像素位置对)(P11和P12)和虚拟的最佳阈值组(最佳阈值组)(TH11和TH12)。这里，还将虚拟的最佳像素位置对(P11和P12)和虚拟的最佳阈值组(TH11和TH12) 统称为虚拟的最佳参数。另外，还将第t个新弱分类器ft (X)的误差e(m，thn，th12)中的最小值称为最小误
差 eIIiin0当学习单元15针对第一要素函数Kt(X)将最佳像素位置对(P11和P12)和最佳阈值组(TH1JP TH12)确定为虚拟最佳参数时，学习单元15将最小误差Ain临时存储在内部存储器(未示出)中，并且接着处理进行到图14的步骤S41。图14是从图13中的流程图继续的流程图。
如在图13的步骤S21到步骤S35中一样，在步骤S41中，学习单元15对第二要素函数h2,t(x)执行虚拟最佳参数计算处理，以计算第t个新弱分类器ft (X)具有的两个要素函数Ux)和ti2,t(X)之中的第二要素函数h2,t(x)的虚拟最佳参数。然后，处理进行到步骤 S42。如在图13的步骤S21到步骤S35中一样，在步骤S42中，学习单元15对第一要素函数Ux)执行虚拟最佳参数计算处理，以计算(重新计算)第t个新弱分类器ft (X)具有的两个要素函数t(x)和h2,t(x)之中的第一要素函数Ii1,t(x)的虚拟最佳参数。然后， 处理进行到步骤S43。这里，在步骤S41中针对第二要素函数h2,t(x)的虚拟最佳参数计算处理中，如在图13的步骤S21至S35中一样，计算第二要素函数t!2,t(X)的虚拟最佳参数。此时，如参照图13所述，计算第t个新弱分类器ft (X)的最小误差e3min。另外，在步骤S42中针对第一要素函数Ii1, t(x)的虚拟最佳参数计算处理中，如在图13的步骤S21至S35中一样，计算第一要素函数huOO的虚拟最佳参数。此时，如参照图13所述，计算第t个新弱分类器ft (X)的最小误差e3min。在步骤S43中，学习单元15连续两次确定第t个新弱分类器ft (X)的最小误差^5fflin 是否是同一值(被认为是同一值的值)。当在步骤S43中学习单元15连续两次确定第t个新弱分类器ft (X)的最小误差 emin不是同一值时，即，当需要校正最小误差^in时，处理返回到步骤S41，并且以下重复相同的处理。另一方面，当在步骤S43中学习单元15连续两次确定最小误差^in是同一值时， 艮口，当不需要校正最小误差^in时，处理进行到步骤S44。然后，学习单元15确认第一要素函数huOO和第二要素函数h2,t(x)的最佳参数。S卩，学习单元15针对第一要素函数Ill, t(x)将当前虚拟最佳参数的最佳像素位置对(P11和P12)和最佳阈值组(TH11和TH12)确认为最佳参数。另外，学习单元15针对第二要素函数h2, t (χ)将当前虚拟最佳参数的最佳像素位置对(P21和P22)和最佳阈值组(TH21和TH22)确认为最佳参数。在步骤S44中确认第一要素函数Ii1, t(x)和第二要素函数h2,t(x)的最佳参数后， 处理进行到步骤S45。然后，学习单元15针对第t个新弱分类器ft (X)计算每个全体划分 j的可靠度…。这里，根据第一要素函数Ii1, t(x)，将两个特征X= (χ, χ')之中的第一特征χ分类成三个子划分之一(第一划分)丄。同样地，根据第二要素函数Ii2, t(X)，将两个特征X = (x,x')之中的第二特征X'分类成三个子划分之一 j2。另外，根据第一要素函数Ux)和第二要素函数ti2,t(x)，可以将两个特征X= (x, X')分类成以作为子划分J1与j2的和的表达式j = 3Xj1+j2表达的全体划分j。从两个特征X = (X，χ')划分的全体划分j是以整数O到8表示的九个组合的划分。在步骤S45中，计算九个组合的各个全体划分j的可靠度…。S卩，在步骤S45中，学习单元15通过表达式(10)、针对九个组合的全体划分j，计算正像的两个特征X = (X，X')属于(被分类成)全体划分j的概率密度(概率分布) P (j) °
ρ (j) = Η+1」/Η+1」+Η_υ. . .. (10)在表达式(10)中，Hkj表示可以通过上述表达式⑶、使用作为所确认的最佳参数的最佳像素位置对(P1WPP12)和最佳阈值组(TH11和TH12)的要素函数Ux)以及作为所确认的最佳参数的最佳像素位置对(P2JPP22)和最佳阈值组(TH2JnTH22)的要素函数Ii2, t(x)计算出的加权直方图。通过表达式(10)，计算类别k = +l的学习图像(即，正像的加权直方图H+lj)与被分类成全体划分j的学习图像(学习图像的两个特征X)的加权直方图(类别k = +1和-1 的加权直方图的和)Η+1」+Η,之比，作为正像的两个特征X = (χ,X')被划分成全体划分j 的概率密度P (j)。另外，通过表达式(11)，学习单元15基于概率密度p(j)计算对应于概率密度 p(j)的值作为全体划分j的可靠度…。Bj = (1/2) X log (p (j)/(1-p (j))) . .. (11)通过表达式(11)，随着全体划分j的可靠度…越大，正像的两个特征X= (χ,χ') 被划分成全体划分j的概率密度P (j)变得越大。当在步骤S45中学习单元15针对第t个新弱分类器ft (X)计算每个全体划分j的可靠度…时，生成可靠度…被分配给全体划分j的可靠度LUT作为第t个新弱分类器ft (X) 的参数之一。然后，处理进行到步骤S46。在步骤S46中，学习单元15计算中止阈值作为第t个新弱分类器ft (X)的参数之一。然后，处理返回。以下将描述计算中止阈值的方法。图15是在图14的步骤S41中计算第二要素函数h2, t (χ)的虚拟最佳参数的处理的流程图。在对第二要素函数h2, t (χ)的虚拟最佳参数计算处理中，对第二要素函数h2, t (χ) 执行与图13的步骤S21至S35的处理相同的处理，以计算最佳像素位置对(P21和P22)和最佳阈值组(TH21和TH22)作为第t个新弱分类器ft (X)具有的两个要素函数Ii1, t(x)和t!2, t(x)之中的第二要素函数h2,t (χ)的虚拟最佳参数。然而，可以通过固定此时已计算出的虚拟最佳参数(即，此处，作为第一要素函数 Kt(X)的虚拟最佳参数的最佳像素位置对(P1^PP12)和最佳阈值组(TH11和TH12)),计算作为第二要素函数Ii2,t(x)的虚拟最佳参数的最佳像素位置对(P2^PP22)和最佳阈值组(TH21 禾口 I^2)。S卩，在步骤S51中，学习单元15将预定数量的M个联合设置为用于生成像素间差别特征X作为特征的两个像素的位置的联合(像素位置对)，如图13的步骤S21中一样，并且接着处理进行到步骤S52。如图13的步骤S22中一样，在步骤S52中，学习单元15将用于对M个组合的像素位置对进行计数的变量m初始化为1，并且接着处理进行到步骤S53。在步骤S53中，学习单元15关于第1学习图像#1至第N个学习图像#N提取在M 个组合的像素位置对当中的第m个像素位置对处的两个像素的像素值P1和p2，并且计算作为像素间差别特征的特征Xi' =P1-P2,作为提供给第t个新弱分类器ft (X)的两个特征X 当中的第二特征，如在图13的步骤S23中一样，并且接着处理进行到步骤S54。
如在图13的步骤S24中一样，在步骤S54中，学习单元15将初始值^cmin设置为变量th21，其是表示作为第t个新弱分类器ft(X)具有的两个要素函数Ux)和ti2,t(X)中的第二要素函数Ii2,t(x)中设置的两个阈值之中较小的阈值的第一阈值，并且接着处理进行到步骤S55。如在图13的步骤S25中一样，在步骤S55中，学习单元15将初始值th21+l设置为变量th22，其表示作为第t个新弱分类器ft(X)具有的第二要素函数h2,t(x)中设置的两个阈值之中较大的阈值的第二阈值，并且接着处理进行到步骤S56。如在图13的步骤S26中一样，在步骤S56中，学习单元15关于根据每个学习图像 #i计算出的第二特征而计算特征Xi'的子划分j2，其是第二要素函数h2,t(x)关于特征Xi输出的第二函数值1 , t (Xi')。S卩，具有两个阈值让21和丨‘的第二要素函数I^t(X)基于特征Xi'与阈值让21和 th22之间的大小关系，关于第二特征Xi'输出三个值0、1和2之一。具体地，第二要素函数ti2,t(x)通过使用两个阈值将特征Xi'分类为三个子划分(即，如表达式Xi' Sth21表达的子划分、如表达式th21< Xi' Sth2表达的子划分、以及如表达式< Xi'表达的子划分)之一。这里，可以向如表达式Xi' ^ th21表达的子划分分配作为表示该子划分的值(整数值)的0，可以向如表达式th21<Xi' Sthu表达的子划分分配作为表示该子划分的值的1，并且可以向如表达式thm<Xi'表达的子划分分配作为表示该子划分的值的2。要素函数h2,t(x)将三个值0、1和2之一输出作为特征Xi'的子划分(表示子划分的值)。下文中，也将第二要素函数h2,t(x)输出的第二特征χ/的子划分j2称为第二划分。当针对第t个新弱分类器ft (X)执行步骤S56的处理时，已计算出像素位置对(P11 和P12)和阈值组(TH11* TH12),作为第t个新弱分类器ft(X)具有的两个要素函数hi, t(x) 和h2,t(x)之中的第一要素函数Ii1, t (χ)的虚拟最佳参数。困此，在步骤S56中，学习单元15通过将最佳像素位置对(P11和P12)和最佳阈值组(THn*TH12)固定为第一要素函数Ii1, t(x)的虚拟最佳参数，计算第一划分丄。S卩，学习单元15关于每个学习图像#i、通过将最佳像素位置对的两个像素值P11和P12用作第一要素函数hu (χ)的虚拟最佳参数，计算作为像素间差别特征的特征Xi = P11-P12,作为提供给第t个新弱分类器ft (X)的两个特征X之间的第一特征量。另外，学习单元15通过将第一特征^ci提供给具有阈值TH11和TH12的第一要素函数hi, t (χ)，计算第一特征Xi的第一划分丄。以此方式，当学习单元15计算能够从第一要素函数Ii1, t (χ)获得的第一特征Xi的第一划分丄和能够从第二要素函数h2,t(x)获得的第二特征χ/的第二划分j2时，其中参数被固定为虚拟最佳参数，学习单元15计算通过对第一划分J1与第二划分j2的求和而获得的划分，作为从第一特征Xi与第二特征Xi'的两个特征X= Ui，Xi')分类的全体划分S卩，学习单元15通过表达式j = 3X ji+j2计算全体划分j，并且接着处理从步骤 S56进行到步骤S57。 在步骤S57中，学习单元15通过上述的表达式(8)、针对每个类别k和每个全体划分j计算加权直方图Hkj，如在图13的步骤S27中一样。然后，处理进行到步骤S58。在步骤S58中，学习单元15通过上述的表达式(9)和(1 、通过使用加权直方图 Hkj,关于第二要素函数h2, t (χ)的第m个像素位置对以及两个阈值th21和th22来计算具有第一要素函数huOO和第二要素函数ti2,t(x)的第t个新弱分类器ft (X)的误差e(m，th21， th22)，如图13的步骤S28中一样。然后，处理进行到步骤S59。e(m, th21, th22) =Σ Jmink(Hkj) ... (12)在表达式(12)中，mink(HkJ)表示加权直方图Hlj与H+lj(其为全体划分j的加权直方图Hw)之中的最小加权直方图化(这里，H,或H+u)，如在表达式(9)中一样。在表达式(12)中，Σ」表示通过将变量j变为0、1、2、3、4、5、6、7和8(其是被当做全体划分j(这里，j = 3Xji+j2)的值)而得到的mink(Hkj)的求和。通过表达式(12)，通过针对全体划分j = 0、1.....和8对被分类成全体划分j的
学习图像#i的各个类别k = -1和+1的加权直方图Hkj之中的最小加权直方图Hkj(即，力口权直方图H,与11+1」中较小的加权直方图)进行积分，关于第m个像素位置对和阈值组(th21 和th22)计算具有第一要素函数Ux)和第二要素函数ti2,t(x)的第t个新弱分类器ft (X) 的误差 e (m, th21, th22)。这里，具有第一要素函数Ii1,t(x)和第二要素函数h2,t(x)的第t个新弱分类器 ft(X)的误差e(m，tt!21，th22)表示在针对第m个像素位置对而获得的第二特征X'被提供给 (输入到)具有阈值的要素函数h2,t(x')、并且针对虚拟最佳像素位置对(P11 和P12)获得的第一特征χ被提供给具有虚拟最佳阈值组(TH11和TH12)的要素函数huOO 时，具有要素函数huOO和t!2,t(X)的第t个新弱分类器ft (X= (χ, χ'))输出的弱假设 ft(X)错误的程度。如在图13的步骤S29中一样，在步骤S59中，学习单元15确定第二要素函数1 , t(x)的第二阈值thm是否与最大值Xmax相同。当学习单元15确定第二阈值让⑵与最大值 Xfflax不相同时，处理进行到步骤S60。然后，学习单元15将阈值加一。处理从步骤S60返回到步骤S56，以重复相同的处理。另一方面，当在步骤S59中，学习单元15确定阈值tl·^与最大值^ax相同时，处理进行到步骤S61。然后，学习单元15确定第二要素函数h2,t(x)的第一阈值让21与最大值 Xfflax-I是否相同，如图13的步骤S31中一样。当在步骤S61中学习单元15确定阈值th21与最大值Iax-I不相同时，处理进行到步骤S62。然后，学习单元15将阈值th21加一。处理从步骤S62返回到步骤S55，以重复相同的处理。另一方面，当在步骤S61中，学习单元15确定阈值th21与最大值^ax-I相同时，处理进行到步骤S63。然后，学习单元15确定变量m是否与预定数量M相同，如图13的步骤 S33中一样。当在步骤S63中，学习单元15确定变量m与预定数量M不相同时，处理进行到步骤S64。然后，学习单元15将变量m加一。处理从步骤S64返回到步骤S53，以重复相同的处理。另一方面，当在步骤S63中，学习单元15确定变量m与预定数量M相同时， 即当针对M个组合的像素位置对中的每一个和如表达S^lin < th21 S^iax-I和表达式th21+l彡th22彡Xfflax表达的范围的阈值组(th21和th22)中的每一个计算第t个新弱分类器 ft(X)的误差Θ(πι， 21， 22)时，处理进行到步骤S65。然后，学习单元15将第二要素函数 h2,t(x)的像素位置对(P2^PP22)和阈值组(TH21和TH22)确定为虚拟最佳参数。
S卩，在步骤S65中，学习单元15计算最小值(最小误差e3min)在针对M个组合的像素位置对和如表达式Iin ( th21 ( Xfflax-I和表达式th21+l ( th22 ( Xfflax表达的范围的阈值组(让21和仇2)计算出的第t个新弱分类器ft (X)的误差e(m，th21，th22)当中为最小的像素位置对和阈值组(tt!21和th22)，并且接着将像素位置对和阈值组(tt!21和th22)确定为作为第二要素函数h2,t(x)的虚拟最佳参数的虚拟最佳像素位置对和虚拟最佳阈值组。
另外，当在步骤S65中，学习单元15将最佳像素位置对(P21和P22)和虚拟最佳阈值组(TH21和TH22)确定为用于第二要素函数h2,t(x)的虚拟最佳参数时，学习单元15将最小误差^lin临时存储在内部存储器中，并且接着处理返回。
存储在步骤S65中的最小误差emin用于在上述图14的步骤S43中连续两次确定第t个新弱分类器ft (X)的最小误差Ain是否是同一值。
图16是在图14的步骤S42中计算第一要素函数Ii1, t (χ)的虚拟最佳参数的处理的流程图。
在对第一要素函数k t (χ)的虚拟最佳参数计算处理中，对第一要素函数Ii1, t (χ) 执行图13的步骤S21到步骤S35的处理，以再次计算最佳像素位置对(P11和P12)和虚拟最佳阈值组(TH11和TH12)，作为第t个新弱分类器ft⑴具有的两个要素函数hu (χ)和h2, t(x)之中的第一要素函数& t (χ)的虚拟最佳参数。
然而，当执行对第一要素函数Ii1, t (χ)的虚拟最佳参数计算处理时，已针对构成第 t个新弱分类器ft (X)的全部要素函数I^t(X)计算虚拟最佳参数。因此，在针对第一要素函数huOO的虚拟最佳参数计算处理中，通过将最佳像素位置对(P21和P22)和最佳阈值组 (ΤΗ21*ΤΗ22)固定为除了第一要素函数Ii1,t(x)外的要素函数(S卩，这里，此时已计算出的第二要素函数Ii2,t(x))的虚拟最佳参数，再次计算作为第一要素函数Ux)的虚拟最佳参数的最佳像素位置对(P11和P12)和最佳阈值组(TH11和TH12)。
S卩，在对第一要素函数Ii1, t(x)的虚拟最佳参数计算处理中，在步骤S71至S85中执行与图13的步骤S21至S35的处理相同的处理。
然而，在对第一要素函数Ii1, t(x)的虚拟最佳参数计算处理中，已针对第二要素函数h2,t(x)计算虚拟最佳参数。因此，在与计算全体划分j的图13的步骤幻6对应的步骤 S76中，学习单元15通过将最佳像素位置对(P21*P22)和最佳阈值组(TH21*TH22)固定为第二要素函数h2,t(x)的虚拟最佳参数，计算第二划分j2。
即，学习单元15关于每个学习图像#i、通过将最佳像素位置对(P21*P22)的两个像素值P21和P22用作第二要素函数h2,t (χ)的虚拟最佳参数，计算作为像素间差别特征的特征Xi' =P11-P12作为提供给第t个新弱分类器ft (X)的两个特征X之中的第二特征。
另外，学习单元15通过将第二特征Xi ‘提供给具有两个阈值TH21和TH22的第二要素函数h2,t(x')，计算第二特征Xi'的第二划分j2。
在步骤S76中，学习单元15关于根据每个学习图像#i计算出的第一特征^ci (即， 使用在第m个像素位置对处的像素值P1和P2计算出(在步骤S73中)的特征Xi)，计算第一划分J1，其中，该第一划分J1是特征Xi的子划分和具有两个阈值thn和th12的第一要素函数& t (χ)关于特征Xi输出的函数值Ii1, t (Xi)，如在图13的步骤S26中一样。
当学习单元15通过将参数固定为虚拟最佳参数来计算从第二要素函数h2,t(x)获得的第二特征Xi ‘的第二划分j2，并且关于使用第m个像素位置对而获得的特征Xi，计算从具有两个阈值thn和th12的第一要素函数Ux)获得的第一特征Xi的第一划分jl时，学习单元15计算第一划分J1与第二划分j2的和划分作为第一特征Xi和第二特征Xi'的两个特征X = (xi; Xi')被分类成的全体划分j。
S卩，学习单元15通过表达式j = 3X丄+」2计算全体划分j。
当在步骤S76中以此方式计算全体划分j时，处理从步骤S76进行到步骤S77。稍后还在步骤S77到S85中执行与图13的步骤S27到S35的处理相同的处理。
S卩，在步骤S77中，学习单元15通过上述表达式(8)针对每个类别k和每个全体划分j计算加权直方图Hw。在步骤S78中，学习单元15通过上述表达式(9)、使用加权直方图Hkj，关于像素位置对和第一要素函数k t(x)的阈值组(thn*th12)计算第t个新弱分类器 ft (X)的误差 e (m, thn，th12)。
另外，当在步骤S78中计算表达式(9)的Σ」时，通过以作为全体划分j的值的值 0、1.....和8改变变量j来计算mink(HkJ)的和。
在步骤S85中，学习单元15计算第t个新弱分类器ft(X)的误差e (m，thn，th12)中的最小值(最小误差 in)的像素位置对和阈值组(thn*th12)，其中，该第t个新弱分类器 ft(x)的误差e(m，thn，th12)是针对M个组合的像素位置对以及由表达式^nSth11彡Xmax-I 和表达式thn+l彡th12<xmax表示的范围的阈值组(thn和th12)而计算出的。学习单元15 将像素位置对和阈值组th12)确定(重新确定)为作为用于第一要素函数Ii1, t(x) 的虚拟最佳参数的虚拟最佳像素位置对(P11和P12)和虚拟最佳阈值组(TH11和TH12)。
在步骤S85中，学习单元15将最小误差emin存储在内部存储器中，并且接着处理返回。
另外，在步骤S85中，还将在步骤S77中通过使用第t个新弱分类器ft (X)而获得的加权直方图Hw连同最小误差emin—起临时存储在学习单元15的内部存储器中，其中，该第t个新弱分类器ft (X)具有获得最小误差Ain的虚拟最佳参数的要素函数Kt(X)和已计算出的虚拟最佳参数的第二要素函数h2, t (χ)。
在步骤S85中所存储的最小误差emin用于在上述图14的步骤S43中连续两次确定第t个新弱分类器ft (X)的最小误差Ain是否为同一值。
在步骤S85中所存储的加权直方图Hkj用于在上述图14的步骤S45中计算概率密度P(j)并且用于计算可靠度…。
当构成新弱分类器ft⑴的要素函数Ivt (X)的数量和提供给新弱分类器ft⑴的多个特征X的数量相互相同并且该数量被设置为Q时，可以将Q个特征当中的第q个特征量Xw提供给构成新弱分类器ft (X)的Q个要素函数当中的第q个要素函数I^t(Xw)。
因此，在参照图12至图16所述的新集成学习中，可以将针对构成新弱分类器 ft(X)的第q个要素函数I^t(X)执行的处理称为针对第q个特征Xw执行的处理。
当针对第q个要素函数Ivt (χ)执行的处理被重新描述为针对第q个特征量执行的处理时，在新集成处理中关于多个Q个特征顺序地计算用于计算新弱分类器ft (X)的最小误差的像素位置对和阈值，作为是用于计算特征χω的两个像素的位置的像素位置对、以及用于对特征χω进行分类的阈值。
即，在图12至图16的实施例中，针对要素函数huO^1))和h2,t(x(2))顺序地计算用于计算新弱分类器ft (X)的最小误差的像素位置对和阈值(最初执行的图12的步骤S21 至步骤S35和图14的步骤S41)。
此时，可以通过固定关于第一至第(q_l)个特征计算出的像素位置对和阈值，计算用于针对第q个特征计算新弱分类器ft (X)的最小误差的像素位置对和阈值。
S卩，在图12至图16的实施例中，可以通过固定已针对第一至第(2-1)个要素函数 (即，第一要素函数huUd)))计算出的像素位置对和阈值，计算用于针对第二要素函数112， t(x(2))计算新弱分类器ft (X)的最小误差的像素位置对和阈值(最初执行的图14的步骤 S41)。
在新集成学习中，关于全部Q个特征计算用于计算新弱分类器ft (X)的最小误差的像素位置对和阈值，并且再次，针对Q个特征中的每一个顺序地重复计算用于计算新弱分类器ft (X)的最小误差的像素位置对和阈值。
S卩，在图12至图16的实施例中，关于两个要素函数hu (χω)和I^t (χ(2))两者计算用于计算新弱分类器ft (X)的最小误差的像素位置对和阈值，并且再次，针对要素函数hi, t(x(1))和h2,t(x(2))中的每一个顺序地重复计算用于计算新弱分类器ft(X)的最小误差的像素位置对和阈值。
此时，固定针对Q个特征当中除了第q个特征外的特征已计算出的像素位置对和阈值。
S卩，在图12至图16的实施例中，通过固定已针对第一要素函数Ux(D)(其是与第二要素函数I^t(Xia)不同的要素函数)计算出的像素位置对和阈值，计算用于针对第二要素函数h2,t(x(2))计算新弱分类器ft (X)的最小误差的像素位置对和阈值(图14的步骤 S41)。
另外，在图12至图16的实施例中，通过固定已针对第二要素函数ti2,t(x(2))(其是与第一要素函数Ux(D)不同的要素函数)计算出的像素位置对和阈值，计算用于针对第一要素函数hi, t (X(D)计算新弱分类器ft (X)的最小误差的像素位置对和阈值(图14的步骤 S42)。
在新集成学习中，重复顺序地计算用于关于Q个特征中的每一个计算新弱分类器 ft(x)的最小误差的像素位置对和阈值的处理，直到不校正新弱分类器ft (X)的误差。
S卩，在图12至图16的实施例中，重复顺序地计算用于针对两个要素函数hi,t(x(1)) 和ti2,t(X )计算新弱分类器ft (X)的最小误差的像素位置对和阈值的处理，直到不校正新弱分类器ft (X)的误差(图14的步骤S41至步骤S43)。
中止阈值Rt
图17是在图14的步骤S46中计算中止阈值Rt的方法的图。
通过新集成学习计算出的集成分类器H(X)由T个新弱分类器⑴、f2 (X).....和fT(X)组成，并且存储在分类器存储单元14中(参见图1)。
图1中的判别单元13执行通过使用存储在分类器存储单元14中的集成分类器 H(X)判别从扫描单元12提供的窗口图像中是否显现了对象的窗口图像判别处理。
即，在窗口图像判别处理中，可以将从窗口图像中提取的多个特征(在该实施例中，两个特征)X提供给集成分类器H(X)，并且关于两个特征X、基于从集成分类器H(X)输出的分类值H(X)判别窗口图像中是否显现了对象。
从集成分类器H(X)输出的分类值H(X)是从构成集成分类器H(X)的新弱分类器 ft⑴输出的弱假设ft (X)的积分值(加权多数判定)的符号，并且通过表达式(13)来表达。
H(X) = sgn { Σ tft (X)} . . . (13)
在表达式(13)中，Σ t表示通过将变量t从1变为T而对弱假设ft(X)求和。另外，sgn{}表示大括号的符号(其中，0的符号被认为是正号和负号之一(例如，负号))。
当表达式(13)的分类值H(X)是正的时，判别窗口图像中显现了对象。当分类值 H(X)是负的时，判别窗口图像中未显现对象。
在窗口图像判别处理中，当计算表达式(13)的分类值H(X)时，通过将变量t从1 顺序地变为T来顺序地计算弱假设ft (X)并进行积分。
即，通过计算弱假设ft(X)并且重复将弱假设ft(X)积分为已计算出的弱假设 f“X) Mfw(X)的积分值，计算表达式(13)的分类值H(X)。
图17示出t个弱假设f\(X)至ft(X)的积分值(下文中，还称为t个弱假设的积分值Σ ft(X))关于变量t的变化的示例。
另外，图17示出五个窗口图像#1、#2、#3、#4和#5中的每一个的t个弱假设的积分值 Σ ft (X) ο
在五个窗口图像#1至#5当中，窗口图像#1至#4是正像，并且剩余窗口图像#5 是负像。
在图17中，示出了中止阈值Rt。
关于作为正像的窗口图像#1至#4，t个弱假设的积分值Σ ft(X)等于或大于中止阈值艮，而与变量t (所积分的弱假设的数量)无关。
另一方面，对于作为负像的窗口图像#5，当t个弱假设的积分值Σ ft(X)变为变量 t的值时，t个弱假设的积分值Σ ft(X)小于中止阈值Rt。
当计算表达式(13)的分类值H(X)时，通过将变量t从1改变为T来顺序地计算弱假设ft⑴，并且通过对弱假设ft⑴进行积分来计算t个弱假设的积分值Σ ft⑴。然而，t个弱假设的积分值Σ ft⑴变得小于(或等于或小于)中止阈值Rt，中止(停止)对弱假设ft (X)的积分。
当中止弱假设ft(X)的积分时，判别窗口图像中未显现对象(窗口图像是负像)。
可以通过学习单元15、使用N个学习图像当中的正像，计算与t个弱假设的积分值 Σ ft (X)相比的中止阈值Rt。
S卩，当假设N个学习图像当中存在K个正像并且从K个正像当中的第k个正像 #k提取的多个特征以&表示时，学习单元15关于K个正像#k计算t个弱假设的积分值 綱。
然后，学习单元15关于K个正像#k计算t个弱假设的积分值Σ ft(Xk)当中的最小值作为中止阈值Rt。
具体地，学习单元15通过例如表达式(14)计算中止阈值Rt。
Rt = min { Σ (X1)，Σ (X1)，...，Σ Ji (X1)，0} · · · (14)
在表达式(14)中，Σ i表示通过将变量i从1变为t而对弱假设& (Xk)的求和。 另外，min{}表示大括号{}中的值的最小值。
通过表达式(14)，计算关于k个正像个弱假设的积分值Σ fi(Xk)= f! (Xk) +f2 (Xk) +· · · +ft (Xk)的最小值，作为中止阈值Rto
然而，当关于k个正像#k的t个弱假设的积分值Σ tog = f! (Xk) +f2 (Xk) +· · · +ft (Xk)的最小值大于O时，将中止阈值Rt认为是O。
困此，将通过表达式(14)计算出的中止阈值Rt限制为等于或小于O的值。
将通过表达式(14)计算出的中止阈值Rt限制为等于或小于O的值的原因在于，在 t个弱假设的积分值Σ ft(X)大于O的情况下使得中止阈值Rt大于O并且防止积分停止，这是因为基于例如在表达式(13)中描述的分类值H(X)的符号，执行通过使用Real AdaBoost 计算出的分类器或者通过使用Real AdaBoost的新集成学习计算出的集成分类器H(X)判别是否显现了对象的判别处理，即，基于弱假设ft(X)的积分值与阈值O之间的大小关系， 执行判别处理。
另外，限制中止阈值Rt的方法(包括是否将中止阈值Rt限制为与中止阈值Rt的值不同的其他值)取决于集成学习的方法(类型)。
学习图像
图18是用于新集成学习的学习图像的示例的图。
学习图像是尺寸与窗口图像的尺寸(例如，20X20像素)相同的图像。学习图像包括正像和负像。
在图18中，人脸被认为是对象。正像是显现了人脸的人脸，并且负像是显现了除了人脸外的其他部分的非人脸。
判别处理
图19是通过图1所示的判别设备判别输入图像中是否显现了对象的对象判别处理(判别处理)的流程图。
这里，在图1所示的判别设备中，假设使用人脸是对象(如图18所示)的学习图像、通过新集成学习由T个新弱分类器ft (X)构成的集成分类器H(X)已存储在分类器存储单元14中。
缩放单元11等待从外部提供输入图像。在步骤SlOl中，缩放单元11缩小来自外部的输入图像，并且向扫描单元12提供通过缩小而获得的缩小图像作为从输入图像缩放后的缩放图像。然后，处理进行到步骤S102。
当向缩放单元11提供来自外部的输入图像并且接着初始执行步骤SlOl的处理时，以一倍的缩小率缩小输入图像。因此，在此情况下，具有非缩小尺寸的输入图像被作为来自缩放单元11的缩放图像提供给扫描单元12。
在步骤S102中，扫描单元12将预定尺寸为例如20 X 20像素的窗口设置在来自缩放单元11的缩放图像的左上部位置处。然后，处理进行到步骤S103。
在步骤S103中，缩放单元102从缩放图像中切去窗口内的图像，并且向判别单元 13提供所剪切的图像作为窗口图像。然后，处理进行到步骤S104。
在步骤S104中，判别单元13执行通过使用存储在分类器存储单元14中的集成分类器来判别来自扫描单元12的窗口图像中是否显现了对象的窗口图像判别处理。然后，处理进行到步骤S105。
以下将描述判别单元13执行的窗口图像判别处理。在窗口图像判别处理中，判别单元13判别窗口图像是显现了人脸的正像还是未显现人脸的负像。
在步骤S105中，判别单元13确定窗口是否位于缩放图像的右下部处。
当在步骤S105中，判别单元13确定窗口不位于缩放图像的右下部处时，处理进行到步骤S106。然后，判别单元13控制扫描单元12以使得窗口被移动。
扫描单元12在判别单元13的控制下按光栅扫描顺序将缩放图像上的窗口移动至下一位置。然后，处理从步骤S106返回到步骤S103。
在步骤S103中，扫描单元12切去从缩放图像移动的窗口内的图像，并且向判别单元13提供所剪切的图像作为窗口图像。稍后重复相同的处理。
另一方面，当在步骤S105中，判别单元13确定窗口位于缩放图像的右下部处时， 处理进行到步骤S107。然后，判别单元13确定缩放图像的尺寸是否与窗口的尺寸相同。
当在步骤S107中，判别单元13确定缩放图像的尺寸与窗口的尺寸不相同时，即， 当缩放图像的尺寸大于窗口的尺寸时，处理进行到步骤S108。然后，判别单元13控制缩放单元11以使得输入图像以比前一缩小率小的缩小率(用于进一步缩小输入图像的缩小率) 缩小，并且处理返回到步骤S101。
在步骤SlOl中，缩放单元11在判别单元13的控制下缩小输入图像，并且向扫描单元12提供所获得的、尺寸小于之前尺寸的缩小图像作为缩放图像。稍后重复相同的处理。
另一方面，当在步骤S107中，判别单元13确定缩放图像的尺寸与窗口的尺寸相同时，即，当缩放单元11将输入图像缩放至与窗口的尺寸相同的尺寸时，处理进行到步骤 S109。然后，判别单元13将输入图像上与到现在为止所执行的步骤S104的窗口图像判别处理中确定为正像的窗口图像对应的输入图像上的区域检测为显现了对象的对象区域，并且接着处理进行到步骤S110。
在步骤SllO中，判别单元13确定对象区域是否存在于输入图像中，即确定在步骤 S109中是否从输入图像中检测到至少一个对象区域。
当在步骤SllO中判别单元13确定输入图像中不存在对象区域时，即当在窗口图像判别处理中从输入图像获得的窗口图像中不存在被确定为正像的窗口图像并且因而输入图像中未显现作为对象的人脸时，处理进行到步骤S111。然后，判别单元13输出例如表示不存在对象的消息等作为表示针对输入图像中是否存在对象的确定结果的确定结果信息，并且结束判别处理。
另一方面，当在步骤SllO中判别单元13确定对象区域存在于输入图像中时，即当至少一个对象区域存在于输入图像中时，处理进行到步骤S112。然后，判别单元13确定存在于输入图像中的对象区域中是否存在相互重叠的对象区域。
当在步骤S112中判别单元13确定存在于输入图像中的对象区域中存在相互重叠的对象区域时，即，当多个对象区域存在于输入图像中并且相互重叠的对象区域存在于多个对象区域中时，处理进行到步骤S113。判别单元13从输入图像中相互重叠的对象区域中选择任意两个相互重叠的对象区域并且从对象区域排除相互重叠的两个对象区域中的一个，即，例如具有较小的评价值s的对象区域，其中，稍后将描述并且在窗口图像判别处理中计算该评价值。
此后，处理从步骤S113返回到步骤S112。重复步骤S112和步骤S113的处理，直到在步骤S112中确定存在于输入图像中的对象区域中不存在相互重叠的对象区域。
当在步骤Sl 12中确定存在于输入图像中的对象区域中不存在相互重叠的对象区域时，处理进行到步骤S111。判别单元13输出例如表示存在对象的消息或者显示对象区域周围的框的图像输入等，作为表示针对输入图像是否存在对象的确定结果的确定结果信息，并且接着结束判别处理。
图20是在图19的步骤S113中从对象区域中排除相互重叠的两个对象区域之一的处理的图。
在判别处理中，如参照图19所述，将输入图像上与被确定为正像的窗口图像对应的区域检测为在通过在改变缩小率的同时缩小输入图像而获得的缩放图像上移动的窗口中的窗口图像内的对象区域。如图20的左部中所示，即使当输入图像中仅显现了一个人时，在一些情况下，也将包括显现了人脸(作为对象的脸部)的区域的多个区域检测为对象区域。
当检测到多个对象区域时，多个对象区域中相互重叠的对象区域中所显现的脸部是同一脸部(人)的可能性高。
因此，在判别处理中，重复从相互重叠的对象区域中选择相互重叠的任意两个对象区域的处理以及从对象区域中排除相互重叠的两个对象区域之一的处理，直到相互重叠的对象区域消失为止(图19的步骤Sl 12和步骤Sl 13)。以此方式，如图20的右部所示，对于一个人的脸部而言，仅剩余对象区域。
图21是在图19的步骤S104中所执行的窗口图像判别处理的流程图。
在步骤S121中，判别单元13将用于对构成存储在分类器存储单元14中的集成分类器H⑴的T个新弱分类器⑴、f2 (X).....fT⑴进行计数的变量t初始化为1。
另外，在步骤S121中，判别单元13将用于评价窗口图像以判别来自扫描单元12 的窗口图像中是否显现了对象的评价值s初始化为0。然后，处理进行到步骤S122。
在步骤S122中，判别单元13从来自扫描单元12的窗口图像中提取两个特征X = (X，X')作为提供给第t个新弱分类器ft(X)的多个特征。
即，判别单元13从窗口图像中提取作为第t个新弱分类器ft⑴(第一要素函数 Kt(X))的参数的像素位置对(P11和P12)的两个像素值P11和P12，并且计算像素间差别特征 X = P11-P12,其是提供给第t个新弱分类器ft(X)的第一要素函数hi,t(x)的特征。
另外，判别单元13从窗口图像中提取作为第t个新弱分类器ft⑴(第二要素函 mh2,t(x))的参数的像素位置对(P21和P22)的两个像素值P21和P22，并且计算像素间差别特征X' =P21-P22,其是提供给第t个新弱分类器ft (X)的第二要素函数h2,t(x)的特征。
此后，处理从步骤S122进行到步骤S123。然后，判别单元13通过将紧接之前在步骤S122中算出的两个特征X= (χ, χ')提供给第t个新弱分类器ft (X)并且计算新弱分类器ft (X)，来计算弱假设ft (X)。
S卩，判别单元13通过将两个特征X = (X，χ')之中的第一特征χ提供给具有两个阈值TH11和TH12的第一要素函数huOO，计算第一特征χ的第一划分丄。
另外，判别单元13通过将两个特征X= (x，x')之中的第二特征χ'提供给具有两个阈值的第二要素函数h2,t(x')，计算第二特征χ'的第二划分j2。
当判别单元13计算第一特征Xi的第一划分J1和第二特征Xi'的第二划分j2时， 判别单元13计算第一划分J1与第二划分j2的和划分作为第一特征Xi和第二特征χ/的两个特征X = (xi; Xi')被划分成的全体划分j。
S卩，当学习单元15通过新集成学习计算全体划分j时，判别单元13通过表达式j =3X丄+」2计算两个特征X = (xi; Xi')的全体划分j。
判别单元13计算可靠度LUT中被配置为分配给两个特征X = (Xi, Xi ‘)的全体划分j的可靠度…，作为从第t个新弱分类器ft⑴输出的弱假设ft(X)，其中，该可靠度LUT 是第t个新弱分类器ft (X)的参数。
当计算可靠度…作为弱假设ft(X)时，处理从步骤S123进行到步骤S1M。然后， 判别单元13通过将作为弱假设ft⑴的可靠度…与评价值s相加来更新评价值S。然后， 处理进行到步骤S125。
这里，在步骤SlM中所获得的更新后的评价值s是参照图17所述的t个弱假设的积分值Σ ft(X)。另外，步骤SlM中对评价值s的更新是为了通过表达式(1 计算从集成分类器H(X)输出的分类值H(X)所执行的对弱假设ft(X)的积分。
在步骤S125中，判别单元13确定评价值s是否大于作为第t个新弱分类器ft(X) 的参数的中止阈值Rt。
当在步骤S125中，判别单元13确定评价值s大于中止阈值时，处理进行到步骤SU6。然后，判别单元13确定变量t是否与构成集成分类器H(X)的新弱分类器ft(X) 的数量T相同。
当在步骤SU6中，判别单元13确定变量t与构成集成分类器H(X)的新弱分类器 ft(X)的数量T不相同时，处理进行到步骤S127。然后，判别单元13将变量t加一。
处理从步骤S127返回到步骤S122，并且稍后重复相同的处理。
当在步骤126中，判别单元13确定变量t与构成集成分类器H(X)的新弱分类器 ft(X)的数量τ相同(即，对构成集成分类器H(X)的T个新弱分类器ft(X)的全部弱假设 ft(X)进行为了计算分类值H(X)所执行的对表达式(13)的右侧的求和作为积分)时，处理进行到步骤SU8。然后，判别单元13确定评价值s是否大于阈值0。
当在步骤SU8中，判别单元13确定评价值s不大于阈值0( S卩，分类值H(X)不是正值)时，处理进行到步骤S129，其中，该分类值H(X)是构成集成分类器H(X)的T个新弱分类器ft (X)的全部弱假设ft (X)的积分值Σ tft(X)(表达式(13)的右侧Σ tft⑴)的符号。然后，判别单元13确定窗口图像是负像，并且处理返回。
另一方面，当在步骤S125中判别单元13确定评价值s不大于中止阈值时，处理进行到步骤SU9。然后，判别单元13确定窗口图像是负像，并且处理返回。
困此，当评价值s(即，t个弱假设的积分值Σ ft(X))不大于中止阈值时，中止在步骤SlM中对评价值S的更新(即，为了计算从表达式(13)的集成分类器H(X)输出的分类值H(X)而执行的对弱假设ft (X)的积分)。
当t个弱假设的积分值Σ ft(X)不大于中止阈值Rt时，窗口图像是正像的可能性非常低。因此，当t个弱假设的积分值Σ tft(X)不大于中止阈值时，可以通过中止对弱假设ft (X)的积分来以高速(较短时间)执行整个判别处理(参见图19)。
另一方面，当在步骤SU8中，判别单元13确定评价值s大于阈值0，即，分类值 H(X)是正值)时，处理进行到步骤S130，其中，该分类值H(X)是构成集成分类器H(X)的T 个新弱分类器ft(X)的全部弱假设ft(X)的积分值Σ tft⑴(表达式(13)的右侧Σ tft⑴) 的符号。然后，判别单元13确定窗口图像是正像，并且处理返回。
应用了本公开内容的实施例的计算机
接下来，可通过硬件或软件来执行上述的一系列处理，当通过软件执行该系列处理时，将软件的程序安装在通用计算机等中。
图22是根据本公开内容的实施例安装了执行上述的一系列处理的程序的计算机的配置示例的图。
程序可以预先存储在用作置于计算机中的记录介质的硬盘105或ROM 103中。
替选地，可将程序存储(记录)在可移动记录介质111中。可以提供可移动记录介质111作为所谓的封装软件。这里，可移动记录介质111的示例包括软盘、CD-ROM(光盘-只读存储器)、M0 (磁光)盘、DVD (数字通用盘)、磁盘和半导体存储器。
另外，不仅可以将程序从上述的可移动记录介质安装在计算机中，而且可以经由通信网络或广播网络将程序下载到计算机并且可以将其安装在内部硬盘105中。S卩，例如， 可以经由用于数字卫星广播的卫星将程序从下载站点无线地传输到计算机，或者可以经由诸如LAN(局域网)或因特网的网络以有线方式将程序传输到计算机。
计算机中具有CPU(中央处理单元)102。CPU 102经由总线101连接到输入/输出接口 110。
当用户通过经由输入/输出接口 110操作输入单元107来给出指令时，CPU 102根据该指令执行存储在ROM(只读存储器)103中的程序。替选地，CPU 102将存储在硬盘105 中的程序加载到RAM(随机存取存储器)104中并且执行程序。
以此方式，CPU 102执行以上参照流程图描述的处理或通过以上参照框图所述的配置执行的处理。例如，CPU 102从输出单元106输出处理结果，并且从通信单元108传输处理结果，并且如果需要，经由输入/输出接口 110将处理结果记录在硬盘105中。
输入单元107包括硬盘、鼠标和麦克风。输出单元106包括IXD (液晶显示器)或扬声器。
这里，在说明书中，不一定按流程图中所述的顺序按时间顺序执行由计算机根据程序执行的处理。即，计算机根据程序执行的处理包括并行执行的处理或单独执行的处理 (例如，并行处理或根据对象的处理)。
程序可由单个计算机(处理器)执行或者可被分布以由多个计算机进行处理。另外，可将程序传输到位置遥远的计算机并在该计算机中执行。
本公开内容的实施例不限于本公开内容的上述实施例，但可在不背离本公开内容的要旨的情况下，在本公开内容的范围内以各种形式进行修改。
S卩，在该实施例中，输入到新弱分类器ft(X)的特征的数量和新弱分类器ft(X)具有的要素函数hp (χ)的数量被设置为二。然而，特征的数量和要素函数hp (χ)的数量不限于二，而是可以被设置为三以上。
在该实施例中，在要素函数I^t(X)中设置两个阈值，并且要素函数I^t(X)将输入到要素函数Ivt(X)的特征分类成三个子划分之一。然而，可在要素函数Ivt(X)中设置J个阈值(即，三个以上的阈值)，并且要素函数Iitbt(X)可将输入到要素函数I^t(X)的特征分类为(J+1)个子划分之一。
在该实施例中，将像素间差别特征用作输入到新弱分类器ft (X)的特征。然而，可将除了像素间差别特征外的任意特征用作特征。
当将像素间差别特征用作输入到新弱分类器ft (X)的特征时，需要用于计算输入到新弱分类器ft(X)的像素间差别特征的两个像素位置(像素位置对)，从而以高性能判别对象。为此，在新集成学习(参见图12至图16)中，计算两个像素位置，以使新弱分类器 ft(X)的误差最小。然而，当不取决于像素位置的特征被用作输入到新弱分类器ft (X)的特征时，在新集成学习中不需要用于对像素位置对进行计数的变量m的循环。
本公开内容包含与2010年11月沈日向日本专利局提交的日本优先权专利申请 JP 2010-263804中所公开的主题内容有关的主题内容，在此通过引用将其全部内容结合于此。
本领域的技术人员应当理解，在所附权利要求或其等同方案的范围内，根据设计需要和其它因素，可进行各种修改、组合、子组合以及变更。
权利要求
1.一种信息处理设备，包括判别单元，通过使用包括多个弱分类器的集成分类器以及从输入图像提取的多个特征，关于所述多个特征顺序地对所述弱分类器输出的弱假设进行积分，并且基于所述弱假设的积分值判别所述输入图像中是否显现了预定对象，其中，所述弱分类器响应于从图像中提取的所述多个特征的输入，输出表示所述图像中是否显现了所述预定对象的所述弱假设，其中，所述弱分类器基于阈值将所述多个特征中的每一个分类成三个以上的子划分之一，计算所述多个特征的子划分的和划分作为所述多个特征被分类成的全体划分，并且输出能够分配给所述多个特征的所述全体划分的、全体划分的可靠度作为所述弱假设，其中，通过集成学习计算所述集成分类器，并且其中，在所述集成学习中，能够将所述全体划分的可靠度分配给所述弱分类器的各全体划分。
2.根据权利要求1所述的信息处理设备，其中，在所述集成学习中，关于作为多个特征的Q个特征中的各个特征，顺序地计算使所述弱分类器的误差最小的阈值作为用于对所述特征进行分类的阈值，并且能够通过固定关于第一至第(q_l)个特征已计算出的阈值，获得关于所述Q个特征当中的第q个特征使所述弱分类器的误差最小的阈值。
3.根据权利要求2所述的信息处理设备，其中，在所述集成学习中，重复以下关于全部Q个特征，计算使所述弱分类器的误差最小的阈值，并且接着关于 Q个特征中的各个特征顺序地计算使所述弱分类器的误差最小的阈值，并且当再次计算关于所述Q个特征当中的第q个特征的、使所述弱分类器的误差最小的阈值时，固定关于除所述Q个特征当中的第q个特征以外的特征已计算出的阈值。
4.根据权利要求3所述的信息处理设备，其中，在所述集成学习中，重复关于所述Q个特征中的各个特征顺序地计算使所述弱分类器的误差最小的阈值， 直到不校正所述弱分类器的误差。
5.根据权利要求1所述的信息处理设备，其中，所述特征是在所述输入图像的两个位置处的像素之间的差别。
6.根据权利要求5所述的信息处理设备，其中，在所述集成学习中，关于作为多个特征的Q个特征中的各个特征，顺序地计算使所述弱分类器的误差最小的像素位置对和阈值，其中，所述像素位置对是用于计算所述特征两个像素的位置，所述阈值作为用于对所述特征进行分类的阈值，并且能够通过固定关于第一至第(q_l)个特征已计算出的像素位置对和阈值，获得关于所述Q个特征当中的第q个特征的、使所述弱分类器的误差最小的像素位置对和阈值。
7.根据权利要求6所述的信息处理设备，其中，在所述集成学习中，重复以下关于全部所述Q个特征计算使所述弱分类器的误差最小的像素位置对和阈值，并且接着关于所述Q个特征中的各个特征计算使所述弱分类器的误差最小的像素位置对和阈值，并且当再次计算关于所述Q个特征当中的第q个特征的、使所述弱分类器的误差最小的像素位置对和阈值时，固定关于除所述Q个特征当中的第q个特征以外的特征已计算出的像素位置对和阈值。
8.根据权利要求7所述的信息处理设备，其中，在所述集成学习中，重复关于所述Q个特征中的各个特征顺序地计算使所述弱分类器的误差最小的像素位置对和阈值，直到不校正所述弱分类器的误差。
9.根据权利要求8所述的信息处理设备，其中，使用多个学习图像来执行所述集成学习，其中，所述多个学习图像包括显现了所述对象的正像和未显现对象的负像，并且其中，在所述集成学习中，当假设Dt (i)表示所述多个学习图像当中的第i个学习图像关于第t个弱分类器的权重时，针对表示学习图像是所述正像和所述负像之一的每个类别以及每个全体划分，计算权重Dt(i)当中被划分成全体划分j的、类别k的学习图像的权重Dt (i)的积分值，作为被划分成全体划分j的、类别k的学习图像的加权直方图Hkj，通过针对全体划分对被划分成全体划分j的学习图像的各个类别的加权直方图Hkj当中的最小加权直方图Hw进行积分，计算第t个弱分类器的误差，在第t个弱分类器中，使用全体划分j中的、每个类别k的加权直方图H w计算所述正像被划分成全体划分j的概率密度P (j)，并且基于所述概率密度P (j)计算对应于所述概率密度P (j)的值作为全体划分j的可靠度aj;以及通过提升更新权重Dt (i)。
10.一种信息处理方法，包括通过使用包括多个弱分类器的集成分类器以及从输入图像中提取的多个特征，通过信息处理设备，关于所述多个特征顺序地对所述弱分类器输出的弱假设进行积分，并且基于所述弱假设的积分值判别所述输入图像中是否显现了预定对象，其中，所述弱分类器响应于从图像中提取的所述多个特征的输入，输出表示所述图像中是否显现了所述预定对象的所述弱假设，其中，所述弱分类器基于阈值将所述多个特征中的每一个分类成三个以上子划分之一，计算所述多个特征的子划分的和划分作为所述多个特征被分类成的全体划分，并且输出能够分配给所述多个特征的所述全体划分的、全体划分的可靠度作为所述弱假设，其中，通过集成学习计算所述集成分类器，并且其中，在所述集成学习中，能够将所述全体划分的可靠度分配给所述弱分类器的各全体划分。
11.一种使计算机起到以下作用的程序判别单元，通过使用包括多个弱分类器的集成分类器以及从输入图像提取的多个特征，关于所述多个特征顺序地对所述弱分类器输出的弱假设进行积分，并且基于所述弱假设的积分值判别所述输入图像中是否显现了预定对象，其中，所述弱分类器响应于从图像中提取的所述多个特征的输入，输出表示所述图像中是否显现了所述预定对象的所述弱假设，其中，所述弱分类器基于阈值将所述多个特征中的每一个分类成三个以上的子划分之一，计算所述多个特征的子划分的和划分作为所述多个特征被分类成的全体划分，并且输出能够分配给所述多个特征的所述全体划分的、全体划分的可靠度作为所述弱假设，其中，通过集成学习计算所述集成分类器，并且其中，在所述集成学习中，能够将所述全体划分的可靠度分配给所述弱分类器的各全体划分。
全文摘要
本发明提供了一种信息处理设备、信息处理方法和程序，其中，该信息处理设备包括判别单元，该判别单元通过使用包括多个弱分类器的集成分类器以及从输入图像中提取的多个特征，关于多个特征顺序地对弱分类器输出的弱假设进行积分，并且基于该积分值判别输入图像中是否显现了预定对象，其中，弱分类器响应于从图像中提取的多个特征的输入，输出表示图像中是否显现了预定对象的弱假设。弱分类器基于阈值将多个特征中的每一个分类成三个以上的子划分之一，计算多个特征的子划分的和划分作为多个特征被分类成的全体划分，并且输出全体划分的可靠度作为弱假设。
文档编号G06K9/62GK102542287SQ20111036952
公开日2012年7月4日 申请日期2011年11月18日 优先权日2010年11月26日
发明者佐部浩太郎, 市川清人, 日台健一 申请人:索尼公司