特定被摄体检测装置的制作方法

专利名称：特定被摄体检测装置的制作方法
技术领域：
本发明涉及应用在从所拍摄的图像中检测出在该图像中所包含的人物、动物及物体等的特定的被摄体或被摄体的一部分的装置及方法等中的有效的技术。
背景技术：
作为以往的技术，有从所拍摄的图像中检测出在该图像中所包含的人物、动物及物体等的特定的被摄体或被摄体的一部分的技术。作为这样的以往技术的例子，有从所拍摄的图像中检测出人物的面部的技术(参照非专利文件1)。
在非专利文件1中，使特定的矩形(以下称为「面部判断矩形」)在成为处理对象的图像内移动，判断在各移动地点的面部判断矩形内(以下称为「注目区域」)是否包含人物的面部。图14为表示面部判断矩形的例子(面部判断矩形P1)图。结合图14对采用了面部判断矩形P1的人物的面部的检测处理进行说明。
面部判断矩形P1在其矩形内包含多个其他的矩形(以下称为「第一矩形」，「第二矩形」)P2、P3。第一矩形P2、第二矩形P3被分别配置在面部判断矩形P1内的规定的位置上。在一个面部判断矩形P1内分别配置有一个以上的第一矩形P2和第二矩形P3。
在面部的检测处理中，计算出被各注目区域的第一矩形P2及第二矩形P3分别所包围的区域(以下分别称为「第一特征区域」，「第二特征区域」)的特征量。所谓第一特征区域及第二特征区域的特征量，例如是表示各区域内的像素值的平均值。
接下来，计算出第一特征区域的特征量La和第二特征区域的特征量Lb的差量。然后，根据该差量值是否大于预先设定的阈值α，来判断在注目区域内是否包含人物的面部。通过采用了样品图像的学习来求得阈值α。
在实际的处理中，此种面部判断矩形对所准备的多个图形分别实施判断。在各图形中，第一矩形P2和第二矩形P3的数量及位置分别不同。这样，以各自的判断结果为基准，对在注目区域内是否包含人物的面部进行最终判断。
另外，在专利文件1中也采用这样通过对第一特征区域和第二特征区域的特征量计算出差量来检测人物的面部的技术。
专利文件1特开2000-123148非专利文件1Paul Viola，Michael Jones，“Robust Real-time Object Detection”，SECOND INTERNATIONAL WORKSHOP ONSTATISTICAL AND COMPUTATIONAL THEORIES OF VISION-MODELING，LEARNING，COMPUTING AND SAMPLING VANCOUVER CANADA，JULY13，2001.
图像的人物面部的检测，通过应用采用了上述那样的面部判断矩形P1的方法，提高了其精确度，但是，目前，检测图像中的人物的面部的处理，由于要在移动电话机等的技术规格不太高的装置中求得实时的动作，因而就要求提高处理速度。另外，也仍要求提高图像的人物的面部检测的精确度。

发明内容
本发明的目的在于解决上述的问题，提供一种对在图像中的某个注目区域内是否包含人物的面部的判断处理中实现高速化及高精度化的装置等。
〔第一方式〕为了解决上述问题，本发明采用如下的结构。本发明的第一方式为特定被摄体检测装置，其具有存储装置、计算装置及判断装置。
存储装置用于存储对应多个各特征量所准备的各判断值。在以下所说的判断值，是指在判断装置的判断处理时所采用的值。所谓判断值，例如在通过计算装置计算出所对应的特征量的情况下，为表示在注目区域内包含特定的被摄体的可能性是大还是小的值。
计算装置计算出注目区域内的特征量。在以下所说的注目区域，是指被判断是否包含特定的被摄体的区域。即，所谓注目区域，为表示成为特定被摄体检测装置的处理对象的区域。另外，所谓特征量，为根据注目区域所包含的像素的状态所决定的值。例如，为注目区域内的所有像素或一部分像素的像素值的平均值、合计值、离差等。
判断装置在存储装置所存储的判断值中，以对应计算装置所计算出的特征量的判断值为基准，来判断在注目区域内是否包含特定的被摄体。例如，在对应所计算出的特征量的判断值为表示在注目区域内包含特定的被摄体的可能性大的值的情况下，判断装置就判断为在注目区域内包含特定的被摄体。
在这样所构成的本发明的第一方式中，将在判断装置的判断处理所采用的判断值作为对应每个特征量的值存储到存储装置内。因此，和以往那样根据一个阈值来将特征量和判断值对应起来的情况相比，可以更准确地将判断值和特征量对应起来。因而，判断装置对于被给予的各特征量，可以更准确地判断在注目区域内是否包含特定的被摄体。
该第一方式也可以进行以下那样的变形。即，第1变形方式具有参照对图像进行部分区域定义的区域图形信息的装置；根据上述区域图形信息，通过实施规定的运算来计算出上述图像的特征量的运算装置；将对多个样品图像所计算出的特征量和被计算出其特征量的图像所具有的属性的判断值组合存储的判断值存储装置；和根据对上述图像所计算出的特征量来判断该图像是否具有上述属性的判断装置。
该第1变形方式，将对多个样品图像所计算出的特征量和被计算出其特征量的图像所具有的属性的判断值组合存储。例如，将对具有某个属性(特定被摄体的存在等)的样品图像所计算出的特征量和具有其属性的判断值进行存储。另一方面，将对不具有某个属性(特定被摄体的存在等)的样品图像所计算出的特征量和不具有其属性的判断值进行存储。
对于多个样品图像，也可以事前将该特征量和判断值的组合存储到上述判断值存储装置内。对于多个样品图像，也可以求得上述特征量的次数分布。而且，也可以例如对具有某个属性(特定被摄体的存在等)的样品图像的次数在规定值以上的特征量的范围、将表示具有其属性的判断值进行存储。另外，也可以对不具有某个属性(特定被摄体的存在等)的样品图像的次数在规定值以上的特征量的范围、将表示不具有其属性的判断值进行存储。
〔第二方式〕本发明的第二方式为特定被摄体检测装置，具有存储装置、计算装置第一判断装置、控制装置及第二判断装置。
存储装置用于存储对应多个各特征量所准备的各判断值。存储装置所存储的判断值，也可以为两个值(例如“0”或“1”)，也可以为实数。在作为实数给予了判断值的情况下，与作为两个值所给予的情况相比，提高了第一判断装置及第二判断装置的判断处理的精确度。
计算装置通过多个不同的计算处理计算出在同一注目区域内的特征量。该多个不同的计算处理，例如也可以为被计算出的值的种类为不同(例如平均值、合计值、离差)的处理，在实施计算处理上的输入也可以为不同(例如将与注目区域内的不同的部分区域有关的数据进行输入)的处理。另外，被计算的值的种类及计算处理的输入也可以为不同的处理。
第一判断装置以对应计算装置所计算出的特征量的判断值为基准计算出得分，根据该得分来判断在注目区域内是否包含特定的被摄体。例如，通过将与被计算出的特征量相对应的多个判断值进行累积来计算出得分，该得分为表示在注目区域内包含特定的被摄体的可能性大的值的情况下(例如、在超过规定的阈值的情况下)，判断装置就判断为在注目区域内包含特定的被摄体。
控制装置通过将由计算装置的不同计算处理所得到的多个特征量以组的形式给予第一判断装置，从第一判断装置取得为了得到最终判断的充分的数量的判断结果，因此，第一判断装置对于控制装置所给予的组所包含的多个特征量，从存储装置中分别读出所对应的判断值，根据这些判断值计算出得分，从而判断在注目区域内是否包含特定的被摄体。因此，第一判断装置导出多个判断结果。各判断结果没有必要是相同的。
另外，也可以通过控制装置动态地判断所得到的判断结果的数量是否为得到最终判断的充分的数量，也可以预先决定该数量。例如，也可以通过执行学习算法等及管理者的经验感觉来预先设定为了得到最终判断的充分的判断结果的数量。这时，不仅可以预先设定数量、也可以预先设定计算装置所执行的计算处理。
另外，第一判断装置的判断结果的数量越多，越可以提高最终判断的精确度，即第二判断装置的判断的精确度。因此，所谓为了得到最终判断的充分的数量，为表示确保最终判断的一定的精确度的必要的数量。
第二判断装置根据控制装置所取得的第一判断装置的多个判断结果，对在注目区域内是否包含特定的被摄体进行最终判断。
在象这样所构成的本发明的第二方式中，将第一判断装置的判断处理所采用的判断值对应每个特征量存储到存储装置内。因而，和以往那样根据一个阈值将特征量和判断值对应起来的情况相比，可以更准确地将判断值和特征量相对应。因此，可以提高判断值的精确度，也可以提高进行采用该判断值的处理的第一判断装置的处理结果的精确度。换言之，第一判断装置以被给予的各特征量为基准，就可以更准确地判断在注目区域内是否包含特定的被摄体。
另外，为了提高各判断值的精确度，即使减少以组形式给予第一判断装置的特征量的数量，即，即使减少在第一判断装置中所采用的判断值的数量，也可以维持处理结果的精确度。其结果，通过维持第一判断装置的处理结果的精确度，减少以组的形式所给予的特征量的数量，可以实现高速化。
另外，通过提高第一判断装置的判断结果的精确度，即使减少第一判断装置的判断结果的数量，也可以确保最终判断的精确度(第二判断装置的判断的精确度)。即，减少为了得到最终判断的充分的数量，减少第一判断装置的判断处理的次数。因此，就可以缩短对注目区域内是否包含特定的被摄体进行最终判断所需要的时间。即，可以在不降低精确度的情况下使检测特定的被摄体的处理高速化。
另外，第二方式的第一判断装置在作为新的组从控制装置接收多个特征量、计算新的得分时，其结构也可以为采用作为该新的组的多个特征量的分别的多个判断值以及在第一判断装置的判断处理已经完成的组中所计算出的得分。
在这样结构的情况下，在第一判断装置中，不仅在该组中所包含的特征量的判断值，而且在其他的组(第一判断装置的判断处理已经完成的组)中的判断值也对判断处理产生影响。因此，可以提高第一判断装置的处理的精确度。通过提高第一判断装置的判断结果的精确度，即使减少第一判断装置的判断结果的数量，也可以确保最终判断的精确度。即，减少为了得到最终判断的充分的数量，减少第一判断装置的判断处理的次数。因此，就可以缩短对注目区域内是否包含特定的被摄体进行最终判断所需要的时间。即，可以在不降低精确度的情况下使检测特定的被摄体的处理高速化。
〔第三方式〕本发明的第三方式为特定被摄体检测装置，具有存储装置、计算装置、第一判断装置、控制装置及第二判断装置。
存储装置将根据多个各特征量所准备的各判断值对多个不同的图形分别进行存储。因此，只要得到图形和特征量，就可以据此决定判断值。
计算装置根据多个分别不同的图形，从图像中计算出同一注目区域内的特征量。
第一判断装置得到与计算装置所采用的图形和计算装置所计算出的特征量相对应的判断值。然后，以所得到的判断值为基准，计算出得分，根据该得分来判断在注目区域内是否包含特定的被摄体。
控制装置通过以组的形式将多个特征量给予第一判断装置，从第一判断装置取得为了得到最终判断的充分的数量的判断结果。所谓多个特征量，是通过基于多个不同的图形的计算处理所得到的。即，由计算装置计算出每个图形的特征量。并且，将每个图形所得到的特征量的组给予第一判断装置，取得第一判断装置的判断结果。
第二判断装置根据由控制装置所取得的第一判断装置的多个判断结果，对在注目区域内是否包含特定的被摄体进行最终判断。
在这样所构成的本发明的第三方式中，将第一判断装置的判断处理所采用的判断值对各图形作为对应每个特征量的值存储到存储装置内。因而，和以往那样根据一个阈值将特征量和判断值对应起来的情况相比，可以更准确地将判断值和特征量相对应。因此，可以提高各判断值的精确度，也可以提高进行采用该判断值的处理的第一判断装置的处理结果的精确度。换言之，第一判断装置以被给予每个图形的特征量为基准，可以更准确地判断在注目区域内是否包含特定的被摄体。
另外，为了提高各判断值的精确度，即使减少以组的形式给予第一判断装置的特征量的数量，即，即使减少在第一判断装置中所采用的判断值的数量，也可以维持处理结果的精确度。其结果，通过维持第一判断装置的处理结果的精确度，减少以组的形式所给予的特征量的数量就可以实现高速化。
另外，通过提高第一判断装置的判断结果的精确度，即使减少第一判断装置的判断结果的数量，也可以确保最终判断的精确度(第二判断装置的判断的精确度)。即，即使减少在计算装置及第一判断装置中所采用的图形的数量，也可以确保最终判断的精确度。换言之，减少为了得到最终判断的充分的判断结果的数量，减少第一判断装置的判断处理的次数。因此，就可以缩短对在注目区域内是否包含特定的被摄体进行最终判断所需要的时间。即，可以在不降低精确度的情况下使检测特定的被摄体的处理高速化。
另外，本发明的第三方式的存储装置也可以将被分割到多个区间的特征量和各区间的判断值对应起来进行存储。
另外，在本发明的第三方式中，各区间的判断值也可以为由以下的判断基准生成装置所求得的值。所谓判断基准生成装置，具有样品图像特征量计算装置、次数获得装置及判断值决定装置。
样品图像特征量计算装置根据任意的图形，计算出多个样品图像的各个特征量。次数获得装置对多个特征量的各区间，由样品图像特征量计算装置所计算出的特征量求得在区间内所包含的样品图像的次数。对所述多个区间的各个区间，根据该区间中的次数，根据由所述样品图像特征量计算装置所计算出的特征量判断在所述区间内包含的注目区域内是否包含特定的被摄体，来决定判断值。
另外，在本发明的第三方式中，样品图像其结构也可以为包含成为第一判断装置进行判断的对象的特定的被摄体的正解图像、和不包含特定的被摄体的非正解图像。
另外，在本发明的第三方式中，也可以根据正解图像及非正解图像的各个指标的相对值来设定各区间的判断值。
另外，在本发明的第三方式中，也可以根据正解图像及非正解图像的各自的次数的相对值来设定各区间的判断值。所谓相对值，例如为比例及差量等。
另外，本发明的第三方式的图形，其结构也可以为具有第一特征区域和第二特征区域，对每个图形在特定的区域内分别将各特征区域的位置及大小进行固定。
另外，本发明的第三方式的计算装置，其结构也可以为通过计算出注目区域内的第一特征区域的第一特征量和第二特征区域的第二特征量的相对值来计算注目区域内的特征量。所谓相对值，例如为比例及差量值等。
另外，本发明的第三方式的第一判断装置，其结构也可以为在作为新的组从控制装置接收多个特征量、计算新的得分时，采用作为该新的组的多个特征量的各自的多个判断值以及在已经完成第一判断装置的判断处理的组中所计算出的得分。
在这样的结构的情况下，第二方式可以达到和这样结构的情况同样的效果。
〔第四方式〕本发明的第四方式为判断基准生成装置，包含计算装置、次数获得装置、判断装置及判断基准生成装置。
计算装置根据任意的图形计算出多个样品图像的各个特征量。
次数获得装置对于将特征量分割到多个区间的各区间，求得在区间内包含计算装置所计算出的特征量的样品图像的次数。所谓次数，例如为表示样品图像的数量以及用在每个样品图像所设定的加权乘以该数量的值等。
次数获得装置对于将特征量分割到多个区间的各区间，由计算装置所计算出的特征量求得在区间内包含的样品图像的次数。所谓次数，例如为表示样品图像的数量以及用在每个样品图像所设定的加权乘以该数量的值等。
判断装置根据特征量的各区间的次数，决定各区间的判断值。判断装置通过判断是否应根据图形所计算出的特征量判断在任意的区间所包含的注目区域内包含特定的被摄体，来决定判断值。例如，在根据某个图形所计算出的特征量适合其中一个区间的情况下，就判断在注目区域内包含特定的被摄体的可能性是否很大，从而来决定判断值。
判断基准生成装置根据判断装置的判断结果，生成将各区间和判断值对应起来的判断基准。作为这样的判断基准的具体例，有将各区间和判断值建立对应关联的表。
在这样所构成的本发明的第四方式中，生成将判断值与每个特征量的各区间相对应的表，因此，和以往那样根据一个阈值将特征量和判断值对应起来的情况相比，就可以更准确地生成将判断值和特征量相对应的表。因而在利用该表实施检测特定的被摄体的处理的情况下，可以更准确地判断在注目区域内是否包含特定的被摄体。
(其他)第一至第四方式，也可以通过信息处理装置执行程序来实现。即，也可以具有使信息处理装置执行上述的第一至第四方式的各装置所执行的处理的程序、或存储了该程序的存储介质，来得到上述的作用及效果。另外，也可以具有信息处理装置执行第一至第四方式的各装置所执行的处理的方法，来得到上述的作用及效果。
根据本发明，将判断装置的判断处理所采用的判断值对应每个特征量存储到存储装置内。因此，和以往那样根据一个阈值将特征量和判断值对应起来的情况相比，可以更准确地将判断值和特征量对应起来。因此，判断装置对于被给予的各特征量就可以更准确地判断在注目区域内是否包含特定的被摄体。
另外，为了确保最终判断的精确度，在根据多个判断结果再进行判断的情况下，通过提高采用了判断值的判断结果的精确度，即使减少采用了这样的判断值的判断结果的数量，也可以确保最终判断的精确度。因此，可以缩短对在注目区域内是否包含特定的被摄体进行最终判断所需要的时间。即，在不降低精确度的情况下，可以使检测特定的被摄体的处理高速化。


图1为表示一例面部矩形的图形例的图。
图2为表示面部检出处理的流程的图。
图3为表示面部检出处理的流程图。
图4为表示在将注目区域的大小固定的情况下的注目区域的选择方法的图。
图5为表示在将人物图像的大小固定的情况下的注目区域的选择方法的图。
图6为表示第一实施方式的各图层的处理的示例的图。
图7为表示积分图像的示例的图。
图8为表示差量值和图像数量的直方图的示例的图。
图9为表示在第一实施方式中给予直方图的各区间的判断值的示例的图。
图10为表示第一实施方式的LUT的示例的图。
图11为表示面部检测装置的结构例的功能方框图。
图12为表示判断部的结构例的功能方框图。
图13为表示表生成装置的结构例的功能方框图。
图14为表示面部判断矩形的示例的图。
图15为表示在第二实施方式中给予直方图的各区间的判断值的示例的图。
图16为表示第二实施方式的LUT的示例的图。
图17为表示第二实施方式的各图层的处理的概要图。
图18为表示第二实施方式的各图层的处理的具体示例的图。
图中1-面部矩形，2-第一矩形，3-第二矩形，4、4a、4b-面部检测装置，5-输入部，6-输出部，7a、7b-LUT存储部，8a、8b-判断部，9-设定存储部，10-特征量计算部，11a、11b-第一判断部，12-控制部，13a、13b-第二判断部，14a、14b-表生成装置，15-特征量计算部，16-次数获得部，17a、17b-判断部，18a、18b-表生成部，19a、19b-LUT，P1-面部判断矩形，P2-第一矩形，P3-第二矩形。
具体实施例方式
下面结合附图对本发明的特定被摄体检测装置等的实施方式进行说明。在以下的说明中，作为特定被摄体检测装置的具体例，对从人物图像中检测出入物的面部的面部检测装置4(包括4a、4b参照图11)进行说明。
在该说明中，所谓人物图像，是指至少包含人物面部的一部分或全部的图像的图像。因此，人物图像也可以为包含人物整体的图像，也可以为只包含人物的面部或上半身的图像。另外，人物图像也可以为包含多个人物的图像，还有，人物图像也可以为在背景上包含人物以外的风景(作为被摄体也包含被注目的物体)及花纹等的任何的图形。
另外，对面部检测装置4所进行的以下的说明，只是一个示例，其结构并不限于以下的说明。
首先，对在面部检测装置4中所应用的面部检测技术的原理进行说明。面部检测装置4所应用的面部检测技术，和以往的面部检测技术相比有一些变更，在这里先对以往的面部检测技术的原理进行说明。在该以往的面部检测技术中，事先进行采用了样品图像的学习(以下称为「学习处理」)，根据该学习结果来实施面部的检测(以下称为「面部检测处理」)。
〔学习处理〕首先，对采用了样品图像的以往的学习处理进行说明。作为样品图像，准备大小相等的多个面部图像(正解图像)及非面部图像(非正解图像)。在这里，作为样品图像，是采用在纵横方向上的像素数相等的多个矩形的图像。所谓面部图像，是指包含人的面部的图像，是指对应人的面部的大小实施了宽高比调整或修整的图像，另外，所谓非面部图像，是指不包含人的面部的图像，例如由采用了风景的图像及动物的图像构成。在面部检测装置4中，作为特定的被摄体，为了检测出人物的面部，作为正解图像要准备这样的面部图像。同样，作为非正解图像要准备这样的非面部图像。在其他的具体的特定被摄体检测装置中，作为正解图像准备包含在各个装置中被检测出的特定的被摄体的图像，作为非正解图像准备在各个装置中被检测出的不包含特定的被摄体的图像。
在学习处理中，采用包围和样品图像同样大小的区域的矩形(以下称为「面部矩形」)。图1为表示面部矩形的示例的图。面部矩形1包含第一矩形2和第二矩形3。面部矩形1根据第一矩形2及第二矩形3的数量及所配置的位置，具有多个图形(在图1中，相当于(a)～(1))。即，各面部矩形1作为图形，对第一矩形2及第二矩形3具有固有的数及配置。下面，对采用了面部矩形1和样品图像的学习进行说明。
首先，对某个图形的面部矩形1实施采用了所有的样品图像的数据收集。在该数据收集中，首先，在样品图像中，计算出对应第一矩形2及第二矩形3的区域(以下分别称为「第一特征区域」、「第二特征区域」)的特征量(例如区域内的像素值的平均值)。在一个面部矩形1内包含第一特征区域及/或第二特征区域的情况下，作为各个特征量计算各区域的特征量的合计值。例如，在图1(j)的情况下，作为两个第一特征区域的特征量的和，计算出第一特征区域的特征量。并且作为第一特征区域的特征量和第二特征区域的特征量的相对值(例如比例及差量值，在这里，作为相对值可以设定差量值)，计算出差量值。该差量值表示注目区域的特征量。
接下来，根据所计算出的差量值(注目区域的特征量)，求得与各图形的面部矩形1相对应的阈值。该阈值是使用概率的方法所求得的。通常是设定单纯的数学模型(例如高斯分布)来设计此种概率的方法。例如，对差量值为从0到各值的面部图像和非面部图像分别求得样品数的合计值(积分值)，将其合计值的差为最大的值设定为阈值。
对所准备的所有的图形的面部矩形1实施上述的处理，设定与所有的图形的面部矩形1分别相对应的阈值。
接下来，在被设定了阈值的多个面部矩形1当中，判断在面部检测处理中应使用哪一个面部矩形1。另外，本特定被摄体检测装置以每个图层这一处理单位对有无面部进行判断，例如，在图层1的判断中，对存在面部的可能性进行大致判断，在没有可能性的情况下，就停止处理。另一方面，在有面部存在的可能性的情况下，就在下一个图层2中进行更详细的判断。
在进行上述的判断时，在面部检测处理中，对实施有无面部的判断的多个图层(关于图层的具体例，在面部检测处理的栏中进行说明)分别进行在各图层中所使用的图形的面部矩形1的分配。通过AdaBoost等的增强学习算法来实施该处理。
在进行该判断时，由设计者来决定在进行面部检测处理时必要的图层数及分配到各图层的面部矩形1的数量。这时，由于在面部检测处理中所采用的面部矩形1的数量越多，就越会提高处理的精确度，因而设计者根据实验及经验等，决定为了得到面部检测处理的最终判断的充分的面部矩形1的数量。设计者根据该数量来决定图层数及分配到各图层的面部矩形1的数量。根据在面部检测处理时所求得的处理的速度及精确度，适当地决定该数量。
〔面部检测处理〕下面，对以往的面部检测处理进行说明。图2为表示面部检测处理的流程图。首先，结合图2对面部检测处理的大致的流程进行说明。
面部检测处理是通过多个图层来进行的。将不同组合的面部矩形1分配到各图层。在图2中，被分配到各图层的面部矩形1的数量也是不同的。另外，将实施判断的顺序分配到各图层，各图层根据该顺序实施处理。即，例如在图2中，在图层1(图层1)的判断之后，实施图层2(图层2)的判断，在其后实施图层3(图层3)的判断。
各图层根据分配到自身的顺序，采用分配到自身的图形的面部矩形1来判断在注目区域内是否包含人物的面部。在某个图层中，在判断为注目区域内没有包含人物的面部的情况下，在其后的图层中就不实施对该注目区域的判断。然后，根据最后的图层(在图2中为图层n(图层n)的判断，在判断为注目区域内包含人物的面部的情况下，在面部检测处理中就最终判断在注目区域内包含人物的面部。
图3为表示面部检测处理的流程的流程图。下面，结合图3对面部检测处理的具体的流程进行说明。
在面部检测处理中，首先从人物图像中选择成为处理对象的注目区域(S01)。基本上来讲，根据从人物图像的边以一定间隔向纵方向或横方向偏移的情况、按顺序来选择该注目区域。例如，通过对人物进行光栅扫描来选择注目区域。这时，对任意的人物图像实施多个大小的注目区域的选择。在该选择法中，有将注目区域的大小固定、变化人物图像的大小的方法；及将人物图像的大小固定、变更注目区域的大小的方法等。图4为表示将注目区域的大小固定的方法的图。图5为表示将人物图像的大小固定的方法的图。在注目区域的大小变化的情况下，根据该注目区域的大小的变化，面部矩形1、第一矩形2及第二矩形3的大小也发生变化。即，在注目区域的大小变化的情况下，将在各图层中所使用的面部矩形1的大小控制为和该注目区域的大小相同或大致相同，随着面部矩形1的大小，第一矩形2及第二矩形3的大小也发生变化。
接下来，对被选择的注目区域实施在注目区域内是否包含人物的面部的判断。在多个图层的各个图层中实施该判断。因此，首先根据按照顺序选择实施判断的图层(S02)。
接下来，对被选择的图层实施判断处理(S03)。在该图层的判断中，在判断为注目区域内没有包含人物的面部的情况下(S04-否)，就实施S07以后的处理。关于S07以后的处理，在后面进行叙述。另一方面，在判断为注目区域内包含人物的面部的情况下(S04-是)，就判断之前的判断处理(S03的判断处理)是否为最后的图层的处理。在不是最后的图层的情况下(S05-否)，就返回到S02的处理，选择下一个图层，对重新被选择的图层实施判断处理。另一方面，如果是最后的图层的情况下(S05-是)，进行在现在的注目区域内包含人物的面部的最终判断(S06)。在此时，面部检测装置4判断在该注目区域内包含人物的面部。即，在此时，面部检测装置4初次检测出了人物的面部。
接下来，判断成为判断对象的注目区域在人物图像中是否为最后的注目区域。在不是最后的注目区域的情况下(S07-否)，就返回到S01的处理，选择下一个注目区域，实施S02以后的处理。另一方面，如果是最后的注目区域的情况下(S07-是)，结束对该人物图像的面部检测处理。
图6为表示各图层的判断的处理例的图。下面，结合图6对图层及各图层的判断的处理内容进行说明。
将一个以上的图形的面部矩形1分配到各图层。该分配是在学习处理中通过AdaBoost等的增强学习算法来实施的。各图层根据分配到自身的图形的面部矩形1，进行在注目区域内是否包含面部的判断。
在各图层中，根据分配到各图层的各图形的面部矩形1，计算注目区域内的第一特征区域及第二特征区域的特征量。这时，在特征量为各区域内的像素值的合计及平均等的情况下，即，在特征量为采用像素值的合计所计算出的值的情况下，也可以采用积分图像来计算出特征量。图7为表示积分图像的示例的图。结合图7对采用积分图像的特征量的计算处理进行说明。
在积分图像中，各像素作为其像素值具有从原图像的各像素至左上方所有的像素的像素值的合计。例如，图7的像素a作为像素值具有原图像的区域A所包含的全图像的像素值的合计。因此，例如，通过从d的像素值中减去b及c的像素值、加上a的像素值，就可以计算出原图像的区域D所包含的全图像的像素值的合计(即，区域D的特征量)。
接下来，计算作为被计算出的特征量的相对值的差量值，根据该差量值实施在注目区域内包含人物的面部的判断。具体来讲，判断被计算出的差量值是否大于或小于在判断时所采用的图形的面部矩形1所设定的阈值。然后，根据该判断结果，判断在注目区域内是否存在有人物的面部。
但是，在此时的判断为分别根据各图形的面部矩形1的判断，而不是图层的判断。这样，在各图层中，根据分别分配到所有的图形的面部矩形1，实施个别的判断，分别得到各个判断结果(相当于图6的「面部矩形个别的判断」)。
接下来，计算出图层的得分。对各图形的面部矩形1分配各个得分(例如Pt1，Pt2，…，Ptn)。当判断在注目区域内包含人物的面部时，就参照此时所使用的被分配到图形的面部矩形1的得分，加上该图层的得分。这样，将被加的得分的总计作为图层的得分(以下，为了将该图层的得分的总计和各图形的得分区别开来，称为「总得分」)来计算。并且，在该图层的总得分超过特定的阈值的情况下，该图层判断在注目区域内包含人物的面部。另一方面，在该图层的总得分没有超过特定的阈值的情况下，该图层判断在注目区域内没有包含人物的面部。
在S02～S06(参照图3)中，按照图层处理的轻重顺序(例如被分配的面部矩形1的数量少的图层)，对各图层实施判断(参照图2)。另外，其结构也可以为在实施各图层的判断之前，计算出注目区域内的明亮度的方差，根据所计算出的值来判断是否进行各图层的判断。在这样的结构中，在判断不进行各图层的判断的情况下，实施图3的S07的处理。这是因为，例如对几乎没有明亮度的变化的注目区域(例如全黑的注目区域及全白的注目区域等)就认为不包含要进行各图层的判断的面部。
〔原理〕在上述面部检测装置4中所应用的面部检测技术当中，对以往的面部检测技术进行了说明。下面，对在该面部检测技术中应用于面部检测装置4的第一实施方式的面部检测装置4a的所变更的处理进行说明。另外，在以下的说明中，对所变更的处理进行说明。即，关于以下没有说明的处理，实施和上述所说明的面部检测技术同样的处理。
在以往的面部检测技术中，由于在计算各图形的面部矩形1的阈值时设定了单纯的数学模型，因而对差量值和面部图像及非面部图像的样品数量的直方图实际上成为哪种形状没有进行设定。例如，在图6的最上方所示的面部矩形1的情况下，作为第一特征区域的特征量计算出左右的眼部周围的特征量，作为第二特征区域的特征量计算出鼻子及左右脸颊周围的特征量。
以往，这样的特征区域的特征量被设定为分别根据单纯的数学模型而分布并根据单纯的数学模型计算出阈值。但是，例如在上述第一特征区域的具体例的情况下，实际上可以假设有左右眼闭着的情况、单只眼睛闭着的情况及左右眼睁着的情况等特征量变化大的三种情况。另外，例如在上述第二特征区域的具体例子的情况下，可以假设有在由于脸颊和鼻子在面部中也是为凸起的部位，因而因凸起的程度及皮肤的状态，光的反射明显的情况及不明显的情况等特征量变化大的二种情况。因此，在面部检测装置4a中，根据这样的假设，设定两个特征区域的特征量的差量值不是高斯分布那样的单纯的分布，而是具有多个波峰的分布。
图8为表示学习处理的数据收集所计算出的差量值的直方图的示例的图。该直方图为与某一个图形的面部矩形1有关，对各图形的面部矩形1同样形成直方图。
直方图的横坐标表示了第一特征区域的特征量和第二特征区域的特征量的差量值。直方图的纵坐标表示了计算出的所对应的差量值的样品图像的数量(次数)。所谓正解分布，为表示与面部图像的样品图像有关的分布，所谓非正解分布，为表示与非面部图像的样品图像有关的分布。
在第一实施方式的学习处理中，当形成直方图时，横坐标被特定的间隔所隔开。该间隔也可以有一定的宽度，也可以根据差量值为不同的宽度。接下来，在各区间中，根据正解分布的值(面部图像的次数)与非正解分布的值(非面部图像的次数)，求得判断值。图9为表示根据所形成的直方图来求得各区间的判断值的情况的图。判断值为表示分布于所对应的差量值的区间的图像为面部图像的概率是否高的值。例如，判断值在面部图像概率高的区间(在图9中为颜色淡的区间)中为“1”，面部图像概率低的区间(在图9中为颜色浓的区间)为“0”。另外，例如，判断值在某个区间的正解分布的次数高于非正解分布的次数的情况下等为“1”，在某个区间的正解分布的次数低于非正解分布的次数的情况下等为“0”。
然后，根据该直方图作成LUT(一览表(Look Up Table))19a。图10为表示LUT19a的示例的图。LUT19a具有与差量值的各区间相对应的判断值。在变更后的面部检测处理中，不是根据阈值，而是根据由这样的学习处理所作成的LUT19a来检测图像中的人物的面部。
对所准备的所有图形的面部矩形1实施上述的处理，分别作成与所有图形的面部矩形1相对应的LUT19a。
接下来，在所得到的多个LUT19a中，判断在面部检测处理中用使用哪个LUT19a。即，判断应采用哪个图形的面部矩形1来实施面部检测处理。在进行该判断时，分别对在面部检测处理中实施面部检测的多个图层进行在各图层中所使用的图形的面部矩形1的分配。通过AdaBoost等的增强学习算法来实施该处理。
在面部检测装置4a的面部检测处理的各图层中，根据被分配到各图层的各图形的面部矩形1来计算出注目区域内的第一特征区域及第二特征区域的特征量。接下来，计算被计算出的特征量的差量值。根据该差量值，进行在注目区域内是否包含人物的面部的判断。具体来讲，从与各图形的面部矩形1相对应的LUT19a中求得与所计算出的差量值相对应的判断值，根据该值来进行判断。例如，在采用了与图10所示的LUT19a相对应的图形的面部矩形1的判断中，在差量值至少为40以上不足60，100以上不足120，及140以上不足160的情况下，就判断在注目区域内不包含人物的面部。另一方面，在差量值至少为60以上不足100，及120以上不足140的情况下，就判断在注目区域内包含人物的面部。
这样，在面部检测装置4a中采用由具有多个波峰的分布的假定所设定的LUT19a，来实施以往采用由单纯的分布的假定所设定的阈值所实施的判断处理。
〔系统结构〕<面部检测装置>
下面，和以往相比较，对应用了具有上述的变更点的面部判断技术的面部检测装置4a的结构进行说明。面部检测装置4a在硬件方面具有通过总线所连接的CPU(中央处理器)、主存储装置(RAM)、辅助存储装置等。辅助存储装置是采用不易失性存储装置所构成。在这里所说的不易失性存储装置，是指所谓的ROM(Read-Only Memory包含EPROM(Erasable Programmable Read-Only Memory)、EEPROM(ElectricallyErasable Programmable Read-Only Memory)、主ROM等)、FRAM(Ferroelectric RAM)、硬盘等。
图11为表示面部检测装置4a的功能方框图。面部检测装置4a将辅助存储装置所存储的各种程序(OS，应用程序等)装入到主存储装置内、通过CPU来执行，作为包含输入部5、输出部6、LUT存储部7a、判断部8a、及设定存储部9等的装置来发挥功能。下面，结合图11对面部检测装置4a所具备的各功能部进行说明。
<<输入部>>
输入部5作为将人物图像的原图像的数据(以下称为「原图像的数据」)输入到面部检测装置4a内的接口发挥功能。原图像的数据也可以为静止图像的数据，也可以为动态图像的数据。通过输入部5，从面部检测装置4a的外部将原图像的数据输入到面部检测装置4a内。输入部5也可以为采用将原图像的数据输入到面部检测装置4a内的任何一种现有技术的结构。
例如，也可以通过网络(例如局域网及互联网)将原图像的数据输入到面部检测装置4a内。在该情况下，输入部5也可以为采用网络接口的结构。另外，也可以从数字照相机及扫描仪、个人计算机、存储装置(例如硬盘驱动装置)等将原图像的数据输入到面部检测装置4a内。在该情况下，输入部5可以为根据将数字照相机及个人计算机、存储装置等和面部检测装置4a连接为可进行数据通信的规格〔例如USB(UniversalSerial Bus)及SCSI(Small Computer System Interface)等有线连接及blue tooth等的无线连接的规格〕的结构。另外，也可以将存储介质〔例如各种闪存存储器及软盘(注册商标)、CD(Compact Disk)、DVD(Digital Versatile Disc、Digital Video Disc)〕所存储的原图像的数据输入到面部检测装置4a内。在该情况下，输入部5可以为采用从存储介质中读出数据的装置(例如闪存存储器读出器及软盘驱动装置、CD驱动装置、DVD驱动装置)的结构。
另外，也可以将面部检测装置4a包含到数字照相机等的拍摄装置、或具有数字照相机等的拍摄装置〔例如PDA(Personal DigitalAssistant)内、将所拍摄的人物图像作为原图像的数据输入到面部检测装置4a内。在该情况下，输入部5也可以为采用CCD(Charge-CoupledDevices)及CMOS(Complementary Metal-Oxide Semiconductor)传感器等的结构，也可以为作为将CCD及CMOS传感器等所拍摄的原图像的数据输入到面部检测装置4a内的接口的结构。另外，也可以作为输出数据将输入到该图像输出装置内的人物图像作为原图像的数据输入到面部检测装置4a内。在该情况下，输入部5也可以为采用将输入到这些图像输出装置内的原图像的数据变换为在面部检测装置4a中可处理的数据的装置等的结构。
另外，输入部5也可以为适合上述多种情况的结构。
<<输出部>>
输出部6作为将表示判断部8a是否检测出了人物的面部的数据和/或表示被检测出的面部的位置及大小等的数据输出到面部检测装置4a的外部的接口发挥功能。输出部6也可以为采用从面部检测装置4a中将与人物的面部检测结果有关的数据进行输出的任何一种现有技术的结构。
例如，也可以通过网络将与检测结果有关的数据从面部检测装置4a中输出。在该情况下，输出部6为采用网络接口的结构。另外，也可以将与检测结果有关的数据输出到个人计算机等的其他的信息处理装置及存储装置中。在该情况下，输出部6为根据将个人计算机等其他信息处理装置或存储装置等和面部检测装置4a连接为可进行数据通信的规格的结构。另外，也可以将与检测结果有关的数据输出(写入)到存储介质内。在该情况下，输出部6为采用将数据写入到这些存储装置或存储介质内的装置(例如闪存存储器记录器及软盘驱动装置、CD-R驱动装置、DVD R驱动装置)的结构。
对于输出部6所输出的数据的具体用途的例子也进行说明。例如，为了将表示面部检测装置4a所检测出的面部的区域的图形输出到显示器等的显示装置中，也可以使用输出部6所输出的数据。在此种情况下，输出部6例如也可以为作为和显示器等的显示装置进行数据通信的接口的结构，也可以为作为与显示器等的显示装置相连接、或将数据提交给内置的信息处理装置的接口的结构。另外，也可以为进行例如在将面部检测装置4a包含到数字照相机或具有数字照相机的各种装置内的情况下，数字照相机以输出部6所输出的数据为基准来进行与焦点控制及曝光补偿等的拍摄有关的控制的结构。在此种情况下，输出部6例如也可以为作为和数字照相机内的信息处理装置可进行数据通信的接口的结构。另外，也可以为决定例如将面部检测装置4a包含到进行图像补偿处理的信息处理装置内的情况及与此种信息处理装置相连接的情况下，信息处理装置以输出部6所输出的数据为基准来决定图像补偿处理的处理区域及处理内容等的结构。在此种情况下，输出部6例如也可以为作为和此种信息处理装置及其内部的装置可进行数据通信的接口的结构。
另外，输出部6也可以为适合上述的多种情况的结构。
<<LUT存储部>>
LUT存储部7a为采用不易失性存储装置的结构。LUT存储部7a将判断部8a在进行面部检测处理时所使用的LUT19a进行存储。即，LUT存储部7a将对作为学习处理的结果所得到的各图形的面部矩形1的LUT19a进行存储。因此，LUT存储部7a可存储多个LUT19a。
<<判断部>>
判断部8a采用LUT存储部7a所存储的LUT19a，根据设定存储部9所存储的设定内容实施面部检测处理。判断部8a将实施面部检测处理的结果提交给输出部6。另外，判断部8a通过图中未示的输入部和输出部，对输入部5、输出部6、LUT存储部7a及设定存储部9进行数据的输出入。
判断部8a是通过CPU执行面部检测程序来实现的。另外，判断部8a也可以为采用专用芯片的结构。
图12为表示判断部8a的内部的功能方框图。结合图12对判断部8a的功能进行说明。判断部8a包含特征量计算部10、第一判断部11a、控制部12及第二判断部13a。
特征量计算部10计算出在各图层所计算的第一特征区域及第二特征区域的特征量。并且，特征量计算部10计算所计算出的两个特征量的相对值(在这里为差量值)。
第一判断部11a取得与特征量计算部10所计算出的差量值相对应的判断值，根据1以上的判断值，对在注目区域内是否包含人物的面部进行判断。具体来讲，第一判断部11a读出与特征量计算部10计算特征量时所使用的图形相对应的LUT19a。第一判断部11a根据所读出的LUT19a，取得与特征量计算部10所计算出的差量值相对应的判断值。第一判断部11a取得与被分配到各图层的所有图形相对应的判断值，根据这些判断值，计算各图层的总得分，进行在注目区域内是否包含人物的面部的判断(相当于图3的S03、S04)。
控制部12读出设定存储部9所存储的各种设定内容，将各图形的第一矩形2及第二矩形3的位置及大小等给予特征量计算部10。另外，控制部12将特征量计算部10所计算出的特征量和与计算该特征量时所使用的图形相对应的LUT19a给予第一判断部11a。并且，将第一判断部11a的判断结果给予第二判断部13a。另外，控制部12除此之外还进行注目区域的选择(相当于图3的S01)及判断部8a的动作的控制(相当于图3的S02、S05、S07)。
第二判断部13a根据第一判断部11a的结果，即根据各图层的判断结果，进行在现在的注目区域内是否包含面部的最终判断(相当于图3的S06)。
<<设定存储部>>
设定存储部9是采用不易失性存储装置所构成。设定存储部9将判断部8a进行面部检测处理时的各种设定内容进行存储。例如，设定存储部9将各图形的面部矩形1进行存储。具体来讲，将各图形的第一矩形2及第二矩形3的位置及大小等进行存储。另外，例如，设定存储部9将任何一个图形的面部矩形1是否被分配到了各图层的情况进行存储。另外，设定存储部9将从人物图像中选择注目区域的方法进行存储。
<表生成装置>
下面，对生成面部检测装置4a所使用的LUT19a的表生成装置14a的结构进行说明。表生成装置14a在硬件方面具有通过总线相连接的CPU(中央处理器)、主存储装置(RAM)、辅助存储装置等。辅助存储装置是采用不易失性存储装置所构成。
图13为表示表生成装置14a的功能方框图。表生成装置14a将辅助存储装置所存储的各种程序(OS、应用程序等)装入到主存储装置内，通过CPU来执行，作为包含特征量计算部15、次数获得部16、判断部17a、及表生成部18a的装置来发挥功能。
表生成装置14a从整体上来讲执行变更后的学习处理。下面，结合图13对表生成装置14a所具备的各功能部进行说明。
特征量计算部15对各样品图像根据图形计算出第一特征区域及第二特征区域的特征量。并且，特征量计算部15作为各特征量的相对值计算出差量值。也可以将各图形的特征(各特征区域的大小及位置等)存储到特征量计算部15内，也可以通过图中未示的其他的功能部来进行存储。
次数获得部16根据特征量计算部15的计算结果，得到正解分布及非正解分布。并且，次数获得部16对正解分布及非正解分布获得各区间的次数。
判断部17a根据次数获得部16所获得的正解分布及非正解分布的各区间的次数，求得各区间的判断值。
表生成部18a生成将判断部17a所求得的判断值和该区间对应起来的LUT19a。另外，表生成部18a通过实施增强学习算法，判断在面部检测装置4a中应使用哪个LUT19a，并进行各图层的分配。
根据面部检测装置4a，在面部检测处理的各图层的判断处理中，在基于各图形的面部矩形1而进行判断时，不使用阈值而使用LUT19a。在该LUT19a中保存有各特征区域的特征量的差量值的范围和与差量值的各范围相对应的判断值，以该判断值为基准进行各图形的判断。
因此，在面部检测装置4a中，和根据某个阈值来判断在注目区域内是否存在有面部的情况相比，在采用了各图形的面部矩形1的判断中，可以进行更准确的判断。例如，在通过学习得到图9所示的直方图的情况下，由于在以往的技术中设定了单纯的分布，因而例如就将从左到第4个的区间和第5个的区间的边界作为阈值来设定。即，对于具有小的波峰的分布(在图9中从右到第2个的区间及第3个的区间)就没有具体地进行假设。但是，在面部检测装置4a中，通过采用LUT19a，对具有这样小的波峰的分布进行独立的判断。因此，在面部检测装置4a中，采用了各图形的面部矩形1的各判断和以往相比，更为准确。
另外，在面部检测装置4a中，减少了分配到各图层的面部矩形1的图形。以及/或，在面部检测装置4a中，减少了在面部检测处理中所实施的图层的数量。即，在对一个注目区域的面部检测处理中，减少了实施判断的面部矩形1的图形的总数。
在面部检测装置4a所应用的面部检测技术的面部检测处理中实施基于多个图形的面部矩形1的判断的理由，说起来是因为基于各图形的面部矩形1的判断，仅根据其中的某个判断是非常不准确的。即，由于在各个图形的面部矩形1所实施的判断不准确，因而通过基于多个图形的面部矩形1的判断，可提高判断处理的精确度。但是，根据面部检测装置4a，可以提高基于每个图形的面部矩形1的判断处理的精确度。因此，就可以减少在对一个注目区域的面部检测处理中所使用的面部矩形1的图形的总数，作为整体就可以在不降低面部检测处理的精确度的情况下实现高速化。
在上述中，作为特定被摄体检测装置的具体例，对从图像中检测出人物面部的面部检测装置4a进行了说明。除此之外，作为特定被摄体检测装置的具体例，还有从图像中检测出汽车的车体的装置、及检测出猫、狗等的特定的动物的装置；检测出特定的字及符号、标记等的装置。这些装置只是学习处理所采用的不同样品图像，基本的结构等同样可以和面部检测装置4a进行安装。另外，根据被检测出的各个特定被摄体，也可以对面部检测装置4a实施适当的变更。
另外，在上述中，是采用了第一特征区域的特征量和第二特征区域的特征量的差量值，也可以采用各个特征量的比例等相对的值。
〔原理〕下面，对在面部检测装置4的第二实施方式的面部检测装置4b中所应用的面部检测技术的原理进行说明。另外，在以下的说明中，对和第一实施方式所应用的面部检测技术不同的点进行说明。
在第一实施方式中，在直方图(参照图9)的横坐标以特定的间隔被隔开后，将“0”或“1”中的其中一个判断值给予各区间。对此，在第二实施方式中，将实数的判断值给予各区间。图15为表示在第二实施方式中给予直方图的各区间的判断值的示例的图。在第二实施方式中，判断值表示分布到所对应的差量值的区间的图像为面部图像的概率的高度或其概率。即，第一实施方式的判断值为表示「注目区域的图像为面部的可能性是否高」，对此，第二实施方式的判断值为表示「注目区域的图像为面部的可能性的程度」。例如，判断值取从“0”到“1”的实数，表示该值越大面部图像的概率就越高。更具体地来讲，判断值也可以根据例如以下的公式来计算出。在公式1中，作为h(x)计算出判断值。
如果fHaar(x)∈binj则h(x)=12ln(W‾+1j+ϵW‾-1j+ϵ)]]>其中W‾lj=P(fHaar(x)∈binj,y=1),l=±1,j=1,...,n.]]>binj=[j-1n,jn),j=1,...,n]]>fHaat是Haar特征另外，该判断值也可以根据正解分布的次数和非正解分布的次数的差和比来求得。在该情况下，如果正解分布的次数对非正解分布的次数越高的话，判断值就取越大的值，相反，如果正解分布的次数对非正解分布的次数越低的话，判断值就取越小的值。
然后，根据该直方图的各区间的判断值作成LUT19b。图16为表示LUT19b的示例的图。LUT19b具有对应差量值的各区间的判断值，该判断值以实数来表示。在第二实施方式中，和第一实施方式的LUT19a同样，作成与所有的图形的面部矩形1分别相对应的LUT19b。并且，通过增加学习加法，将LUT19b分别分配到多个图层。
在第二实施方式的面部检测处理中，各图层(除去最初进行处理的图层)进行和第一实施方式的各图层不同的处理。图17为表示第二实施方式的各图层的处理的概要图。首先，最初的图层(图层1)和第一实施方式的各图层同样，取得分配到该图层的各图形的判断值。然后，图层1以各图形的判断值为基准，计算出图层的总得分，判断在注目区域内是否存在有面部。另一方面，图层2以后的图层根据基于分配到各图层的各图形的面部矩形1所得到的判断值，及在前一个图层所计算出的总得分，判断在注目区域内是否存在有面部。即，第二实施方式的各图层在考虑前一个图层的总得分来计算总得分这一点上，和第一实施方式的各图层不同。另外，第二实施方式的各图层将各图形的判断值作为各图形的得分来考虑。但是，也可以将以各图形的判断值为基准所得到的其他的值作为各图形的得分来处理。
图18为表示第二实施方式的各图层的处理的具体的示例的图。图层m(图层m不是最初进行处理的图层)根据分配到该图层m的各图形，计算出特征量。接下来，图层m根据LUT19b及所计算出的特征量，对每个图形取得判断值(pt2～ptn)。并且，图层m作为判断值pt1，取得前一个图层(图层(m-1))的总得分。
另外，在第一实施方式中，在计算各图层的总得分时，只考虑判断值为“1”的图形的得分，但在第二实施方式的各图层考虑到所有的图形的实数的判断值来计算总得分。因此，图层m根据所有的各判断值(pt1～ptn)来计算总得分，实施作为图层m的判断。图层m在判断为注目区域内包含面部的情况下，将图层m的总得分提交给下一个图层(图层(m+1))。并且，在最后的图层中对注目区域内是否存在有面部作出最终判断。
〔系统结构〕<面部检测装置>
下面，对第二实施方式的面部检测装置4b的结构进行说明。面部检测装置4b在取代LUT存储部7a、判断部8a，具有LUT存储部7b、判断部8b，这一点上与面部检测装置4a不同。下面，对面部检测装置4b和面部检测装置4a的不同点进行说明。
<<LUT存储部>>
LUT存储部7b在取代LUT19a(参照图10)存储LUT19b(参照图16)这一点上与LUT存储部7a不同。LUT存储部7b在其他的方面和LUT存储部7a为同样的结构。
<<判断部>>
判断部8b采用LUT存储部7b所存储的LUT19b，根据设定存储部9所存储的设定内容进行面部检测处理。下面，结合图12对判断部8b的功能块进行说明。判断部8b在取代第一判断部11a，具有第一判断部11b；取代第二判断部13a，具有第二判断部13b，这一点上与判断部8a不同。下面，对判断部8b和判断部8a的不同点进行说明。
第一判断部11b取得与特征量计算部10所计算出的差量值相对应的判断值，根据1以上的判断值，进行在注目区域内是否包含人物的面部的判断。具体来讲，第一判断部11b读出与特征量计算部10计算特征量时所使用的图形相对应的LUT19b。第一判断部11b根据所读出的LUT19b，取得与特征量计算部10所计算出的差量值相对应的判断值、即各图形的判断值。第一判断部11b根据这些判断值，计算各图层的总得分，进行在注目区域内是否包含人物的面部的判断。
第一判断部11b在第二个以后的图层中，作为一个判断值，采用基于前一个图层的总得分的值。即，第一判断部11b在第二个以后的图层中，采用基于前一个图层的总得分的值及与分配到该图层的各图形相对应的所有的判断值，来计算该图层的总得分。并且，根据所计算出的该总得分，对在现在的注目区域内是否包含面部的判断进行该图层的判断。
第二判断部13b根据第一判断部11b的结果，即根据各图层的判断结果，进行在现在的注目区域内是否包含面部的最终判断(相当于图3的S06)。
<表生成装置>
下面，对生成面部检测装置4b所使用的LUT19b的表生成装置14b的结构进行说明。表生成装置14b在进行第二实施方式的学习处理这一点上和表生成装置14a不同。即，表生成装置14b在取代判断部17a和表生成部18a，具有判断部17b和表生成部18b，这一点上和表生成装置14a不同。下面，关于表生成装置14b，只对和表生成装置14a不同的点进行说明。
判断部17b根据次数获得部16所获得的正解分布及非正解分布的各区间的次数，根据公式1，计算各区间的实数的判断值。
表生成部18b生成将判断部17b所计算出的实数的判断值和该区间对应起来的LUT19b。另外，表生成部18b通过执行增强学习算法，判断在面部检测装置4b中应使用哪个LUT19b，并进行对各图层的分配。
〔作用/效果〕根据第二实施方式的面部检测装置4b，在面部检测处理的各图层的判断处理中，在基于各图形的面部矩形1的判断时，不使用LUT19a，而使用LUT19b(参照图16)。在该LUT19b中，作为与差量值的各范围相对应的判断值，保存有“0”～“1”的实数值，而不是“0”或“1”的两个值。
因此，在面部检测装置4b中，与进行采用了LUT19a的处理的面部检测装置4a相比，可以提高各图层的处理的精确度。例如，在LUT19a的情况下，在将根据正解分布和非正解分布的次数的不同几乎无法看到的微弱的差判断判断值为“0”的情况下(以下称为情况1)、和在由于非正解分布明显地压倒多数而判断判断值为“0”的情况下(以下称为情况2)，均完全同等地进行处理。另一方面，在LUT19b的情况下，区别开来进行考虑在情况1的情况下，例如将判断值定为“0.4”；在情况2的情况下，例如将判断值定为“0.1”。因此，可以将情况1多的情况和情况2多的情况作为不同的状态(不同的得分)来考虑，可以提高检测面部时的精确度。
另外，由于像这样使各图形的判断值成为实数，并提高了精确度，因而可以在维持处理的精确度的情况下减少分配到各图层的图形的数量。即，可以通过比以前少的图形来进行判断处理。因此，可以实现处理的高速化。根据同样的理由，也可以减少图层的数量，实现高速化。
另外，根据第二实施方式的面部检测装置4b，通过在没有完成判断处理的图层中采用已经完成了判断处理的图层的总得分，来实施该图层的判断处理。换言之，根据将已经完成了判断处理的图层的各图形的判断值反映到后面的图层的判断处理中，在后面的图层中，与实际所采用的图形的数量相比，通过设定增加了对判断处理有影响的图形的数量，与没有进行这样处理的面部检测装置4a相比，可以提高各图层的判断处理的精确度。因此，在后面的图层中，就可以在维持判断处理的精确度的情况下减少分配到各图层的图形的数量，实现处理的高速化。同样，也可以减少图层的数量，实现处理的高速化。另外，为了减少图形的数量，也可以减少在面部检测装置4b中所使用的资源。
〔变形例〕在图15所示的直方图及图16所示的LUT19b的例子中，判断值作为到有效位数1的小数点第一位的小数表示了判断值，但判断值并没有必要拘泥于这样的基准。即，作为判断值的有效位数及到小数点第几位的值来表示判断值，设计者也可以根据情况自由设定。
第二判断部13b也可以为不采用与分配到各图层的各图形相对应的判断值来计算各图层的总得分，而是在与分配到各图层的各图形相对应的判断值中，只采用超过了阈值(例如“0.2”，“0.5”)的判断值来计算各图层的总得分。
另外，第二判断部13b也可以为在计算各图层的总得分时，不限于采用前一个图层的总得分，也可以采用基于在该图层之前实施了处理的1个以上的图层的总得分的值。
另外，第二判断部13b在采用以前实施了处理的1个以上的图层的总得分得到判断值时，也可以将总得分作为判断值来使用，也可以通过对总得分附加某些加权来作为判断值使用。
权利要求
1.一种特定被摄体检测装置，其特征在于，包括存储对应多个特征量的各个特征量所准备的各个判断值的存储装置；从图像中计算出注目区域内的特征量的计算装置；和在所述存储装置所存储的判断值中，以对应由所述计算装置计算出的特征量的判断值为基准，判断在所述注目区域内是否包含特定的被摄体的判断装置。
2.一种特定被摄体检测装置，其特征在于，包括存储对应多个特征量的各个特征量所准备的各判断值的存储装置；通过进行多个不同的计算处理，从图像中计算出同一注目区域内的特征量的计算装置；在所述存储装置所存储的判断值中，以对应由所述计算装置计算出的特征量的判断值为基准计算出得分，根据该得分，判断在所述注目区域内是否包含特定的被摄体的第一判断装置；通过将由计算装置进行的不同计算处理所得到的多个特征量以组的形式给予所述第一判断装置，从第一判断装置取得为得到最终判断的充分数量的判断结果的控制装置；和根据所述控制装置所取得的由第一判断装置做出的多个判断结果，对在所述注目区域内是否包含特定的被摄体进行最终判断的第二判断装置。
3.一种特定被摄体检测装置，其特征在于，包括对于多个分别不同的图形，存储对应多个特征量的各个特征量所准备的各个判断值的存储装置；根据多个分别不同的图形，从图像中计算出同一注目区域内的特征量的计算装置；以对应由所述计算装置采用的图形和由所述计算装置计算出的特征量的判断值为基准计算出得分，根据该得分来判断在所述注目区域内是否包含特定的被摄体的第一判断装置；通过将基于多个不同图形的计算处理所得到的多个特征量以组的形式给予所述第一判断装置，从第一判断装置取得为得到最终判断的充分数量的判断结果的控制装置；和根据所述控制装置取得的第一判断装置做出的多个判断结果，对在所述注目区域内是否包含特定的被摄体进行最终判断的第二判断装置。
4.根据权利要求3所述的特定被摄体检测装置，其特征在于，所述存储装置将分配到多个区间的所述特征量和各区间的判断值建立对应关联，并进行存储。
5.根据权利要求4所述的特定被摄体检测装置，其特征在于，所述各区间中的判断值是由判断基准生成装置决定的值，所述判断基准生成装置包括根据任意的图形计算出多个样品图像的各个特征量的样品图像特征量计算装置；对多个特征量的各区间，根据由所述样品图像特征量计算装置所计算出的特征量求得在所述区间内所包含的样品图像的次数的次数获得装置；和对所述多个区间的各个区间，通过根据该区间中的次数，判断是否应根据由所述样品图像特征量计算装置所计算出的特征量判断为在所述区间内包含的注目区域内包含特定的被摄体，来决定判断值的判断值决定装置。
6.根据权利要求2～5中任意一项所述的特定被摄体检测装置，其特征在于，所述第一判断装置在从控制装置取得作为新的组的多个特征量，计算新的得分时，使用作为该新的组的多个特征量的各个特征量中的多个判断值，和对已经由第一判断装置完成判断处理的所述组所计算出的得分。
7.一种判断基准生成装置，其特征在于，包括根据任意图形计算出多个样品图像的各个特征量的计算装置；对多个特征量的各区间，根据由计算装置所计算出的特征量求得在所述区间内所包含的样品图像次数的次数获得装置；对所述多个区间的各个区间，通过根据该区间中的次数，判断是否应由所述样品图像特征量计算装置所计算出的特征量判断为在所述区间内包含的注目区域内包含特定的被摄体，来决定判断值的判断值决定装置；和生成将所述各区间与由所述判断装置做出的判断结果建立了对应关联的判断基准的判断基准生成装置。
8.一种程序，其特征在于，使具有存储根据多个各特征量所准备的各判断值的存储装置的信息处理装置执行以下的步骤从图像中计算出注目区域内的特征量的步骤；和在所述存储装置所存储的判断值中，以对应所计算出的特征量的判断值为基准，判断在所述注目区域内是否包含特定的被摄体的步骤。
9.一种程序，其特征在于，使具有存储根据多个各特征量所准备的各判断值的存储装置的信息处理装置执行以下的步骤通过进行多种不同的计算处理，从图像中计算出注目区域内的特征量的步骤；在所述存储装置所存储的判断值中，以对应所计算出的特征量的判断值为基准计算出得分，根据该得分，判断在所述注目区域内是否包含特定的被摄体的第一判断步骤；通过以组的形式将通过在计算步骤所进行的不同的计算处理所得到的多个特征量给予所述第一判断步骤，来执行该步骤，取得为得到最终判断的充分数量的判断结果的步骤；和根据所取得的多个判断结果，对在所述注目区域内是否包含特定的被摄体进行最终判断的第二判断步骤。
10.一种程序，其特征在于，使具有对多个分别不同的图形存储对应多个各特征量所准备的多个判断值的各个判断值的存储装置的信息处理装置执行以下的步骤根据多个分别不同的图形，从图像中计算出同一注目区域内的特征量的步骤；以对应在所述计算步骤所使用的图形和所述计算步骤所计算出的特征量的判断值为基准计算出得分，根据该得分来判断在所述注目区域内是否包含特定的被摄体的第一判断步骤；通过以组的形式将通过执行基于多个不同的图形的所述计算步骤所得到的多个特征量给予所述第一判断步骤，来执行该步骤，取得为得到最终判断的充分数量的判断结果的步骤；和根据所取得的多个判断结果，对在所述注目区域内是否包含特定的被摄体进行最终判断的第二判断步骤。
11.一种程序，其特征在于，使信息处理装置执行以下步骤根据任意图形计算出多个样品图像的各个特征量的步骤；对多个特征量的各区间，求得在所述区间内包含所计算出的特征量的样品图像的次数的步骤；对所述多个区间的各个区间，通过根据该区间中的次数，判断是否应判断为在所述区间内包含由所述样品图像特征量计算装置所计算出的特征量的注目区域内包含特定的被摄体的步骤；和生成将所述各区间和判断结果建立对应关联的表的步骤。
12.一种特定被摄体检测装置，其特征在于，包括参照对图像定义部分区域的区域图形信息的装置；通过根据所述区域图形信息执行规定的运算来计算出所述图像的特征量的运算装置；将对多个样品图像所计算出的特征量和与被计算出其特征量的图像所具有的属性相关的判断值组合存储的判断值存储装置；和根据对所述图像计算出的特征量，判断该图像是否具有所述属性的判断装置。
13.一种程序，其特征在于，使计算机执行以下的步骤参照对图像定义部分区域的区域图形信息的步骤；通过根据所述区域图形信息执行规定的运算来计算出所述图像的特征量的运算步骤；参照组合存储了对多个样品图像所计算出的特征量和与被计算出其特征量的图像所具有的属性相关的判断值的判断值存储装置的步骤；和根据对所述图像计算出的特征量，判断该图像是否具有所述属性的判断步骤。
全文摘要
本发明提供一种特定被摄体检测装置。对于在图像中的某个注目区域内是否包含人物的面部的判断处理，可实现高速化及高精确度化。本发明的特定被摄体检测装置不是像以往那样根据一个阈值将注目区域的特征量与判断值对应，而是通过采用一览表等对每个特征量与判断值分别独立对应。因此，判断值和特征量的对应关系更为准确，可以实现处理的高精度化。另外，在以往为了保证判断的精确度而多次反复进行判断，根据其综合结果进行最终判断，而本发明由于提高了一次处理的精确度，可减少反复的次数，实现高速化。
文档编号G06K9/00GK1696959SQ20041003819
公开日2005年11月16日 申请日期2004年5月14日 优先权日2004年5月14日
发明者艾海舟, 黄畅, 武勃, 劳世红 申请人:欧姆龙株式会社, 清华大学