专利名称：部位检测设备、部位检测方法以及程序的制作方法
技术领域：
本公开涉及部位检测设备、部位检测方法以及程序。
背景技术：
近来，所谓的面部检测技术已引起关注。面部检测代表对图像进行分析以及对包含在分析图像中的人脸的机械检測。更具体来说，存储特定的人的面部特征，并从图像中检测具有与所存储特征基本类似的特征的区域。例如，日本专利早期公开第2009-140369 号(下文称为专利文献1)公开了ー种方法，该方法将boosting技术应用于面部检测处理。 boosting技术旨在通过以联合方式使用很多简单特征量检测器(或弱检测器)来实现精确特征量检测器(或强检测器)。专利文献1中所公开的这些技术的使用允许以高准确度来从图像中检测人脸。
发明内容
然而，如果面部大部分隐藏在阻挡物之后或面部完全指向侧面，则以上专利文献1 中公开的面部检测技术难以检测到面部。因此，本公开提出了上述问题以及与相关技术的方法和设备相关联的其它问题，并通过提供部位检测设备、部位检测方法以及程序而解决了所提出的问题，该部位检测设备、部位检测方法以及程序被配置为以新颖且改进的方式估计面部检测处理不能检测到的面部的位置。应注意，专利文献1中公开的面部检测技术可扩展至部位检测技木，用于检测面部以外的部位。考虑到这种技术扩展，本公开的实施例可以在一定程度上扩展，使得提供了部位检测设备、部位检测方法以及程序，该部位检测设备、部位检测方法以及程序被配置为估计上述相关技术不能检测到的部位的位置。当实施本发明时，根据本发明的一个实施例，提供了 ー种部位检测设备。该部位检测设备包括部位检测块，被配置为从输入图像中检测构成主体的多个部位的位置；以及关注部位估计块，被配置为，如果部位检测块未检测到关注部位的位置，则基于由部位检测块检测到的部位的位置以及将检测到的部位的位置用作參考的关于位置关系的信息，估计关注部位的位置。上述部位检测设备还具有信息更新块，该信息更新块被配置为，如果部位检测块检测到了关注部位的位置以及与关注部位不同的部位的位置，则基于关注部位的位置以及其它部位的位置来更新关于位置关系的信息。在上述部位检测设备中，部位检测块以第一准确度检测多个部位的位置，并且，如果未检测到关注部位的位置，则针对具有预定尺寸的、包括由关注部位估计块估计的关注部位的位置的区域，以高于第一准确度的第二准确度检测多个部位的位置。上述部位检测设备又具有识别信息分配块，该识别信息分配块被配置为向已被部位检测块检测到位置的部位分配针对每个主体的不同识别信息。在此情况下，识别信息分配块对已被关注部位估计块估计位置的关注部位，分配与对用于估计的部位分配的识别信息基本相同的识别信息。
在上述部位检测设备中，输入图像是构成移动图像的帧。上述部位检测设备还具有追踪块，追踪块被配置为追踪关注部位的位置。在上述部位检测设备中，如果部位检测块未检测到关注部位的位置而检测到与关注部位不同的多个部位的位置，那么关注部位估计块基于由部位检测块检测到的多个部位的位置以及将检测到的多个部位的位置用作參考的关于位置关系的信息，估计关注部位的位置。上述部位检测设备还具有属性检测块，该属性检测块被配置为，从由部位检测块检测到的预定部位中检测主体的属性。在此情况下，关注部位估计块參考针对每个属性而准备的关于位置关系的信息，以基于与属性检测块检测到的主体的属性相对应的关于位置关系的信息，估计关注部位的位置。当实施本公开时，根据本公开的另一个实施例，提供了ー种部位检测方法。该部位检测方法具有以下步骤部位检测步骤，从输入图像中检测构成主体的多个部位的位置； 以及关注部位估计步骤，如果部位检测步骤未检测到关注部位的位置，则基于由部位检测步骤检测到的部位的位置以及将检测到的部位的位置用作參考的关于位置关系的信息，估计关注部位的位置。当实施本公开时，根据本公开的又一个实施例，提供了一种用于使计算机实现以下功能的程序部位检测功能，从输入图像中检测构成主体的多个部位的位置；以及关注部位估计功能，如果部位检测功能未检测到关注部位的位置，则基于由部位检测功能检测到的部位的位置以及将检测到的部位的位置用作參考的关于位置关系的信息，估计关注部位的位置。此外，当实施本公开时，根据本公开的再一个实施例，提供了一种计算机可读记录介质，其中记录有上述程序。如上所述，根据本公开的实施例，可以估计不能由被配置为通过分析图像的特征来检测主体的部位的检测器而检测的部位的位置。
图1是示出了作为本公开的ー个实施例而实施的部位检测设备的示例性功能配置的示意图；图2示出了用于描述面部检测方法的图，该面部检测方法是作为本公开的ー个实施例而实施的部位检测方法的一个示例；图3示出了用于描述面部检测方法的图，该面部检测方法是作为上述实施例而实施的部位检测方法的一个示例；图4是用于描述作为本公开的ー个实施例而实施的部位估计方法的图；图5是用于描述作为上述实施例而实施的部位估计方法的图；图6是表示与图1中所示的实施例相关联的部位检测处理的流程图；图7是接续图6中所示的流程图的流程图；图8是示出对象追踪设备的示例性功能图的示意图，该对象追踪设备是图1中所示的部位检测设备的ー个示例性应用；图9是表示与本公开的ー个实施例相关联的追踪处理的流程图；图10是示出作为图1所示实施例的变型(或第一变型)而实施的部位检测设备的示例性功能配置的示意图；图11是表示与图10所示的变型相关联的部位检测处理的流程图；图12是用于描述作为与图10所示实施例相关联的变型(或第二变型)而实施的部位估计方法的图；图13是表示与图10所示的变型相关联的部位估计处理的流程图；图14是接续图13所示流程图的流程图；图15是接续图13和图14所示流程图的流程图；以及图16是示出信息处理设备的示例性硬件配置的框图，该信息处理设备被配置为实现图1和11以及图8分別示出的部位检测设备以及对象追踪设备的功能。
具体实施例方式将參考附图通过实施例来更详细地描述本公开。应注意，以相同附图标记表示具有基本相同功能配置的部件，并将省略对这些部件的重复描述。[描述流程]以下简要描述与本公开实施例相关联的描述流程。首先，将參考图1来描述作为本公开的ー个实施例而实施的部位检测设备100的示例性功能配置。同时，将參考图2至图5来描述与上述实施例相关联的部位检测方法和部位估计方法。接下来，将參考图6和图7来描述要由作为上述实施例而实施的部位检测设备100来执行的操作。另外，将參考图8描述对象追踪设备10的示例性功能配置，对象追踪设备10是上述实施例的部位检测设备100的示例性应用。此外，将參考图9描述与上述实施例相关联的面部追踪处理的流禾王。接下来，将參考图10描述作为图1所示实施例的一个变型(或第一变型)而实施的部位检测设备200的示例性功能配置。然后，将參考图11来描述要由作为上述实施例的变型而实施的部位检测设备200来执行的操作。同吋，将详细描述与该变型相关联的部位检测处理的流程。另外，将參考图12描述作为上述实施例的一个变型(或第二变型)而实施的部位检测方法。接下来，将參考图13至图15描述与图10所示变型相关联的部位检测处理的流程。然后，将參考图16描述示例性硬件配置，该示例性硬件配置被配置为实现作为上述实施例而实施的部位检测设备100、部位检测设备200以及对象追踪设备10的功能。最后，将总结与本公开的上述实施例相关联的技术概念，并将简要描述能够从这些技术概念获得的效果。(描述项目)1 实施例1-1 部位检测设备100的示例性功能配置1-2 部位检测设备100的操作1-3 对象追踪设备10的示例性功能配置和操作1-4 第一变型(阶梯式检测处理)1-4-1 部位检测设备200的示例性功能配置1-4-2 部位检测设备200的操作
1-5 第二变型(两个或更多个部位的部位估计)1-5-1 估计方法概述1-5-2 部位估计处理的流程2 示例性硬件配置3 综述<1 实施例 >以下描述本公开的各实施例。本公开与部位检测方法相关联，该部位检测方法被配置为分析图像，从而检测构成图像中的主体的部位。本实施例尤其与部位估计方法相关联，该方法被配置为，如果由于某种原因而不能检测到构成主体的部位，则根据检测到的部位的位置来估计该部位/这些部位的位置。以下详细描述作为本公开的实施例而实施的部位检测方法和部位估计方法。[1-1 部位检测设备100的示例性功能配置]现在，将參考图1来描述部位检测设备100的示例性功能配置，部位检测设备100 被配置为实现与本公开的实施例相关联的部位检测方法和部位估计方法。图1是示出了作为本公开的ー个实施例而实施的部位检测设备100的示例性功能配置的示意图。如图1所示，主要通过以下来配置部位检测设备100 两个或更多个部位检测块 101、属性检测块102、位置估计块103、位置关系数据库104、位置关系更新块105以及识别信息分配块106。应注意，取决于如何使用部位检测设备100，可以省略属性检测块102、位置关系更新块105和/或识别信息分配块106，或者可以改变位置关系数据库104的配置。 例如，如果在部位检测设备100中输入静止图像，则可以省略位置关系更新块105和识别信息分配块106。(部位检测块101的功能)部位检测设备100具有被配置为分别检测不同部位的两个或更多个部位检测块 101。例如，部位检测设备100具有被配置为检测人(或人的)面部的部位检测块101、被配置为检测人上半身的部位检测块101以及被配置为检测人右腿的部位检测块101。另外，部位检测设备100可以具有被配置为检测人手、汽车的轮胎或主体、或者动物尾部的部位检测块101。应注意，图1中有三个部位检测块101，但是部位检测块101的数目可以是两个或四个或者更多个。以下參考图2和图3描述要由部位检测块101执行的部位检测的基本机制。应注意，为便于描述，以下描述了被配置为检测人脸的部位检测块101所要执行的面部检测的示例。如图2所示，当输入经受面部检测的图像主体吋，部位检测块101以具有预定尺寸的框(下文中称之为面部检测窗ロ)来扫描输入图像。此时，如图3所示，部位检测块101 将面部检测窗ロ所围绕的区域中的图像(或面部检测数据)与准备的參考图像(或库图像数据)相比较，同时以预定移动量来移动面部检测窗ロ。如果比较结果是发现面部检测窗 ロ所围绕的图像是人脸，则部位检测块101输出面部检测窗ロ的位置作为面部检测結果。另外，如图2所示，部位检测块101重复面部检测窗ロ对图像的扫描，同时逐渐减小图像的尺寸。通过减小图像而不减小面部检测窗ロ的尺寸，可以以各种分辨率检测到人脸。例如，如果如图2所示，面部检测窗ロ的尺寸被设置为20X20像素而原始图像被设置为X0. 75 (减小的图像A)，那么面部检测窗ロ的尺寸相当于原始图像变换中的观>^8像素。应注意，本示例是通过逐渐减小图像而扫描图像的方法；也可以使用重复扫描图像并同时逐渐变换面部检测窗ロ的尺寸的方法。另外，专利文献1中公开了ー种方法，例如，其中可以以高准确度确定面部检测窗 ロ所围绕的区域中的图像是否为人脸。在该方法中，准备很多被预先确定为人脸或者预先确定为不是人脸的图像来作为学习数据，以基于预备学习图像而通过机械学习来构建决策装置。该方法尤其_在通过联合使用多个弱检测器来构建强检测器。显然，部位检测块101 可以通过另ー种方法来执行面部图像决策；然而，使用该方法允许较高精度的面部图像决策。然而，应注意，该方法难以把被阻挡物大部分遮挡的脸或者完全指向侧面的脸检测为人脸。还应注意，面部检测的准确度还取决于面部检测窗ロ的移动量或者每个图像的减小因子。例如，通过细微地移动面部检测窗ロ来扫描图像将会减小遗失检测的可能性，由此提高面部检测的准确度。然而，面部检测窗ロ的移动量越低，面部决策处理的次数就相应地越高，由此导致计算操作量増加。同样，图像减小因子越小，计算操作量越高。因此，通过考虑面部检测的准确度与计算操作之间的平衡，决定面部检测窗ロ的移动量和每个图像的减小因子。由此，可以预先将面部检测的准确度设置为低水平。在此情况下，由于低准确度， 导致面部检测可能在本应检测到面部的区域中失效。如上所述，部位检测块101可以通过使用上述机制而从图像中检测部位位置。作为部位检测結果，在位置估计块103和位置关系更新块105中输入部位检测块101检测到的每个部位位置。如果部位检测失效，则部位检测块101将表示未检测到部位的检测结果输入到位置估计块103和位置关系更新块105。另外，如果检测到预定部位，则被配置为检测预定部位(例如面部)的部位检测块101将检测到的部位的位置作为部位检测结果而输入到属性检测块102。应注意，当在本文中使用吋，术语部位的“位置”有时表示包括作为部位而检测到的图像区域的位置和形状的信息。例如，如果图像区域为矩形，那么可以将如下信息表达为 “位置”该信息包括由图像区域的顶点坐标或中心坐标表示的图像中的位置以及由图像区域的宽度和高度表示的形状。显然，每个图像区域的形状可以不同于矩形。(属性检测块102的功能)如上所述，从部位检测块101将与预定部位相关联的部位检测结果输入到属性检测块102中。另外，与输入到部位检测块101的相同的图像被输入到属性检测块102中。当部位检测结果(部位位置)和图像输入到属性检测块102中吋，属性检测块102从输入图像中提取预定部位的图像(下文中称之为属性检测图像)。然后，属性检测块102分析属性检测图像，以检测具有预定部位的主体的属性。应注意，属性检测块102检测到的属性被输入到位置估计块103和位置关系更新块105。例如，如果主体为人，则人的属性是种族、性別、年齢、戴眼镜以及儿童/成人等。 另外，如果主体为人，则例如面部图像被用于属性检测图像，以用于检测属性。例如，属性检测块102将针对每个属性预备的面部特征与作为属性检测图像而给定的面部图像的特征相比较，以提取特征中接近的属性。属性检测块102输出提取的属性，作为属性检测結果。 应注意，在上述示例中，主体为人；然而，也可能将本实施例应用于例如主体为动物或汽车的情況。另外，如果主体为汽车，则可以根据车体图像的特征来检测客车、卡车以及公共汽车的属性。(位置估计块103的功能和位置关系数据库104的示例性配置)如上所述，将主体的属性从属性检测块102输入到位置估计块103。将部位检测结果从部位检测块101输入到位置估计块103。当输入主体的属性和部位检测结果时，位置估计块103基于被部位检测块101检测到的部位(下文中称之为检测到的部位)的位置来估计未被部位检测块101检测到的部位(下文中称之为未检测到的部位)的位置。此时，位置估计块103通过使用位置关系数据库104中存储的表示部位之间位置关系的信息(下文中称之为位置关系信息)，估计未检测到的部位的位置。以下參考图4和图5描述位置估计块103要执行的位置估计方法。针对ー个示例， 假设检测到的部位是上半身而未检测到的部位是面部。基于这ー假设，以下描述根据上半身的检测结果而估计面部位置的方法。首先，參考图4，绘出了作为主体的人。图4还示出了围绕该人上半身的框以及围绕该人面部的框。围绕该人上半身的框表示检测到的部位的位置。围绕该人面部的框表示未检测到的部位的位置。此处，使围绕上半身的框的宽度、高度以及左顶点的坐标分别为 SX、SyWl(X，y)；而使围绕面部的框的宽度、高度以及左顶点的坐标分别为SX' >sy'以及U'，1’ )。即，假定已经预先获得了作为部位检测块101进行的上半身的检测结果的 sx、sy 以及(x, y)。位置估计块103根据sx、sy以及(x，y)来估计sx'、sy'以及U'，1')。此吋，位置估计块103參考如图5所示的位置关系数据库104的内容(或位置关系信息)。应注意，图5示出了表示上半身与面部的位置之间的关系的等式；实际上，对执行由这些等式表示的操作而言必需的參数可以预先存储在位置关系数据库104中。例如，针对用于计算 χ'的等式χ' =x-sx/2，右侧第二项的符号“-”和作为sx放大倍数的“ 1/2”可以作为參数预先存储在位置关系数据库104中。这适用于其它等式。位置估计块103将上半身检测结果sx、sy以及(x，y)置換到图5所示的线性等式中，以获得面部估计结果sx'、sy'以及U'，1')。应注意，可以针对每ー属性来布置位置关系数据库104。例如，在儿童与成人之间，上半身和面部的位置关系之间存在很大差异。由此，为了根据检测到的部位的位置而准确地估计未检测到的部位的位置，期望使用属性之间彼此不同的位置关系数据库104。如果针对不同属性来布置各位置关系数据库104， 则位置估计块103參考与从属性检测块102输入的属性相对应的位置关系数据库104。这样，从部位检测设备100输出表示位置估计块103所估计的、未检测到的部位的位置的位置信息以及表示检测到的部位的位置的位置信息。另外，这些信息被输入到识别信息分配块 106 中。(位置关系更新块105的功能)以下描述位置关系数据库104的更新。在上文中，基于预先准备位置关系数据库 104的假设而进行了描述。在要输入到部位检测设备100中的图像为移动图像帧的情况下， 可以通过使用从当前移动图像帧检测到的部位的位置关系来更新位置关系数据库104，由此可能在接着的移动图像帧中提高对未检测到的部位的估计准确度。例如，手的位置针对每个移动图像帧而改变。然而，在彼此邻近的移动图像帧之间，手的位置并不改变很多。因此，相较于使用基于预定的手位置的位置关系信息，以基于彼此邻近的移动图像帧中检测到的手位置的位置关系信息为基础来预先更新位置关系数据库104，可以提高基于手位置的、对未检测到的部位的估计的准确度。由于这个原因，如果有两个或更多个检测到的部位，则位置关系更新块105基于这些检测到的部位之间的位置关系而順序地更新位置关系数据库104。(识别信息分配块106的功能)识别信息分配块106基于部位检测块101检测到的部位之间的位置关系，对同一主体的部位进行分組。接着，针对属于同一群组的部位，识别信息分配块106分配针对每个主体而不同的群组ID。此外，对已被估计了位置的部位，识别信息分配块106分配与用于该估计的部位相同的群组ID。另外，此外，对已由部位检测块101检测到位置的部位以及已由位置估计块103估计位置的部位，识别信息分配块106分配针对不同部位类型而不同的部位ID。因此，每个部位被分配了作为识别信息的群组ID和部位ID。从部位检测设备100 连同每个部位的位置信息一起输出如上所述由识别信息分配块106分配给每个部位的识别信息。应注意，可以在位置估计块103完成对未被检测到的部位的估计之前，执行对每个检测到的部位分配识别信息。如上所述，已经说明了部位检测设备100的示例性功能配置。如上所述，如果不能检测到期望检测的部位，则部位检测设备100可以根据另ー检测到的部位的位置来估计这一部位的位置。如果要输入的图像为移动图像帧，则部位检测设备100可以通过使用部位检测结果而顺序地更新位置关系数据库104，由此提高未检测到的部位的估计准确度。此外，由于针对每个属性来布置位置关系数据库104，因此部位检测设备100可以以高准确度估计未检测到的部位的位置。[1-2 部位检测设备100的操作]以下參考图6和图7来描述作为本公开的本实施例而实施的部位检测设备100的操作。图6和图7是表示要由部位检测设备100执行的部位检测处理和部位估计处理的流程的流程图。如图6所示，首先，将图像输入到部位检测设备100中(SlOl)。输入到部位检测设备100中的图像被进ー步输入到两个或更多个部位检测块101以及属性检测块102。接着，当图像已输入吋，部位检测块101从输入的图像中检测主体的部位610 。部位检测块 101进行的检测的结果被输入到位置估计块103和位置关系更新块105。同吋，与用于属性检测的预定部位相关联的检测结果被输入到属性检测块102。接收到与预定部位相关联的检测结果以及图像，属性检测块102基于输入的检测结果而从图像中提取预定部位的图像区域。接着，属性检测块102从所提取的图像区域中检测主体的属性(S10;3)。由属性检测块102检测到的属性被输入到位置估计块103和位置关系更新块105。接着，识别信息分配块106以主体对检测到的部位进行分組，并将针对不同主体的不同群组ID分配给检测到的部位(S104)。此处，假设每个部位被预先分配了不同的部位ID。接下来，部位检测设备100开始与群组ID(n) (η = 1，...，N)相关联的循环。此外，部位检测设备100开始与部位ID(i) (i = 1，...)相关联的循环。然后，位置估计块103确定是否已检测到与部位ID(i)相对应的部位的位置(S105)。如果发现已检测到与部位 ID(i)相对应的部位的位置，则部位检测设备100使进程前进到“ Α”。另ー方面，如果发现未检测到与部位ID (i)相对应的部位的位置，则部位检测设备100使进程前进到“ B”。如果进程前进到“ A”，则部位检测设备100开始与部位ID(j) (j = 1，. . .，N)相关联的循环，并使进程前进到步骤S106 (图7)。另ー方面，如果进程前进到“B”，则部位检测设备100递增部位ID (i)，并使进程返回至步骤S105。如果进程前进到步骤S106，那么位置估计块103确定是否已检测到与部位ID (j)相对应的部位的位置(S106)。如果发现已检测到与部位ID (j)相对应的部位的位置，则部位检测设备100使进程前进到步骤S107。如果发现未检测到与部位ID (j)相对应的部位的位置，则部位检测设备100使进程前进到步骤 S108。如果进程前进到步骤S107，那么位置关系更新块105基于由位置检测块101检测到的、分別与ID(i)和ID (j)相对应的两个部位之间的位置关系，更新位置关系数据库104 中所存储的位置关系信息。应注意，位置关系信息代表如图5所示的线性等式中的两个部位的坐标、宽度和高度。由此，当发现两个部位的坐标、宽度和高度吋，可以获得表示两个部位之间的位置关系的线性等式。当通过位置关系更新块105更新位置关系数据库104吋， 于是部位检测设备100递增部位10(」_)，并使进程返回至步骤3106。另ー方面，如果进程前进到步骤S108，则位置估计块103參考与属性检测块102所检测的属性相对应的位置关系数据库104，以估计未检测到的部位(与部位ID (j)相对应的部位)的位置(S108)。当位置估计块103估计未检测到的部位的位置吋，于是部位检测设备100递增部位ID (j)，并使进程返回至步骤S106。当已经针对所有部位ID(j)执行了步骤S106、S107或S108的全部处理操作吋， 部位检测设备100使进程前进到步骤S109。如果进程前往步骤S109，则位置估计块103将对应于同一部分ID的、根据不同部位的位置而估计的两个或更多个部位的位置进行平均 (S109)。例如，根据上半身估计的面部位置与通过右手估计的面部位置不同。由此，位置估计块103将这些位置进行平均，以计算出一个估计位置。接下来，位置估计块103保存未检测到的部位的估计位置以及检测到的部位的位置(S110)。当位置估计块103保存这些部位的位置吋，部位检测设备100递增部位ID (i)， 并使进程返回至步骤S105。当已经针对所有部位ID (i)执行了从步骤S105至步骤SllO的处理操作吋，部位检测设备100递增群组ID (η)，并再次重复地执行与部位ID (i)相关联的循环中的处理操作。当已经针对所有群组ID(η)执行了与部位ID(i)相关联的循环中的处理操作吋，部位检测设备100输出每个部位的位置作为处理結果，由此终止上述处理操作序列。应注意，部位检测设备100也可以输出分配至每个部位的部位ID和群组ID。如上所述，已说明了要由作为本实施例而实施的部位检测设备100执行的操作。 如上所述，如果不能检测到期望部位，则部位检测设备100可以根据能够检测到的部位的位置来估计期望部位的位置。另外，如果要输入的图像为移动图像帧，则通过使用部位检测的结果而順序地更新位置关系数据库104，部位检测设备100可以提高未检测到的部位的检测准确度。此外，由于针对每个属性来布置位置关系数据库104，因此部位检测设备100 可以以高准确度估计未检测到的部位的位置。[1-3 对象追踪设备10的示例性配置和操作]
以下描述部位检测设备100的示例性应用。例如，部位检测设备100可以应用于对象追踪设备10，对象追踪设备10被配置为对成像装置所连续拍摄的图像或者存储装置所存储的移动图像帧中出现的对象(尤其是特定部位)进行追踪。应注意，本文中的术语 “追踪”表示将出现在连续输入的图像中的对象识别为相同图像，并将针对每个对象来标识该对象在时间上的位置改变。例如，对象追踪设备10安装在诸如数字电视相机的成像设备上，并用于追踪关注部位，诸如主体的面部。对关注部位的追踪允许使得总是聚焦关注部位的自动控制，并且允许使得控制缩放以防止关注部位尺寸变得低于预定水平的自动控制。另外，对象追踪设备10和成像装置可以安装在诸如数字标识终端或自动售货机的装置上，以追踪关注部位， 由此对消费者停留在该装置前的持续时间进行计数。只有在对关注部位的追踪呈连续的时候，这种功能才会运作。在这个方面，即使由于某些原因不能检测到关注部位，应用有部位检测设备100的对象追踪设备10也可以通过估计关注部位的位置而连续地追踪关注部位。參考图8，示出了作为本实施例而实施的对象追踪设备10的示例性配置。如图8 所示，对象追踪设备10具有图像输入块11、对象追踪块12、输出块13以及部位检测设备 100。此处，认为将构成移动图像的各图像(或各移动图像帧)从成像装置或存储装置连续输入对象追踪设备10中。当图像被输入对象追踪设备10中吋，图像输入块11将输入图像输入到部位检测设备100和输出块13。被输入了图像的部位检测设备100从输入图像中检测或估计构成主体的每个部位的位置，并输出所检测或估计的位置的信息。另外，连同该位置信息一起，部位检测设备100还输出识别信息，诸如分配给每个部位的群组ID和部位ID。从部位检测设备100输出的位置信息和识别信息被输入到对象追踪块12。当位置信息和识别信息被输入到对象追踪块12吋，对象追踪块12基于所输入的位置信息和识别信息来追踪主体(或对象)或者构成主体的特定部位(或关注部位)。以下，将假设对象追踪块12追踪关注部位来进行描述。对象追踪块12例如基于图9所示的追踪算法来追踪人脸。如图9所示，对象追踪块12首先对新检测到的面部分配用于追踪的 ID(下文中称之为追踪ID) (S301)。接下来，对象追踪块12确定检测到的面部的区域是否满足如下条件未检测到的面部的区域与在一帧之前的图像中检测到的面部的区域重叠超过(Μ为预定值)，并且尺寸差异小于(L为预定值)。如果发现检测到的面部区域满足这些条件，则对象追踪块12将分配给在ー帧之前的图像中检测到的面部的追踪ID分配给在当前帧的图像中检测到的面部(S302)。另ー方面，如果发现检测到的面部区域不满足这些条件，则对象追踪块 12将在ー帧之前的图像中检测到的面部的区域设置为在当前帧的图像中的面部的区域，并对该面部的区域分配相同的追踪ID(S3(X3)。此外，如果N秒(N为预定值)未检测到具有相同追踪ID的面部，那么对象追踪块12删除该追踪ID(S304)。如上所述管理追踪ID允许对象追踪块12追踪出现在连续输入的图像中的面部的区域。应注意，以上描述中将人脸用作关注部位，然而可以以基本相同的方式来追踪其它部位。如图8所示，对象追踪块12进行的追踪的结果被输入到输出块13中。输出块13将接收的追踪结果连同图像一起输出。例如，输出块13以针对不同追踪ID不同颜色的框来显示图像中所包括的关注部位的区域。应注意，输出块13显示追踪结果的方法不限于该方法；例如，只要能够针对不同追踪ID向用户呈现关注部位的区域，就可以使用任意其它方法。如上所述，针对作为本实施例而实施的部位检测设备100的一个应用示例，说明了对象追踪设备10的示例性配置和操作。如上所述，由于部位检测设备100还可以估计未检测到的部位的位置，因此，将部位检测设备100应用于追踪关注部位，允许对关注部位的 fe疋追知。[1-4 第一变型(阶梯式检测处理)]以下描述本实施例的变型(或第一变型)。如上所述，例如除了某物遮挡了主体以外，不能检测到主体的部位的原因还包括对用于确定检测准确度的參数的设置。如之前參照图2所述，检测准确度例如取决于各參数，诸如面部检测窗ロ的尺寸(在面部检测的情况下)以及图像的减小因子。将參数设置为増加检测准确度增加了部位检测所要求的计算量。更具体而言，检测准确度与计算量处于权衡(trade-off)关系，使得必须在两种參数之间考虑良好平衡。迄今为止，已经描述了ー种方法，其中，将用于确定检测准确度的參数设置保持不变，并根据检测到的部位的位置来估计未检测到的部位的位置。以下描述了ー种方法，其中，通过使用对未检测到的部位的估计结果，以更高的准确度重新检测未检测到的部位的位置。该方法允许实现准确度更高的部位检测，同时防止増加计算量。应注意，在该变型的应用中，上述部位检测设备100的功能配置变型为图10所示的部位检测设备200。[1-4-1 部位检测设备200的示例性功能配置]首先，将參考图10描述与本变型相关联的部位检测设备200的示例性功能配置。 參考图10，示出了与本变型相关联的部位检测设备200的功能配置的示意图。如图10所示，主要通过以下来配置部位检测设备200 两个或更多个部位检测块 201、位置估计块202以及位置关系数据库203。应注意，部位检测设备200可以具有与之前描述的部位检测设备100中布置的属性检测块102、位置关系更新块105以及识别信息分配块106相对应的部件。此外，位置关系数据库203的配置与部位检测设备100中布置的位置关系数据库104的配置基本相同。首先，将图像输入到部位检测设备200中。然后，输入到部位检测设备200中的图像被输入到两个或更多个部位检测块201。这些部位检测块201中的每个部位检测块都从输入图像中检测部位的位置。应注意，部位检测块201要执行的检测方法与部位检测设备 100中布置的部位检测块101要执行的检测方法基本相同。由部位检测块201执行的部位检测的结果被输入到位置估计块202。接收到了部位检测的結果，位置估计块202參考位置关系数据库203，以根据检测到的部位的位置来估计未检测到的部位的位置。接着，位置估计块202将表示未检测到的部位的估计位置的估计结果输入到与未检测的部位相对应的部位检测块201。被输入了估计结果的部位检测块201通过使用具有较高检测准确度的參数，在具有预定尺寸的、包括了由输入的估计结果表示的未检测到的部位的位置的区域上，执行对部位的重新检测。部位检测块201所执行的重新检测的结果被输入到位置估计块202。接收到了重新检测的結果，位置估计块202根据需要估计未检测到的部位的位置，并将表示检测到的部位的位置的位置信息以及根据需要将表示估计的未检测到的部位的位置的位置信息输出到部位检测设备200外部。
如上所述，已经说明了与本变型相关联的部位检测设备200的示例性功能配置。 如上所述，与本变型相关联的部位检测设备200特征在于通过使用具有较高检测准确度的參数，对包括了由位置估计块202估计的未检测到的部位的位置的区域进行重新检测。 这样，在有限区域内执行具有大计算量的重新检测处理，能够防止计算量増加。另外，通过使用具有高检测准确度的參数来对很可能检测到未检测到的部位的那些区域进行重新检测，增加了未检测到的部位被检测到的可能性。(1-4-2 部位检测设备200的操作)以下參考图11来描述与本变型相关联的部位检测设备200要执行的操作。图11 是表示要由部位检测设备200执行的操作(尤其是重新检测的流程)的流程图。如图11所示，首先，将图像输入到部位检测设备200中(S201)。接收到了图像，部位检测设备200通过使用部位检测块201的功能来检测部位的位置，并且针对未检测到的部位，通过使用位置估计块202的功能来估计该部位的位置620 。接着，部位检测设备 200对位置估计块202的功能所估计的未检测到的部位的位置附近，使用部位检测块201的功能，执行部位的详细检测(S20;3)。然后，部位检测设备200输出检测到的部位的位置信息以及未检测到的部位的估计位置的位置信息，作为检测结果(S204)，由此终止上述处理操作序列。如上所述，已经说明了与本变型相关联的部位检测设备200要执行的操作。如上所述，通过对位置估计块202所估计的未检测到的部位的位置附近使用较高检测准确度的參数来执行重新检测，允许以更高的检测准确度进行部位检测，同时防止部位检测的计算量增加。[1-5 第二变型(两个或更多个部位的部位估计)]以下描述本实施例的另ー变型(第二变型)。迄今为止，通过假设根据ー个检测到的部位的位置而估计一个未检测到的部位的位置，进行了描述(例如參考图4和图幻。然而，在存在两个或更多个检测到的部位的情况下，如果能够根据两个或更多个检测到的部位的位置而估计一个未检测到的部位的位置，则预期会増加估计准确度。作为第二变型，以下描述了ー种方法，用于根据两个或更多个检测到的部位的位置而估计一个未检测到的部位的位置。(1-5-1 估计方法概述)例如假设根据两腿位置来估计人上半身位置的方法。如图12所示，使表示右腿的坐标为0^，ム)，右腿宽度为SXパ右腿高度为SL ；同样，使表示左腿的坐标为U1, yi)，左腿宽度为SX1，左腿高度为syi。此外，使表示上半身位置的坐标为レ，7)，上半身宽度为8ん上半身高度为sy。在此示例中，用于估计上半身位置的位置关系数据库104的内容例如表达为下面所示的等式⑴至G)。应注意，位置关系数据库104可以保存“a”、“b”、“c”、“d”和 “e”，将位置关系信息标注为 sx = a * (sxr+sxi)，sy = b * (syr+syi)，χ = c * (xr+Xl) +d * sx, y = e * (yr+Yi) +e * sy。sx= (1/2) * (SX^SX1). . . (1)sy = (3/4) * (syr+syi) · ·バ2)χ = (xr+xx) /2.. . (3)y = (yr+yx) /2+sy · · · (4)
(1-5-2 部位估计处理的流程)以下參考图13至图15来描述部位检测处理的流程，该部位检测处理包括与本变型相关联的部位估计处理。图13至图15是流程图，表示包括了与本变型相关联的部位估计处理的部位检测处理的流程。此处，假设部位估计处理是由之前描述的部位检测设备100 执行的。如图13所示，首先，将图像输入到部位检测设备100中(S401)。然后，输入到部位检测设备100中的图像被输入到两个或更多个部位检测块101以及属性检测块102。接着，接收到了图像，部位检测块101从输入图像中检测主体的部位640 。由部位检测块 101获得的检测结果被输入到位置估计块103和位置关系更新块105。用于属性检测的、与预定部位相关联的检测结果被输入到属性检测块102。被输入了与预定部位相关联的检测结果以及图像的属性检测块102基于输入的检测结果而从图像中提取预定部位的图像区域。接着，属性检测块102从所提取的图像区域中检测主体的属性(S40;3)。由属性检测块102提取的属性被输入到位置估计块103和位置关系更新块105。接着，识别信息分配块106以主体对检测到的部位进行分组，并将针对不同主体的不同群组ID分配给检测到的部位(S404)。假设每个部位被预先分配了不同的部位ID。接下来，部位检测设备100开始与群组ID(n) (η = 1，...，N)相关联的循环。此外，部位检测设备100开始与部位ID(i) (i = 1，...)相关联的循环。然后，位置估计块103 确定是否已检测到与部位ID(i)相对应的部位的位置(S405)。如果发现已检测到与部位 ID(i)相对应的部位的位置，则部位检测设备100使进程前进到“ Α”。另ー方面，如果发现未检测到与部位ID (i)相对应的部位的位置，则部位检测设备100使进程前进到“ B”。如果进程前进到“A”，则部位检测设备100开始与部位ID (j) (j = 1，...)相关联的循环，并使进程前进到步骤S406 (图14)。另ー方面，如果进程前进到“B”(图15)，则部位检测设备100递增部位ID (i)，并使进程返回至步骤S405。如果进程前进到步骤S406，那么位置估计块103确定是否已检测到与部位ID (j)相对应的部位的位置(S406)。如果发现已检测到与部位ID (j)相对应的部位的位置，则部位检测设备100开始与部位ID(k) (k =1，...)相关联的循环，并使进程前进到步骤S407。另ー方面，如果发现未检测到与部位 ID(J)相对应的部位的位置，则部位检测设备100使进程前进到“ C”。如果进程前进到“C”，则部位检测设备100递增部位ID(i)，并使进程返回至步骤 S406。另ー方面，如果进程前进到步骤S407，那么位置估计块103确定是否已检测到与部位 ID (k)相对应的部位的位置(S407)。如果发现已检测到与部位ID(k)相对应的部位的位置， 则部位检测设备100使进程前进到步骤S408。另ー方面，如果发现未检测到与部位ID (k) 相对应的部位的位置，则部位检测设备100使进程前进到步骤S409。如果进程前进到步骤S408，那么位置关系更新块105基于由位置检测块101检测到的、与部位ID(i)、ID(j)和ID(k)相对应的各部位之间的位置关系，更新位置关系数据库 104中所存储的位置关系信息(S408)。当已经通过位置关系更新块105更新了位置关系数据库104吋，于是部位检测设备100递增部位ID(k)，并使进程返回至步骤S407。另ー方面，如果进程前进到步骤S409，则位置估计块103參考与属性检测块102所检测的属性相对应的位置关系数据库104，从而根据检测到的部位的位置来估计未检测到的部位(与部位ID (k)相对应的部位)的位置(S409)。当位置估计块103已经估计了未检测到的部位的位置吋，于是部位检测设备100递增部位ID(i)，并使进程返回至步骤S407。当已经针对所有部位ID (k)执行了步骤S408和S408或S409的全部处理操作吋， 部位检测设备100使进程前进到“D”。如果进程前进到“D”(图15)，则位置估计块103将对应于同一部位ID的、根据不同部位的位置的集合而估计的两个或更多个部位的位置进行平均(S410)。接下来，位置估计块103保存未检测到的部位的估计位置以及检测到的部位的位置(S411)。当位置估计块103保存这些部位的位置吋，部位检测设备100递增部位 ID (i)，并使进程返回至步骤S405。当已经针对所有部位ID (i)重复执行了从步骤S405至步骤S411的全部处理操作吋，部位检测设备100递增群组ID (η)，并再次重复地执行与部位ID (i)相关联的循环的处理操作。当已对所有群组ID(n)重复执行了与部位ID(i)相关联的循环的处理操作吋，部位检测设备100输出部位的位置作为检测結果，并且终止上述处理操作序列。应注意，部位检测设备100可以连同检测结果一起输出分配至每个部位的部位ID和群组ID。如上所述，已说明了包括与第二变型相关联的部位估计处理的部位检测处理的流程。如上所述，根据两个或更多个检测到的部位的位置而估计一个未检测到的部位的位置， 能够增加对未检测到的部位的估计准确度。<2:示例性硬件配置〉例如通过使用图16所示的信息处理设备的硬件配置，可以实现部位检测设备 100、部位检测设备200以及对象追踪设备10的部件的功能。更具体而言，通过由计算机程序控制图16所示的硬件，可以实现这些部件的功能。应注意，该硬件可以采取任意期望形式，因此例如包括个人计算机、便携式信息终端(诸如移动电话、PHS或PDA)、游戏机以及各种信息家电。PHS是个人手持电话系统的简称。PDA是个人数字助理的简称。如图16所示，该硬件主要具有CPU 902、ROM 904、RAM 906、主机总线908以及桥 910。另外，该硬件具有外部总线912、接ロ 914、输入块916以及输出块918、存储块920、驱动器922、连接端ロ拟4以及通信块926。CPU是中央处理单元的简称。ROM是只读存储器的简称。RAM是随机存取存储器的简称。CPU 902用作计算处理设备或控制设备，并基于ROM 904、RAM906、存储块920或可拆卸记录介质928中存储的各种程序来控制全部或部分部件的操作。ROM 904提供用于存储将被CPU 902读取的、用于计算的程序和数据的装置。RAM 906临时地或永久地存储将被 CPU 902读取的程序以及在执行这些程序时一次次改变的各种參数。上述部件经由被配置为执行快速数据转移的主机总线908而互相连接。另一方面，主机总线908经由桥910连接至被配置为执行相对低速数据转移的外部总线。输入块 916例如基于鼠标、键盘、触摸板、按钮、开关和控制杆。此外，输入块916可以是远程控制器，被配置为基于红外射线或电磁波而发送控制信号。输出块918例如基于诸如CRT、IXD、PDP或ELD的显示设备，诸如扬声器或耳机的音频输出设备，打印机，移动电话，或者传真机，用于以视觉或听觉方式向用户呈现所获得的信息。CRT是阴极射线管的简称，LCD是液晶显示器的简称。PDP是等离子显示面板的简称。ELD是电致发光显示器的简称。存储块920存储各种数据。存储块920例如基于诸如HDD的磁存储装置、半导体存储装置、光存储装置或者磁光存储装置。HDD是硬盘驱动器的简称。驱动器922从例如装载在驱动器922上的诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸记录介质928中读取信息，或者对装载的可拆卸记录介质拟8写入信息。可拆卸记录介质9 例如基于DVD介质、蓝光介质、HD DVD介质或者各种半导体介质。显然，可拆卸记录介质拟8例如可以是具有非接触式IC芯片的IC卡或电子装置。IC是集成电路的简称。连接端ロ拟4是诸如USB端ロ、IEEE 1394端ロ、SCSI端ロ、RS-232C端ロ或者光学音频终端的端ロ，用于连接外部连接的装置。外部连接的装置930例如是打印机、便携式音乐终端、数字相机、数字摄像机、或IC刻录机。USB是通用串行总线的简称。SCSI是小型计算机系统接ロ的简称。通信块拟6是用于与网络932进行连接的通信装置，并且例如基于有线或无线 LAN、Bluetooth (商标)、或WUSB通信卡、光通信路由器、ADSL路由器、或者各种通信调制解调器中的任意ー个。通过以有线或无线方式连接的网络来配置被连接到通信块拟6的网络932，并且网络932例如基于因特网、家用LAN、红外线通信、可见光通信、广播或者卫星通信。LAN是局域网的简称。WUSB是无线USB的简称。ADSL是非对称数字用户专线的简称。<3:总结〉以下总结与本公开各实施例相关联的技术内容。下面要描述的技术内容例如适用于各种设备，诸如PC、移动电话、便携式游戏机、便携式信息终端、信息家电、汽车导航系统、 数字相机、数字摄像机、数字标识终端、ATM(自动取款器)、自动售货机等等。本公开的以上实施例与具有部位检测块的部位检测设备相关联，该部位检测块被配置为检测构成主体的两个或更多个部位的位置。该部位检测设备可安装在如上所述的各种设备上。另外，如果关注部位的位置未被部位检测块检测到，则该部位检测设备具有关注部位估计块，关注部位估计块被配置为，基于部位检测块检测到的部位的位置以及将检测到的部位的位置用作參考的关于位置关系的信息，估计关注部位的位置。即使由于某种原因部位检测块未检测到关注部位的位置，关注部位估计块的这种布置也允许部位检测设备识别关注部位的位置。例如，使用相关技术面部检测技术允许从输入图像中检测面部的位置。然而，在这种相关技术面部检测技术中，能够准确检测指向前方的面部，但是例如难以检测指向侧面的面部。另外，如果例如面部被手遮蔽或附有眼镜，则这种相关技术面部检测技术经常无法检测到面部。另ー方面，如果已经检测到除了面部以外的部位的位置，诸如上半身的位置或一只手的位置，那么作为本公开的ー个实施例而实施的上述部位检测设备能够根据已经检测到的部位的位置来估计作为关注部位的面部的位置。由此，如果面部被手遮蔽或附有眼镜或指向侧面，则这种新颖的部位检测设备能够识别面部的位置。例如当追踪出现在移动图像中的面部的位置吋，如果包括了面部被手遮蔽的帧，则由于已经根据其它部位估计了面部的位置，使用这种新颖的部位检测设备能够连续追踪面部。应注意，上述位置估计块103是关注部位估计块的ー个示例。上述位置关系更新块105是信息更新块的ー个示例。上述对象追踪块12是追踪块的ー个示例。尽管已经使用具体术语描述了本公开的优选实施例，然而这种描述仅出于示例性目的，应理解，在不脱离以下权利要求的精神或范围的情况下，可以进行修改和变型。
本公开包含与2010年11月22日递交到日本专利局的日本优先权专利申请JP 2010-260194中公开的主题内容有关的主题内容，该申请全部内容通过引用合并于此。
权利要求
1.ー种部位检测设备，包括部位检测块，被配置为从输入图像中检测构成主体的多个部位的位置；以及关注部位估计块，被配置为，如果所述部位检测块未检测到关注部位的位置，则基于由所述部位检测块检测到的部位的位置以及将所述检测到的部位的位置用作參考的关于位置关系的信息，估计所述关注部位的位置。
2.根据权利要求1所述的部位检测设备，还包括信息更新块，被配置为，如果所述部位检测块检测到了所述关注部位的位置以及与所述关注部位不同的部位的位置，则基于所述关注部位的位置以及所述其它部位的位置来更新所述关于位置关系的信息。
3.根据权利要求2所述的部位检测设备，其中，所述部位检测块以第一准确度检测所述多个部位的位置，并且，如果未检测到所述关注部位的位置，则针对具有预定尺寸的、包括由所述关注部位估计块估计的所述关注部位的位置的区域，以高于所述第一准确度的第 ニ准确度检测所述多个部位的位置。
4.根据权利要求3所述的部位检测设备，还包括识别信息分配块，被配置为向已被所述部位检测块检测到位置的部位分配针对每个所述主体不同的识别信息，其中所述识别信息分配块对已被所述关注部位估计块估计位置的所述关注部位，分配与对用于估计的部位分配的识别信息基本相同的识别信息。
5.根据权利要求4所述的部位检测设备，其中所述输入图像是构成移动图像的帧，以及所述部位检测设备还包括追踪块，所述追踪块被配置为追踪所述关注部位的位置。
6.根据权利要求1所述的部位检测设备，其中，如果所述部位检测块未检测到所述关注部位的位置、而检测到与所述关注部位不同的多个部位的位置，那么所述关注部位估计块基于由所述部位检测块检测到的所述多个部位的位置以及将所述检测到的多个部位的位置用作參考的关于位置关系的信息，估计所述关注部位的位置。
7.根据权利要求1所述的部位检测设备，还包括属性检测块，被配置为，从由所述部位检测块检测到的预定部位中检测所述主体的属性，其中所述关注部位估计块參考针对每个所述属性而准备的所述关于位置关系的信息，以基干与所述属性检测块检测到的主体的属性相对应的所述关于位置关系的信息，估计所述关注部位的位置。
8.ー种部位检测方法，包括以下步骤部位检测步骤，从输入图像中检测构成主体的多个部位的位置；以及关注部位估计步骤，如果所述部位检测步骤未检测到关注部位的位置，则基于由所述部位检测步骤检测到的所述部位的位置以及将所述检测到的部位的位置用作參考的关于位置关系的信息，估计所述关注部位的位置。
9.一种用于使计算机实现以下功能的程序部位检测功能，从输入图像中检测构成主体的多个部位的位置；以及关注部位估计功能，如果所述部位检测功能未检测到关注部位的位置，则基于由所述部位检测功能检测到的所述部位的位置以及将所述检测到的部位的位置用作參考的关于位置关系的信息，估计所述关注部位的位置。
全文摘要
本公开提供了一种部位检测设备、部位检测方法以及程序，其中，该部位检测设备包括部位检测块，被配置为从输入图像中检测构成主体的多个部位的位置；以及关注部位估计块，被配置为，如果部位检测块未检测到关注部位的位置，则基于由部位检测块检测到的部位的位置以及将检测到的部位的位置用作参考的关于位置关系的信息，估计关注部位的位置。
文档编号G06K9/00GK102542250SQ20111036203
公开日2012年7月4日 申请日期2011年11月15日 优先权日2010年11月22日
发明者南野活树, 大久保厚志, 青山一美 申请人:索尼公司