图像处理设备、图像处理方法、程序和记录介质的制作方法
【专利摘要】一种图像处理系统包括：脸部检测单元，用于在图像中检测脸部；和部分区域检测单元，用于基于在图像中检测到的脸部的位置检测图像的部分区域。跟踪确定单元也可被包括在图像处理系统中以基于预定条件选择脸部和部分区域中的至少一个以便进行跟踪并且跟踪选择的脸部和部分区域之一。
【专利说明】图像处理设备、图像处理方法、程序和记录介质
【技术领域】
[0001]本公开涉及一种图像处理设备、图像处理方法、程序和记录介质。
【背景技术】
[0002]在[PTL I]中公开了一种从拾取的图像检测人的脸部区域并且跟踪脸部区域的技术。在[PTL I]中公开的技术能够通过跟踪脸部区域来跟踪人。
[0003]引用列表
[0004]专利文献
[0005]PTL 1:JP 2004-283959A
【发明内容】
[0006]技术问题
[0007]然而，在[PTL I]中公开的技术中，在不能检测到脸部区域的情况下，对人的跟踪将会中断。因此，希望具有能够更可靠地执行对人的跟踪的技术。
[0008]问题的解决方案
[0009]一种图像处理系统包括:脸部检测单元，用于在图像中检测脸部；和部分区域检测单元，用于基于在图像中检测到的脸部的位置检测图像的部分区域。
[0010]该图像处理系统还包括:跟踪确定单元，用于基于预定条件选择脸部和部分区域中的至少一个以进行跟踪并且跟踪选择的脸部和部分区域中的至少一个。
[0011]一种图像处理方法包括:在脸部检测单元中，在图像中检测脸部；以及在部分区域检测单元中，基于在图像中检测到的脸部的位置检测图像的部分区域。
[0012]一种非暂态计算机可读介质，利用它上面的计算机可读指令而被编码，其中当计算机可读指令由计算机执行时，计算机可读指令使计算机执行一种方法，该方法包括:在图像中检测脸部；以及基于在图像中检测到的脸部的位置检测图像的部分区域。
[0013]发明的有益效果
[0014]根据上述本公开，能够更可靠地执行对人的跟踪。
【专利附图】
【附图说明】
[0015]图1是显示根据本公开的实施例的图像处理设备的结构的方框图。
[0016]图2是显示由图像处理设备执行的处理的过程的流程图。
[0017]图3是显示由图像处理设备执行的处理的过程的流程图。
[0018]图4是显示由图像处理设备执行的处理的过程的流程图。
[0019]图5是显示由图像处理设备执行的处理的过程的流程图。
[0020]图6是显示由图像处理设备执行的处理的过程的流程图。
[0021]图7是显示由图像处理设备设置的身体区域的例子的解释示图。
[0022]图8是显示由图像处理设备设置的身体区域的例子的解释示图。
[0023]图9是显示由图像处理设备设置的身体区域的例子的解释示图。
[0024]图10是显示跟踪目标的新检测到的脸部区域和身体区域之间的位置关系被判断的状态的解释示图。
[0025]图11是显示跟踪目标从脸部区域移至身体区域的状态的解释示图。
[0026]图12是显示跟踪目标从脸部区域移至身体区域的状态的解释示图。
[0027]图13是用于描述由图像处理设备执行的跟踪处理的效果的解释示图。
[0028]图14是用于描述由图像处理设备执行的跟踪处理的效果的解释示图。
[0029]图15是用于描述由图像处理设备执行的跟踪处理的效果的解释示图。
[0030]图16是用于描述由图像处理设备执行的跟踪处理的效果的解释示图。
[0031]图17是用于描述本实施例的修改例子的解释示图。
[0032]图18是用于描述本实施例的修改例子的解释示图。
[0033]图19是用于描述在对人的跟踪中断的情况下执行的处理的解释示图。
[0034]图20是用于描述本实施例的修改例子的解释示图。
[0035]图21是用于描述本实施例的修改例子的解释示图。
[0036]图22是用于描述本实施例的修改例子的解释示图。
[0037]图23是用于描述本实施例的修改例子的解释示图。
[0038]图24是用于描述本实施例的修改例子的解释示图。
[0039]图25是用于描述本实施例的修改例子的解释示图。
[0040]图26是用于描述本实施例的效果的解释示图。
【具体实施方式】
[0041]以下，将参照附图详细描述本公开的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素由相同的标号表示，并且省略这些结构元素的重复解释。
[0042]需要注意的是，将按照下面的次序进行描述。
[0043]1.【背景技术】的检查
[0044]2.图像处理设备的结构
[0045]3.由图像处理设备执行的处理的过程
[0046]4.由图像处理设备实现的效果
[0047]5.各种修改例子
[0048]6.结论
[0049]〈1.【背景技术】的检查〉
[0050]本发明的发明人通过检查跟踪拾取的图像中的人的【背景技术】而被引导想出根据本实施例的图像处理设备。因此，将首先检查【背景技术】。
[0051]在[PTL I]中公开了从拾取的图像检测人的脸部区域并且跟踪脸部区域的技术。需要注意的是，在[PTL I]中，通过同时使用脸部检测和肤色区域检测来实现跟踪的准确性的提高。另一方面，还提出从拾取的图像提取人(拍摄对象)的部分区域(描述人的各部分之中的除脸部之外的部分的区域)并且跟踪身体区域的技术。这里，在本实施例中，部分区域可以是除人体的脸部之外的每个区域(例如，描述主体的区域、描述手的区域等)。在本实施例中，部分区域被称为身体区域。在这些技术中，能够通过跟踪脸部区域或身体区域来跟踪人。在这些技术中，由于能够通过跟踪人来识别人的状况，所以根据人的状况的各种参数(例如，图像拾取设备的焦点、亮度等)的设置变为可能。
[0052]然而，这些技术彼此独立，并且不存在同时使用这些技术的已知技术。另外，在例如人背对着成像透镜或者人与成像透镜相隔较远距离的情况下，跟踪脸部区域的技术不能检测到该脸部区域。于是，在跟踪脸部区域的技术中，在未检测到人的情况下，对人的跟踪将会中断。
[0053]另外，跟踪身体区域的技术针对环境改变(诸如，亮度改变或人的姿势的改变)较弱。也就是说，跟踪身体区域的技术针对环境改变具有低鲁棒性。因此，在跟踪身体区域的技术中，根据环境的改变，存在对身体区域的跟踪(也就是说，对人的跟踪)中断以及跟踪的精度减小的情况。
[0054]另一方面，根据本实施例的图像处理设备能够同时使用对脸部区域的跟踪和对身体区域的跟踪，并且能够通过在这些区域之间合适地切换来更可靠地执行对人的跟踪。以下，将描述细节。需要注意的是，本实施例的图像处理设备I能够跟踪包括人的各种类型的活体(诸如，人、狗或猫)。当然，图像处理设备I可仅跟踪人，或者它可仅跟踪除人之外的动物。
[0055]<2.图像处理设备的结构>
[0056]接下来，将描述基于图1的图像处理设备I的结构。图像处理设备I包括透镜10、图像拾取部分20、活体跟踪部分(跟踪部分)30、显示部分40和外部IF(接口)50。需要注意的是，图像处理设备I具有硬件结构，诸如透镜、图像拾取元件、CPU、ROM、RAM、闪存、显示器和连接器。用于实现图像处理设备I中的图像拾取部分20、活体跟踪部分30和显示部分40的程序被记录在ROM中。CPU读出并且执行记录在ROM中的程序。因此，透镜10、图像拾取部分20、活体跟踪部分30、显示部分40和外部IF(接口)50由这种硬件结构实现。
[0057]由于图像处理设备I包括透镜10和图像拾取部分20，所以它是图像拾取设备(例如，数字静止照相机)。当然，图像处理设备I可不具有透镜10和图像拾取部分20。在这种情况下，图像处理设备I从外面获取拾取的图像，并且基于该拾取的图像跟踪人。另外，尽管由图像处理设备I执行的处理所需的程序被记录在图像处理设备I里面的ROM中，但该程序可被记录在外部记录介质中。在这种情况下，图像处理设备I例如从外部记录介质读出并且执行以上程序。可经网络提供该程序。
[0058]图像拾取部分20具有图像拾取元件，吸收穿过透镜10的外部光，并且通过照射图像拾取元件来产生拾取的图像。需要注意的是，如图7中所示，X轴和y轴被设置于拾取的图像。沿拾取的图像的水平方向延伸的轴成为X轴，并且沿拾取的图像的垂直方向延伸的轴成为y轴。图像拾取部分20将拾取的图像输出到活体跟踪部分30。图像拾取部分20能够执行静止和运动图像的图像拾取。在对运动图像执行图像拾取的情况下，图像拾取部分20针对每个规定时间产生拾取的图像(该拾取的图像变为运动图像的每一帧)，并且将拾取的图像输出到活体跟踪部分30。需要注意的是，在下面的描述中，假设拾取的图像是当前帧的拾取的图像，除非另外标注。
[0059]活体跟踪部分30包括图像存储器31、脸部检测部分32、脸部核对部分33、身体跟踪部分34、跟踪目标确定部分35、身体区域检测部分36、特征量提取部分37和显示控制部分38。图像存储器31存储由图像拾取部分20给出的拾取的图像。另外，图像存储器31存储脸部区域列表，利用该脸部区域列表，脸部区域的特征量和脸部区域的识别信息关联。这里，脸部区域的各部分(诸如，眼睛、鼻子或嘴)的位置、形状、脸部区域的轮廓等被包括作为脸部区域的特征量。
[0060]脸部检测部分32执行从拾取的图像检测活体的脸部区域的脸部检测处理。脸部核对部分33执行核对当前帧的脸部区域与脸部区域列表中的脸部区域的脸部核对处理。另外，脸部核对部分33执行跟踪跟踪目标的脸部区域(也就是说，跟踪脸部区域)的脸部跟踪处理。身体跟踪部分34跟踪由身体区域检测部分36设置的身体区域。也就是说，身体跟踪部分34执行身体跟踪处理。跟踪目标确定部分35确定脸部区域和身体区域中的至少一个作为跟踪目标。身体跟踪检测部分36设置与脸部区域具有规定位置关系的区域作为跟踪目标的身体区域(也就是说，跟踪身体区域)。特征量提取部分37从跟踪身体区域提取特征量。显示控制部分38在显示部分40上显示拾取的图像等。将在稍后描述由这种结构执行的具体处理。显示部分40通过显示控制部分38的控制而显示拾取的图像等。外部IF 50是用于连接图像处理设备I和外部装置的接口。
[0061]〈3.由图像处理设备执行的处理的过程〉
[0062]接下来，将根据图2-6中示出的流程图描述由图像处理设备I执行的处理的过程。
[0063](总体处理)
[0064]首先，将根据图2中示出的流程图描述总体处理。在步骤SlO中，脸部检测部分32执行脸部检测处理。具体地讲，脸部检测部分32从图像存储器31获取拾取的图像，并且从拾取的图像检测脸部区域。另外，脸部检测部分32将脸部帧叠加在拾取的图像中的脸部区域上。脸部检测部分32将已叠加脸部帧的拾取的图像(也就是说，脸部帧叠加图像)输出到脸部核对部分33。
[0065]需要注意的是，在本实施例中，在脸部区域颠倒或转过去的情况下，它被认为不是检测的目标。需要注意的是，在脸部区域颠倒的情况下，脸部区域可被认为是检测的目标。另外，在诸如上述脸部区域转过去的情况下，可估计脸部区域的位置。
[0066]这里，存在脸部区域颠倒的情况，例如由稍后描述的第一参考轴和y轴形成的角度变为大于或等于-180度并且小于-135度或者大于+135度并且小于或等于+180度的情况(参照步骤S190)。
[0067]另一方面，存在脸部区域转过去的情况，例如由稍后描述的第二参考轴和光轴形成的角度变为大于或等于-180度并且小于-135度或者大于+135度并且小于或等于+180度的情况(参照步骤S240)。
[0068]在步骤S20中，脸部核对部分33执行脸部核对处理和脸部跟踪处理。具体地讲，脸部核对部分33从脸部跟踪帧叠加图像中的脸部区域提取特征量，并且通过核对提取的特征量与脸部区域列表中的特征量来使脸部帧叠加图像中的脸部区域与脸部区域列表中的识别信息关联。另外，在脸部区域列表中未登记的新脸部区域(也就是说，在前一帧(在当前帧之前的一帧)中未检测到的脸部区域)存在于脸部帧叠加图像中的情况下，脸部核对部分33将与新脸部区域对应的脸部帧改变为新脸部帧。需要注意的是，脸部核对部分33将在前一帧中检测到的脸部区域视为普通脸部区域。
[0069]接下来，脸部核对部分33判断是否存在用户对脸部区域的指定操作。在判断存在用户对脸部区域的指定操作的情况下，脸部核对部分33将用户指定的脸部区域设置为跟踪脸部区域，并且将与跟踪脸部区域关联的识别信息存储在图像存储器31中。接下来，脸部核对部分33将脸部跟踪帧叠加在跟踪脸部区域上。脸部核对部分33产生指示已检测到跟踪脸部区域的第一脸部检测信息，并且将第一脸部检测信息输出到跟踪目标确定部分35。另外，脸部核对部分33产生已叠加脸部跟踪帧的脸部帧叠加图像(也就是说，脸部跟踪帧叠加图像)，并且将脸部跟踪帧叠加图像输出到身体区域检测部分36和显示控制部分38。需要注意的是，除脸部跟踪帧之外的脸部帧可被删除。
[0070]另一方面，在已经设置跟踪脸部区域的情况下，脸部核对部分33从图像存储器31获取与跟踪脸部区域关联的识别信息(也就是说，跟踪目标识别信息)，并且从脸部帧叠加图像搜索具有与跟踪目标识别信息相同的识别信息的脸部区域。在检测到具有与跟踪目标识别信息相同的识别信息的脸部区域的情况下，脸部核对部分33认为这个脸部区域是跟踪脸部区域并且将脸部跟踪帧叠加在跟踪脸部区域上。脸部核对部分33产生指示已检测到跟踪脸部区域的第一脸部检测信息，并且将第一脸部检测信息输出到跟踪目标确定部分35。另外，脸部核对部分33产生已叠加脸部跟踪帧的脸部帧叠加图像(也就是说，脸部跟踪帧叠加图像)，并且将脸部跟踪帧叠加图像输出到身体区域检测部分36和显示控制部分38。
[0071 ] 另一方面，在未能从脸部帧叠加图像检测到具有与跟踪目标识别信息相同的识别信息的脸部区域的情况下，脸部核对部分33产生指示未能检测到跟踪脸部区域的第二脸部检测信息，并且将第二脸部检测信息输出到跟踪目标确定部分35。另外，脸部核对部分33将脸部帧叠加图像输出到跟踪目标确定部分35和显示控制部分38。
[0072]接下来，脸部核对部分33判断是否已由跟踪目标确定部分35在前一帧中给出脸部区域跟踪连续信息(也就是说，跟踪目标是否是脸部区域)。在判断为已由跟踪目标确定部分35在前一帧中给出脸部区域跟踪连续信息的情况下，脸部核对部分33在执行下面的脸部跟踪处理之后前进至步骤S30。另一方面，在判断为未由跟踪目标确定部分35在前一帧中给出脸部区域跟踪连续信息的情况下，脸部核对部分33前进至步骤S30。以上是脸部核对处理的内容。
[0073]也就是说，脸部核对部分33从前一帧的跟踪脸部区域附近搜索当前帧的脸部区域。在从前一帧的跟踪脸部区域附近检测到当前帧的脸部区域的情况下，脸部核对部分33判断检测到的脸部区域是跟踪脸部区域并且将脸部跟踪帧叠加在跟踪脸部区域上。然后，脸部核对部分33将显示从前一帧的跟踪脸部区域附近检测到当前帧的脸部区域的第一脸部跟踪结果信息输出到跟踪目标确定部分35。另外，脸部核对部分33将脸部跟踪帧叠加图像输出到身体区域检测部分36和显示控制部分38。
[0074]另一方面，在未能从前一帧的跟踪脸部区域附近检测到当前帧的脸部区域的情况下，脸部核对部分33将显示未能执行脸部跟踪的第二脸部跟踪结果信息输出到跟踪目标确定部分35。
[0075]需要注意的是，脸部检测部分32和脸部核对部分33执行上述步骤SlO和S20的处理，而不管跟踪目标是否是脸部区域。
[0076]在步骤S30中，身体跟踪部分34判断是否已由跟踪目标确定部分35给出开始指示信息。在已由跟踪目标确定部分35给出开始指示信息的情况下，身体跟踪部分34前进至步骤S40，并且在未给出开始指示信息的情况下，身体跟踪部分34前进至步骤S50。
[0077]在步骤S40中，身体跟踪部分34从图像存储器31获取拾取的图像。接下来，身体跟踪部分34基于由特征量提取部分37给出的特征量信息执行身体跟踪处理。
[0078]具体地讲，身体跟踪部分34从拾取的图像搜索跟踪身体区域。在能够从拾取的图像检测到跟踪身体区域的情况下，身体跟踪部分34将身体跟踪帧叠加在跟踪身体区域的一部分上。接下来，身体跟踪部分34将指示能够检测到跟踪身体区域的第一身体跟踪结果信息和已叠加身体跟踪帧的拾取的图像(也就是身体跟踪帧叠加图像)输出到跟踪目标确定部分35。另外，身体跟踪部分34将身体跟踪帧叠加图像输出到显示控制部分38。在与脸部跟踪帧的模式不同的模式(例如，颜色、尺寸或形状)下描述身体跟踪帧。
[0079]另一方面，在未能从拾取的图像检测到跟踪身体区域的情况下，身体跟踪部分34将指示未能检测到跟踪身体区域的第二身体跟踪结果信息输出到跟踪目标确定部分35。
[0080]在步骤S50中，跟踪目标确定部分35执行图3中示出的跟踪目标确定处理。总的说来，跟踪目标确定处理是确定脸部区域和身体区域中的至少一个作为跟踪目标的处理。在脸部区域被确定为跟踪目标的情况下，跟踪目标确定部分35将指示脸部区域被确定为跟踪目标的脸部区域跟踪连续信息输出到脸部核对部分33。在已给出脸部区域跟踪连续信息的情况下，脸部核对部分33连续地在下一帧中执行上述脸部跟踪处理。另一方面，在身体区域被确定为跟踪目标的情况下，跟踪目标确定部分35在稍后描述的步骤SlOO中将开始指示信息输出到身体跟踪部分34。需要注意的是，在脸部区域被确定为跟踪目标但脸部区域的可靠性变为等于或低于规定值的情况下，跟踪目标确定部分35将开始指示信息输出到身体跟踪部分34。也就是说，在本实施例中，存在并行地跟踪脸部区域和身体区域的情况。
[0081]在步骤S60中，跟踪目标确定部分35判断跟踪目标是否是脸部区域。在判断跟踪目标是脸部区域的情况下，跟踪目标确定部分35前进至步骤S70，并且在判断跟踪目标是身体区域的情况下，跟踪目标确定部分35前进至步骤S100。
[0082]在步骤S70中，跟踪目标确定部分35将指示身体区域的检测的身体区域检测指示信息输出到身体区域检测部分36。在已给出身体区域检测指示信息的情况下，身体区域检测部分36执行图4中示出的身体区域检测处理。总的说来，身体区域检测处理是检测与脸部区域具有规定位置关系的区域作为搜索身体区域的处理。这里，总的说来，所述规定位置关系表示脸部区域和身体区域由脸部区域的颈部连接的位置关系。这个脸部区域和身体区域被认为构成同一拍摄对象(活体)。另外，身体区域指示活体的各部分之中的除脸部之外的任意部分。身体区域检测部分36将与身体区域相关的身体区域信息输出到特征量提取部分37。
[0083]在步骤S80中，特征量提取部分37基于身体区域信息从身体区域提取身体区域的特征量。这里，身体颜色(肤色)等被包括作为身体区域的特征量。特征量提取部分37产生与身体区域的特征量相关的特征量信息，并且将特征量信息输出到身体跟踪部分34。身体跟踪部分34基于特征量信息在下一帧中执行身体跟踪处理。
[0084]在步骤S90中，脸部核对部分33执行脸部登记处理。具体地讲，脸部核对部分33将新脸部区域的特征量和与新脸部区域对应的识别信息登记在脸部区域列表中。
[0085]在步骤SlOO中，跟踪目标确定部分35执行下一次跟踪目标判断处理。总的说来，下一次跟踪目标判断处理是确定是否在下一帧中执行身体跟踪处理的处理。其后，图像处理设备I结束该处理。
[0086](跟踪目标确定处理)
[0087]接下来，将描述基于图3的跟踪目标确定处理的过程。在步骤SllO中，跟踪目标确定部分35判断是否已通过核对处理检测到跟踪脸部区域。具体地讲，跟踪目标确定部分35判断是否已由脸部核对部分33给出第一脸部检测信息。在判断为已给出第一脸部检测信息的情况下，跟踪目标确定部分35前进至步骤S120，并且在判断为未给出第一脸部检测信息而是给出第二脸部检测信息的情况下，跟踪目标确定部分35前进至步骤S130。
[0088]在步骤S120中，跟踪目标确定部分35确定跟踪目标是脸部区域。也就是说，在已通过核对处理检测到与跟踪脸部区域相同的脸部区域的情况下，跟踪目标确定部分35确定跟踪目标是脸部区域。其后，跟踪目标确定部分35结束跟踪目标确定处理。
[0089]在步骤S130中，跟踪目标确定部分35判断脸部核对部分33是否正在执行脸部跟踪以及是否能够检测到跟踪脸部区域。具体地讲，跟踪目标确定部分35判断是否已由脸部核对部分33给出第一脸部跟踪结果信息。在判断为已由脸部核对部分33给出第一脸部跟踪结果信息的情况下，跟踪目标确定部分35前进至步骤S120，并且在判断为脸部核对部分33未给出第一脸部跟踪结果信息而是给出第二脸部跟踪结果信息的情况下，跟踪目标确定部分35前进至步骤S140。因此，在已通过脸部跟踪处理检测到与跟踪脸部区域相同的脸部区域的情况下，跟踪目标确定部分35确定跟踪目标是脸部区域。
[0090]在步骤S140中，跟踪目标确定部分35判断身体跟踪处理是否已成功。具体地讲，跟踪目标确定部分35判断是否已由身体跟踪部分34给出第一身体跟踪结果信息。在判断为已由身体跟踪部分34给出第一身体跟踪结果信息的情况下，跟踪目标确定部分35前进至步骤S150，并且在判断为由身体跟踪部分34未给出第一身体跟踪结果信息而是给出第二身体跟踪结果信息的情况下，跟踪目标确定部分35前进至步骤S180。
[0091]在步骤S150中，跟踪目标确定部分35执行连接判断处理。总的说来，连接判断处理是连接新脸部区域与跟踪身体区域的处理。在新脸部区域与跟踪身体区域具有上述规定位置关系的情况下，也就是说，在认为新脸部区域和跟踪身体区域构成同一拍摄对象的情况下，跟踪目标确定部分35连接新脸部区域与跟踪身体区域。
[0092]在步骤S160中，跟踪目标确定部分35判断新脸部区域和跟踪身体区域是否已连接，并且在判断它们已连接的情况下，跟踪目标确定部分35前进至步骤S120，并且在判断它们未连接的情况下，跟踪目标确定部分35前进至步骤S170。因此，即使存在未通过当前帧的核对处理和脸部跟踪处理检测到新脸部区域的情况，在新脸部区域与跟踪身体区域连接的情况下，跟踪目标确定部分35也将跟踪目标设置为脸部区域。
[0093]在步骤S170中，跟踪目标确定部分35将跟踪目标设置为身体区域。因此，在未通过当前帧的核对处理和脸部跟踪处理检测到新脸部区域并且新脸部区域未与跟踪身体区域连接的情况下，跟踪目标确定部分35将跟踪目标设置为身体区域。其后，跟踪目标确定部分35结束跟踪目标确定处理。
[0094]在步骤S180中，跟踪目标确定部分35执行指示跟踪已结束的确定。这是因为，既未检测到跟踪脸部区域，又未检测到跟踪身体区域。其后，跟踪目标确定部分35结束跟踪目标确定处理。
[0095](身体区域检测处理)
[0096]接下来，将描述基于图4的身体区域检测处理的过程。在步骤S190中，身体区域检测部分36判断跟踪脸部区域的滚动方向是否朝向前方。这里，滚动方向是拾取的图像上的旋转方向。具体地讲，身体区域检测部分36首先设置与脸部区域的颈部延伸的方向平行的第一参考轴。然后，身体区域检测部分36基于跟踪脸部区域内的各部分(诸如，眼睛、鼻子或嘴)的位置调整第一参考轴。例如，在第一参考轴不垂直于连接双眼的直线的情况下，身体区域检测部分36使第一参考轴旋转，以使得它们垂直。第一参考轴具有从眼睛朝着颈部的方向为正的方向。
[0097]接下来，身体区域检测部分36检测由第一参考轴和I轴形成的角度。在由这些轴形成的角度大于-45度并且小于+45度的情况下，身体区域检测部分36判断跟踪脸部区域的滚动方向朝向前方。需要注意的是，变为用于身体区域检测部分36的判断的参考的角度不限于这里指示的值。以下同样如此。当拍摄对象笔直站立时，由第一参考轴和y轴形成的角度变为O度，并且假设逆时针方向是正方向。在图7(a)中示出跟踪脸部区域的滚动方向朝向前方的例子。在这个例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第一参考轴和I轴形成的角度为几乎O度。
[0098]在判断跟踪脸部区域的滚动方向是朝向前方的情况下，身体区域检测部分36前进至步骤S200，并且在判断跟踪脸部区域的滚动方向是除朝向前方的方向之外的方向的情况下，身体区域检测部分36前进至步骤S210。
[0099]在步骤S200中，身体区域检测部分36检测(设置)与跟踪脸部区域的颈部相邻并且沿第一参考轴的正轴向方向(第一参考轴的正轴向方向比垂直于这个轴的轴向方向长)延伸的区域作为跟踪身体区域。例如，在图7(a)中示出的例子中，身体区域检测部分36将沿垂直方向较长的区域400设置在跟踪脸部区域210的向下方向，并且这被认为是跟踪身体区域。
[0100]接下来，身体区域检测部分36基于跟踪脸部区域的尺寸、世代信息和性别信息调整跟踪身体区域的形状。这里，世代信息是例如婴儿、儿童和成年人的分类。例如，随着跟踪脸部区域变得更大，身体区域检测部分36将跟踪身体区域设置得更大。这是因为这样的假设:随着跟踪脸部区域变得更大，拍摄对象的年龄增加并且跟踪身体区域变得更大。另夕卜，随着跟踪脸部区域指示的世代变得更年轻，身体区域检测部分36将跟踪身体区域与跟踪脸部区域的尺寸之比设置得更小。这是因为，婴儿或儿童具有相对于他们的头的尺寸而言较小的身体。另外，身体区域检测部分36调整身体区域，以使得女性的身体区域小于男性的身体区域。其后，身体区域检测部分36前进至步骤S240。
[0101]在步骤S210中，身体区域检测部分36判断跟踪脸部区域的滚动方向是否向左倾斜。在判断跟踪脸部区域的滚动方向是向左倾斜的情况下，身体区域检测部分36前进至步骤S220，并且在判断跟踪脸部区域的滚动方向是向右倾斜的情况下，身体区域检测部分36前进至步骤S230。
[0102]在由第一参考轴和I轴形成的角度为大于或等于+45度并且小于或等于+135度的情况下，身体区域检测部分36判断跟踪脸部区域的滚动方向向左倾斜。在图7 (b)中示出跟踪脸部区域的滚动方向向左倾斜的例子。在这个例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第一参考轴和I轴形成的角度为几乎90度。
[0103]另一方面，在由第一参考轴和y轴形成的角度为大于或等于-135度并且小于或等于-45度的情况下，身体区域检测部分36判断跟踪脸部区域的滚动方向向右倾斜。在图7(c)中示出跟踪脸部区域的滚动方向向右倾斜的例子。在这个例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第一参考轴和I轴形成的角度为几乎_90度。
[0104]在步骤S220中，身体区域检测部分36检测(设置)与跟踪脸部区域的颈部相邻并且沿第一参考轴的正轴向方向延伸的区域作为跟踪身体区域。例如，在图7(b)中示出的例子中，身体区域检测部分36将沿水平方向较长的区域400设置在跟踪脸部区域210的向右方向，并且这被认为是跟踪身体区域。接下来，身体区域检测部分36基于跟踪脸部区域的尺寸、世代信息和性别信息调整跟踪脸部区域的形状。其后，身体区域检测部分36前进至步骤S240。
[0105]在步骤S230中，身体区域检测部分36检测(设置)与跟踪脸部区域的颈部相邻并且沿第一参考轴的正轴向方向延伸的区域作为跟踪身体区域。在图7(c)中示出的例子中，身体区域检测部分36将沿水平方向较长的区域400设置在跟踪脸部区域210的向左方向，并且这被认为是跟踪身体区域。接下来，身体区域检测部分36基于跟踪脸部区域的尺寸、世代信息和性别信息调整跟踪脸部区域的形状。其后，身体区域检测部分36前进至步骤 S240。
[0106]在步骤S240中，身体区域检测部分36判断跟踪脸部区域的偏航方向是否朝向前方。这里，偏航方向是垂直于第一参考轴的平面(也就是偏航方向参考表面)上的旋转方向。具体地讲，身体区域检测部分36首先设置将拍摄对象的视线投影到偏航方向参考表面的轴作为第二参考轴。第二参考轴具有从拍摄对象朝着透镜10的方向为正的方向。然后，身体区域检测部分36基于跟踪脸部区域内的各部分(诸如，眼睛、鼻子或嘴)的位置调整第二参考轴。例如，在第二参考轴不经过将嘴的中心点投影到偏航方向参考表面的投影点的情况下，身体区域检测部分36调整第二参考轴的位置，以使得第二参考轴经过该投影点。
[0107]接下来，身体区域检测部分36检测由第二参考轴和光轴形成的角度。在由这些轴形成的角度大于-10度并且小于+10度的情况下，身体区域检测部分36判断跟踪脸部区域的偏航方向朝向前方。这里，假设光轴具有从拍摄对象朝着透镜10的方向为正的方向。在拍摄对象朝向透镜10侧并且第二参考轴变为平行于光轴的情况下，由第二参考轴和光轴形成的角度变为O度，并且假设偏航方向参考表面上的逆时针方向是正方向。在图8(a)中示出跟踪脸部区域的偏航方向朝向前方的例子。在这个例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第二参考轴和光轴形成的角度为几乎O度。
[0108]在判断跟踪脸部区域的偏航方向是朝向前方的情况下，身体区域检测部分36前进至步骤S310，并且在判断跟踪脸部区域的偏航方向是除朝向前方的方向之外的方向的情况下，身体区域检测部分36前进至步骤S250。
[0109]在步骤S250中，身体区域检测部分36判断跟踪脸部区域的偏航方向是否朝向左侦U。在由第二参考轴和光轴形成的角度为大于或等于-135度并且小于或等于-10度的情况下，身体区域检测部分36判断跟踪脸部区域的偏航方向朝向左侧。在图8(b)和8(c)中示出跟踪脸部区域的偏航方向朝向左侧的例子。在图8(b)中示出的例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第二参考轴和光轴形成的角度为大约-30度。在图8(c)中示出的例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第二参考轴和光轴形成的角度为大约-90度。
[0110]另一方面，在由第二参考轴和光轴形成的角度为大于或等于+10度并且小于或等于+135度的情况下，身体区域检测部分36判断跟踪脸部区域的偏航方向朝向右侧。在图8(d)和8(e)中示出跟踪脸部区域的偏航方向朝向右侧的例子。在图8(d)中示出的例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第二参考轴和光轴形成的角度为大约+30度。在图8(e)中示出的例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且由第二参考轴和光轴形成的角度为大约+90度。
[0111]在判断跟踪脸部区域的偏航方向是朝向左侧的情况下，身体区域检测部分36前进至步骤S260，并且在判断跟踪脸部区域的偏航方向为朝向右侧的情况下，身体区域检测部分36前进至步骤S290。
[0112]在步骤S260中，身体区域检测部分36判断由第二参考轴和光轴形成的角度是否为大于或等于-45度并且小于或等于-10度。也就是说，身体区域检测部分36判断沿跟踪脸部区域的偏航方向的旋转是否较小。在判断由第二参考轴和光轴形成的角度为大于或等于-45度并且小于或等于-10度或更小(也就是说，沿跟踪脸部区域的偏航方向的旋转较小)的情况下，身体区域检测部分36前进至步骤S270。另一方面，在判断由第二参考轴和光轴形成的角度为小于-45度(也就是说，沿偏航方向的旋转较大)的情况下，身体区域检测部分36前进至步骤S280。
[0113]在步骤S270中，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向稍微移动跟踪身体区域。例如，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向将跟踪身体区域移动脸部跟踪帧300的宽度(X轴方向的长度)的仅大约1/4。在图8(b)中示出的例子中，例如，由于跟踪脸部区域210在拾取的图像中向左旋转，所以身体区域检测部分36将跟踪身体区域400向右移动脸部跟踪帧的宽度的仅大约1/4。其后，身体区域检测部分36前进至步骤S320。
[0114]在步骤S280中，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向显著移动跟踪身体区域。例如，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向将跟踪身体区域移动脸部跟踪帧300的宽度的仅大约1/2。在图8(c)中示出的例子中，例如，由于跟踪脸部区域210在拾取的图像中向左旋转，所以身体区域检测部分36将跟踪身体区域400向右移动脸部跟踪帧的宽度的仅大约1/2。其后，身体区域检测部分36前进至步骤S320。
[0115]在步骤S290中，身体区域检测部分36判断由第二参考轴和光轴形成的角度是否为大于或等于+10度并且小于或等于+45度。也就是说，身体区域检测部分36判断沿跟踪脸部区域的偏航方向的旋转是否较小。在判断由第二参考轴和光轴形成的角度为大于或等于+10度并且小于或等于+45度的情况下，身体区域检测部分36前进至步骤S300。另一方面，在判断由第二参考轴和光轴形成的角度大于+45度(也就是说，沿偏航方向的旋转较大)的情况下，身体区域检测部分36前进至步骤S310。
[0116]在步骤S300中，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向稍微移动跟踪身体区域。例如，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向将跟踪身体区域移动脸部跟踪帧300的宽度(X轴方向的长度)的仅大约1/4。在图8(d)中示出的例子中，例如，由于跟踪脸部区域210在拾取的图像中向右旋转，所以身体区域检测部分36将跟踪身体区域400向左移动脸部跟踪帧的宽度的仅大约1/4。其后，身体区域检测部分36前进至步骤S320。
[0117]在步骤S310中，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向显著移动跟踪身体区域。例如，身体区域检测部分36沿与第二参考轴的旋转方向相反的方向将跟踪身体区域移动脸部跟踪帧300的宽度的仅大约1/2。在图8(e)中示出的例子中，例如，由于跟踪脸部区域210在拾取的图像中向右旋转，所以身体区域检测部分36将跟踪身体区域400向左移动脸部跟踪帧的宽度的仅大约1/2。其后，身体区域检测部分36前进至步骤S320。
[0118]在步骤S320中，身体区域检测部分36基于跟踪脸部区域的俯仰方向(颈部的较长方向)的方向和旋转角度调整跟踪身体区域。这里，俯仰方向是包括第一参考轴和光轴的平面(也就是俯仰方向参考表面)上的旋转方向。具体地讲，身体区域检测部分36首先设置将拍摄对象的视线投影到俯仰方向参考表面的轴作为第三参考轴。第三参考轴具有从拍摄对象朝着透镜10的方向为正的方向。然后，身体区域检测部分36基于跟踪脸部区域内的各部分(诸如，眼睛、鼻子或嘴)的位置调整第三参考轴。例如，在将经过鼻子和嘴的中心点的直线投影到俯仰方向参考表面的投影直线和第三参考轴不垂直的情况下，身体区域检测部分36使第三参考轴旋转，以使得它们垂直。
[0119]接下来，身体区域检测部分36检测由第三参考轴和光轴形成的角度(也就是沿跟踪脸部区域的俯仰方向的旋转角度)。这里，沿跟踪脸部区域的俯仰方向的旋转角度在拍摄对象朝向透镜10侧时并且在第三参考轴变为平行于光轴时变为O度，并且假设俯仰方向参考表面上的逆时针方向是正方向。总的说来，沿跟踪脸部区域的俯仰方向的旋转角度在拍摄对象使其脸部靠近其身体时变为负值，并且在拍摄对象使其脸部远离其身体时变为正值。在沿跟踪脸部区域的俯仰方向的旋转角度变为正值的情况下，随着旋转角度的绝对值变得更大，身体区域检测部分36沿第一参考轴的正方向将跟踪身体区域设置得更大。另一方面，在沿跟踪脸部区域的俯仰方向的旋转角度变为负值的情况下，随着旋转角度的绝对值变得更大，身体区域检测部分36沿第一参考轴的正方向将跟踪身体区域设置得更小。
[0120]接下来，身体区域检测部分36从跟踪身体区域内切除伸出到拾取的图像外面的区域。这里，在跟踪脸部区域布置在拾取的图像的边缘的情况下，例如，跟踪脸部区域非常大的情况被包括作为跟踪身体区域的一部分伸出到拾取的图像外面的情况。在图9(a)中示出跟踪身体区域的一部分伸出到拾取的图像外面的例子。在图9(a)中示出的例子中，在脸部跟踪帧叠加图像100中描述跟踪脸部区域210和脸部跟踪帧300，并且跟踪身体区域400的一部分伸出到脸部跟踪帧叠加图像100下方。
[0121]在步骤S330中，身体区域检测部分36判断跟踪身体区域相对于跟踪脸部区域是否具有某一尺寸或更大尺寸。在判断跟踪身体区域相对于跟踪脸部区域具有某一尺寸或更大尺寸的情况下，身体区域检测部分36结束身体区域检测处理，并且在跟踪身体区域相对于跟踪脸部区域具有小于某一尺寸的尺寸的情况下，身体区域检测部分36前进至步骤S335。
[0122]在步骤S335中，身体区域检测部分36沿跟踪脸部区域的方向扩展跟踪身体区域。在图9(b)中示出沿跟踪脸部区域的方向扩展跟踪身体区域的例子。在如图9(b)中所示执行步骤S335的处理的情况下，跟踪身体区域的一部分被叠加在跟踪脸部区域上。需要注意的是，扩展的区域的尺寸可基本上与通过步骤S320切除的区域相同。其后，身体区域检测部分36结束身体区域检测处理。
[0123]需要注意的是，身体区域检测部分36可通过同时使用在跟踪脸部区域周围的区域的移动信息(移动向量)和除拾取的图像之外的信息(例如，红外信息、距离信息、温度记录器信息等)来检测跟踪身体区域。例如，身体区域检测部分36可检测具有与跟踪脸部区域的移动相似的移动的区域作为跟踪身体区域。另外，身体区域检测部分36可检测具有与跟踪脸部区域的温度相似的温度的区域作为跟踪身体区域。另外，身体区域检测部分36可检测相对于透镜10的距离与跟踪脸部区域的相对于透镜10的距离相似的区域作为跟踪身体区域。
[0124](连接判断处理)
[0125]接下来，将描述基于图5的在步骤S150中示出的连接判断处理。在步骤S340中，跟踪目标确定部分35通过组合由脸部核对部分33给出的脸部帧叠加图像和由身体跟踪部分34给出的身体跟踪帧叠加图像来产生用于连接判断的图像。在脸部核对部分33检测到新脸部区域的情况下，新脸部区域和新脸部帧被包括在这个用于连接判断的图像中。另外，身体跟踪帧被包括在该用于连接判断的图像中。接下来，跟踪目标确定部分35计算身体跟踪帧的重心。例如，身体跟踪帧的重心变为身体跟踪帧的中心点。
[0126]在步骤S350中，跟踪目标确定部分35判断新脸部区域的滚动方向是否朝向前方。具体处理内容类似于步骤S190的处理内容。在判断新脸部区域的滚动方向是朝向前方的情况下，跟踪目标确定部分35前进至步骤S360，并且如果判断新脸部区域的滚动方向是除朝向前方的方向之外的方向，则跟踪目标确定部分35前进至步骤S370。
[0127]在步骤S360中，身体区域检测部分36设置与新脸部区域的颈部相邻并且沿第一参考轴的正轴向方向延伸的区域作为搜索区域。需要注意的是，身体区域检测部分36沿垂直于第一参考轴的方向扩大搜索区域。在图10(a)中示出搜索区域的例子。在这个例子中，在连接判断图像110中描述新脸部区域220和新脸部帧310，并且新脸部区域的滚动方向朝向前方。另外，跟踪目标确定部分35将沿垂直方向较长的搜索区域440设置在新脸部区域220的向下方向。
[0128]接下来，跟踪目标确定部分35基于跟踪脸部区域的尺寸、世代信息和性别信息调整跟踪脸部区域的形状。具体处理内容类似于上述步骤S200的处理内容。
[0129]在步骤S370中，跟踪目标确定部分35判断跟踪脸部区域的滚动方向是否向左倾斜。具体处理内容类似于步骤S210的处理内容。在判断跟踪脸部区域的滚动方向是向左倾斜的情况下，跟踪目标确定部分35前进至步骤S380，并且在判断跟踪脸部区域的滚动方向是向右倾斜的情况下，跟踪目标确定部分35前进至步骤S390。
[0130]在步骤S380中，跟踪目标确定部分35设置与跟踪脸部区域的颈部相邻并且沿第一参考轴的正轴向方向延伸的区域作为搜索区域。需要注意的是，身体区域检测部分36沿垂直于第一参考轴的方向扩大搜索区域。在图10(b)中示出搜索区域的例子。在这个例子中，在连接判断图像I1中描述新脸部区域220和新脸部帧310，并且新脸部区域的滚动方向向左倾斜。另外，跟踪目标确定部分35将沿水平方向较长的搜索区域440设置在新脸部区域220的向右方向。接下来，跟踪目标确定部分35基于新脸部区域的尺寸、世代信息和性别信息调整新脸部区域的形状。其后，跟踪目标确定部分35前进至步骤S400。
[0131]在步骤S390中，跟踪目标确定部分35设置与新脸部区域的颈部相邻并且沿第一参考轴的正轴向方向延伸的区域作为搜索区域。需要注意的是，身体区域检测部分36沿垂直于第一参考轴的方向扩大搜索区域。另外，在执行步骤S390的处理的情况下，新脸部区域的滚动方向向右倾斜。在图10(c)中示出搜索区域的例子。在这个例子中，在连接判断图像110中描述新脸部区域220和新脸部帧310，并且新脸部区域的滚动方向向右倾斜。另夕卜，跟踪目标确定部分35将沿水平方向较长的搜索区域440设置在新脸部区域220的向左方向。接下来，身体区域检测部分36基于新脸部区域的尺寸、世代信息和性别信息调整新脸部区域的形状。其后，身体区域检测部分36前进至步骤S400。
[0132]在步骤S400中，跟踪目标确定部分35判断新脸部区域的偏航方向是否朝向前方。具体处理内容类似于步骤S240的处理内容。在判断新脸部区域的偏航方向是朝向前方的情况下，跟踪目标确定部分35前进至步骤S480，并且在判断新脸部区域的偏航方向是除朝向前方的方向之外的方向的情况下，跟踪目标确定部分35前进至步骤S410。
[0133]在步骤S410中，跟踪目标确定部分35判断新脸部区域的偏航方向是否向左倾斜。具体处理内容类似于步骤S250的处理内容。在判断新脸部区域的偏航方向是向左倾斜的情况下，跟踪目标确定部分35前进至步骤S420，并且在判断新脸部区域的偏航方向是向右倾斜的情况下，跟踪目标确定部分35前进至步骤S450。
[0134]在步骤S420中，跟踪目标确定部分35判断沿新脸部区域的偏航方向的旋转是否较小。具体处理内容类似于步骤S260的处理内容。在判断沿新脸部区域的偏航方向的旋转是较小的情况下，跟踪目标确定部分35前进至步骤S430。另一方面，在判断沿新脸部区域的偏航方向的旋转是较大的情况下，跟踪目标确定部分35前进至步骤S440。
[0135]在步骤S430中，跟踪目标确定部分35沿与第二参考轴的旋转方向相反的方向稍微移动搜索区域。具体处理内容类似于步骤S270的处理内容。其后，跟踪目标确定部分35前进至步骤S480。
[0136]在步骤S440中，跟踪目标确定部分35沿与第二参考轴的旋转方向相反的方向显著移动搜索区域。具体处理内容类似于步骤S280的处理内容。其后，跟踪目标确定部分35前进至步骤S480。
[0137]在步骤S450中，跟踪目标确定部分35判断沿新脸部区域的偏航方向的旋转是否较小。具体处理内容类似于步骤S290的处理内容。在判断沿新脸部区域的偏航方向的旋转是较小的情况下，跟踪目标确定部分35前进至步骤S460。另一方面，在判断沿新脸部区域的偏航方向的旋转是较大的情况下，跟踪目标确定部分35前进至步骤S470。
[0138]在步骤S460中，跟踪目标确定部分35沿与第二参考轴的旋转方向相反的方向稍微移动搜索区域。具体处理内容类似于步骤S300的处理内容。其后，跟踪目标确定部分35前进至步骤S480。
[0139]在步骤S470中，跟踪目标确定部分35沿与第二参考轴的旋转方向相反的方向显著移动搜索区域。具体处理内容类似于步骤S310的处理内容。其后，跟踪目标确定部分35前进至步骤S480。
[0140]在步骤S480中，跟踪目标确定部分35判断身体跟踪帧的重心是否存在于搜索区域内。在图10(a)中示出身体跟踪帧的重心存在于搜索区域内的例子。在图10(a)中示出的例子中，身体跟踪帧420和重心430被叠加在连接判断图像110上，并且重心430存在于搜索区域440内。类似地，在图10(d)中示出身体跟踪帧的重心存在于搜索区域外面的例子。在图10(d)中示出的例子中，身体跟踪帧420和重心430被叠加在连接判断图像110上，并且重心430存在于搜索区域440外面。
[0141]在判断身体跟踪帧的重心是存在于搜索区域内的情况下，跟踪目标确定部分35前进至步骤S490，并且在判断身体跟踪帧的重心是存在于搜索区域外面的情况下，跟踪目标确定部分35前进至步骤S500。
[0142]在步骤S490中，跟踪目标确定部分35判断新脸部区域和跟踪身体区域具有上述规定位置关系，并且连接它们。其后，跟踪目标确定部分35结束连接判断处理。另一方面，在步骤S500中，跟踪目标确定部分35判断新脸部区域和跟踪身体区域不具有规定位置关系，并且不连接它们。其后，跟踪目标确定部分35结束连接判断处理。
[0143]需要注意的是，跟踪目标确定部分35可通过同时使用在新脸部区域周围的区域的移动信息(移动向量)和除拾取的图像之外的信息(例如，红外信息、距离信息、温度记录器信息等)来设置搜索区域。具体处理内容类似于身体区域检测处理的处理内容。
[0144](下一次跟踪目标判断处理)
[0145]接下来，将描述基于图6的下一次跟踪目标判断处理。在步骤S510中，跟踪目标确定部分35判断身体区域是否是跟踪目标。需要注意的是，通过图3中示出的跟踪目标确定处理来确定跟踪目标。在身体区域是跟踪目标的情况下，跟踪目标确定部分35前进至步骤S520，并且在脸部区域是跟踪目标的情况下，跟踪目标确定部分前进至步骤S530。
[0146]在步骤S520中，跟踪目标确定部分35启动身体跟踪部分34。具体地讲，跟踪目标确定部分35在身体跟踪部分34中启动开始指示信息。以这种方式，身体跟踪处理从下一帧开始。其后，跟踪目标确定部分35结束下一次跟踪目标判断处理。
[0147]在步骤S530中，跟踪目标确定部分35判断跟踪脸部区域的可靠性是否等于或低于规定值。在判断跟踪脸部区域的可靠性是等于或低于规定值的情况下，跟踪目标确定部分35前进至步骤S520，并且在跟踪脸部区域的可靠性超过规定值的情况下，跟踪目标确定部分35前进至步骤S540。因此，即使存在跟踪目标是脸部区域的情况，在脸部区域的可靠性低的情况下，跟踪目标确定部分35也并行地执行脸部跟踪和身体跟踪。当跟踪脸部区域的偏航方向的旋转角度的绝对值变得更大时，跟踪脸部区域的可靠性变得更小。在步骤S540中，跟踪目标确定部分35不启动身体跟踪部分34。其后，跟踪目标确定部分35结束下一次跟踪目标判断处理。
[0148]以这种方式，活体跟踪部分30假设跟踪目标原则上是脸部区域。也就是说，在已通过当前帧的核对处理检测到跟踪脸部区域的情况下，活体跟踪部分30假设跟踪目标是脸部区域。另外，在已通过当前帧的脸部跟踪处理检测到跟踪脸部区域的情况下，活体跟踪部分30假设跟踪目标是脸部区域。另外，即使跟踪目标是身体区域，在新脸部区域和跟踪身体区域连接的情况下，活体跟踪部分30也将跟踪目标改变为脸部区域。
[0149]然而，在当前帧中未检测到跟踪脸部区域并且新脸部区域未与跟踪身体区域连接的情况下，活体跟踪部分30假设跟踪目标是身体区域。然后，在跟踪目标变为身体区域的情况下，或者在跟踪脸部区域的可靠性低的情况下，活体跟踪部分30在下一帧中开始身体跟踪处理。也就是说，在当前帧中检测到的跟踪脸部区域的可靠性低的情况下，活体跟踪部分30在下一帧中并行地执行脸部跟踪处理和身体跟踪处理。例如，作为活体跟踪部分30假设跟踪目标原则上是脸部区域的原因，包括与身体跟踪处理相比对于脸部跟踪处理而言更高的针对环境改变的鲁棒性。
[0150]另外，活体跟踪部分30通常在脸部跟踪处理期间检测跟踪身体区域。以这种方式，活体跟踪部分30能够通常识别最新的(也就是与目前环境对应的)跟踪身体区域。
[0151](由显示控制部分执行的处理)
[0152]接下来，将描述显示控制部分38在显示部分40上显示的图像的例子。显示控制部分38通过组合由每个结构给出的图像来产生显示图像120，并且在显示部分40上显示这个显示图像120。图ll(a)-(d)和12(a)-(d)是显示图像120的例子。在当前帧的跟踪目标是脸部区域的情况下，显示控制部分38在显示部分40上显示例如图11(a)中示出的显示图像120。
[0153]在这个显示图像120中描述人图像200、跟踪脸部区域210和脸部跟踪帧300。人图像200相对于透镜10朝向前方。需要注意的是，身体区域检测部分36与由显示控制部分38执行的处理并行地检测跟踪身体区域400。
[0154]其后，当人图像200的偏航方向改变时，跟踪脸部区域210的可靠性减小。然而，在跟踪脸部区域210的可靠性高的情况下，跟踪目标保持为脸部区域，并且身体跟踪部分34不启动。因此，显示控制部分38以与图11(a)的方式相同的方式显示显示图像120，如图11 (b)中所示。
[0155]其后，在跟踪脸部区域的可靠性等于或低于规定值的情况下，跟踪目标保持为脸部区域，但身体跟踪部分34启动。在这种情况下，脸部跟踪帧叠加图像和身体跟踪帧叠加图像被给予显示控制部分38。因此，显示控制部分38在显示部分40上显示这些图像的组合作为显示图像120，如图11 (c)中所示。在显示图像120中既描述脸部跟踪帧300又描述身体跟踪帧420。
[0156]其后，当不再检测到跟踪脸部区域时，脸部帧叠加图像和身体跟踪帧叠加图像被给予显示控制部分38。因此，显示控制部分38在显示部分40上显示这些图像的组合作为显示图像120，如图11 (d)中所示。然而，由于未检测到脸部区域，所以在显示图像120中未描述脸部区域。需要注意的是，即使在这种情况下，脸部检测部分32和脸部核对部分33也继续启动。
[0157]在未检测到新脸部区域的状态下，显示控制部分38显示类似图像(参照图11(e)-12 (a)、12 (b))。以这种方式，用户能够容易地理解当前跟踪目标和跟踪目标切换的时刻。
[0158]其后，当检测到新脸部区域时，新脸部帧被包括在脸部帧叠加图像中。在这种情况下，显示控制部分38在显示部分40上显示图12(c)中示出的显示图像120。在这个显示图像120中描述新脸部区域220和新脸部帧310。另一方面，跟踪目标确定部分35与由显示控制部分38执行的处理并行地执行连接判断处理。在图12(c)中示出的例子中，由于新脸部区域220和身体跟踪帧420具有规定位置关系，所以假设新脸部区域220是跟踪脸部区域210，并且假设新脸部帧310是脸部跟踪帧300。另外，身体跟踪部分34停止。因此，显示控制部分38在下一巾贞中显示图12(d)中示出的显示图像120。在这个显示图像120中描述跟踪脸部区域210和脸部跟踪帧300。
[0159]<4.由图像处理设备实现的效果〉
[0160]接下来，将描述由图像处理设备I实现的效果的一些例子。图13(a)_(c)显示在显示部分40上显示的显示图像120的例子。在这些显示图像120中描述人图像200和狗图像500。另外，身体跟踪帧600被叠加在狗图像500的身体区域上。也就是说，狗图像500是跟踪目标。另一方面，人图像200的脸部区域是普通脸部区域230 (也就是说，也在前一帧中检测到的脸部区域)。因此，脸部帧320被叠加在普通脸部区域230上。也就是说，通过目标跟踪部分34跟踪作为跟踪目标的狗图像500，脸部检测部分32和脸部核对部分33连续地执行脸部检测处理和脸部核对处理。因此，即使在狗图像500的跟踪期间，图像拾取部分20也能够基于显示图像120根据人图像200的脸部区域执行白平衡调整。另外，图像拾取部分20能够基于显示图像120将焦点与狗图像500匹配，并且能够将脸部区域的曝光调整为合适的值。
[0161]在人图像200和狗图像500分开的情况下，如图13(a)中所示，它们自然不连接。然而，当它们彼此靠近时，如图13(b)中所示，存在脸部区域230和跟踪身体区域的位置关系变为规定位置关系的情况。然而，连接判断处理的目标不限于新脸部区域。因此，如图13(c)中所示，脸部区域230和跟踪身体区域不连接，并且作为结果，脸部区域230不被认为是跟踪目标。以这种方式，图像处理设备I能够防止跟踪目标移至不同的拍摄对象。
[0162]类似地，图14(a)_(b)是显示图像120的例子。如图14(a)中所示，在显示图像120中描述人图像200以及200a-200c。人图像200的脸部区域是这些人图像之中的跟踪目标。因此，人图像200的脸部区域是跟踪脸部区域210。另一方面，其它人图像200a-200c的脸部区域是普通脸部区域，并且脸部帧320a-320c分别被叠加在它们上面。
[0163]其后，如图14(b)中所示，当不再检测到人图像200的脸部区域时，跟踪目标移至人图像200的身体区域。也就是说，跟踪身体帧420被叠加在人图像200的身体区域上。另一方面，在这个例子中，由于检测到人图像200a-200c的脸部区域，所以脸部帧320a_320c被叠加在它们上面。因此，即使存在不再检测到人图像的脸部区域的情况，图像拾取部分20也能够基于显示图像120根据人图像200的脸部区域执行白平衡调整。另外，图像拾取部分20能够基于显示图像120将脸部区域的曝光调整为合适的值。
[0164]类似地，图15 (a)-(d)是显示图像120的例子。在这些显示图像120中描述人图像200和狗图像500。另外，人图像200的脸部区域是跟踪脸部区域210，并且脸部跟踪帧300被叠加在跟踪脸部帧210上。因此，跟踪脸部区域210被登记在脸部区域列表中。
[0165]在跟踪脸部区域210和狗图像500具有规定位置关系时，如图15(a)中所示，存在狗图像500被检测为跟踪身体区域400的情况。因此，如图15(b)中所示，当人移至图像处理设备I的图像拾取范围外面时，存在狗图像500被认为是跟踪身体区域的情况，并且身体跟踪帧420被叠加在狗图像500上。
[0166]其后，当人图像200在某一帧中返回到显示图像120中时，如图15(c)中所示，人图像200的脸部区域被认为是新脸部区域220。另外，新脸部帧310被叠加在新脸部区域220上。需要注意的是，在这个例子中，由于新脸部区域220和狗图像500分开，所以它们不连接。然而，由于新脸部区域220已经被登记在脸部区域列表中，所以新脸部区域220在脸部核对处理中被认为是跟踪脸部区域210，并且脸部跟踪帧300被叠加在跟踪脸部区域210上。因此，如图15(d)中所示，跟踪目标返回到人图像200的脸部区域。以这种方式，即使跟踪目标在某一帧中移至不同的拍摄对象，图像处理设备I也能够使跟踪目标返回到原始拍摄对象。
[0167]类似地，图16 (a)-(d)是显示图像120的例子。在这些显示图像120中描述人图像200。在图16(a)中示出的显示图像120中，跟踪人图像200。然而，由于未检测到脸部区域，所以身体区域被认为是跟踪目标。因此，身体跟踪帧420被叠加在人图像200的身体区域上。
[0168]其后，当人接近图像处理设备I (沿箭头Al的方向移动)时，如图16(b)中所示，将会检测到人图像200的脸部区域。以这种方式，跟踪目标改变为脸部区域。也就是说，人图像200的脸部区域被认为是跟踪脸部区域210，并且脸部跟踪帧300被叠加在跟踪脸部区域210上。另外，跟踪脸部区域210被登记在脸部区域列表中。
[0169]其后，当人移至图像处理设备I的图像拾取范围外面(沿箭头A2的方向移动)时，如图16(c)中所示，人图像200从显示图像120消失(帧消失)，并且跟踪中断。
[0170]其后，当人从图像处理设备I的图像拾取范围外面沿箭头A3的方向移动并且进入图像处理设备I的图像拾取范围中时，首先，人图像200的脸部区域在核对处理中被认为是新脸部区域。另外，由于人图像200的脸部区域已经被登记在脸部区域列表中，所以新脸部区域被认为是跟踪脸部区域210，并且脸部跟踪帧300被叠加在跟踪脸部区域210上。因此，如图16(d)中所示，跟踪目标返回到人图像200的脸部区域。以这种方式，即使跟踪目标在某一时刻消失，图像处理设备I也能够在跟踪目标返回到图像拾取范围中时立即跟踪这个跟踪目标。
[0171]需要注意的是，在仅跟踪人图像的身体区域的技术中，可能无法登记人的脸部区域。因此，在这种技术中，当跟踪目标暂时消失时，即使跟踪目标返回到图像拾取范围中，也可能无法仍然仅跟踪身体区域。于是，对身体区域的跟踪针对环境改变具有低鲁棒性。因此，在仅跟踪人图像的身体区域的技术中，当跟踪目标暂时消失时，经常存在不能返回跟踪的情况。另一方面，即使跟踪目标在某一时刻消失，图像处理设备I也能够在跟踪目标返回到图像拾取范围中时立即跟踪这个跟踪目标。
[0172]〈5.各种修改例子〉
[0173]接下来，将描述图像处理设备I执行的处理的各种修改例子。
[0174](第一修改例子)
[0175]如上所述，在检测到新脸部区域并且新脸部区域和跟踪身体区域具有规定位置关系的情况下，跟踪目标确定部分35认为新脸部区域是跟踪脸部区域。然而，即使存在检测到新脸部区域并且新脸部区域和跟踪身体区域具有规定位置关系的情况，跟踪目标确定部分35也可继续对身体区域的跟踪。
[0176]将基于图17(a)_(d)描述由第一修改例子执行的处理的例子。图17(a)-(d)显示在第一修改例子中显示在显示部分40上的显示图像120的例子。图17(a)-(c)类似于图12(a)- (C)。也就是说，跟踪目标确定部分35执行上述跟踪目标确定处理，直至检测到新脸部区域。
[0177]然而，如图17(c)中所示，即使存在检测到新脸部区域220并且新脸部区域220和跟踪身体区域具有规定位置关系的情况，跟踪目标确定部分35也可不认为新脸部区域220是跟踪脸部区域。具体地讲，跟踪目标确定部分35可不执行连接判断处理。因此，在下一帧中，脸部核对部分33认为前一帧的新脸部区域220是普通脸部帧230，并且将脸部帧320叠加在普通脸部帧230上。因此，如图17(d)中所示，显示控制部分38显示描述普通脸部区域230、脸部帧320和身体跟踪帧420的显示图像120。
[0178]根据第一修改例子，图像处理设备I能够准确而连续地跟踪除脸部区域之外的部分，诸如动物、车辆或人的身体区域。需要注意的是，假设通过用户的设置来启动图像处理设备I是否对新脸部区域执行连接判断处理。以这种方式，图像处理设备I能够响应各种用户的需要。
[0179](第二修改例子)
[0180]接下来，将描述第二修改例子。在第二修改例子中，通过用户的输入操作等，脸部核对部分33将脸部区域之一设置为微笑跟踪脸部区域。然后，脸部核对部分33将微笑脸部跟踪帧叠加在微笑跟踪脸部区域上。在微笑跟踪脸部区域是微笑的脸部的情况下，脸部核对部分33将这一点报告给图像拾取部分20，并且图像拾取部分20在接收到这个报告时执行图像拾取。需要注意的是，优选地，在与脸部跟踪帧不同的模式下显示微笑脸部跟踪帧。
[0181]另外，身体区域检测部分36检测与微笑跟踪脸部区域具有规定位置关系的区域作为微笑跟踪身体区域。然后，身体跟踪部分34将微笑身体跟踪帧叠加在微笑跟踪身体区域上。另外，在微笑跟踪身体区域与新脸部区域具有规定位置关系的情况下，跟踪目标确定部分35认为新脸部区域是微笑跟踪脸部区域。需要注意的是，跟踪目标确定部分35可容易地通过扩大搜索区域来将跟踪目标改变为脸部区域。
[0182]将基于图18(a)_(b)描述由第二修改例子执行的处理的例子。图18(a)-(b)是在第二修改例子中显示在显示部分40上的显示图像120的例子。如图18(a)中所示,在显示图像120中描述人图像200以及200a-200c。人图像200的脸部区域是这些人图像之中的微笑跟踪脸部区域240，并且微笑跟踪帧350被叠加在微笑跟踪脸部区域240上。另一方面，其它人图像200a-200c的脸部区域是普通脸部区域，并且脸部帧320a_320c被叠加在它们上面。
[0183]其后，如图18(b)中所示，当不再检测到人图像200的脸部区域时，跟踪目标移至人图像200的身体区域。这里，人图像200的身体区域被认为是微笑跟踪身体区域，并且微笑身体跟踪帧450被叠加在微笑跟踪身体区域上。其后，在再次检测到人图像200的脸部区域的情况下，这个脸部区域(也就是说，新脸部区域)被认为是微笑跟踪脸部区域240，并且微笑跟踪帧350被叠加在微笑跟踪脸部区域240上。
[0184]以这种方式，即使在某一脸部区域已被设置为微笑跟踪脸部区域之后暂时未检测到这个脸部区域，图像处理设备I也能够防止其它脸部区域被设置为微笑跟踪脸部区域。因此，即使除用户已指定的脸部区域之外的脸部区域是微笑的脸部，图像处理设备I也能够不执行图像拾取。
[0185]需要注意的是，在仅跟踪脸部区域的技术中，当暂时不再检测到微笑跟踪脸部区域时，如图19中所示，其它脸部区域被认为是微笑跟踪脸部区域，并且微笑目标脸部帧350a-350c被显示在这些脸部区域上。因此，在这种技术中，存在当除用户已指定的脸部区域之外的脸部区域是微笑的脸部时执行图像拾取的情况。
[0186](第三修改例子)
[0187]接下来，将描述第三修改例子。如上所述，在跟踪脸部区域的可靠性低的情况下，显示控制部分38既显示脸部跟踪帧又显示身体跟踪帧。然而，在第三修改例子中，即使存在跟踪脸部区域的可靠性低的情况，显示控制部分38也仅显示脸部跟踪帧。在这种情况下，在不再检测到跟踪脸部帧的情况下，脸部跟踪帧立即移至身体跟踪帧(在一帧中)。当然，脸部跟踪帧可被连续地显示某一时间段以防止搜寻。
[0188]将基于图20(a)_(b)描述由第三修改例子执行的处理的例子。图20(a)-(b)是在第三修改例子中显示在显示部分40上的显示图像120的例子。图20(a)中示出的显示图像120类似于图11(c)中示出的显示图像120，并且是在跟踪脸部区域210的可靠性低的情况下显示的图像。另一方面，图20(b)类似于图11(d)，并且是在不再检测到跟踪帧区域的情况下显示的图像。在如图20(a)所示的第三修改例子中，即使跟踪脸部区域210的可靠性变低，也不显示身体跟踪帧420。即使在第三修改例子中，用户也能够准确地理解跟踪目标。
[0189](第四修改例子)
[0190]接下来，将描述第四修改例子。如上所述，在跟踪脸部区域的可靠性低的情况下，显示控制部分38既显示脸部跟踪帧又显示身体跟踪帧。然而，在第四修改例子中，在跟踪脸部区域的可靠性低的情况下，显示控制部分38将显示图像120中的脸部跟踪帧改变为过渡帧，并且不显示身体跟踪帧。然后，显示控制部分38针对每一帧逐渐地将这个过渡帧移至身体跟踪帧的位置。然后，在过渡帧的位置与身体跟踪帧的位置匹配的情况下，显示控制部分38将过渡帧改变为身体跟踪帧。根据第四修改例子，能够可靠地防止搜寻，并且用户能够准确地理解跟踪目标。
[0191]将基于图21(a)_(c)描述由第四修改例子执行的处理的例子。图21(a)_(c)是在第四修改例子中显示在显示部分40上的显示图像120的例子。图21 (a)中示出的显示图像120类似于图11(c)中示出的显示图像120，并且是在跟踪脸部区域210的可靠性低的情况下显示的图像。另一方面，图21(b)和21 (c)类似于图11(d)，并且是在不再检测到跟踪脸部区域的情况下显示的图像。在第四修改例子中，在跟踪脸部区域210的可靠性变低的情况下，显示控制部分38将脸部跟踪帧300改变为过渡帧700。然后，如图21(b)和21(c)中所示，显示控制部分38针对每一帧逐渐地将过渡帧700移至身体跟踪帧的位置。
[0192](第五修改例子)
[0193]接下来，将描述第五修改例子。在第五修改例子中，身体跟踪部分34将脸部跟踪帧叠加在跟踪身体区域上。因此，即使存在跟踪目标变为身体区域的情况，显示控制部分38也显示已叠加脸部跟踪帧的跟踪身体区域。
[0194]将基于图22描述由第五修改例子执行的处理的例子。图22显示与图14(b)的情况类似的情况。然而，在第五修改例子中，脸部跟踪帧300被叠加在人图像200的跟踪身体区域上。即使在这种情况下，用户也能够准确地理解跟踪目标。
[0195](第六修改例子)
[0196]接下来，将描述第六修改例子。在第六修改例子中，在跟踪目标变为身体区域的情况下，脸部检测部分32检测与跟踪身体区域具有规定位置关系的区域作为脸部估计区域。然后，脸部核对部分33将脸部估计帧叠加在脸部估计区域上。另一方面，身体跟踪部分34不将身体跟踪帧叠加在跟踪身体区域上。因此，即使存在跟踪目标变为身体区域的情况，显示控制部分38也显示已叠加脸部估计帧的脸部估计区域。需要注意的是，可在与脸部跟踪帧的模式相似的模式(例如，颜色或形状)下或者在另一模式下显示脸部估计帧。
[0197]将基于图23描述由第六修改例子执行的处理的例子。图23显示与图14(b)的情况类似的情况。然而，在第六修改例子中，脸部估计帧360被叠加在人图像200的脸部估计区域上。即使在这种情况下，用户也能够准确地理解跟踪目标。
[0198](第七修改例子)
[0199]接下来，将描述第七修改例子。在第七修改例子中，身体跟踪部分34将人体帧叠加在跟踪身体区域的整个身体上。需要注意的是，即使存在跟踪目标变为脸部区域的情况，身体跟踪部分34也可将这个人体帧叠加在跟踪身体区域上。
[0200]将基于图24描述由第七修改例子执行的处理的例子。图24显示与图14(b)的情况类似的情况。然而，在第七修改例子中，人体帧370被叠加在人图像200的跟踪身体区域的整个身体上。
[0201](第八修改例子)
[0202]接下来，将描述第八修改例子。在第八修改例子中，身体跟踪部分34将身体跟踪帧叠加在第六修改例子中的跟踪身体区域上。
[0203]将基于图25描述由第八修改例子执行的处理的例子。图25显示与图14(b)的情况类似的情况。然而，在第八修改例子中，脸部估计帧360被叠加在人图像200的脸部估计区域上，并且身体跟踪帧420被叠加在跟踪身体区域上。即使在这种情况下，用户也能够准确地理解跟踪目标。
[0204]<6.结论〉
[0205]以这种方式，图像处理设备I能够合适地在脸部区域和身体区域之间切换跟踪目标。以这种方式，即使存在脸部区域频繁地垂直和水平移动以及脸部检测不稳定的情况，并且即使存在环境(例如，亮度)频繁改变的情况，图像处理设备I也能够更准确地并且连续地跟踪跟踪目标。因此，图像处理设备I可执行跟踪目标的方向和尺寸的改变以及针对环境(诸如，亮度)的改变比较鲁棒的拍摄对象跟踪。另外，由于图像处理设备I能够减小由于不再能够识别跟踪目标而结束跟踪的频率，所以用户重新登记跟踪目标的劳动能够显著减少。
[0206]在图26(a)_(d)中示出的例子中，例如，儿童被描述为显示图像120中的人图像200。由于儿童频繁地移动，所以脸部检测将会不稳定。另外，这个图像在亮度频繁改变的环境(例如，沙滩)中执行图像拾取。
[0207]在能够检测到人图像200的脸部区域的情况下，如图26(a)中所示，图像处理设备I认为脸部区域是跟踪脸部区域210，并且将脸部跟踪帧300叠加在跟踪脸部区域210上。另一方面，图像处理设备I检测与跟踪脸部区域210具有规定位置关系的区域作为跟踪身体区域。也就是说，即使在对脸部区域的跟踪期间，图像处理设备I也识别最新的跟踪身体区域。
[0208]因此，如图26 (b)中所示，即使存在不再能够检测到人图像200的脸部区域的情况，图像处理设备I也能够立即将跟踪目标改变为身体区域，并且能够将身体跟踪帧420叠加在跟踪身体区域上。
[0209]其后，在再次检测到人图像200的脸部区域的情况下，如图26(c)中所示，图像处理设备I认为这个脸部区域是新脸部区域。然后，由于新脸部区域与跟踪身体区域具有规定位置关系，所以图像处理设备I认为新脸部区域是跟踪脸部区域210，并且将脸部跟踪帧300叠加在跟踪脸部区域210上。接下来，另一方面，图像处理设备I检测与跟踪脸部区域210具有规定位置关系的区域作为跟踪身体区域。也就是说，即使在对脸部区域的跟踪期间，图像处理设备I也识别最新的跟踪身体区域。
[0210]因此，如图26(d)中所示，即使存在不再能够检测到人图像200的脸部区域的情况，图像处理设备I也能够立即将跟踪目标改变为身体区域，并且能够将身体跟踪帧420叠加在跟踪身体区域上。
[0211]在上述本实施例中，图像处理设备I检测与拾取的图像中的脸部区域具有规定位置关系的区域作为身体区域，并且跟踪身体区域。因此，即使存在不能检测到脸部区域的情况，由于图像处理设备I能够跟踪身体区域，所以也能够更可靠地执行对人的跟踪。
[0212]另外，由于图像处理设备I基于脸部区域的特征检测身体区域，所以能够更准确地检测身体区域。
[0213]另外，由于脸部区域的方向、脸部区域的尺寸、脸部区域内的各部分的位置、世代信息和性别信息中的至少一个被包括在脸部区域的特征中，所以图像处理设备I能够更准确地检测身体区域。
[0214]另外，由于脸部区域的滚动方向、偏航方向和俯仰方向中的至少一个被包括在脸部区域的方向中，所以图像处理设备I能够更准确地检测身体区域。
[0215]另外，由于图像处理设备I从拾取的图像检测脸部区域，确定脸部区域和身体区域中的至少一个作为跟踪目标，并且跟踪跟踪目标，所以即使图像处理设备I遇到不能检测到脸部区域的情况，也能够跟踪身体区域。
[0216]另外，在以前帧中(具体地讲，在前一帧中)检测到脸部区域的情况下，图像处理设备I确定脸部区域作为跟踪目标。因此，在前一帧中检测到脸部区域的情况下，也就是说，在可执行脸部跟踪的情况下，图像处理设备I能够连续地执行脸部跟踪。
[0217]另外，在以前帧中(也就是说，在前一帧中)检测到并且跟踪脸部区域的情况下，图像处理设备I确定脸部区域作为跟踪目标。因此，在前一帧中跟踪脸部区域的情况下，也就是说，在可执行脸部跟踪的情况下，图像处理设备I能够连续地执行脸部跟踪。
[0218]另外，在对脸部区域的跟踪期间的脸部区域的可靠性等于或低于规定值的情况下，由于图像处理设备I开始对身体区域的跟踪，所以能够更准确而可靠地跟踪人体。
[0219]另外，在对身体区域的跟踪期间检测到脸部区域并且脸部区域和身体区域具有规定位置关系的情况下，图像处理设备I确定脸部区域作为跟踪目标。因此，在检测到构成与身体区域的拍摄对象相同的拍摄对象的脸部区域的情况下，图像处理设备I能够立即重新开始脸部跟踪。
[0220]另外，在以前帧中(也就是说，在前一帧中)未检测到脸部区域并且脸部区域和身体区域具有规定位置关系的情况下，图像处理设备I确定脸部区域作为跟踪目标。因此，在身体区域和脸部区域构成不同的拍摄对象的情况下并且即使它们的位置关系是暂时规定位置关系，图像处理设备I也能够不将跟踪目标移至脸部区域。
[0221]另外，在拾取的图像和显示跟踪目标的跟踪帧(脸部跟踪帧或身体跟踪帧)被显示在显示部分40上并且跟踪目标已改变的情况下，图像处理设备I既显示脸部跟踪帧又显示身体跟踪帧。因此，用户能够更准确地理解跟踪目标。
[0222]另外，图像处理设备I在与跟踪目标的类型对应的模式下显示跟踪帧。也就是说，在跟踪目标变为脸部区域的情况下，图像处理设备I将脸部跟踪帧叠加在脸部区域上，并且在跟踪目标变为身体区域的情况下，图像处理设备I将身体跟踪帧叠加在身体区域上。因此，用户能够更准确地理解跟踪目标的类型。
[0223]另外，在拾取的图像和跟踪帧被显示在显示部分40上并且跟踪目标已改变的情况下，由于图像处理设备I执行从改变之前的跟踪目标到改变之后的跟踪目标的过渡帧的过渡，所以能够防止搜寻。因此，用户能够更准确地理解跟踪目标。
[0224]本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。
[0225]另外，本技术也可构造如下。
[0226](I) 一种图像处理系统，包括:脸部检测单元，用于在图像中检测脸部；和部分区域检测单元，用于基于在图像中检测到的脸部的位置检测图像的部分区域。
[0227](2)如(I)所述的图像处理系统，还包括:跟踪确定单元，用于基于预定条件选择脸部和部分区域中的至少一个以进行跟踪并且跟踪选择的脸部和部分区域中的至少一个。
[0228](3)如(I)和⑵中任何一项所述的图像处理系统，还包括:脸部核对单元，用于核对由脸部检测单元检测到的脸部的至少一部分与存储的脸部信息的列表。
[0229](4)如⑴至⑶中任何一项所述的图像处理系统，还包括:透镜；图像拾取单元，用于通过透镜捕捉图像；和显示器，用于显示图像以及显示对选择的脸部和部分区域中的至少一个的跟踪。
[0230](5)如⑵所述的图像处理系统，其中所述预定条件包括脸部跟踪的可靠性，脸部跟踪的可靠性随着脸部的旋转角度增加而减小。
[0231](6)如⑵或(5)中任何一项所述的图像处理系统，其中所述跟踪确定单元在脸部跟踪的可靠性高于预定阈值时选择脸部以进行跟踪。
[0232](7)如(2)、(5)或(6)中任何一项所述的图像处理系统，其中所述跟踪确定单元在脸部跟踪的可靠性等于或低于所述预定阈值时选择脸部和部分区域以进行跟踪。
[0233](8)如(2)、(5)、(6)或(7)中任何一项所述的图像处理系统，其中所述跟踪确定单元在未检测到脸部时选择部分区域以进行跟踪。
[0234](9)如(I)至(8)中任何一项所述的图像处理系统，其中所述部分区域检测单元基于在图像中检测到的脸部的取向检测部分区域。
[0235](10)如(I)至(9)中任何一项所述的图像处理系统，其中所述检测到的部分区域的至少一部分在脸部垂直布置时在脸部下方延伸。
[0236](11)如(I)至(10)中任何一项所述的图像处理系统，其中所述检测到的部分区域的至少一部分在脸部向左侧倾斜时向脸部的右侧延伸。
[0237](12)如⑴至(11)中任何一项所述的图像处理系统，其中所述检测到的部分区域的至少一部分在脸部向右侧倾斜时向脸部的左侧延伸。
[0238](13)如⑵所述的图像处理系统，其中所述跟踪确定单元基于所述预定条件直接从跟踪脸部切换到跟踪部分区域。
[0239](14)如(7)所述的图像处理系统，其中所述脸部检测单元基于部分区域的位置识别脸部估计区域。
[0240](15)如⑵至(14)中任何一项所述的图像处理系统，还包括:显示图像的显示单元，其中跟踪的指示基于对脸部和部分区域中的至少一个的选择而被叠加在图像上。
[0241](16)如(15)所述的图像处理系统，其中所述指示包括叠加在图像上的框。
[0242](17)如(15)至(16)中任何一项所述的图像处理系统，其中当既跟踪脸部又跟踪部分区域时，所述指示包括叠加在脸部上的第一框和叠加在部分区域上的第二框。
[0243](18)如(15)至(17)中任何一项所述的图像处理系统，其中当既跟踪脸部又跟踪部分区域时，所述框被叠加在脸部和部分区域上方。
[0244](19) 一种图像处理方法，包括:在脸部检测单元中，在图像中检测脸部；以及在部分区域检测单元中，基于在图像中检测到的脸部的位置检测图像的部分区域。
[0245](20) 一种非暂态计算机可读介质，该计算机可读介质利用它上面的计算机可读指令而被编码，当计算机可读指令由计算机执行时，计算机可读指令使计算机执行一种方法，该方法包括:在图像中检测脸部；以及基于在图像中检测到的脸部的位置检测图像的部分区域。
[0246](21) —种图像处理设备，包括:
[0247]跟踪部分，基于拾取的图像中的脸部区域检测拍摄对象的部分区域并且跟踪所述部分区域。
[0248](22)如(21)所述的图像处理设备，其中所述部分区域与脸部区域具有规定位置关系。
[0249](23)如(22)所述的图像处理设备，其中所述跟踪部分从拾取的图像检测脸部区域，确定脸部区域和部分区域中的至少一个作为跟踪目标，并且跟踪跟踪目标。
[0250](24)如(23)所述的图像处理系统，其中所述跟踪部分在脸部区域和部分区域之间切换跟踪目标。
[0251](25)如(24)所述的图像处理设备，其中在每次检测到脸部区域时脸部区域被登记在脸部区域列表中并且当前帧的脸部区域与脸部区域列表中登记的脸部区域匹配的情况下，所述跟踪部分确定该脸部区域作为跟踪目标。
[0252](26)如(24)所述的图像处理系统，其中在当前帧的脸部区域与在以前帧中跟踪的脸部区域匹配的情况下，所述跟踪部分确定该脸部区域作为跟踪目标。
[0253](27)如(24)至(26)中任何一项所述的图像处理设备，其中在对脸部区域的跟踪期间的脸部区域的可靠性变为等于或低于规定值的情况下，所述跟踪部分开始对部分区域的跟踪。
[0254](28)如(24)至(27)中任何一项所述的图像处理设备，其中在对部分区域的跟踪期间检测到脸部区域并且脸部区域和部分区域具有所述规定位置关系的情况下，所述跟踪部分确定该脸部区域作为跟踪目标。
[0255](29)如(28)所述的图像处理设备，其中在以前帧中未检测到脸部区域并且脸部区域和部分区域具有所述规定位置关系的情况下，所述跟踪部分确定该脸部区域作为跟踪目标。
[0256](30)如(24)至(29)中任何一项所述的图像处理设备，其中在拾取的图像和显示跟踪目标的跟踪目标通知图像被显示在显示部分上并且跟踪目标已改变的情况下，所述跟踪部分既显示改变之前的跟踪目标的跟踪目标通知图像又显示改变之后的跟踪目标的跟踪目标通知图像。
[0257](31)如(24)至(30)中任何一项所述的图像处理设备，其中所述跟踪部分在显示部分上显示拾取的图像，并且在与跟踪目标的类型对应的模式下在显示部分上显示显示跟踪目标的跟踪目标通知图像。
[0258](32)如(24)至(29)中任何一项所述的图像处理设备，其中在拾取的图像和显示跟踪目标的跟踪目标通知图像被显示在显示部分上并且跟踪目标已改变的情况下，所述跟踪部分执行从改变之前的跟踪目标到改变之后的跟踪目标的跟踪目标通知图像的过渡。
[0259](33)如(21)至(32)中任何一项所述的图像处理设备，其中所述跟踪部分基于脸部区域的特征检测部分区域。
[0260](34)如(33)所述的图像处理设备，其中所述脸部区域的方向、脸部区域的尺寸、脸部区域的移动、脸部区域内的各部分的位置、世代信息和性别信息中的至少一个被包括作为脸部区域的特征。
[0261](35)如(34)所述的图像处理设备，其中所述脸部区域的滚动方向、偏航方向和俯仰方向中的至少一个被包括作为脸部区域的方向。
[0262](36) —种图像处理方法，包括:
[0263]基于拾取的图像中的脸部区域检测拍摄对象的部分区域并且跟踪部分区域。
[0264](37) 一种程序，用于使计算机实现下述功能:
[0265]基于拾取的图像中的脸部区域检测拍摄对象的部分区域并且跟踪部分区域。
[0266]标号列表
[0267]I 图像处理设备
[0268]10 透镜
[0269]20图像拾取部分
[0270]30活体跟踪部分
[0271]31图像存储器
[0272]32脸部检测部分
[0273]33脸部核对部分
[0274]34身体跟踪部分
[0275]35跟踪目标确定部分
[0276]36身体区域检测部分
[0277]37特征量提取部分
[0278]38显示控制部分
[0279]40显示部分
[0280]50外部接口
【权利要求】
1.一种图像处理系统,包括: 脸部检测单元，在图像中检测脸部；和 部分区域检测单元，基于在图像中检测到的脸部的位置检测图像的部分区域。
2.如权利要求1所述的图像处理系统，还包括: 跟踪确定单元，基于预定条件选择脸部和部分区域中的至少一个以进行跟踪并且跟踪选择的脸部和部分区域中的至少一个。
3.如权利要求2所述的图像处理系统，还包括: 脸部核对单元，核对由脸部检测单元检测到的脸部的至少一部分与存储的脸部信息的列表。
4.如权利要求3所述的图像处理系统，还包括: 透镜； 图像拾取单元，通过透镜捕捉图像；和 显示器，显示图像以及显示对选择的脸部和部分区域中的至少一个的跟踪。
5.如权利要求2所述的图像处理系统，其中所述预定条件包括脸部跟踪的可靠性，脸部跟踪的可靠性随着脸部的旋转角度增加而减小。
6.如权利要求5所述的图像处理系统，其中所述跟踪确定单元在脸部跟踪的可靠性高于预定阈值时选择脸部以进行跟踪。
7.如权利要求6所述的图像处理系统，其中所述跟踪确定单元在脸部跟踪的可靠性等于或低于所述预定阈值时选择脸部和部分区域以进行跟踪。
8.如权利要求7所述的图像处理系统，其中所述跟踪确定单元在未检测到脸部时选择部分区域以进行跟踪。
9.如权利要求1所述的图像处理系统，其中所述部分区域检测单元基于在图像中检测到的脸部的取向检测部分区域。
10.如权利要求9所述的图像处理系统，其中检测到的部分区域的至少一部分在脸部垂直取向时在脸部下方延伸。
11.如权利要求10所述的图像处理系统，其中检测到的部分区域的至少一部分在脸部向左侧倾斜时向脸部的右侧延伸。
12.如权利要求11所述的图像处理系统，其中检测到的部分区域的至少一部分在脸部向右侧倾斜时向脸部的左侧延伸。
13.如权利要求2所述的图像处理系统，其中所述跟踪确定单元基于所述预定条件直接从跟踪脸部切换到跟踪部分区域。
14.如权利要求7所述的图像处理系统，其中所述脸部检测单元基于部分区域的位置识别脸部估计区域。
15.如权利要求2所述的图像处理系统，还包括: 显示图像的显示单元，其中跟踪的指示基于对脸部和部分区域中的至少一个的选择而被叠加在图像上。
16.如权利要求15所述的图像处理系统，其中所述指示包括叠加在图像上的框。
17.如权利要求16所述的图像处理系统，其中当既跟踪脸部又跟踪部分区域时，所述指示包括叠加在脸部上的第一框和叠加在部分区域上的第二框。
18.如权利要求16所述的图像处理系统，其中当既跟踪脸部又跟踪部分区域时，所述框被叠加在脸部和部分区域两者上方。
19.一种图像处理方法，包括: 在脸部检测单元中，在图像中检测脸部；以及 在部分区域检测单元中，基于在图像中检测到的脸部的位置检测图像的部分区域。
20.一种非暂态计算机可读介质，该计算机可读介质利用它上面的计算机可读指令而被编码，当计算机可读指令由计算机执行时，计算机可读指令使计算机执行一种方法，该方法包括: 在图像中检测脸部；以及 基于在图像中检测到的脸 部的位置检测图像的部分区域。
【文档编号】H04N5/232GK104081757SQ201380007191
【公开日】2014年10月1日 申请日期:2013年1月28日 优先权日:2012年2月6日
【发明者】村上正典, 德世明, 辻村贵 申请人:索尼公司