被摄体区域跟踪设备及其控制方法

被摄体区域跟踪设备及其控制方法
【专利摘要】本发明提供一种被摄体区域跟踪设备及其控制方法。被摄体区域跟踪设备具有：面部检测单元，用于基于面部的特征量，从所提供的图像检测面部区域；人身体检测单元，用于基于人身体的特征量，检测人身体的区域；以及主被摄体判断单元，用于通过使用面部检测单元和人身体检测单元的检测结果，获得每一个被摄体的优先级，并且判断高优先级的主被摄体；其中，对于仅通过人身体检测单元所检测到的被摄体，根据面部检测单元的被摄体的过去的检测结果，改变优先级。
【专利说明】被摄体区域跟踪设备及其控制方法
【技术领域】
[0001]本发明涉及一种被摄体区域跟踪设备及其控制方法和程序。
【背景技术】
[0002]一种用于从图像自动检测特定被摄体模式的图像处理技术是有用的，并且使用该图像处理技术来例如指定人的面部的区域。在诸如通信会议系统、人机界面、安保系统、用于跟踪人的面部的监视系统和图像压缩等的许多领域下，可以使用这类图像处理技术。在诸如数字照相机或数字摄像机等的摄像设备中，从拍摄图像检测特定被摄体，并且将检测结果设置为控制对象，从而优化焦点和曝光。例如，日本特开2005-318554公开了一种摄像设备，该摄像设备检测图像中的人的面部的位置以聚焦于该面部，并且在对于该面部最佳的曝光下拍摄图像。日本特开2009-211311也提出了用于从图像检测人身体的上半身、并且对人的数量进行计数的图像处理设备和方法。
[0003]然而，当从图像检测到人的面部时，在由于人向后等，因而没有充分获得面部的特征的情况下，不能检测到该面部。在从图像检测到人身体的上半身的情况下，即使人向后，也可以检测到上半身。然而，如果人处于特殊姿势，或者如果在图像中不存在人身体的上半身的区域的一部分，不能检测到上半身。也就是说，可检测状况根据被摄体的检测方法而改变。因此，为了减少不能检测到被摄体的状况和提高检测率，考虑一起使用不同检测方法的方法。例如，通过对于未能检测到其面部的被摄体使用人身体的检测的结果，可以提高被摄体的检测率。
[0004]有一种主被摄体判断技术，该技术用于从所检测到的被摄体中选择在诸如聚焦等的摄像控制时所使用的被摄体(主被摄体)。在检测到多个被摄体的情况下，使用这类技术来例如从这些被摄体中选择要进行焦点和曝光的调整的一个主被摄体。需要该主被摄体判断技术来自动判断用户想要拍摄的目标拍摄被摄体。
[0005]通过从图像检测人身体，即使在被摄体向后、并且不能看见面部的状态下，也可以检测到被摄体。然而，即使检测到了面部，也存在用户不想选择该面部作为主被摄体的情况。例如，在儿童等始终运动的场景下，为了提高被摄体的检测和跟踪的稳定性，用户也希望使用在人向后等时的检测数据作为主被摄体的数据。在拍摄吉祥物正在跳舞的这类表演时，存在将向后的观众碰巧拍摄进照片中的情况。在这类场景下，即使检测到了向后的观众，用户也不希望选择这类图像作为主被摄体。

【发明内容】

[0006]考虑到上述问题做出本发明，并且本发明的一个方面是使得在被摄体区域跟踪设备中，能够根据从图像所检测到的被摄体利用多个不同检测方法来适当选择主被摄体。
[0007]根据本发明的一个方面，提供一种被摄体区域跟踪设备，其用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述被摄体区域跟踪设备包括:第一检测部件，用于基于第一特征量，从所述图像检测预定被摄体区域；第二检测部件，用于基于不同于所述第一特征量的第二特征量，从所述图像检测预定被摄体区域；以及主被摄体判断部件，用于通过使用所述第一检测部件的检测结果和所述第二检测部件的检测结果来获得每一个被摄体的优先级，并且从被摄体中判断高优先级的主被摄体，其中，对于所述第一检测部件未检测到的、但是所述第二检测部件检测到了的被摄体，所述主被摄体判断部件根据该被摄体的在所述第一检测部件中的过去的检测结果来改变优先级。
[0008]根据本发明的另一方面，提供一种被摄体区域跟踪设备，其用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述被摄体区域跟踪设备包括:第一检测部件，用于从所述图像检测被摄体的面部区域；第二检测部件，用于从所述图像检测不同于被摄体的面部区域的预定区域；以及主被摄体判断部件，用于基于所述第一检测部件的检测结果和所述第二检测部件的检测结果，确定主被摄体，其中，所述主被摄体判断部件从包括过去的被摄体的、所述第一检测部件检测到了面部区域的被摄体中，选择所述主被摄体。
[0009]根据本发明的又一方面，提供一种摄像设备，其包括:摄像部件，用于提供拍摄图像；上述的被摄体区域跟踪设备；以及控制部件，用于根据所述被摄体区域跟踪设备所输出的被摄体的信息，控制所述摄像部件中的摄像条件。
[0010]根据本发明的又一方面，提供一种显示设备，其包括:显示部件，用于显示所提供的图像；上述的被摄体区域跟踪设备；以及控制部件，用于根据所述被摄体区域跟踪设备所输出的被摄体的信息，控制所述显示部件中的图像的显示条件。
[0011 ] 根据本发明的一方面，提供一种被摄体区域跟踪设备的控制方法，其中，所述被摄体区域跟踪设备用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述控制方法包括以下步骤:第一检测步骤，用于基于第一特征量，从所述图像检测预定被摄体区域；第二检测步骤，用于基于不同于所述第一特征量的第二特征量，从所述图像检测预定被摄体区域；以及主被摄体判断步骤，用于通过使用所述第一检测步骤的检测结果和所述第二检测步骤的检测结果来获得每一个被摄体的优先级，并且从被摄体中判断高优先级的主被摄体，其中，在所述主被摄体判断步骤中，对于在所述第一检测步骤中未检测到的、但是在所述第二检测步骤中检测到了的被摄体，根据该被摄体的在所述第一检测步骤中的过去的检测结果来改变优先级。
[0012]根据本发明的一方面，提供一种被摄体区域跟踪设备的控制方法，其中，所述被摄体区域跟踪设备用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述控制方法包括以下步骤:第一检测步骤，用于从所述图像检测被摄体的面部区域；第二检测步骤，用于从所述图像检测不同于被摄体的面部区域的预定区域；以及主被摄体判断步骤，用于基于所述第一检测步骤的检测结果和所述第二检测步骤的检测结果，确定主被摄体，其中，在所述主被摄体判断步骤中，从包括过去的被摄体的、在所述第一检测步骤中检测到了面部区域的被摄体中，选择所述主被摄体。
[0013]通过以下参考附图对典型实施例的说明，本发明的其他特征将显而易见。
【专利附图】

【附图说明】
[0014]包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。[0015]图1是示出根据本发明实施例的摄像设备的结构的例子的图。
[0016]图2是示出实施例中的检测结果整合单元的结构的例子的图。
[0017]图3是示出实施例中的摄像设备的处理的例子的流程图。
[0018]图4是用于说明实施例中的帧内相关判断单元的处理的图。
[0019]图5是示出实施例中的主被摄体判断的处理的流程图。
[0020]图6A和6B是用于说明实施例中的主被摄体判断的优先级的图。
[0021]图7是示出可以实现根据本发明实施例的被摄体区域跟踪设备的计算机功能的图。
【具体实施方式】
[0022]下面参考附图详细说明本发明的各种典型实施例、特征和方面。
[0023]图1是示出根据本发明实施例的具有被摄体区域跟踪设备的摄像设备100的结构的例子的框图。本实施例的摄像设备100具有:面部检测单元109，用于将目标检测被摄体的被摄体区域设置为人面部的区域，并且从图像检测人面部区域；以及人身体检测单元110，用于检测人身体的区域。
[0024]在摄像设备100中，通过包括摄像透镜的摄像光学系统101转换用于形成被摄体图像的光，并且该光入射至摄像元件102。摄像元件102是例如电荷耦合装置(CCD)图像传感器或者互补金属氧化物半导体(CMOS)图像传感器。摄像元件102具有各自具有光电转换元件的多个像素，并且以像素为单元输出与输入光的强度相对应的电信号。也就是说，从摄像元件102输出的电信号是通过利用摄像元件102对示出入射被摄体图像的光进行光电转换所获得的信号，并且是示出包括通过摄像元件102所拍摄的被摄体图像的图像的模拟图像信号。
[0025]模拟信号处理单元103对从摄像元件102输出的图像信号进行诸如相关双采样(CDS)等的模拟信号处理。AD (模拟/数字)转换单元104将从模拟信号处理单元103输出的模拟图像信号转换成数字数据的格式。将通过AD转换单元104转换成数字格式的图像信号输入给控制单元105和图像处理单元106。
[0026]控制单元105是中央处理单元(CPU)或者微控制器等，并且集中控制摄像设备100的操作。控制单元105将存储在只读存储器(ROM)(未示出)中的程序代码展开在随机存取存储器(RAM)(未示出)中的工作区域，并且顺序进行执行，从而控制摄像设备100的各功能单元。
[0027]图像处理单元106对输入的数字格式的图像信号执行诸如伽马校正或者白平衡处理等的图像处理。除普通图像处理以外，图像处理单元106还具有用于使用与从稍后描述的主被摄体判断单元112所提供的图像中的特定被摄体区域有关的信息，执行图像处理的功能。
[0028]显示单元107是例如液晶显示器(IXD)或者有机电致发光(EL)显示器等，并且基于从图像处理单元106所提供的图像信号来显示图像。摄像设备100以时序方式将通过摄像元件102所顺序拍摄的图像显示在显示单元107上，从而使得显示单元107用作电子取景器(EVF)。显示单元107可以显示通过稍后描述的主被摄体判断单元112所选择的被摄体区域的一部分等。可以将从图像处理单元106所输出的图像信号记录在记录介质108中。记录介质108是例如可从摄像设备100拆卸的存储卡。记录图像信号的记录介质可以是被内置在摄像设备100中的存储器、或者与摄像设备100连接的外部设备，从而使得其可以与摄像设备100进行通信。
[0029]面部检测单元109是第一检测单元的例子。面部检测单元109接收从图像处理单元106所提供的图像信号，检测图像中的预定目标被摄体，并且指定被摄体区域。面部检测单元109从图像指定人面部区域作为被摄体区域。如果在图像中存在多个人的面部，则检测数量与人的数量一样的区域。作为面部检测单元109的检测方法，可以采用众所周知的面部检测方法。在与面部检测有关的相关技术中，例如，存在下面的方法:使用与面部有关的知识(肤色信息、或者诸如眼、鼻、口等的部分等)的方法和通过以神经网络为代表的学习算法构成用于面部检测的识别器的方法等。在面部检测中，为了提高识别率，通常通过组合这些方法来进行面部识别。例如，如日本特开2002-251380所述，提及了一种通过使用小波变换和图像特征量等来进行面部检测的方法。将面部检测单元107的检测结果提供给稍后描述的检测结果整合单元111。
[0030]人身体检测单元110是第二检测单元的例子。人身体检测单元110接收从图像处理单元106所提供的图像信号，将目标被摄体区域设置成人身体的上半身的区域，并且从图像检测预定区域。如果在图像中存在多个人，则检测数量与人的数量一样的区域。作为人身体检测单元110的检测方法，例如，可以使用日本特开2009-211311等所述的方法。在本实施例中，人身体检测单元110将人身体的局部上半身的轮廓的边缘强度设置成局部特征量，并且检测人身体的上半身的区域。作为用于从图像提取特征量的方法，存在诸如Sobel滤波器、Prewitt滤波器和Haar滤波器等的各种类型的方法。根据通过人识别器所提取的局部特征量，区分人身体的上半身和人身体的非上半身。基于诸如AdaBoost学习等的机器学习，进行人识别器的识别。将人身体检测单元110中的检测结果提供给稍后描述的检测结果整合单元111。
[0031]检测结果整合单元111将面部检测单元109中的检测结果与人身体检测单元110中的检测结果进行比较，整合同一被摄体的检测结果，并且将整合的结果提供给主被摄体判断单元112。检测结果整合单元111在同一被摄体和不同时间的检测结果中的该被摄体的检测结果之间进行对应。也就是说，通过判断同一被摄体在时间轴方向上的检测结果，检测结果整合单元111起着跟踪被摄体的作用。稍后将详细说明检测结果整合单元111。
[0032]基于从检测结果整合单元111所提供的检测结果，主被摄体判断单元112从所检测到的被摄体中确定主要处理的被摄体(主被摄体)。将与所确定的主被摄体有关的信息提供给例如控制单元105和图像处理单元106。主被摄体判断单元112根据所检测到的被摄体的当前面部检测和过去面部检测的检测结果，判断是否选择仅通过人身体检测单元110所检测到的被摄体作为主被摄体的候选。如果存在多个主被摄体的候选，则主被摄体判断单元112基于图像中所检测到的被摄体的位置和大小，选择主被摄体。稍后将详细说明主被摄体判断单元112的处理。
[0033]控制单元105在例如通过摄像元件102拍摄被摄体时，可以控制诸如焦点状态和曝光状态等的摄像条件。例如，控制单元105基于从AD转换器104所输出的图像信号，控制摄像光学系统101的焦点控制机构(未示出)和曝光控制机构(未示出)。例如，焦点控制机构是用于驱动摄像光学系统101中所包括的摄像透镜的致动器等，并且曝光控制机构是用于驱动摄像光学系统101中所包括的光圈和快门的致动器等。
[0034]在焦点控制机构和曝光控制机构的控制中，控制单元105可以使用从主被摄体判断单元112所提供的被摄体区域的信息。例如，控制单元105可以使用被摄体区域的对比度值进行焦点控制，并且可以使用被摄体区域的亮度值进行曝光控制。因此，摄像设备100具有用于在考虑拍摄图像中的特定被摄体区域的情况下，在摄像条件下执行摄像处理的功能。控制单元105还控制摄像元件102的读出，例如摄像元件102的输出定时和输出像素等。在图1所示的结构中，通过例如图像处理单元106、面部检测单元109、人身体检测单元110、检测结果整合单元111和主被摄体判断单元112，实现作为根据本实施例的被摄体区域跟踪设备的功能。
[0035]图2是示出检测结果整合单元111的结构的例子的框图。检测结果整合单元111具有面部检测结果获取单元201、人身体检测结果获取单元202、区域估计单元203、帧内相关判断单元204和帧间相关判断单元205。
[0036]面部检测结果获取单元201获得通过面部检测单元109所检测到的结果。作为检测结果，面部检测结果获取单元201获得所检测到的人的数量、示出与所检测到的人的数量一样多的数量的人的图像中的区域的位置和大小、以及检测结果的可靠性等。人身体检测结果获取单元202获得通过人身体检测单元110所检测到的结果。作为检测结果，人身体检测结果获取单元202获得所检测到的人的数量、示出与所检测到的人的数量一样多的数量的人的图像中的区域的位置和大小、以及检测结果的可靠性等。区域估计单元203根据通过人身体检测结果获取单元202所获得的检测结果，估计与通过面部检测单元109所检测到的区域相对应的部分区域。作为估计方法，这里假定，例如，基于面部检测单元109的检测区域和人身体检测单元110的检测区域之间的关系，通过线性变换估计该部分区域。
[0037]帧内相关判断单元204基于由面部检测结果获取单元202所获得的检测结果和由人身体检测结果获取单元202所获得并通过区域估计单元203所估计的检测结果之间在位置和大小方面的类似性，指定同一被摄体的检测结果。假定，面部检测单元109和人身体检测单元110中的每一个基于在相同时间所拍摄的图像，检测到了目标被摄体区域。帧内相关判断单元204将通过面部检测单元109所检测到的被摄体设置成面部检测结果。对于仅由人身体检测单元110所检测到的被摄体，帧内相关判断单元204将区域估计单元203所估计作为与面部区域相对应的部分区域的结果，设置成检测结果。
[0038]帧间相关判断单元205将帧内相关判断单元204的当前检测结果和检测结果整合单元111的紧前一检测结果进行比较，并且指定同一被摄体的检测结果。以与帧内相关判断单元204相同的方式，帧间相关判断单元205基于检测结果之间在位置和大小方面的类似性，指定同一被摄体的检测结果。通过针对帧间相关判断单元205在时间轴方向上的检测结果进行对应，可以参考每一被摄体的过去的检测结果。
[0039]参考图3，说明根据本实施例的摄像设备100中主要与主被摄体判断有关的处理的流程。图像处理单元106读取通过利用AD转换单元104将通过摄像元件102所获得的拍摄图像转换成数字数据所获得的图像，作为输入图像(S301)。随后，面部检测单元109基于面部的特征量数据(第一特征量)，从输入图像检测面部区域，并且输出检测数据(S302)。作为面部检测单元109的检测数据，获得图像中的检测结果的数量及检测结果的位置和大小、以及检测结果的可靠性等。人身体检测单元110基于人身体的特征量数据(第二特征量)从输入图像检测人身体的区域，并且输出检测数据(S303)。作为人身体检测单元110的检测数据，获得图像中的检测结果的数量及检测结果的位置、大小和方向、以及检测结果的可靠性等。图3所示的步骤S302和S303的处理顺序没有限制。
[0040]随后，检测结果整合单元111通过在同一帧(在相同时间所拍摄的图像)所获得的面部检测单元109的检测结果和人身体检测单元110的检测结果之间的帧内相关判断，整合两种类型的检测结果(S304)。参考图4，说明检测结果整合单元111的帧内相关判断单元204的检测结果的整合处理。在图4中，附图标记401?405表示在相同时间所拍摄的图像，并且它们的处理步骤不同。在图像401?405中，示意性示出人，并且按照从左开始的顺序示出被摄体A、被摄体B和被摄体C。在图4中，附图标记406?418表示各个处理步骤的检测区域。
[0041]图像401表示通过面部检测结果获取单元201所获得的面部检测结果。如实线的矩形406和407所不，在被摄体A和B中，检测到面部区域，并且在被摄体C中，由于被摄体C向后，因而假定没有检测到面部区域。图像402表示通过人身体检测结果获取单元202所获得的人身体检测结果。如实线的矩形408和409所示，在被摄体B和C中，检测到了面部区域，并且在被摄体A中，假定由于姿势的影响，因而没有检测到人身体的区域。
[0042]图像403表示通过区域估计单元203根据人身体检测结果获取单元202的结果估计与由面部检测单元109所检测到的面部区域相对应的部分区域的结果。虚线的矩形410表示从通过实线的矩形408所示的人身体的区域而估计的结果。虚线的矩形411表示从通过实线的矩形409所示的人身体的区域而估计的结果。
[0043]图像404表示帧内相关判断单元204的处理的状态。假定实线的矩形412和413是通过面部检测结果获取单元201所获得的检测结果。假定虚线的矩形414和415是通过人身体检测结果获取单元202所获得的、并且通过区域估计单元203所估计的检测结果。在通过实线的矩形412和413所示的检测结果和通过虚线的矩形414和415所示的检测结果中，帧内相关判断单元204计算候选的区域形状和位置坐标的类似度。如果所计算出的类似度等于或大于预定阈值，则帧内相关判断单元204判断为检测结果是同一被摄体的检测结果。如果所计算出的类似度小于预定阈值，则判断为检测结果是不同被摄体的检测结果。在图4所示的图像404的例子中，矩形413和414被判断为是同一被摄体的检测结果。在其他组合中，判断为它们是不同被摄体的检测结果。
[0044]图像405表示作为帧内相关判断单元204的处理的结果的、通过整合面部检测的数据和人身体检测的数据所获得的结果。在被摄体A和B中，由于它们具有面部检测的结果，因而使用该面部检测结果作为整合数据。另一方面，在被摄体C中，由于仅检测到了人身体的检测结果，因而使用通过根据人身体检测结果来估计面部区域所获得的结果，作为整合数据。因此，通过实线的矩形416和417所示的检测结果，是通过面部检测结果获取单元201所获得的检测结果，并且通过实线的矩形418所示的检测结果，是通过区域估计单元203所估计的面部区域。
[0045]返回至图3，在步骤S304通过帧内相关判断整合面部检测的数据和人身体检测的数据之后，进行帧间相关判断单元205的帧间相关判断(S305)。在帧间相关判断中，在检测结果整合单元111的紧前一检测结果和帧内相关判断的当前检测结果中，指定同一被摄体的检测结果。尽管帧内相关判断单元204进行针对同一时间的图像的不同检测数据的相关判断，但是帧间相关判断单元205进行不同时间的检测数据的相关判断。以与帧内相关判断单元204相同的方式，帧间相关判断单元205基于检测结果的位置和大小的类似性，指定同一被摄体的检测结果。通过帧间相关判断单元205的帧间相关判断，可以在时间轴方向上指定同一被摄体。换句话说，使得完成被摄体在时间轴方向上的对应，这意味着正在跟踪被摄体。
[0046]随后，主被摄体判断单元112执行用于从检测结果整合单元111所获得的检测数据中选择主被摄体的候选、并且确定主被摄体的主被摄体判断处理(S306)。摄像设备100基于所确定的主被摄体的信息，执行摄像控制和图像处理(S307)。随后，当获得新的拍摄图像时，重复执行上述步骤S301?S307的处理。
[0047]参考图5说明图3所示步骤S306的主被摄体判断单元112的主被摄体判断处理的流程。首先，对于通过检测结果整合单元111所检测到的所有被摄体，主被摄体判断单元112判断是否执行主被摄体判断的优先级的计算(S501)。如果存在未进行优先级的计算的所检测到的被摄体(S501为“否”)，则主被摄体判断单元112确认被摄体的当前帧中的检测结果(S502)。假定检测结果示出通过面部检测和/或人身体检测而检测到了被摄体。
[0048]在仅通过人身体检测单元110的人身体检测而检测到被摄体的情况下(S502为“是”)，主被摄体判断单元112判断被摄体的过去检测结果是否包括面部检测单元109的面部检测(S503)。在所检测到的被摄体的过去不存在面部检测结果的情况下(S503为“否”)，主被摄体判断单元112将该被摄体的优先级当作为O (S504)。处理程序返回至步骤S501。另一方面，在所检测到的被摄体包括过去的面部检测结果的情况下(S503为“是”)，主被摄体判断单元112基于位置和大小等，计算被摄体的优先级(S505)。如果当前帧中的检测状态不是仅基于人身体检测单元110的人身体检测(S502为“否”)，则主被摄体判断单元112基于位置和大小等，计算被摄体的优先级(S505)。在计算优先级之后，处理程序返回至步骤S501。
[0049]换句话说，在所检测到的被摄体包括当前和过去的面部检测单元109的面部检测中的检测数据的情况下，主被摄体判断单元112将所检测到的被摄体设置为主被摄体的候选，并且执行优先级的计算。如果所检测到的被摄体不包括当前和过去的面部检测单元109的面部检测中的检测数据，则主被摄体判断单元112将优先级设置成0，以表示所检测到的被摄体不是主被摄体的候选。假定将优先级设置成正值、并且其最小值为O。
[0050]参考图6A和6B说明步骤S505的优先级的计算的例子。在图6A中，横轴表示与图像中心的距离，并且纵轴表示优先级计算时的位置权重。以下面的方式设置优先级权重:图像中心和所检测到的被摄体之间的距离越小,则权重越大,并且图像中心和所检测到的被摄体之间的距离越大，则权重越小。在图6B中，横轴表示所检测到的被摄体的大小，并且纵轴表示优先级计算时的大小权重。以下面的方式设置优先级权重:所检测到的被摄体在显示画面上的大小越小，则权重越小，并且所检测到的被摄体在显示画面上的大小越大，则权重越大。如果所检测到的被摄体在显示画面上的大小等于或者小于第一预定大小，则将权重设置成常数。如果所检测到的被摄体在显示画面上的大小等于或大于第二预定大小，则将权重设置成常数。将通过将这些位置权重和大小权重相乘所获得的值当作为优先级。上述优先级计算是一个例子，并且权重的设置不局限于此。作为权重的要素，还可以考虑检测的可靠性或者检测的持续时间等。[0051]返回至图5，如果对于所有所检测到的被摄体完成了优先级计算(S501为“是”)，则主被摄体判断单元112从所检测到的被摄体中选择最高优先级的被摄体(S506)。如果所选择的最高优先级的被摄体的优先级不是O (S507为“是”)，则主被摄体判断单元112选择该被摄体作为主被摄体(S508)。如果所选择的最高优先级的被摄体的优先级等于O (S507为“否”)，则主被摄体判断单元112基于不存在主被摄体来进行处理(S509)。也就是说，如果所有所检测到的被摄体仅是在当前和过去的人身体检测单元HO的人身体检测的被摄体，则产生不存在主被摄体的状态。
[0052]在基于是否存在过去的面部检测单元109的面部检测来进行该判断的前提下，说明了步骤S503的判断处理。除根据是否存在面部检测的判断以外，还可以向判断条件添加面部检测的可靠性、连续性、位置或者大小等。对于下面的例子说明了本发明:在该例子中，在步骤S503，在所检测到的被摄体的过去不存在面部检测结果的情况下，将所检测到的被摄体的优先级设置成O。然而，本发明不局限于此。还可以以下面的方式进行配置:对于在过去不存在面部检测结果的所检测到的被摄体，在步骤S505，以与在过去存在面部检测结果的所检测到的被摄体的情况相同的方式获得优先级，并且将通过将该优先级乘以诸如
0.5等的小于I的系数所获得的值设置成最终优先级。如上所述，通过使用在所检测到的被摄体的过去不存在面部检测结果的情况下将优先级改变成小的值这样的配置，尽管主被摄体始终向后，但是如果其他被摄体向后，也可以选择该主被摄体作为主被摄体。
[0053]如上所述，根据本实施例，在作为被摄体区域跟踪设备中的辅助面部检测的、使用人身体检测的被摄体检测中，在使用基于人身体检测的检测数据的情况下，考虑被摄体的面部检测的检测结果，进行主被摄体判断。因此，可以降低将用户的非目标被摄体选择为主被摄体这一错误。从所检测到的被摄体中适当选择主被摄体，并且可以提高主被摄体的判断精度。更具体地说，在使用多个不同检测方法从图像的被摄体检测中，对于第一检测单元未检测到的、但是第二检测单元检测到了的被摄体，根据第一检测单元中的过去检测结果，改变该被摄体的优先级。因此，可以考虑第一检测单元中的过去检测结果，从所检测到的被摄体中适当选择主被摄体，并且可以提高主被摄体的判断精度。
[0054]本发明的其他实施例
[0055]尽管作为例子，以上对于将被摄体区域跟踪设备应用于摄像设备的情况说明了本实施例，但是应用被摄体区域跟踪设备的设备不局限于摄像设备。例如，可以将用于进行被摄体区域跟踪的被摄体区域跟踪设备应用于用于显示从外部设备或记录介质等所提供的图像(再现数据)的显示设备。在该显示设备中，使用再现数据作为被摄体区域跟踪处理的数据，并且执行被摄体区域跟踪处理。基于通过被摄体区域跟踪处理所提取的被摄体的信息(图像中的被摄体的位置和大小等)，显示设备中的诸如微控制器等的控制单元，控制显示图像时的显示条件。具体地说，将诸如框等的、示出被摄体的信息叠加显示至图像中的被摄体的位置，或者进行根据被摄体区域的亮度和色度信息的显示图像的亮度和色调等的控制。
[0056]还通过执行下面的处理实现本发明。也就是说，通过网络或者各种类型的记录介质将用于实现上述实施例的功能的软件(程序)提供给系统或设备，并且该系统或设备的计算机(或者CPU或MPU等)读出该程序，而且根据该程序执行该处理。
[0057]例如,上述实施例所示的被摄体区域跟踪设备具有如图7所示的计算机功能700,并且通过CPU 701执行上述实施例中的操作。如图7所示，计算机功能700具有CPU 701、ROM 702和RAM 703。计算机功能700还具有:操作单元(CONS)的控制器(CONSC) 705和诸如IXD等的用作为显示单元的显示器(DISP) 710的显示控制器(DISPC) 706。此外，计算机功能700具有:硬盘(HD) 711的控制器(DCONT) 707和诸如软盘等的存储装置(STD) 712、以及网络接口卡(NIC) 708。这些功能单元701、702、703、705、706、707和708通过系统总线704连接，从而使得它们可以相互通信。
[0058]CPU 701执行存储在ROM 702或HD 711中的软件、或者从STD 712所提供的软件，从而集中控制与系统总线704连接的各结构单元。也就是说，CPU701从ROM 702,HD 711或STD 712读出用于执行上述操作的处理程序，并且执行该处理程序，从而进行用于实现上述实施例中的操作的控制。RAM703用作CPU 701的主存储器或者工作区。
[0059]CONSC 705 控制从CONS 709 输入的指示。DISPC 706 控制DISP 710 的显示。DCONT707控制对HD 711和STD 712的存取，其中，在HD 711和STD 712中，存储引导程序、各种类型的应用程序、用户文件、网络管理程序和上述实施例中的处理程序等。NIC 708与网络713上连接的其他设备双向发送和接收数据。
[0060]上述实施例仅是用于实现本发明的实施例的例子，并且不得限制性解释本发明的技术范围。也就是说，在不脱离本发明的技术理念或其原理特征的情况下，可以以各种形式实现本发明。
[0061]尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功倉泛。
【权利要求】
1.一种被摄体区域跟踪设备，其用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述被摄体区域跟踪设备包括: 第一检测部件，用于基于第一特征量，从所述图像检测预定被摄体区域； 第二检测部件，用于基于不同于所述第一特征量的第二特征量，从所述图像检测预定被摄体区域；以及 主被摄体判断部件，用于通过使用所述第一检测部件的检测结果和所述第二检测部件的检测结果来获得每一个被摄体的优先级，并且从被摄体中判断高优先级的主被摄体， 其中，对于所述第一检 测部件未检测到的、但是所述第二检测部件检测到了的被摄体，所述主被摄体判断部件根据该被摄体的在所述第一检测部件中的过去的检测结果来改变优先级。
2.根据权利要求1所述的被摄体区域跟踪设备，其中，还包括检测结果整合部件，所述检测结果整合部件用于将所述第一检测部件的检测结果与所述第二检测部件的检测结果进行比较，并且整合同一被摄体的检测结果，以及 其中，所述主被摄体判断部件针对由所述检测结果整合部件所整合后的检测结果示出的所检测到的每一个被摄体，设置优先级。
3.根据权利要求2所述的被摄体区域跟踪设备，其中，对于所述第一检测部件未检测到的、但是所述第二检测部件检测到了的被摄体，在过去所述第一检测部件未检测到该被摄体的情况下，所述主被摄体判断部件将优先级降低至小于在过去所述第一检测部件检测到该被摄体的情况下的优先级的值。
4.根据权利要求2所述的被摄体区域跟踪设备，其中，对于所述第一检测部件未检测到的、但是所述第二检测部件检测到了的被摄体，在过去所述第一检测部件未检测到该被摄体的情况下，所述主被摄体判断部件不将该被摄体判断为所述主被摄体。
5.根据权利要求2所述的被摄体区域跟踪设备，其中，对于具有所述第一检测部件的检测结果的被摄体，所述检测结果整合部件使用所述第一检测部件的检测结果作为整合后的检测结果，以及对于仅具有所述第二检测部件的检测结果的被摄体，所述检测结果整合部件使用将所述第二检测部件的检测结果转换成与所述第一检测部件所检测的被摄体区域相对应的部分区域而得到的区域，作为整合后的检测结果。
6.根据权利要求1所述的被摄体区域跟踪设备，其中，在选择多个被摄体作为所述主被摄体的候选的情况下，所述主被摄体判断部件基于被摄体的位置和大小，从所述主被摄体的候选中选择一个被摄体作为所述主被摄体。
7.根据权利要求1所述的被摄体区域跟踪设备，其中，所述第一检测部件检测人面部的区域作为被摄体区域，并且所述第二检测部件检测人身体的区域作为被摄体区域。
8.根据权利要求1所述的被摄体区域跟踪设备，其中，在当前和过去所述第一检测部件对被摄体的检测结果满足用于如下的要素的条件的情况下，所述主被摄体判断部件选择该被摄体作为所述主被摄体的候选，其中所述要素是检测的可靠性、检测的持续时间、位置和大小中的至少一个。
9.一种摄像设备，其包括: 摄像部件，用于提供拍摄图像； 根据权利要求1所述的被摄体区域跟踪设备；以及控制部件，用于根据所述被摄体区域跟踪设备所输出的被摄体的信息，控制所述摄像部件中的摄像条件。
10.一种显示设备，其包括: 显示部件，用于显示所提供的图像； 根据权利要求1所述的被摄体区域跟踪设备；以及 控制部件，用于根据所述被摄体区域跟踪设备所输出的被摄体的信息，控制所述显示部件中的图像的显示条件。
11.一种被摄体区域跟踪设备的控制方法，其中，所述被摄体区域跟踪设备用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述控制方法包括以下步骤: 第一检测步骤，用于基于第一特征量，从所述图像检测预定被摄体区域； 第二检测步骤，用于基于不同于所述第一特征量的第二特征量，从所述图像检测预定被摄体区域；以及 主被摄体判断步骤，用于通过使用所述第一检测步骤的检测结果和所述第二检测步骤的检测结果来获得每一个被摄体的优先级，并且从被摄体中判断高优先级的主被摄体，其中，在所述主被摄体判断步骤中，对于在所述第一检测步骤中未检测到的、但是在所述第二检测步骤中检测到了的被摄体，根据该被摄体的在所述第一检测步骤中的过去的检测结果来改变优先级。
12.—种被摄体区域跟踪设备，其用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述被摄体区域跟踪设备包括: 第一检测部件，用于从所述图像检测被摄体的面部区域； 第二检测部件，用于从所述图像检测不同于被摄体的面部区域的预定区域；以及主被摄体判断部件，用于基于所述第一检测部件的检测结果和所述第二检测部件的检测结果，确定主被摄体， 其中，所述主被摄体判断部件从包括过去的被摄体的、所述第一检测部件检测到了面部区域的被摄体中，选择所述主被摄体。
13.根据权利要求12所述的被摄体区域跟踪设备，其中，所述第二检测部件检测人身体的区域作为被摄体区域。
14.一种摄像设备，其包括: 摄像部件，用于提供拍摄图像； 根据权利要求13所述的被摄体区域跟踪设备；以及 控制部件，用于根据所述被摄体区域跟踪设备所输出的被摄体的信息，控制所述摄像部件中的摄像条件。
15.—种显不设备,其包括: 显示部件，用于显示所提供的图像； 根据权利要求13所述的被摄体区域跟踪设备；以及 控制部件，用于根据所述被摄体区域跟踪设备所输出的被摄体的信息，控制所述显示部件中的图像的显示条件。
16.一种被摄体区 域跟踪设备的控制方法，其中，所述被摄体区域跟踪设备用于从所提供的图像检测目标被摄体区域，并且跟踪所检测到的被摄体区域，所述控制方法包括以下步骤: 第一检测步骤，用于从所述图像检测被摄体的面部区域； 第二检测步骤，用于从所述图像检测不同于被摄体的面部区域的预定区域；以及主被摄体判断步骤，用于基于所述第一检测步骤的检测结果和所述第二检测步骤的检测结果，确定主被摄体， 其中，在所述主被摄体 判断步骤中，从包括过去的被摄体的、在所述第一检测步骤中检测到了面部区域的被摄体中，选择所述主被摄体。
【文档编号】G06K9/00GK103905727SQ201310741937
【公开日】2014年7月2日 申请日期:2013年12月27日 优先权日:2012年12月27日
【发明者】辻良介 申请人:佳能株式会社