被摄体跟踪设备及其控制方法、摄像设备以及显示设备的制作方法

专利名称：被摄体跟踪设备及其控制方法、摄像设备以及显示设备的制作方法
技术领域：
本发明涉及被摄体跟踪设备及其控制方法、摄像设备以及显示设备。
背景技术：
从以时间序列方式顺序提供的图像中检测特定被摄体，然后跟踪所检测到的被摄 体的图像处理技术是非常有用的，并且例如用于指定动态图像中的人的面部区域。这些图 像处理技术可用在很多不同领域中，例如电话会议、人机界面、安全系统、用于跟踪人面部
的监视系统和图像压縮。 日本特开2005-318554号公报公开了如下的摄像设备该摄像设备用于检测图像 中的面部位置，并且在以针对所检测到的面部的最佳曝光进行摄像时聚焦在该面部上。日 本特开2001-60269号公报公开了一种利用模板匹配法跟踪特定被摄体的对象跟踪方法和 对象跟踪设备。模板匹配是指将通过对作为待跟踪目标的图像区域进行剪切而获得的部分 图像登记为基准图像、估计图像中与基准图像在形状方面具有最高相关度的区域并且跟踪 特定被摄体的技术。 图10示出利用模板匹配的被摄体跟踪的例子的流程图。此夕卜，图11示出利用模 板匹配的被摄体跟踪的例子，该例子示出跟踪作为被摄体的人的面部的例子。
在图11中，附图标记1101表示t-0时的帧中的输入图像，附图标记1102表示对 于t = 0时的帧中的输入图像的被摄体检测结果，附图标记1103表示对于t = 0时的帧中 的输入图像所登记的基准图像。此外，附图标记1104表示t = 1时的帧中的输入图像，附 图标记1105表示对于t = 1时的帧中的输入图像的匹配结果，附图标记1106表示对于t =1时的帧中的输入图像更新后的基准图像。此外，附图标记1107表示t = 2时的帧中的 输入图像，附图标记1108表示对于t = 2时的帧中的输入图像的匹配结果，附图标记1109 表示对于t = 2时的帧中的输入图像更新后的基准图像。 如图10和11所示，将t = 0时的帧中的输入图像1101载入摄像设备中(步骤S 1001)。接着，对输入图像1101应用被摄体检测处理，以提取满足作为人面部的形状条件的 被摄体区域，并获取被摄体检测结果1102 (步骤S1002)。 然后，摄像设备登记来自被摄体检测结果1102的初始基准图像1103(步骤 S1003)。然后，摄像设备载入t二 l时的帧中的输入图像1104。然后，相对于针对t二O时 的帧中的输入图像1101所登记的基准图像1103，摄像设备对输入图像1104执行匹配处理， 其中对输入图像1104的每个区域进行剪切，以获得在形状方面相对于基准图像1103的相 关值(步骤S1005)。 如果还没有对输入图像整个区域上的匹配区域完成匹配处理(步骤S1006为 "否")，则摄像设备剪切输入图像1104的另一区域以继续执行匹配处理(步骤S1005)。如 果已完成了匹配处理(步骤S1006为"是")，则获取匹配结果1105，其中具有最高相关度的 区域被视为t = 1时的帧中的被摄体区域(步骤S1007)。 然后，摄像设备基于在匹配结果1105中估计出的被摄体区域更新至基准图像1106(步骤S1008)。然后，摄像设备载入t = 2时的帧中的输入图像1107(步骤S1004)。 然后，相对于针对t = 1时的帧中的输入图像1104更新后的基准图像1106，摄像设备对输 入图像1107执行匹配处理(步骤S1005)。 如果还没有对预定的匹配区域完成匹配处理(步骤S1006为"否")，则摄像设备 继续执行匹配处理(步骤S1005)。如果已完成了匹配处理(步骤S1006为"是")，则摄像 设备获取匹配结果1108，其中具有最高相关度的区域被视为t = 2时的帧中的被摄体区域 (步骤S丽)。 然后，摄像设备基于在匹配结果1108中估计出的被摄体区域更新至基准图像 1109(步骤S1008)。如上所述，通过连续地将输入图像与从先前帧中的匹配结果所获得的 基准图像相关联来跟踪目标被摄体。 然而，例如，在匹配处理所使用的基准图像包含与作为待跟踪目标的被摄体不同 的、诸如背景等的被摄体的情况下，或者在作为待跟踪目标的被摄体的姿势发生改变的情 况下，在传统的跟踪方法中可能出现错误的被摄体跟踪。 例如，在基准图像包含与作为待跟踪目标的被摄体不同的被摄体的情况下，通过 匹配处理将获得受到不同被摄体的影响的被摄体区域。此外，在作为待跟踪目标的被摄体 的姿势发生改变的情况下，由于被摄体外观改变而可能获得偏移的被摄体区域，因而更可 能受到不同被摄体的影响。结果，通过被摄体跟踪将提取到从作为待跟踪目标的被摄体偏 移了的被摄体区域，并且将发生错误的被摄体跟踪。然后，由于被摄体区域的偏移未被校 正，将会在偏移状态下继续被摄体跟踪。

发明内容
鉴于上述现有技术中的问题构思了本发明。本发明提供当从以时间序列方式提供
的图像中跟踪预定的被摄体时，使得错误被摄体跟踪的发生能够减少的技术。 根据本发明的一个方面，提供一种被摄体跟踪设备，其用于跟踪以时间序列方式
提供的图像中的被摄体，所述被摄体跟踪设备包括基准图像登记部件，用于登记用于跟踪
所述被摄体时的基准图像；提取部件，用于基于所提供的图像和所登记的基准图像之间的
相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区域；位置检测部件，用于
基于所述被摄体区域所包含的表示所述被摄体的特征像素的分布，来检测所述被摄体区域
中所述被摄体的位置；以及校正部件，用于对所述被摄体区域进行校正，以减小所述被摄体
区域中所述被摄体的位置的偏移，其中，将校正后的被摄体区域作为跟踪所提供的图像中
的所述被摄体的结果，并且所述基准图像登记部件将所述校正后的被摄体区域登记为用于
跟踪所提供的下一 图像中的所述被摄体的基准图像。 根据本发明的另一方面，提供一种摄像设备，包括摄像部件，用于以时间序列方 式提供依次拍摄到的图像；被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及控制部 件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所包含的像素 有关的信息，来控制所述摄像部件拍摄图像时所使用的摄像条件。 根据本发明的又一方面，提供一种显示设备，包括显示部件，用于显示以时间序 列方式提供的图像；被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及控制部件，用于 根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所包含的像素有关的信息，来控制所述显示部件显示所述图像时所使用的显示条件。 根据本发明的再一方面，提供一种被摄体跟踪设备的控制方法，所述被摄体跟踪
设备用于跟踪以时间序列方式提供的图像中的被摄体，所述控制方法包括基准图像登记
步骤，用于登记要用于跟踪所述被摄体的基准图像；提取步骤，用于基于所提供的图像和所
登记的基准图像之间的相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区
域；位置检测步骤，用于基于所述被摄体区域所包含的表示所述被摄体的特征像素的分布，
来检测所述被摄体区域中所述被摄体的位置；以及校正步骤，用于对所述被摄体区域进行
校正，以减小所述被摄体区域中所述被摄体的位置的偏移，其中，将校正后的被摄体区域作
为跟踪所提供的图像中的所述被摄体的结果，并且所述基准图像登记步骤将所述校正后的
被摄体区域登记为用于跟踪所提供的下一图像中的所述被摄体的基准图像。 通过以下参考附图对典型实施例的说明，本发明的其它特征将变得清楚。


图1是示出根据第一实施例的摄像设备的结构的框图； 图2是示出根据第一实施例的用于被摄体跟踪的处理的流程图； 图3是用于示出根据第一实施例的被摄体跟踪的图； 图4是示出根据第一实施例的用于确定特征像素的处理的流程图； 图5是示出根据第一实施例的颜色模型的例子的图； 图6是示出根据第一实施例的确定位置偏移流程图； 图7是示出根据第一实施例在确定位置偏移时设置对称轴的例子的图； 图8是示出根据第二实施例的摄像设备的结构的框图； 图9是示出根据第二实施例的用于被摄体跟踪的处理的流程图； 图10是通过传统的模板匹配进行被摄体跟踪的流程图；以及 图11是示出通过传统的模板匹配进行被摄体跟踪的例子的图。
具体实施例方式
下面将根据

本发明的典型实施例。
第一实施例 下面将参考

作为根据第一实施例的被摄体跟踪设备的摄像设备的结构 和操作。图1是示出根据第一实施例的摄像设备1的结构的框图。 如图1所示，在摄像设备1中，由摄像镜头101收集表示被摄体图像的光束，并且 该光束进入诸如CCD图像传感器或CMOS图像传感器等的图像传感器102。图像传感器102 根据入射光束的强度以像素为单位输出电信号。该电信号是指表示由图像传感器102所拍 摄的被摄体图像的模拟视频信号。 在模拟信号处理单元103中，从图像传感器102输出的视频信号经过例如相关双 采样(CDS)等模拟信号处理。在A/D转换单元104中，将从模拟信号处理单元103输出的 视频信号转换为数字数据格式，并将转换后的视频信号输入至控制单元105和图像处理单 元106。 控制单元105是指对摄像设备1的操作进行中央控制的实际的CPU(中央处理单元)或微控制器。具体地，控制单元105将存储在R0M(只读存储器)中的程序代码在 RAM(随机存取存储器)的工作区域中展开，并顺序地执行展开的程序代码，由此控制摄像 设备1的各单元。 在图像处理单元106中，对数字格式的输入图像信号应用例如伽玛校正和白平衡 处理等的图像处理。应当注意，除了通常的图像处理之外，图像处理单元106还具有如下的 功能利用从如下所述的被摄体检测单元109和被摄体跟踪单元110提供的与图像中的特 定被摄体区域有关的信息来执行图像处理。 将从图像处理单元106输出的视频信号传送至显示单元107。显示单元107是指 例如显示视频信号的LCD或有机EL显示器。摄像设备1使得由图像传感器102按照时间 序列的方式顺序拍摄的图像顺序地显示在显示单元107上，从而允许显示单元107用作电 子取景器(EVF)。 此外，将从图像处理单元106输出的视频信号记录在例如可移动存储卡的记录介 质108上。应当注意要在其上记录视频信号的记录介质可以是内置于摄像设备1中的存储 器或经由通信接口可通信地连接的外部装置(两者均未示出)。 从图像处理单元106输出的视频信号还被提供给被摄体检测单元109。被摄体检 测单元109用于检测图像中的预定的目标被摄体并指定被摄体区域，在被摄体为人的情况 下，与被摄体的数量相对应地指定被摄体区域。至于目标被摄体，人的面部是典型的目标被 摄体。在这种情况下，被摄体检测单元109将人的面部区域指定为被摄体区域。
至于用于在被摄体检测单元109中检测被摄体的方法，例如，在待检测的目标为 人的面部的情况下，使用已知的面部检测方法。已知的用于面部检测的技术包括利用关于 面部的信息(关于皮肤的颜色以及例如眼睛、鼻子和嘴等部分的信息)的方法，以及利用以 神经网络为典型的学习算法构建用于面部检测的识别器的方法。此外，在面部检测中通常 以这些方法的组合来执行面部识别，以提高识别率。具体地，可以引用如下方法该方法使 用日本特开2002-251380号公报中描述的小波变换和图像特征量来执行面部检测。应当注 意以与上述面部检测类似的方式，通过识别被摄体的例如颜色或形状等的特征部分来执 行面部之外的被摄体(例如动植物或字符)的检测。 在被摄体跟踪单元110中，基于视频信号模式的相似度，从由图像处理单元106输 出的时变视频信号中跟踪预定的被摄体(被摄体区域)。例如，在被摄体跟踪单元110中，按 照时间的顺序排列图像传感器102以时间序列方式顺序地拍摄的图像，来跟踪类似的部分 区域，由此跟踪特定模式的被摄体区域。被摄体跟踪单元110包括基准图像登记单元111、 匹配处理单元112、特征像素确定单元113、位置偏移确定单元114和位置校正单元115。
在基准图像登记单元111中，基于被摄体检测单元109的检测结果或被摄体跟踪 单元IIO的跟踪结果，将从图像处理单元106输出的图像信号的图像中的部分区域登记为 基准图像。例如，由于在被摄体跟踪单元110的初始操作时没有被摄体跟踪单元110的跟 踪结果，基准图像登记单元111将基于被摄体检测单元109的检测结果的被摄体区域登记 为基准图像。在被摄体跟踪单元110的初始操作之后，允许基准图像登记单元111将被摄 体跟踪单元110的结果登记为基准图像。 此外，通过基于被摄体检测单元109的检测结果以及被摄体跟踪单元110的跟踪 结果中具有更高可靠度的结果来登记基准图像，基准图像登记单元111能够提高被摄体跟
7踪单元110的精度。例如，在被摄体跟踪单元iio跟踪人的面部的情况下，在作为被摄体检
测单元109的检测结果的人的面部区域中，利用关于面部的信息等来计算作为人的面部的 可靠度(第一精度)。另外，在作为被摄体跟踪单元110的跟踪结果的所跟踪到的面部区域 中，利用通过匹配处理所提取的被摄体区域和基准图像之间的相关度来计算作为同一被摄 体的可靠度(第二精度)。然后，基准图像登记单元111对这两个计算出的可靠度进行比较， 确定将更高的可靠度作为更高的检测精度，并将使用具有更高精度的图像作为要用于与提 供的下一图像有关的匹配处理的基准图像。这提高了被摄体跟踪单元110跟踪人的面部的 精度。 相对于在基准图像登记单元111中所登记的基准图像，匹配处理单元112对通过 连续摄像所获取的当前帧的视频信号的图像执行匹配处理。通过该匹配处理，将当前帧的 视频信号的图像中相对于基准图像具有最高相关度的区域提取为待跟踪目标的被摄体区 域。这里，只有在登记有在时间方面与当前帧的视频信号不同的基准图像的情况下，即在基 准图像登记单元111先前登记有基准图像的情况下，匹配处理单元112才工作。
在表示锁定跟踪的预定被摄体的特征的预定颜色模型包含各像素的颜色信息的 情况下，特征像素确定单元113将由匹配处理单元112所提取的被摄体区域中的像素确定 为特征像素。更具体地，特征像素确定单元113将表示预定被摄体的颜色模型所包含的颜 色的像素确定为特征像素。在本实施例中，由于锁定跟踪的被摄体为面部，因此，将预定颜 色模型设置为表示人的皮肤颜色的肤色模型。应当注意预定颜色模型可以是预先设置在 存储器等中的固定颜色模型，或者可以根据由被摄体检测单元109所检测到的被摄体区域 或由匹配处理单元112所提取的被摄体区域动态变化。 在下述实施例中，特征像素确定单元113基于各像素的颜色信息确定特征像素。
基于特征像素确定单元113的结果，位置偏移确定单元114基于特征像素的分布 状态来计算校正量和校正方向，以对由匹配处理单元112所提取的被摄体区域的位置进行 校正。具体地，在由匹配处理单元112所提取的被摄体区域中，位置偏移确定单元114设置 穿过该区域中心的对称轴。更具体地，该对称轴是二等分被摄体区域的线。
然后，对于以对称轴作为边界所分割的区域(即，子区域)，计算由特征像素确定 单元113所确定的特征像素的数量。然后，根据特征像素的偏移来计算校正量和校正方向。 应当注意校正方向垂直于所述对称轴，并且将该校正方向确定为朝向在以对称轴作为边 界所分割的两个区域中具有较大数量的特征像素的区域的方向。 此外，在对被摄体区域的位置进行校正时，将校正量确定为与两个子区域之间的 特征像素的数量差相对应的值，以减少以对称轴作为中心的特征像素分布的偏移。例如，当 该差较大时将校正量确定为较大值，而当该差较小时将校正量确定为较小值。应当注意可 以计算校正量以减少在被摄体区域中的特征像素分布的偏移，例如，校正量可以是与对称 轴和各特征像素之间的距离的平均相对应的值。 位置校正单元115根据基于位置偏移确定单元114的结果的校正量和校正方向， 对由匹配处理单元112所提取的被摄体区域的位置进行校正。在被摄体跟踪单元110中， 将具有由位置校正单元115校正后的位置的被摄体区域视为被摄体跟踪单元110的结果。 将被摄体跟踪单元110的该结果提供给控制单元105和图像处理单元106。
当利用图像传感器102进行摄像时，控制单元105控制例如焦点和曝光等的摄像条件。具体地，控制单元105基于从A/D转换单元104输出的视频信号来控制摄像镜头101 的焦点控制机构和曝光控制机构(两者均未示出)。例如，焦点控制机构是指用于沿光轴方 向驱动摄像镜头101的致动器，曝光控制机构是指用于驱动光圈和快门的致动器。
控制单元105能够使用从被摄体检测单元109或被摄体跟踪单元110所提供的与 提取被摄体区域的结果有关的信息，以控制焦点控制机构和曝光控制机构。具体地，控制单 元105利用被摄体区域的对比度值执行焦点控制，并且利用被摄体区域的亮度值执行曝光 控制。因此，摄像设备1能够执行考虑到所拍摄的图像中的特定被摄体区域的摄像处理。此 外，控制单元105还控制从图像传感器102的读取，例如控制图像传感器102的输出定时和 输出像素。 应当注意，在本实施例中所述的摄像设备1为包括用于从以时间序列方式顺序拍 摄的图像中检测被摄体区域的被摄体检测单元109以及用于跟踪被摄体区域的被摄体跟 踪单元110的摄像设备。然而，摄像设备1可以不设置被摄体检测单元109。在这种情况 下，基准图像登记单元111将例如由经由通信接口可通信地连接的外部设备所指定的区域 初始登记为基准图像。可选地，可以将图像中要用于焦点控制机构或曝光控制机构(例如 AF帧或测光帧)的预定区域登记为初始基准图像。 现在，将参考图2和3说明根据第一实施例的、由被摄体跟踪单元110执行的处 理。图2是示出根据第一实施例的用于被摄体跟踪的处理的流程图。图3是用于示出被摄 体跟踪的图。应当注意，在以下描述中将给出跟踪作为被摄体的人的面部的例子。
如图2所示，被摄体跟踪单元110执行处理S201-S206。 S202、S203、S204、S205和 S 206是分别由匹配处理单元112、特征像素确定单元113、位置偏移确定单元114、位置校 正单元115和基准图像登记单元111执行的一系列处理。 此外，在图3中，基准图像301是指由基准图像登记单元111登记的图像。输入图 像302是指输入至被摄体跟踪单元110的图像。被摄体提取结果303是指由匹配处理单元 112利用输入图像302和基准图像301检测被摄体区域的结果。确定结果304是指由特征 像素确定单元113根据被摄体提取结果303确定特征像素的结果。校正结果305是指由位 置偏移确定单元114根据确定结果304对被摄体提取结果303中的被摄体区域的位置进行 校正的结果。基准图像306是指由基准图像登记单元111根据校正结果305登记的图像。
如图2所示，首先，在步骤S201中，在被摄体跟踪单元110中载入由图像传感器 102顺序拍摄的所拍摄的图像作为输入图像302。应当注意可以对于顺序拍摄的各所拍摄 的图像执行步骤S201中的输入图像302载入，即可以对于各帧或者各周期性的帧执行步骤 S 201中的输入图像302载入。然后，相对于基准图像登记单元lll中预先登记的基准图像 301，匹配处理单元112对输入图像302执行匹配处理。 在匹配处理中，计算输入图像302中与基准图像301具有相同尺寸的部分区域的 各像素与基准图像301的各像素之间的差的总和。然后，改变输入图像302中与基准图像 301具有相同尺寸的部分区域的位置，以执行将计算出的差的总和最小的部分区域的位置 视为具有最高相关度(相似度)的区域(图10中的S1005-S1007)的处理。应当注意作 为用于对输入图像302和基准图像301这两个图像进行匹配的方法存在多种方法，并且本 实施例中的处理的例子仅仅是一个示例。 由于此处的匹配处理基于基准图像301和输入图像302之间的相似度，因此，不限于合适的被摄体区域作为匹配处理的结果的情况。在被摄体提取结果303中所示的匹配处 理的结果中，将从合适的被摄体区域稍稍地偏移了的区域提取为结果。这是由于基准图像 包含与要包含在被摄体区域中的被摄体H1不同的背景H2，如基准图像301中所示，并且还 由于基准图像301和输入图像302中被摄体H1外观的改变，例如被摄体H1的姿势从前向 后的改变。因此，基准图像301中的背景H2和输入图像302中的背景H2之间的高相关度 以及被摄体Hl的外观的改变导致如在被摄体提取结果303—样的偏移的结果，尽管在正常 情况下被摄体H1应该居中。 然后，特征像素确定单元113对于匹配处理中所获取的被摄体区域，确定用于表 示被摄体的特征的特征像素(步骤203)。图4是用于确定特征像素的处理的流程图。
如图4所示，当启动用于确定的处理时，特征像素确定单元113获取与在通过匹配 处理所获得的被摄体区域中预定位置处的像素的颜色有关的信息(S401)。然后，在S402 中，特征像素确定单元113判断所获取的颜色信息是否是包含在预定颜色模型中的信息。
如果该颜色信息是包含在预定颜色模型中的信息(S402为"是")，则将该像素 确定为特征像素(S403)。应当注意如果该颜色信息不是包含在预定颜色模型中的信息 (S402为"否")，则不将该像素确定为特征像素。 然后，特征像素确定单元113判断是否已对通过匹配处理所获得的被摄体区域中 的全部像素执行了该处理(S404)。如果还没有对全部像素执行该处理(S404为"否")，则 特征像素确定单元113将处理返回至S401，以获取与还未执行该处理的像素有关的颜色信 息。可选地，如果已对全部像素执行了该处理(S404为"是")，则特征像素确定单元113结 束该处理。 根据上述特征像素的确定，获得确定结果304。在确定结果304中，特征像素为白 色，而特征像素以外的像素涂黑。此处，预定颜色模型是指表示被摄体特征的颜色模型，并 且在被摄体为人的面部的情况下将预定颜色模型设置为肤色模型。肤色模型的例子为如图 5所示。 应当注意，将从像素获取的颜色信息设置为YcbCr数据中的色差CbCr，并且图5 中的水平轴和垂直轴分别由符号Cr和Cb表示。如图5所示，颜色区域501是指表示肤色 模型的区域，并且特征像素确定单元113判断所获取的CbCr分量是否包含在颜色区域501 中。假定在特征像素确定单元113的存储器(未示出)中预先设置关于如图5中所示的颜 色模型的信息。 应当注意对于所获取的颜色信息和颜色模型可以构思各种格式。本实施例中的 例子为这些格式的一个示例，并不限于所例示的格式。例如，所获取的颜色信息的格式可以 是RGB数据或转换成HSV比色体系中的数据的色相(H)数据。 此外，对于用于基于颜色模型和像素的颜色信息来确定特征像素的方法，可以构 思各种方法。本实施例中的例子为这些方法中的一个示例，并且不限于所例示的确定方法。 而且，对其执行特征像素确定的区域可以是与从匹配处理的结果所检测的区域相同的区 域，或者可以是以所提取的区域的重心作为中心的预定区域。 然后，如图2所示，位置偏移确定单元114基于特征像素的确定结果来确定匹配处
理结果中的被摄体区域的位置偏移(S204)。图6是示出确定位置偏移的流程图。 如图6所示，当开始用于确定位置偏移的处理时，位置偏移确定单元114在匹配
10处理结果中的被摄体区域中设置穿过该区域的中心的对称轴(S601)。然后，位置偏移确 定单元114根据对于以该对称轴作为边界的各子区域进行特征像素确定的结果，来计算特 征像素的数量(S602)。然后，位置偏移确定单元114计算子区域之间的特征像素的数量差 (S603)。 然后，位置偏移确定单元114判断子区域之间的特征像素的数量差是否是等于或 大于存储器等中预先设置的预定阈值(第一阈值)(S604)。如果特征像素的数量差等于或 大于第一阈值(S604为"是")，则位置偏移确定单元114计算与该特征像素的数量差相对应 的位置校正量(S605)。具体地，该特征像素的数量差越大，则所计算出的位置校正量越大。 在特征像素分布不均匀并且集中在通过对称轴分出的一个子区域中的情况下，这允许根据 偏移程度来计算位置校正量。此外，可以根据匹配处理结果中的被摄体区域的尺寸来标准 化位置校正量(例如，可以将位置校正量计算为使用1作为被摄体区域的尺寸的比率)。
接下来进入S605，位置偏移确定单元114计算位置校正方向(S606)，并结束该处 理。校正方向垂直于所设置的对称轴，并且将校正方向确定为朝向以对称轴作为边界的子 区域中具有较大数量的特征像素的区域的方向。应当注意，如果特征像素的数量差小于该 阈值(S604为"否")，则位置偏移确定单元114将值0作为位置校正量(S607)，并结束该处 理。 在此处的位置偏移确定中，可以设置至少一个即一个或多个对称轴，并且在沿彼 此不同的方向设置多个对称轴的情况下，针对各对称轴(针对每条线)计算位置校正量和 校正方向。图7是示出设置多个对称轴的例子的图。如图7所示，针对表示给定例子701 中的被摄体区域的图像，在垂直和水平方向上设置对称轴。如上所述，通过设置垂直和水平 方向上的对称轴并且计算针对各方向的位置校正量和校正方向，能够确定垂直方向上和水 平方向上的位置偏移。此外，可以基于针对各对称轴(针对每条线)所计算出的位置校正 量和校正方向，来执行被摄体区域的位置校正。 应当注意对于用于设置对称轴的方法，可以构思各种方法，并且只要该轴对称地
分割将对其执行位置偏移确定的被摄体区域，可以采用任何方法。例如，可以在给定例子 702中沿倾斜方向设置对称轴，或者可以将给定例子701中和给定例子702中的对称轴合并 为给定例子703中的对称轴。 然后，如图2所示，位置校正单元115根据作为位置偏移确定的结果的位置校正量 和校正方向，来对匹配处理结果中的被摄体区域的位置进行校正(S205)。具体地，如图3所 示，相对于垂直方向上的对称轴，特征像素的确定结果304在右侧区域中具有较小数量的 特征像素，而在左侧区域中具有较大数量的特征像素。此外，相对于水平方向上的对称轴， 上部区域和下部区域之间特征像素的数量差较小。因此，如校正结果305所示，将通过对匹 配处理结果中的被摄体区域进行向右偏移所获得的区域视为位置校正的结果。在摄像设备 1中，将位置校正的结果视为通过跟踪被摄体的处理来跟踪被摄体区域的结果。
然后，基准图像登记单元111将基于位置校正的结果跟踪到的被摄体区域登记为 新的或更新后的基准图像306(S206)。由基准图像登记单元111所登记的基准图像306用 于进行下一帧的匹配处理。在摄像设备1中，即使在被摄体的外观以时间序列方式改变的 情况下，例如被摄体的姿势改变的情况下，也可以通过根据以上所述的处理顺序地更新基 准图像来适当地执行被摄体跟踪。
11
此外，在被摄体检测单元109和被摄体跟踪单元110都工作的情况下，通过比较彼此的可靠度，基准图像登记单元111可以基于具有更高可靠度的结果来登记基准图像。另一方面，例如，在不考虑被摄体外观按时间序列变化的情况下，可以保持初始登记的基准图像而不用更新基准图像。 另外，在上述处理中，针对由基准图像登记单元111所登记的基准图像306，可以构思各种形状。在本实施例中的例子是这些形状中的一个示例，并且不限于所例示的矩形。例如，基准图像306的形状可以是圆形或多边形。 此外，如果由特征像素确定单元113获得的特征像素的数量小于预先设置的预定阈值(第二阈值)，则被摄体跟踪单元110可以停止被摄体跟踪。例如，在作为被摄体跟踪单元110的跟踪目标的被摄体隐藏在障碍物后面的情况下，匹配处理结果中的被摄体区域中的特征像素的数量减少，并且当该数量小于第二阈值时停止被摄体跟踪。这可以降低跟踪包含在被摄体区域中的背景的可能性。 如上所述，在第一实施例的用于被摄体跟踪的处理中，即使在通过匹配处理提取了如下被摄体区域的情况下，根据表示被摄体的特征像素来对所提取的被摄体区域的位置进行校正该被摄体区域包含与待跟踪的被摄体不同的背景。这允许提取适当地跟踪被摄体的被摄体区域。更具体地，可以提高被摄体跟踪处理的精度，从而降低错误跟踪被摄体区域中所包含的背景等的可能性。
第二实施例 接着，将参考

根据第二实施例的摄像设备的结构和操作，且重点在于与第一实施例不同的地方。应当注意，使用相同的附图标记表示与第一实施例相同的结构和操作，并且将省略对其的说明。图8是示出根据第二实施例的摄像设备la的结构的框图。
如图8所示，摄像设备la和摄像设备1之间的区别在于摄像设备la包括颜色模型确定单元801 。基于由被摄体检测单元109所获得的结果，颜色模型确定单元801利用从图像提取的被摄体区域中的颜色信息来确定颜色模型。在被摄体跟踪单元110的特征像素确定单元113中使用在颜色模型确定单元801中所确定的颜色模型。 作为由颜色模型确定单元801执行的用于确定颜色模型的方法，可以利用用于生成颜色直方图并利用混合正态模型近似所生成的颜色直方图的方法。由于用于确定颜色模型的方法不是本实施例的主要目的，将省略对用于确定颜色模型的方法的具体说明。
应当注意，尽管本实施例的摄像设备la是包括被摄体检测单元109的摄像设备，但是摄像设备la可以不设置被摄体检测单元109。在这种情况下，由基准图像登记单元111初始登记的基准图像和由用于确定颜色模型的颜色模型确定单元801所使用的区域将符合所连接的外部装置的规格。可选地，可以基于要用于焦点控制机构和曝光控制机构(例如测光帧和AF帧)的图像中的预定区域，来执行基准图像的登记和颜色模型的确定。
现在，将参考图9说明由被摄体检测单元109、被摄体跟踪单元110和颜色模型确定单元801所执行的根据第二实施例的处理。图9是示出根据第二实施例的被摄体跟踪处理的流程图。 如图9所示，当开始该处理时，被摄体跟踪单元110载入由图像传感器102顺序拍摄的所拍摄的图像作为输入图像(S901)。然后，在被摄体检测单元109中，利用输入图像执行被摄体检测处理(步骤S902)。应当注意，在S902中，被摄体检测单元109所检测到的被摄体是人的面部。 然后，被摄体跟踪单元110判断通过该被摄体检测处理是否获得了被摄体区域的提取结果(S903)。例如，在输入图像不包含人的面部因而未检测到被摄体区域的情况下，确定为不能获得提取结果。可选地，在输入图像包含人的面部因而能够检测到与该面部相对应的被摄体区域的情况下，确定为能够获得提取结果。 如果通过被摄体检测处理没有获得被摄体区域的提取结果(S903为"否")，则处理将返回至S901。可选地，如果通过被摄体检测处理获得了被摄体区域的提取结果(S903为"是")，则颜色模型确定单元801利用关于所提取的被摄体区域的颜色信息来确定颜色模型(S904)。此外，基准图像登记单元lll将所提取的被摄体区域登记为基准图像(S905)。
然后，被摄体跟踪单元IIO载入下一帧所拍摄的图像作为输入图像(S906)，并利用所载入的输入图像来执行被摄体跟踪处理(S907)。应当注意，在S907中的被摄体跟踪处理涉及与第一实施例中所说明的S202-S206相同的处理。 在以上所述的第二实施例中，根据由被摄体检测单元109所检测到的被摄体区域，动态地确定被摄体跟踪单元110中特征像素确定单元113的颜色模型，从而允许处理多个被摄体。具体地，由于针对每个特定被摄体动态确定颜色模型，因此，获得将特定被摄体和不同于该被摄体的背景等分开的颜色模型。然后，利用所获得的颜色模型执行被摄体跟踪处理，从而能够实现具有更高精度的被摄体跟踪处理。 应当注意，尽管上述实施例中说明了检测作为被摄体的人的面部的情况，但所检测的被摄体不限于人的面部，可选地，可以检测动物、汽车等。此外，尽管在上述实施例中说明了将用于执行被摄体跟踪处理的被摄体跟踪设备应用于摄像设备的情况，但应用被摄体跟踪设备的设备不限于摄像设备。 例如，可以将用于执行被摄体跟踪处理的被摄体跟踪设备应用于对从外部装置、记录介质等顺序地提供的图像(重放数据)进行显示的显示设备。在该显示设备中，将利用重放数据作为用于被摄体检测处理的数据来执行被摄体跟踪处理。该显示设备中的例如微控制器等的控制单元，基于与被摄体跟踪处理所跟踪到的被摄体有关的信息(图像中被摄体的位置、尺寸等)，来控制在显示图像时所使用的显示条件。具体地，将表示被摄体的信息，例如帧，重叠显示在图像中被摄体的位置上，或者根据被摄体部分的亮度或颜色信息来执行所显示图像的亮度、色差信息的控制。 应当注意，上述实施例中的说明旨在示出例子，而不用于限制本发明。可以适当地修改上述实施例中的结构和操作。 例如，位置检测单元115不仅可以校正被摄体区域的位置，而且还可以校正被摄体区域的尺寸和形状。在校正被摄体区域的尺寸的情况下，例如根据位置校正量来增大尺寸，同时固定位于与位置校正方向相对的方向上的一侧的位置。此外，在校正被摄体区域的形状的情况下，例如，根据位置校正量在位置校正方向上来偏移位置校正方向上的一侧。即使在校正被摄体的尺寸和形状的情况下，也可以减少预定被摄体的位置的偏移。
此外，例如，位置偏移确定单元114可被配置为仅计算用于减少所分割的区域之间特征像素数量差的位置校正方向。在这种情况下，位置校正单元115将被摄体区域在位置校正方向上顺序地移动预定单位，从而可以选择在所分割的区域之间的特征像素数量差最小的被摄体区域。另外，例如，偏移确定单元114可被配置位置为不计算位置校正方向和校正量。在这种情况下，利用匹配处理结果中的被摄体区域的位置作为中心，位置校正单元115在预定范围内顺序地移动被摄体区域，从而可以选择所分割的区域之间特征像素数量
差为最小的被摄体区域。
其它实施例 利用读取和执行存储器设备上所记录的程序来执行上述实施例的功能的计算机系统或设备(或者CPU或MPU等装置)，以及，例如，利用读取和执行存储器设备上所记录的程序来执行上述实施例的功能的计算机系统或设备来执行其步骤的方法，也可以实现本发明的方面。为此目的，通过网络或者从作为存储器装置(例如，计算机可读介质)的各种类型的记录介质向计算机提供程序。 尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
一种被摄体跟踪设备，其用于跟踪以时间序列方式提供的图像中的被摄体，所述被摄体跟踪设备包括基准图像登记部件，用于登记用于跟踪所述被摄体时的基准图像；提取部件，用于基于所提供的图像和所登记的基准图像之间的相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区域；位置检测部件，用于基于所述被摄体区域所包含的表示所述被摄体的特征像素的分布，来检测所述被摄体区域中所述被摄体的位置；以及校正部件，用于对所述被摄体区域进行校正，以减小所述被摄体区域中所述被摄体的位置的偏移，其中，将校正后的被摄体区域作为跟踪所提供的图像中的所述被摄体的结果，并且所述基准图像登记部件将所述校正后的被摄体区域登记为用于跟踪所提供的下一图像中的所述被摄体的基准图像。
2. 根据权利要求1所述的被摄体跟踪设备，其特征在于，还包括被摄体检测部件，所述 被摄体检测部件用于从所提供的图像中检测与所述被摄体相对应的区域，其中，所述基准图像登记部件将由所述被摄体检测部件所检测到的与所述被摄体相对 应的区域登记为所述基准图像。
3. 根据权利要求2所述的被摄体跟踪设备，其特征在于，所述基准图像登记部件对表 示在由所述被摄体检测部件所检测到的与所述被摄体相对应的区域中检测所述被摄体的 精度的第一精度和表示在所述校正后的被摄体区域中检测所述被摄体的精度的第二精度 进行比较，并且，在所述第一精度高于所述第二精度的情况下，所述基准图像登记部件将由 所述被摄体检测部件所检测到的与所述被摄体相对应的区域登记为用于所提供的下一图 像的基准图像，并且在所述第二精度高于所述第一精度的情况下，所述基准图像登记部件 将所述校正后的被摄体区域登记为用于所提供的下一图像的基准图像。
4. 根据权利要求2或3所述的被摄体跟踪设备，其特征在于，还包括颜色模型确定部 件(113)，所述颜色模型确定部件(113)用于基于由所述被摄体检测部件所检测到的与所 述被摄体相对应的区域所包含的像素的颜色信息，来确定表示所述被摄体的颜色模型，其中，所述位置检测部件从由所述被摄体检测部件所检测到的与所述被摄体相对应的 区域所包含的像素中，将具有所确定的颜色模型所包含的颜色信息的像素用作为所述特征 像素。
5. 根据权利要求2或3所述的被摄体跟踪设备，其特征在于，所述位置检测部件从由所 述被摄体检测部件所检测到的与所述被摄体相对应的区域所包含的像素中，将具有预先设 置用于表示所述被摄体的颜色模型所包含的颜色信息的像素用作为所述特征像素。
6. 根据权利要求5所述的被摄体跟踪设备，其特征在于，所述被摄体是人的面部，以及 所述颜色模型是表示人的皮肤颜色的肤色模型。
7. 根据权利要求1所述的被摄体跟踪设备，其特征在于，所述位置检测部件检测通过 利用直线二等分所述被摄体区域而获得的两个子区域所包含的所述特征像素的数量的差， 以及所述校正部件在所述差等于或大于预定阈值的情况下执行所述校正。
8. 根据权利要求7所述的被摄体跟踪设备，其特征在于，所述校正部件沿垂直于所述直线并且从所述直线朝向具有较大数量的所述特征像素的子区域的方向，以与所述差的大 小相对应的量来对所述被摄体区域的位置进行校正。
9. 根据权利要求8所述的被摄体跟踪设备，其特征在于，所述位置检测部件在彼此不 同的方向上设置多条直线，且所述位置检测部件针对所述多条直线中的每条直线检测子区 域所包含的所述特征像素的数量的差，以及所述校正部件针对所述多条直线中的每条直线来对所述被摄体区域的位置进行校正。
10. —种摄像设备，包括摄像部件，用于以时间序列方式提供依次拍摄到的图像；根据权利要求1所述的被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及 控制部件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所 包含的像素有关的信息，来控制所述摄像部件拍摄图像时所使用的摄像条件。
11. 一种显示设备，包括显示部件，用于显示以时间序列方式提供的图像；根据权利要求1所述的被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及 控制部件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所 包含的像素有关的信息，来控制所述显示部件显示所述图像时所使用的显示条件。
12. —种被摄体跟踪设备的控制方法，所述被摄体跟踪设备用于跟踪以时间序列方式 提供的图像中的被摄体，所述控制方法包括基准图像登记步骤，用于登记要用于跟踪所述被摄体的基准图像；提取步骤，用于基于所提供的图像和所登记的基准图像之间的相关度，来从所提供的 图像中提取与所述基准图像相似的被摄体区域；位置检测步骤，用于基于所述被摄体区域所包含的表示所述被摄体的特征像素的分 布，来检测所述被摄体区域中所述被摄体的位置；以及校正步骤，用于对所述被摄体区域进行校正，以减小所述被摄体区域中所述被摄体的 位置的偏移，其中，将校正后的被摄体区域作为跟踪所提供的图像中的所述被摄体的结果，并且所 述基准图像登记步骤将所述校正后的被摄体区域登记为用于跟踪所提供的下一图像中的 所述被摄体的基准图像。
全文摘要
本发明提供一种被摄体跟踪设备及其控制方法、摄像设备以及显示设备。所述被摄体跟踪设备用于跟踪以时间序列方式提供的图像中的被摄体，其基于与基准图像的相关度来提取类似于所述基准图像的被摄体区域。另外，所述被摄体跟踪设备基于被摄体区域中所包含的表示预定被摄体的特征像素的分布，来检测被摄体区域中预定被摄体的位置，并校正被摄体区域以减小被摄体区域中预定被摄体的位置的偏移。此外，将校正后的被摄体区域作为跟踪预定被摄体的结果，并且利用校正后的被摄体区域来将更新后的基准图像作为用于所提供的下一个图像的基准图像。
文档编号H04N5/232GK101783019SQ200910261278
公开日2010年7月21日 申请日期2009年12月28日 优先权日2008年12月26日
发明者辻良介 申请人:佳能株式会社