摄像装置及图像再生装置的制作方法

专利名称：摄像装置及图像再生装置的制作方法
技术领域：
本发明涉及一种能够拍摄运动图像的摄像装置。另外，本发明还涉及 一种对运动图像进行再生的图像再生装置。
背景技术：
在利用监控摄像机的系统中实现了运动物体的捕捉和跟踪功能。在这 种系统中，从基于监控摄像机得到的图像中的指定区域内检测到运动物体 (可疑者)时就会报警。另外，具有显示跟踪结果的功能从而使监控人员 容易确认的系统也逐渐被实用化。
利用图像的跟踪技术釆用以下方法来实现设定跟踪模式后，在图像 内搜索模式位置的模式匹配法；基于光学流向检测运动物体位置的方法； 跟踪颜色等拍照对象特征的方法等。
以往，以在监控摄像机中的利用或机器人视觉实现为目的研究了采用 图像处理的运动物体的捕捉和跟踪技术，但是近几年，也在面向普通消费 者的数码相机中开始使用该技术了。例如，公开了跟踪指定的拍照对象并 通过切取处理从拍摄图像中切取适合于所关注的拍照对象的构图的图像 的方法。
若进行将主要拍照对象作为跟踪目标的跟踪处理并且从拍摄图像中 切取包括跟踪目标的像的图像区域，则能够向用户提供对跟踪目标具有良 好的构图的运动图像。但是，基于图像处理的跟踪不会始终成功，由于各 种因素改变跟踪的容易度导致相机丢失跟踪目标也很常见。例如，基于跟 踪目标的颜色信息进行跟踪时，若背景颜色与跟踪目标的颜色相似，会存 在跟踪的容易度降低从而相机丢失跟踪目标的情况。若跟踪的容易度降 低，则显然也会降低跟踪的可靠度。
如图30 (a)斩示，在跟踪的可靠度或容易度高的状态下，在拍摄图 像901内设定关注跟踪目标900的切取区域902，并将切取区域902内的图像作为切取图像来生成和记录即可。但是，在跟踪的可靠度或容易度低 的状态下，若进行与可靠度或容易度高时相同的切取处理，则有可能如图
30 (b)所示，在拍摄图像911内设定的切取区域912中不存在跟踪目标 910。图30 (b)是在基于颜色信息进行跟踪处理时，假设背景当中存在具 有类似于跟踪目标的颜色的物体从而将该物体误认为是跟踪目标时的情 况的图。
尽管相机的拍摄区域内包含了作为跟踪目标的主要拍照对象，但是相 机中记录的切取图像内未包含该主要拍照对象的像的情况是最不希望发 生的情况，因此应该极力避免这种情况的发生。
以上记载了利用关注于跟踪目标的切取处理时(即，利用电子变焦时) 的问题，但是关注于跟踪目标而进行光学变焦时也会产生同样的情况。另 外，若要将拍摄时应当进行的处理在图像再生时迸行，则也会发生同样的 情况。再者，想要实现关注于跟踪目标的自动聚焦控制等时也会发生同样 的情况。
另外，提出了各种各样的利用电子变焦和/或光学变焦来获取关注于跟 踪目标的图像的技术，但是在以往的技术中，事实上对跟踪的可靠度或容 易度并没有予以考虑。另外，还提出了与跟踪目标在图像中的移动相应地 移动自动聚焦控制中利用的区域的技术，但是该技术中也没有予以考虑对 跟踪的可靠度或容易度。

发明内容
本发明的第l摄像装置的特征在于，具有摄像元件，其通过依次拍 摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输
出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图
像列上跟踪所述跟踪目标；切取处理部，其按每个拍摄图像基于检测出的 所述位置在所述拍摄图像内设定切取区域，并提取所述切取区域内的图像 作为切取图像或输出表示所述切取区域的位置和大小的切取信息；和跟踪 评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟 踪的可靠性或容易性的程度；所述切取处理部根据评价出的所述程度改变 所述切取区域的大小。艮P，具体而言，例如，所述切取处理部使所述程度被评价为比较高时 的所述切取区域的大小比所述程度被评价为比较低时的所述切取区域的 大小更小。
另外，具体而言，例如，所述切取处理部基于评价的所述程度与拍摄 图像上的所述跟踪目标的大小来设定所述切取区域的大小。
另外，具体而言，例如，所述跟踪评价部接受形成所述拍摄图像列的 拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述 跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据 所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价 所述程度。
本发明的第2摄像装置的特征在于，具有摄像元件，其通过依次拍 摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输 出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图 像列上跟踪所述跟踪目标；视角调整部，其调整拍摄中的视角；和跟踪评 价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪 的可靠性或容易性的程度；所述视角调整部根据评价出的所述程度改变所 述视角。
艮P，具体而言，例如，所述视角调整部按照在所述程度被评价为较高 时使拍摄图像上的所述跟踪目标的大小较大，并且在所述程度被评价为较 低时使拍摄图像上的所述跟踪目标的大小较小的方式，根据所述程度调整 所述视角。
另外，具体而言，例如，所述视角调整部基于评价的所述程度与拍摄 图像上的所述跟踪目标的大小来设定所述视角。
另外，具体而言，例如，所述跟踪评价部接受形成所述拍摄图像列的 拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述 跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据 所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价 所述程度。
本发明的第1图像再生装置是一种将切取图像列的图像信号向显示部 或向外部输出的装置，其特征在于，具有图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像
信号的输入图像列；跟踪处理部，其基于所述输入图像列的图像信号依次
检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪
所述跟踪目标；切取处理部，其按每个输入图像基于检测出的所述位置在 所述输入图像内设定切取区域，并提取所述切取区域内的图像作为切取图 像；和跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟 踪处理部的跟踪的可靠性或容易性的程度；所述切取处理部根据评价出的 所述程度改变所述切取区域的大小。
本发明的第3摄像装置的特征在于，具有摄像元件，其通过依次拍 摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输 出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图 像列上跟踪所述跟踪目标；区域设定部，其基于检测出的所述位置在各拍 摄图像内设定评价值收集区域；获取条件控制部，其基于各拍摄图像的所 述评价值收集区域内的图像信号，控制所述拍摄图像列的获取条件；和跟 踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的 跟踪的可靠性或容易性的程度；所述区域设定部根据评价出的所述程度改 变所述评价值收集区域的大小。
本发明的第2图像再生装置的其特征在于，具有图像获取部，其从 记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基 于所述图像信号的输入图像列；跟踪处理部，其基于所述输入图像列的图 像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图 像列上跟踪所述跟踪目标；区域设定部，其基于检测出的所述位置在各输 入图像内设定评价值收集区域；输出图像生成部，其生成基于各输入图像 的所述评价值收集区域内的图像信号对所述输入图像列进行加工后的输 出图像列；和跟踪评价部，其根据所述输入图像列的图像信息，评价基于 所述跟踪处理部的跟踪的可靠性或容易性的程度；该图像再生装置将所述 输出图像列的图像信号向显示部或向外部输出的装置，所述区域设定部根 据评价出的所述程度改变所述评价值收集区域的大小。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也 可基于所述拍摄图像或所述输入图像上的跟踪目标的大小来评价所述程
8度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也 可基于所述拍摄图像或所述输入图像上的跟踪目标的位置来评价所述程 度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部还 可基于所述拍摄图像列或所述输入图像列上的跟踪目标的运动来评价所 述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也 可基于所述拍摄图像列或所述输入图像列上的跟踪目标的图像特征的变 化量来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部可 从所述拍摄图像或所述输入图像上的所述跟踪目标的图像特征与所述跟 踪目标周边的图像特征之间的对比中评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也 可基于所述拍摄图像或所述输入图像上的所述跟踪目标的周边的亮度来 评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部还 可基于针对所述跟踪目标的光源色温的推定结果来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也 可基于所述拍摄图像或所述输入图像中包含的噪声的大小来评价所述程 度。
本发明的意义或效果将通过以下的实施方式的说明变得更加明确。但 是，以下的实施方式始终只是本发明的一个实施方式，本发明或各结构要 素的用语意义并不仅限于以下的实施方式公开的内容。


图1是本发明的第1实施方式的摄像装置的整体模块图。
图2是图1的摄像部的内部结构图。 图3是图1的摄像装置的外观立体图。
图4是本发明的第1实施方式中设置在摄像装置内的特别是有关拍照对象跟踪功能的部件的模块图。
图5是表示本发明的第1实施方式的拍摄模式中摄像装置的动作的流 程的流程图。
图6是表示本发明的第1实施方式中在跟踪处理中参照的初始设定用 帧图像的一例的图。
图7是表示本发明的第1实施方式中作为帧图像的被运算图像被划分
为多个小块的情况的图。
图8是用于说明由图4的跟踪可靠度评价部执行的跟踪可靠度的评价 方法的图，在作为帧图像的被运算图像上叠加了跟踪目标的中心等的图。
图9 (a) (c)是表示本发明的第1实施方式中根据跟踪可靠度可 变设定切取区域的尺寸的情况的图。
图10是表示本发明的第1实施方式中切取区域的设定方法步骤的流 程图。
图11是本发明的第1实施方式中在XY坐标平面上表示图像的图。 图12 (a)是表示本发明的第1实施方式的帧图像中的跟踪目标区域 的图。
图12 (b)是表示本发明的第1实施方式的帧图像中的切取区域的图。 图13是表示本发明的第1实施方式中暂时设定的切取区域从帧图像 突出的情况的图。
图14是表示本发明的第1实施方式中按时间序列排列的帧图像列及 从这些图像列提取的切取图像列的图。
图15是本发明的第2实施方式中设置在摄像装置内的特别是有关拍 照对象跟踪功能的部件的模块图。
图16是表示本发明的第2实施方式的拍摄模式中摄像装置的动作的 流程的流程图。
图17是表示本发明的第2实施方式中变焦透镜位置、视角、光学变 焦倍率之间的关系的图。
图18 (a) (c)是表示本发明的第2实施方式中根据跟踪可靠度可
变设定视角(拍摄视角)的情况的图。
图19是本发明的第3实施方式的摄像装置的部分模块图。图20是本发明的第3实施方式的设置在摄像装置上的AF评价值计算 部的内部模块图。
图21是本发明的第3实施方式的帧图像中设置的AF评价区域内包括 多个小块的情况的图。
图22是表示本发明的第3实施方式的有关拍摄模式的摄像装置的动 作的流程的流程图。
图23是本发明的第4实施方式的摄像装置的部分模块图。
图24是表示本发明的第4实施方式中在图像再生动作时执行的处理 的步骤的流程图。
图25是表示本发明的第5实施方式中两张帧图像与两图像间的光学 流向的图。
图26是表示本发明的第6实施方式中被运算图像上的图像中心与跟 踪目标的中心的图。
图27是表示本发明的第6实施方式中按时间序列排列的帧图像列和 帧图像间的运动矢量的图。
图28是表示本发明的第6实施方式的跟踪目标的周边亮度级与可靠 度评价值之间的关系的图。
图29是表示本发明的第6实施方式中按每一个跟踪目标帧图像推定 的色温分布的图。
图30 (a)和>)是表示在现有技术中分别在跟踪的可靠度或容易度 比较高和比较低时假设的切取区域的设定例的图。
具体实施例方式
下面，参照图来具体说明本发明的实施方式。被参照的各图中，在相 同的部分上附加了相同的符号，且原则上省略关于相同的部分的重复说 明。
(第1实施方式)
首先，对本发明的第1实施方式进行说明。图1是第1实施方式的摄 像装置的整体模块图。摄像装置1是能够拍摄和记录静态图像及运动图像 的数码摄像机。
ii摄像装置1具有摄像部11、 AFE (Analog Front End) 12、主控制 部13、内部存储器14、显示部15、记录介质16、操作部17。
图2表示摄像部11的内部结构图。摄像部11具有光学系统35、光圈 32、由CCD (Charge Coupled Devices)或CMOS (Complementary Metal Oxide Semiconductor)图像传感器构成的摄像元件(固体摄像元件)33、 用于驱动控制光学系统35或光圈32的驱动器34。光学系统35由包括变 焦透镜30和聚焦透镜31的多个透镜形成。变焦透镜30和聚焦透镜31能 在光轴方向上移动。驱动器34通过基于来自主控制部13的控制信号，对 变焦透镜30和聚焦透镜31的各位置以及光圈32的开度进行驱动控制， 从而控制摄像部11的焦距(视角)和焦点位置以及入射到摄像元件33的 入射光量。
摄像元件33对通过光学系统35及光圈32入射的表示拍照对象的光 学像进行光电变换，且向AFE12输出通过该光电变换获得的电信号。更 具体而言，摄像元件33具有矩阵状二维排列的多个受光像素，在各拍摄 中各受光像素蓄积与曝光时间相应的电荷量的信号电荷。具有与所蓄积的 信号电荷的电荷量成比例的大小的来自各受光像素的模拟信号随着在摄 像装置1内生成的驱动脉冲而依次向AFE12输出。曝光时间的长度由主 控制部13控制。
AFE12放大从摄像部11 (摄像元件33)输出的模拟信号，并将被放 大的模拟信号变换为数字信号。AFE12将该数字信号依次向主控制部13 输出。AFE12的信号放大的放大率由主控制部13控制。
主控制部13具有CPU (Central Processing Unit) 、 ROM (Read Only Memory)及RAM (Random Access Memory)等，起到影像信号处理部的 作用。主控制部13基于AFE12的输出信号生成表示由摄像部11拍摄的 图像的影像信号。另外主控制部13还具有作为控制显示部15的显示内容 的显示控制部的功能，并对显示部15进行显示上必要的控制。
内部存储器14由SDRAM (Synchronous Dynamic Random Access Memory)等形成，暂时存储摄像装置1内生成的各种数据。显示部15是 由液晶显示面板等构成的显示装置，在主控制部13的控制下，显示拍摄 的图像或存储在记录介质16上的图像等。记录介质16是SD (SecureDigital)存储卡等非易失性存储器，在基于主控制部13的控制下，存储拍 摄的图像等。
操作部17接受来自外部的操作。对操作部17的操作内容传达到主控 制部13。操作部17中具有用于指示静态图像的拍摄及记录的快门按钮(未 图示)、用于指示运动图像的拍摄及记录的录像按钮(未图示)等。
摄像装置1的动作模式包括能够拍摄静态图像或运动图像的拍摄模 式、能够在显示部15上再生存储于记录介质16中的静态图像或运动图像 的再生模式。在拍摄模式下，以规定的帧周期依次进行拍摄并从摄像元件 33获取拍摄图像列。构成该拍摄图像列的各图像称为"帧图像"。图像列 (例如拍摄图像列)意味着按时间序列排列的多个图像。能够将帧图像列 作为运动图像显示在显示部15的显示画面上。
图3表示从拍摄者一侧看到的摄像装置1的外观立体图。图3中还图 示了作为拍照对象的人。拍摄者通过确认显示在显示部15的显示画面上 的拍照对象的模样，能够确认摄像装置l的拍摄范围。
摄像装置1具有利用图像处理的拍照对象跟踪功能，在实现该拍照对 象跟踪功能时进行特征动作。通过对操作部17实施规定操作使得拍照对 象跟踪功能变为有效。以下所示的动作只要未做特别限定，就是拍照对象 跟踪功能变为有效时的摄像装置1的动作(对后述的其它实施方式也相 同)。此外，将表示图像的数据称为图像数据。某帧图像的图像数据表示 该帧图像的光学像，且由AFE12的输出信号生成。也能将图像数据换称 为图像信号。另外，也有称作表示图像数据的信号与影像信号的时候，图 像数据与影像信号是等效的。
图4是摄像装置1内的特别是与拍照对象跟踪功能有关的部件的模块 图。图4中，由符号51 54表示的各部件设置在图1的主控制部13内。 形成帧图像列的各帧图像的图像数据依次分配给跟踪处理部51、跟踪可靠 度评价部52及切取处理部53。
跟踪处理部51通过基于帧图像列的图像数据依次检测各帧图像内的 特定拍照对象的位置，由此跟踪帧图像列中的特定拍照对象的位置。下面 将应跟踪的特定拍照对象称为"跟踪目标"。考虑跟踪目标为人的情况。
跟踪处理部51还具有作为脸部检测部(未图示)的功能，基于帧图像的图像数据从帧图像中检测人的脸部，并提取包括检测出的脸部的脸部 区域。实现该功能的处理称为脸部检测处理。作为检测包括在图像中的脸 部的方法公知有各种各样的方法，跟踪处理部51能够采用任何一种方法。
例如，如特开2000-105819号公报公开的方法，可以通过从帧图像提取肤 色区域来检测脸部(脸部区域)，也可以利用特开2006-211139号公报或 特开2006-72770号公报公开的方法来检测脸部(脸部区域)。
跟踪可靠度评价部52基于帧图像列的图像数据评价基于跟踪处理部 51的跟踪的可靠度(跟踪的可靠性的程度)或跟踪的容易度(跟踪的容易 性的程度)。跟踪的可靠度与跟踪的容易度具有相同的意义或类似的意义。 严密地说，跟踪的可靠度解释为一种表示过去执行的跟踪有多可靠的指 标，跟踪的容易度解释为一种表示从现在开始要执行的跟踪有多容易的指 标。跟踪的容易度越高跟踪的可靠度也变得越高，跟踪的容易度越低跟踪 的可靠度也变得越低。在以下的说明中，为了简化叙述，认为"跟踪处理 部51评价的是跟踪的可靠度"，也能将跟踪的可靠度换称为跟踪的容易 度。另外，跟踪的可靠度与跟踪的容易度指同样的指标。
切取处理部53基于由跟踪处理部51进行的跟踪处理的结果和由跟踪 可靠度评价部52进行的跟踪可靠度的评价结果，在帧图像内设定切取区 域，该切取区域包括具有与跟踪目标对应的图像数据的跟踪目标区域，从 帧图像切取该切取区域内的图像。将切取出的切取区域内的图像称为"切 取图像"。切取区域比帧图像的整体区域要小，并且切取图像相当于帧图 像的部分图像。因此，切取图像的图像尺寸(水平方向及垂直方向的像素 数)比帧图像的图像尺寸要小。由切取处理部53生成的切取图像的图像 数据依次分配给分辨率变换部54。
分辨率变换部54执行用于提高切取图像的分辨率的图像处理(以下， 称为分辨率提高处理)。例如，通过线性插值等插值处理或者通过超清晰 处理来提高切取图像的分辨率。特别将分辨率提高后的切取图像称为输出 图像。分辨率变换部54生成和输出上述输出图像的图像数据。 (拍摄时的动作)
参照图5对实现拍照对象跟踪功能时的摄像装置1的操作进行更详细 的说明。图5是表示在拍摄模式中摄像装置1的动作的流程的流程图。在摄像模式下，拍照对象跟踪功能变为有效时，图4的跟踪处理部51对依 次输入的帧图像进行脸部检测处理。依次输入的帧图像在显示部15上更 新显示。主控制部13 —方面确认是否从当前的帧图像中检测到了脸部(步 骤Sll)，另一方面确认是否对操作部17进行了规定的跟踪开始指示操作 (步骤S12)，当检测到了脸部且对操作部17进行了规定的跟踪开始指示 操作时，过渡到步骤S13执行步骤S13的处理。
在步骤S13中，跟踪处理部51将在步骤S13之前获得的检测出了脸 部的帧图像作为初始设定用帧图像来获取，基于初始设定用帧图像的图像 数据设定跟踪目标和跟踪颜色。
参照图6来说明跟踪目标和跟踪颜色的设定方法。图6的图像201表 示初始设定用帧图像的一例。在图6中，虚线矩形区域211是通过脸部检 测处理从初始设定用帧图像201提取的脸部区域。跟踪处理部51将具有 脸部区域211中包含的脸部的人作为跟踪目标来设定。提取脸部区域211 后，跟踪处理部51检测作为包括与该脸部区域211对应的人的身体部位 的区域的身体区域212。身体区域212是在脸部区域211的下方侧(从眉 间朝向嘴部的方向侧)的矩形区域。在初始设定用帧图像中依赖于脸部区 域211的位置及大小来决定身体区域212的位置及大小。
其次，跟踪处理部51基于身体区域212内图像的图像数据特定身体 区域212内的颜色，将特定的颜色作为跟踪颜色来设定。例如，基于形成 身体区域212内图像的各像素的颜色信号(例如，RGB信号)生成身体区 域212内图像的颜色直方图。然后，基于该颜色直方图求出身体区域212 内图像的支配颜色或最频繁颜色，将该求出的颜色作为跟踪颜色来设定。 某一图像的支配颜色是指占据该图像的图像区域的大部分的颜色，某一图 像的最频繁颜色是指该图像的颜色直方图中具有最高度数的颜色(支配颜 色与最频繁颜色是相同的存在)。或者，也可以通过平均化形成身体区域 212内图像的各像素的颜色信号来求出身体区域212内图像的平均颜色， 并将该平均颜色作为跟踪颜色来设定。
此外，在步骤S13中，也可以将跟踪目标和跟踪颜色通过对操作部17 的手动操作来设定。例如，用户寧过对操作部17的操作来指定应成为跟 踪目标的人在帧图像上的位置，由此设定跟踪目标，并通过对操作部17
15的操作来指定跟踪颜色，由此设定跟踪颜色。
在步骤S13中设定跟踪目标和跟踪颜色之后，反复执行由步骤S21
S25构成的循环处理，在该循环处理中，跟踪处理部51对设定跟踪目标和
跟踪颜色之后获得的帧图像列执行跟踪处理。特别将形成应实施该跟踪处
理的图像列的各帧图像称为跟踪目标帧图像。跟踪处理部51基于跟踪目 标帧图像列的图像数据，检测各跟踪目标帧图像中的跟踪目标的位置及大 小。
跟踪处理部51基于跟踪目标具有的颜色信息进行跟踪处理。基于颜 色信息的跟踪处理的方法能够使用特开平5-284411号公报、特开 2000-48211号公报、特开2001-169169号公报等公开的方法。在上述的例 子中，根据如上述设定的跟踪颜色表现跟踪目标具有的颜色信息。因此， 跟踪处理部51基于跟踪目标帧图像的颜色信号从跟踪目标帧图像提取具 有与跟踪颜色的类似性高的颜色的区域。这里，提取的区域可看作在跟踪 目标帧图像内的跟踪目标的身体区域。
更具体而言，例如，在关注的跟踪目标帧图像内，设定具有与跟踪目 标的身体区域大小同等大小的跟踪框，在搜索范围内依次改变跟踪框的位 置，同时执行跟踪框内的图像颜色与跟踪颜色之间的类似性评价，在获得 最大的类似性的跟踪框的位置上判断存在跟踪目标的身体区域。当前的对 跟踪目标帧图像的搜索范围以前一次的跟踪目标帧图像中的跟踪目标的 位置为基准而设定。通常，该搜索范围是以前一次的跟踪目标帧图像中的 跟踪目标的位置为中心的矩形区域，搜索范围的尺寸(图像尺寸)比帧图 像的整体区域的尺寸小。
跟踪处理部51通过对不断输入的跟踪目标帧图像执行基于上述的颜 色信息的跟踪处理，从而检测出各跟踪目标帧图像的跟踪目标的位置。例 如，跟踪目标的位置由该跟踪目标的身体区域的中心坐标值表现。
另夕卜，跟踪目标帧图像上的跟踪目标的大小因跟踪目标与摄像装置1 之间的实际空间上的距离变化等而变化。因此，需要根据跟踪目标帧图像 上的跟踪目标的大小来适当改变上述的跟踪框的大小，该改变通过在公知 的跟踪算法中使用的拍照对象尺寸检测方法来实现。例如，在跟踪目标帧 图像中，若假设离预测存在跟踪目标的身体的点充分远的点上出现背景，则跟踪处理部51根据两点的图像特征来分类出两点间的各位置的像素属 于背景还是跟踪目标。图像特征包括亮度信息和颜色信息。由该分类推定 跟踪目标的轮廓。然后，从该轮廓推定跟踪目标的大小，并根据该推定的 大小设定跟踪框的大小。
设定跟踪框的大小与检测出跟踪目标帧图像中的跟踪目标的身体区 域的大小是相同的。另外，由于跟踪目标的大小与身体区域的大小成比例， 因此检测出身体区域的大小的同时跟踪目标的大小也被确定。因此，跟踪 处理部51变成检测各跟踪目标帧图像中的跟踪目标的位置和大小。包括 表示检测出的位置和大小的信息(换言之，表示跟踪目标区域的位置和大
小的信息)的跟踪结果信息传达到跟踪可靠度评价部52和切取处理部53 (参照图4)。
跟踪处理部51基于跟踪目标的位置和大小的检测结果能够设定出现 了跟踪目标的整体影像的图像区域。在帧图像的整体区域内，跟踪目标的 整体影像表示的图像区域(存在表示跟踪目标的图像数据的区域)称为跟 踪目标区域，跟踪目标未出现的图像区域(不存在表示跟踪目标的图像数 据的区域)称为背景区域。跟踪目标区域包括跟踪目标的整体影像，且尽 可能将其设定得小。
另外，作为推定跟踪目标帧图像中的跟踪目标的大小(主要拍照对象 的大小)的方法，也能采用与上述的方法不同的其它的任意方法(例如， 特开2004-94680号公报公开的方法或特开平9-189934号公报公开的方 法)。
下面对图5所示的步骤S21 S25中执行的各处理进行说明。在步骤 S13中设定了跟踪目标和跟踪颜色之后，首先执行步骤S21的处理。
在步骤S21中，从当前时间的1张帧图像的AFE12的输出信号获取 当前的帧图像。这里获取的帧图像是如上所述的跟踪目标帧图像。在之后 的步骤S22中，跟踪处理部51通过上述的跟踪处理来检测在步骤S21中 得到的当前的帧图像中的跟踪目标的位置和大小，并且生成包括表示检测 出的位置和大小的信息的跟踪结果信息，并向跟踪可靠度评价部52和切 取处理部53输出跟踪结果信息。
在步骤S22之后的步骤S23中，跟踪可靠度评价部52评价当前时间的跟踪可靠度，换言之，对步骤S21的帧图像评价检测出的跟踪目标的位 置(和大小)的可靠度。
下面例示该评价方法。表示已评价的可靠度的评价值称为可靠度评价 值，并将其用EVr表示。能按每一个跟踪目标帧图像算出可靠度评价值。
EVk取0以上100以下的值，且跟踪可靠度被评价得越高可靠度评价值EVa 越大。
跟踪可靠度评价部52将在步骤S21中获取的跟踪目标帧图像作为被 运算图像来处理。然后，如图7所示，通过在水平方向和垂直方向上将被 运算图像的整体区域分割成多块，从而在被运算图像内设定多个小块。现 在，将水平方向和垂直方向的分割数分别设为M和N (M和N是2以上 的整数)。各小块由二维排列的多个像素形成。另外，作为表示被运算图 像内的小块的水平位置和垂直位置的记号，引用m和n (m是满足l《m 《M的整数值，且n是满足1《n《N的整数值)。m和n设定为m变 得越大其水平位置就越朝向右方，n变得越大其垂直位置就越朝向下方。 水平位置为m、垂直位置为n的小块表示为小块[m， n]。
跟踪可靠度评价部52基于跟踪结果信息辨别被运算图像中的跟踪目 标的身体区域的中心，特定其中心的位置属于哪一个小块。图8的点250 表示该中心。现在假设该中心250属于小块[mo， n0] (mo是满足1《m《 M的整数值，且no是满足l《n《N的整数值)。另夕卜，通过利用上述的 拍照对象尺寸检测方法，将各小块分类为表示跟踪目标的图像数据的小块 或表示背景的图像数据的小块。前者小块称为拍照对象块，后者小块称为 背景块。图8形象化地表示了将出现在中心250周边的跟踪目标的颜色与 背景颜色相异的情况。
可将所有拍照对象块合成后的区域作为跟踪目标区域，将所有背景块 合成后的区域作为背景区域。
跟踪可靠度评价部52按每一个背景块算出表示设定的跟踪颜色与背 景块内的图像的颜色之间的差的色差评价值。假设有Q个背景块，且分别 用C鹏[1] C服[Q]来表示对第1 第Q背景块算出的色差评价值(Q是满 足不等式"2《Q《(MxN) -1"的整数)。例如，计算色差评价值CDIS[1] 时，通过平均化属于第1背景块的各像素的颜色信号(例如，RGB信号)求出第1背景块内的像素的平均颜色，并检测该平均颜色在RGB色空间 上的位置。另一方面，还检测对跟踪目标设定的跟踪颜色在RGB色空间 上的位置，将RGB色空间上的两位置间的距离作为色差评价值Cms[l]来 计算。由此，对比的颜色的差异增大时色差评价值Cms[l]会增大。另外， 归一化RGB色空间，使色差评价值C服[l]的取值范围在0以上1以下。 其它的色差评价值Cws[2] CDK[Q]也由同样的方法计算。另外，用于求出 色差评价值的色空间也可以是RGB色空间以外(例如，HSV色空间)的 空间。对于某一个关注的图像区域，该图像区域内的颜色在色空间上的位 置也可以说成是一种表示该图像区域内的图像的特征的量(图像特征量)。
而且，跟踪可靠度评价部52按每一个背景块算出表示中心250与背 景块之间在被运算图像上的空间位置之差的位置差评价值。分别用 Pms[l] Pms[Q]表示对第1 第Q背景块算出的位置差评价值。对某背景 块的位置差评价值是中心250与该背景块的4个顶点内相对于中心250最 近的顶点之间的距离。小块[l， l]为第l背景块，并且Kmo且Kno，如 图8所示，小块[l， 1]的4个顶点内顶点251离中心250最近时，位置差 评价值Pms[l]是中心250与顶点251之间在被运算图像上的空间距离。归 一化被运算图像的空间区域，使位置差评价值Pws[l]的取值范围在O以上 1以下。其它的位置差评价值Pms[2] P服[Q]也由同样的方法计算。
跟踪可靠度评价部52，基于如上所述地求出的色差评价值及位置差评
价值，由下式(1)算出对关注的被运算图像的合并距离CPDB。然后，利
用该合并距离CPDB，由下式(2)算出对关注的被运算图像的可靠度评价
值EVR。即，"CPDIS>100"时使"EVR=0" ， "CPDIS《100"时使"EVR=100-
CPDIS"。由该计算方法了解到跟踪目标附近存在与跟踪颜色同色或类似色
的背景，则可靠度评价值EVR就会降低。<formula>formula see original document page 19</formula>在图5的步骤S23中评价了跟踪可靠度之后，执行步骤S24的处理。在步骤S24中，切取处理部53基于从跟踪处理部51输出的最新的跟踪结 果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度，在步骤S21 中得到的帧图像的整体区域内设定切取区域，将该切取区域内的图像作为 切取图像从该帧图像切出。
此时，若帧图像上的跟踪目标的大小是一定的，则如图9 (a) (c) 所示设定切取区域，使切取区域的尺寸随着跟踪可靠度变高而减小。图9 (a) 、 (b)和(c)表示跟踪可靠度分别为第l、第2、第3可靠度时的 切取区域的设定的情况。假设在第1 第3可靠度内，第1可靠度是最高 的可靠度，第3可靠度是最低的可靠度。在图9 (a) (c)中，实线四 角框内的图像271 273表示应设定切取区域的帧图像，虚线四角框内的 图像281 2S3表示切取区域。各切取区域内的人是跟踪目标。由于跟踪 目标具有的跟踪颜色的类似颜色位于跟踪目标的周围，因此对帧图像272 和273的跟踪可靠度比帧图像271的跟踪可靠度低。
对帧图像271设定的切取区域281的尺寸小于对帧图像272设定的切 取区域282的尺寸，且切取区域282的尺寸小于对帧图像273设定的切取 区域283的尺寸。切取区域的尺寸是表示切取区域的大小的切取区域的图 像尺寸，由属于切取区域内的像素数来表示。
参照图10来更详细地说明步骤S24的切取区域的设定方法的例子。 图10是表示切取区域的设定方法步骤的流程图，由切取处理部53依次执 行图10所示的步骤S31 S35的各处理。
说明图IO所示的处理之前，先参照图11说明图像上的坐标值的意义 等。图11是在XY坐标平面上表示了帧图像等的任意图像300的图。XY 坐标平面是将相互垂直的X轴和Y轴作为坐标轴的二维坐标平面，X轴 延伸的方向与图像300的水平方向平行，Y轴延伸的方向与图像300的垂 直方向平行。另外，讨论图像上的物体或区域时，将该物体或区域在X轴 方向上的大小(尺寸)作为物体或区域的宽度来获得，将该物体或区域在 Y轴方向上的大小(尺寸)作为物体或区域的高度来获得。用(x， y)表 示图像300上的关注的某点的坐标值。x和y分别表示关注的点的水平方 向和垂直方向的坐标值。X轴和Y轴在原点O交叉，从原点O看，X轴 的正方向是向右方向，X轴的负方向是向左方向，Y轴的正方向是向上方向，Y轴的负方向是向下方向。
对图10所示的步骤S31 S35的各处理进行说明。首先，在步骤S31 中，切取处理部53利用由跟踪结果信息表示的跟踪目标的高度HA，且由 式"Hb:1^xHa"算出切取高度HB。 k,是预先设定的比1大的常数。在 图12 (a)中表示应设定切取区域的帧图像310，并且在帧图像310中由 矩形区域311表示存在跟踪目标的图像数据的跟踪目标区域。在图12(b) 中表示与图12 (a)所示的相同的帧图像310，并且对帧图像310由矩形 区域312表示应设定的切取区域。另外，在图12 (a)中，由矩形区域表 示了跟踪目标区域，但是跟踪目标区域的外形不仅限于矩形。
作为矩形区域3U的跟踪目标区域的高度方向的大小(尺寸)为跟踪 目标的高度HA，作为矩形区域312的切取区域的高度方向的大小(尺寸) 为切取高度HB。另外，分别由Ho和Wo表示帧图像310的整体区域的高 度方向和宽度方向的大小(尺寸)。
在步骤S31中算出的切取高度，在步骤S32中根据表示跟踪可靠度的 可靠度评价值EVR来修正。修正后的切取高度由HB'表示(但是，也有 不进行实质性的修正而变成HB' 二Hb的情况)。具体而言，通过比较最新 的可靠度评价值EVK与规定的阈值TH,、 TH2来判断以下的第1 第3不 等式中的哪一个不等式成立。预先设定阈值TH,和TH2，使不等式"100> TH^ TH2>0"成立，例如为TH产95且=TH2=75 。
并且，第1不等式"EV^TH,成立时，在Hb'的位置上代入Hb。 即，第l不等式成立时，对在步骤S31中算出的切取高度不进行修正。
第2不等式"TH一EVr》TH2"成立时，由式"Hb' =Hbx (l+(l-E VR/100) /2))"算出修正后的切取高度Hb' 。 S卩，第2不等式成立时， 增大修正切取高度。
第3不等式"TH2> EVR"成立时，在HB'的位置上代入HB0。 HB0 是基于帧图像310的高度Ho的常数，例如，与高度Ho—致的常数或比高 度Ho略小的常数。第3不等式成立时，也增大修正切取高度。
在步骤S32之后的步骤S33中，利用—修正后的切取高度Hb'，由式 "WB=k2xHB'"算出切取竟度Wb。切取宽度WB是作为矩形区域312的 切取区域的宽度方向的大小(尺寸)。另外，k2是预先设定的常数(例如，k2=16/9)。若跟踪目标区域的宽度方向的大小比起高度方向的大小并未异
常地大时，将变成切取区域包含跟踪目标区域。在本例中，假设了跟踪目 标为人且人的个子方向与图像的垂直方向一致的情况，不设定宽度方向的 大小比起高度方向的大小异常地大的跟踪区域。
之后，在步骤S34中，切取处理部53从跟踪结果信息获取跟踪目标 的中心CNA的坐标值(xA， yA)，且设定切取区域的中心CNe的坐标值 (xB， yB)，使(xB， yB) = (xA， yA)。
在该阶段设定的切取区域有可能包括从帧图像310的整体区域突出的 区域。例如，有可能如图13所示，切取区域312a的部分区域位于帧图像 310整体区域外且帧图像310的上方一侧。位于帧图像310整体区域外的、 切取区域的部分区域称为突出区域。突出区域的突出方向的大小称为突出 量。
在步骤S35中，判断是否存在突出区域。不存在突出区域时，由通过 步骤S31 S34的处理设定的切取高度hb'、切取竟度Wb、坐标值(xb， yB)决定的切取区域，变成在图5所示的步骤S24中应设定的最终的切取 区域。
当存在突出区域时，对由通过步骤S31 S34的处理设定的切取高度 HB'、切取宽度WB、坐标值(xb， yB)决定的切取区域进行切取位置调 整，将切取位置调整后的切取区域作为在图5所示的步骤S24中应设定的 最终的切取区域。
在切取位置调整中，修正切取区域的中心CNB的坐标值，使突出量恰 好为零。例如，如图13所示，帧图像310的上方一侧上突出有切取区域 312a时，将切取区域的中心CNB向下方移动与突出量相应的量。即，设 突出量为Ay时，由"yB' =yB-Ay"算出修正后的y轴坐标值yB'，将在 图5所示的步骤S24中应设定的最终的切取区域的中心CNB的坐标值设为 (xB， yB"。
同样地，帧图像的下方一侧上突出有切取区域时，将切取区域的中心 CNB向上方移动与突出量相应的量，帧图像的右侧上突出有切取区域时， 将切取区域的中心CNB向左方向移动与突出量相应的量，帧图像的左侧上 突出有切取区域时，将切取区域的中心CNB向右方向移动与突出量相应的
22量，将移动后的切取区域设定为最终的切取区域。
另外，通过向切取区域的下方移动，在切取区域的下方一侧再次出现 切取区域的突出时，对切取区域的大小(切取高度和切取宽度)进行减少 修正，使得消除该突出。在切取高度HB'比较大时易发生需要减少修正 的情况。
再次参照图5。如上所述，设定切取区域，并从步骤S21中得到的帧
图像生成切取图像之后，执行步骤S25的处理。在步骤S25中，分辨率变 换部54通过执行用于提高切取图像分辨率的分辨率提高处理来生成输出 图像(即，提高分辨率后的切取图像)。
分辨率提高处理，例如，通过利用一张帧图像的图像数据的插值处理 来实现。此时，例如，应切取切取图像的帧图像的图像尺寸为1920X1080， 且提高分辨率前的切取图像的图像尺寸为960X540时，通过分别在水平 方向和垂直方向上将提高分辨率前的切取图像的图像尺寸扩大至2倍来生 成具有1920X1080的图像尺寸的切取图像(即，提高分辨率后的切取图 像)。通过利用插值处理的分辨率变换来实现图像尺寸的扩大。作为插值 处理的方法能利用邻近点(nearest neighbor)法、双线性法、双三次法等 各种方法。
另外，也可以向经过上述的插值处理得到的提高分辨率后的切取图像 (以下，称为清晰化前图像)进一步施加清晰化处理，将清晰化处理后的 图像(以下，称为清晰化后图像)作为分辨率变换部54的输出图像。例 如，也能够通过向清晰化前图像实施利用了边缘突出滤波器(微分滤波器 等)或反锐化掩模滤波器(imsharp mask filter)的滤波来生成清晰化后图 像。利用反锐化掩模滤波器的滤波称为反锐化掩蔽(unsharp masking)。 在反锐化掩蔽中，平滑化清晰化前图像来生成平滑化图像之后，生成该平 滑化图像与清晰化前图像之间的差分图像。然后，通过合成差分图像与清 晰化前图像使该差分图像的各像素值与清晰化前图像的各像素值互相补 充来生成清晰化后图像。
或者，也可以通过利用了多张帧图像的超清晰处理来实现分辨率提高 处理。在超清晰处理中，参照存在位置偏移的多个低分辨率图像，基于多 个低分辨率图像间的位置偏移量与多个低分辨率图像的图像数据，通过进行低分辨率图像的高清晰化生成一张高分辨率图像。分辨率变换部54能
够利用公知的任意的超清晰处理。例如，能利用特开2005-197910号公报、 特开2007-205号公报、特开2007-193508号公报等公开的超清晰处理方法。 例如，利用3张帧图像来进行超清晰处理时，进行如下处理。当前， 每经过1帧周期的时间时，按顺序访问时刻tn.2、 t^、 tn、 tn+1、 tn+2、……， 如图14所示，在时刻Ui获取的帧图像称为时刻tn+i的帧图像(i为整数)。
然后，用CU表示从时刻U的帧图像切取的切取图像。此时，利用3张
切取图像CIn+i、 CIn+i+1、 Cln+i+2生成一张高分辨率图像。
考虑I为(-2)的情况列举具体例子。在得到切取图像CIn的时刻， 参照3张切取图像CIn.2、 CIw、 CIn，将切取图像CIw、 CIw、 CIn分别作
为第1、第2、第3观测低分辨率图像来处理并进行超清晰处理。将第1 观测低分辨率图像作为基准，检测出第1与第2观测低分辨率图像之间的 位置偏移量和第1与第3观测低分辨率图像之间的位置偏移量。位置偏移
量是包括水平分量和垂直分量的二维量，也称为运动量或运动矢量。位置 偏移量利用代表点匹配法、块匹配法、梯度法等来检测，使其具有子像素 的分辨率。g卩，将比观测低分辨率图像内的相邻的像素的间隔短的距离作 为最小检测单位来检测位置偏移量。
另一方面，作为初始的高分辨率图像，生成利用线性插值或双三次插 值增大了第1观测低分辨率图像的水平和垂直方向的像素数后的图像。然 后，利用检测出的上述各位置偏移量，推定构筑当前时刻的高分辨率图像
的3张低分辨率图像，并更新高分辨率图像使推定的各低分辨率图像与各 观测低分辨率图像之间的误差最小。最终得到的高分辨率图像相当于分辨
率提高后的切取图像CIn.2。其它的切取图像也用同样的方法提高分辨率。 例如，对切取图像CI^的分辨率的提高利用切取图像CIn-,、 CIn、 CI^来实现。
图5的步骤S25的处理结束后，回到步骤S21，反复执行由上述的步 骤S21 S25构成的循环处理。
作为运动图像，在显示部15上显示通过上述循环处理的反复执行得 到的、按时间序列排列的分辨率变换部54的输出图像列，并且，在将该 输出图像列的图像数据记录到记录介质16中。但是，作为运动图像也能在显示部15上显示输入到切取处理部53的帧图像或从切取处理部53输 出的切取图像列，而且也能在记录介质16中记录帧图像列和切取图像列 的图像数据。
若将记录介质16内的图像数据读出到任意的图像再生装置，则在该 图像再生装置上能够再生显示相对于跟踪目标具有良好的构图的切取图 像的运动图像。特别是，若能读出分辨率提高后的切取图像的图像数据， 则能够再生显示高精细的切取图线的运动图像。
进行所关注的拍照对象的运动图像拍摄时，以往为了不丢失其拍照对 象，需要在摄像装置的显示画面上确认拍照对象的同时根据拍照对象的运 动来操作摄像装置的拍摄方向和变焦倍率。因此，拍摄者必须集中于拍摄， 很难一边与关注的拍照对象进行沟通一边进行拍摄，或一边把注意力放在 其它地方一边进行拍摄。另一方面，根据本实施方式，只要以较宽的视角 进行拍摄使得在拍摄区域内容纳关注的拍照对象(即，跟踪目标)，就能 通过利用了跟踪处理的切取处理来依次生成包括关注的拍照对象的切取 图像。因此，拍摄者只要将摄像装置朝向关注的拍照对象的方向，即便不 予以关注也能得到自己期望的拍照对象的影像。而且，再生时，能够欣赏 以适当的构图切取的关注的拍照对象的影像。
进行该切取处理时，如上所述，跟踪可靠度较高时将切取区域的尺寸 变得较小，跟踪可靠度较低时将切取区域的尺寸变得较大。因此，对关注 的拍照对象能够获得具有良好的构图的运动图像，并且跟踪可靠度较低 时，能够避免关注的拍照对象没有包括在切取区域内的情况(参照图30 (b))的发生。
另外，在上述的说明中，设定了摄像装置1的拍摄区域内只包括1人 的情况，但是在拍摄区域内包括多个人时，作为跟踪目标选择该多人当中 的1人即可。例如，从初始检测用帧图像中提取各人物的脸部区域，在显 示部15的显示画面上显示明确了脸部区域的初始检测用帧图像的基础上， 由用户选择应选作跟踪目标的一个人。该选择由对操作部17的操作进行。 或者，也可以使显示部15作为所谓的触摸面板而起作用，通过对该触摸 面板的操作进行选择。或者，进一步也可以在摄像装置l上预先登记应选 作跟踪目标的人物的脸的图像。此时，摄像装置l自动搜索该登记的脸是否包括在初始检测用帧图像中，判断为登记的脸包括在初始检测用帧图像 中时，作为跟踪目标选择具有该登记的脸的人。
另外，在拍摄区域内包括多个人时，也可以分别将多个人作为跟踪目 标，并设定多个包括跟踪目标的跟踪目标区域。例如，在拍摄区域内包括 2个人时，将每个人作为跟踪目标，个别设定显示一方的人物像的跟踪目 标区域和显示另一方的人物像的跟踪目标区域。然后，对各跟踪目标区域 设定切取区域，从1张帧图像提取2张切取图像，也可在记录介质16上 个别存储分辨率提高前或后的各切取图像的图像数据。在图像再生时，例 如，由用户选择上述的两个人当中的一人，对选择的人再生显示切取图像 的运动图像即可。
(图像再生时的动作)
以上说明了关于在拍摄时执行跟踪处理、切取处理和分辨率提高处理 时的操作，但是这些处理也可以在图像再生时执行。说明此时的图像再生 时的摄像装置l的动作。在该图像再生动作之前，拍摄运动图像时得到的
按时间序列排列的帧图像列的所有图像数据记录于记录介质16中。
在图像再生时，从记录介质16以时间序列顺序依次读出帧图像到配 置到图4的跟踪处理部51、跟踪可靠度评价部52和切取处理部53的前级 的图像获取部(未图示)中，将该图像数据以时间序列顺序分配给跟踪处 理部51、跟踪可靠度评价部52和切取处理部53，执行上述的图5所示的 步骤S11 S13和S21 25的处理。
然后，在显示部15上作为运动图像显示通过反复执行由步骤S21 S25构成的循环处理而得到的按时间序列排列的分辨率变换部54的输出 图像列即可。也能在显示部15上显示从切取处理部53输出的切取图像作 为运动图像。实现图像再生动作时，摄像装置1起到图像再生装置的作用。 若进行如上所述的图像再生动作，则能够再生对于所关注的拍照对象 而言具有良好的构图的运动图像，并且在跟踪可靠度较低时能够避免关注
的拍照对象没有包括在再生图像内的情况的发生。
另外，上述的例子中，在设置于摄像装置1的显示部15上再生显示 图像，但是也可以通过向摄像装置1的外部的显示装置(未图示)提供想 要显示的图像的图像数据，在该外部的显示装置上显示分辨率提高前或后
26的切取图像。另外，也可以根据需要通过因特网等向利用该图像数据的外 部设备(运营网站的服务器等)提供分辨率提高前或后的切取图像的图像 数据。
另外，以上记载了拍摄时执行跟踪处理、切取处理和分辨率提高处理 的方法以及图像再生时执行跟踪处理、切取处理和分辨率提高处理的方
法，但是也可以将这些处理分为2个部分处理，并在拍摄时执行一个部分 处理且在图像再生时执行另一个部分处理。
具体而言，如下所述的处理的分配方法是有效的。首先，在拍摄时， 通过执行图5所示的步骤S11 S13和S21 S25的各处理，并且使图4所 示的切取处理部53执行步骤S24的处理，使得在步骤S21中得到的帧图 像的整个区域内设定切取区域。但是，此时不进行实际的切取处理，且向 切取处理部53输出指示设定的切取区域的尺寸(大小)和位置的切取信 息，将该切取信息与帧图像列的图像数据建立关联后记录到记录介质16 中。进行这样的记录时，能省略图4所示的分辨率变换部54。另外，切取 区域的位置应在图5所示的步骤S24中设定，并由切取区域中心CNB的坐 标值规定(也参照图10)。
切取信息与图像数据的建立关联方法是任意的。例如，可以将帧图像 的图像数据保存在记录于记录介质16的图像文件的主体区域中，并且将 对应于该图像数据的切取信息保存在该图像文件的标题区域。基于Exif (Exchangeable image file format)的文件格式时，标题区域也称作Exif标 签或Exif区域。图像文件的文件格式也能够基于任意的规格。
图像再生时，图像再生装置(例如摄像装置1)从记录介质16以时间 序列的顺序依次一同读取帧图像与切取信息，并根据切取信息从帧图像列 生成切取图像列，且作为运动图像再生显示生成的切取图像列。该图像再 生装置上设有图4所示的分辨率变换部54时，也能够通过对根据切取信 息而生成的切取图像列执行上述的分辨率提高处理，从而由分辨率变换部 54生成输出图像列(分辨率提高后的切取图像列)，作为运动图像再生显 示该输出图像列。
拍摄中特别要求处理的高速化和电力低消耗化，如上所述，若在图像 再生时进行实际切取图像的处理和分辨率提高处理，则会减轻拍摄时的处理的负荷并实现拍摄时处理的高速化和电力低消耗化。
(第2实施方式)
下面，说明本发明的第2实施方式。第2实施方式的摄像装置的整体 模块与图1所示的摄像装置相同，但是为了区别第1实施方式的摄像装置 和第2实施方式的摄像装置，用符号la来表示第2实施方式的摄像装置。 摄像装置la的摄像部11的内部结构与图2所示的结构相同，摄像装置la 的外观立体图与图3所示的立体图相同。而且，只要不产生矛盾，摄像装 置la能够实现第1实施方式的摄像装置1所实现的所用功能，并且只要 不产生矛盾，第1实施方式中所记载的事项也适用于第2实施方式。
与摄像装置1同样地，摄像装置la也具有利用图像处理的拍照对象 跟踪功能。但是，为了生成具有与跟踪可靠度相应的良好的构图的图像， 在摄像装置l中可变设定了切取区域的尺寸(换言之，将电子变焦中的变 焦倍率设定为可变的方式)，但是在摄像装置la中，以可变设定摄像部 ll的视角(换言之，光学变焦的变焦倍率)来代替上述方式。
在图15中，表示了摄像装置la内的特别是与拍照对象跟踪功能有关 的部件的模块图。在图15中，由符号51、 52、 63表示的各部件设置在图 1的主控制部13内。形成帧图像列的各帧图像的图像数据依次分配到跟踪 处理部51和跟踪可靠度评价部52。设置在摄像装置la的跟踪处理部51 和跟踪可靠度评价部52与在第1实施方式中所述的那些部件相同。
参照图16说明实现拍照对象跟踪功能时摄像装置la的动作。图16 是表示拍摄模式下的摄像装置la的动作的流程的流程图。在拍摄模式下， 拍照对象跟踪功能变为有效时，跟踪处理部51对依次输入的帧图像进行 脸部检测处理。主控制部13 —方面确认是否从当前的帧图像中检测到了 脸部(步骤Sll)，另一方面确认对操作部17是否进行了规定的跟踪开始 指示操作(步骤S12)，检测出脸部且对操作部17进行了规定的跟踪开始 指示操作时，过渡到步骤S13执行步骤S13的处理。
在步骤S13中，跟踪处理部51基于初始设定用帧图像的图像数据设 定跟踪目标和跟踪颜色。该设定方法与在第1实施方式中所述的设定方法 相同。设定跟踪目标和跟踪颜色之后，反复执行由步骤S21 S23和S34构成的循环处理，但是在该循环处理中，跟踪处理部51对设定了跟踪目 标和跟踪颜色之后得到的跟踪目标帧图像列执行跟踪处理。跟踪处理的方 法与在第1实施方式中所述的处理方法相同。
步骤S21 S23的各处理与在第1实施方式中所述的那些处理相同。 即，在步骤S21中获取当前的帧图像(跟踪目标帧图像)，在之后的步骤 S22中通过跟踪处理检测该当前的帧图像中的跟踪目标的位置和大小，并 且生成包括表示检测出的位置和大小的信息的跟踪结果信息。跟踪结果信 息输出到跟踪可靠度评价部52邻视角调整部63。在步骤S22之后的步骤 S23中，跟踪可靠度评价部52通过可靠度评价值EVR的计算评价当前时 刻的跟踪可靠度。
第2实施方式中，在步骤S23中评价跟踪可靠度之后，执行步骤S34 的处理。在步骤S34中，视角调整部63基于从跟踪处理部51输出的最新 的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度调整 摄像部ll的视角。
视角的调整通过调整图2所示的变焦透镜30的位置来实现。变焦透 镜30能够在图2所示的光学系统35内向光轴方向移动。光学系统35内 的变焦透镜30的位置称作变焦透镜位置。如图17所示，随着变焦透镜位
置从宽的一端朝向窄的一端，摄像部11的视角(拍摄视角)减小并且光 学变焦倍率增大。宽的一端和窄的一端表示变焦透镜30的全部移动范围
的两端。
假设跟踪可靠度以外的其它条件(拍照对象距离等)都一定时，在步 骤S34中调整变焦透镜位置，使跟踪可靠度变得越高视角变得越小。其结 果，跟踪可靠度变得越高，帧图像上的跟踪目标的大小(和跟踪目标区域 的大小)就会变大。
图18 (a) 、 (b) 、 (c)分别表示跟踪可靠度维持在第1、第2、第 3可靠度时得到的帧图像401、 402、 403。假设拍摄帧图像401、 402、 403 时，跟踪目标的拍照对象距离相同。跟踪目标的拍照对象距离指实际空间 中的摄像装置la与作为跟踪目标的人物之间的距离。
图18 (a) 、 (b) 、 (c)中虚线矩形区域411、 412、 413分别是在 帧图像401、 402、 403内设定的跟踪目标区域。假设在第1 第3可靠度内，第l可靠度的可靠度最高，第3可靠度的可靠度最低。由于跟踪目标
具有的跟踪颜色的类似颜色位于跟踪目标周围，因此对帧图像402和403 的跟踪可靠度比帧图像401的跟踪可靠度低。
拍摄帧图像401时的摄像部11的视角比拍摄帧图像402时的摄像部 11的视角小，且拍摄帧图像402时的摄像部11的视角比拍摄帧图像403 时的摄像部ll的视角小。因此，在跟踪目标区域411 413的尺寸(图像 尺寸)内，跟踪目标区域411的尺寸最大，跟踪目标区域413的尺寸最小。
如上所述，按照跟踪可靠度变得越高帧图像上的跟踪目标的大小(和 跟踪目标区域的大小)增大的方式调整摄像部ll的视角。图18(a) (c) 所示的例子的情况下，基于跟踪结果信息和跟踪可靠度调整视角，使跟踪 可靠度为第1跟踪可靠度时，帧图像上的跟踪目标的大小(或跟踪目标区 域411的大小)变成第1大小，并且跟踪可靠度为第2跟踪可靠度时，帧 图像上的跟踪目标的大小(或跟踪目标区域412的大小)变成第2大小， 并且跟踪可靠度为第3跟踪可靠度时，帧图像上的跟踪目标的大小(或跟 踪目标区域413的大小)变成第3大小。这里，在第1 第3大小内，第 l大小最大，第3大小最小。
能够由包含在跟踪结果信息的跟踪目标的大小信息决定应如何调整 视角。例如，在步骤S23中评价的跟踪可靠度为第1可靠性且在步骤S21 中得到的帧图像上的跟踪目标的大小为第2大小时，按照使下次以后得到 的帧图像上的跟踪目标的大小变成第1大小方式的方式调整视角，其调整 量为相当于第1大小与第2大小之差的那部分。视角调整部63能够参照 预先设定的査找表等来决定相当于该第1大小与第2大小之差的视角调整
另外，在跟踪目标位于拍摄区域的端部，且縮小视角有可能会引起跟 踪目标的一部分或全部在拍摄区域之外时，禁止视角的减小。
在步骤S34的处理之后回到步骤S21,反复执行由上述的步骤S21 S23和S34构成的循环处理。在显示部15上作为运动图像显示通过上述 循环处理的反复执行得到的按时间序列排列的帧图像列，并且将该帧图像 列的图像数据记录到记录介质16上。只要将记录介质16内的图像数据读 取到任意的图像再生装置，就能够在该图像再生装置中再生显示对跟踪目标具有良好的构图的运动图像。
如本实施方式所述，只要根据跟踪可靠度调整视角，就能够获得相对 于关注的拍照对象具有良好的构图的运动图像，并且跟踪可靠度较低时， 能够避免关注的拍照对象没有包括在拍摄区域内的情况的发生。
(第3实施方式)
下面，说明本发明的第3实施方式。第3实施方式的摄像装置的整体
模块图与图1所示的摄像装置相同，但是为了区别第1实施方式的摄像装
置和第3实施方式的摄像装置，用符号lb来表示第3实施方式的摄像装 置。摄像装置lb的摄像部ll的内部结构与图2所示的结构相同，摄像装 置lb的外观立体图与图3所示的立体图相同。而且，只要不产生矛盾， 摄像装置lb能够实现第1或第2实施方式的摄像装置所实现的所有功能， 并且只要不产生矛盾，第1或第2实施方式中所记载的事项也适用于第3 实施方式。
图19表示了与第3实施方式的特征动作有关的摄像装置lb的部分模 块图。图19所示的跟踪处理部51、跟踪可靠度评价部52和评价区域设定 部73设置在图1所示的主控制部13内。形成帧图像列的各帧图像的图像 数据依次分配到跟踪处理部51和跟踪可靠度评价部52。设置在摄像装置 lb的跟踪处理部51和跟踪可靠度评价部52与在第1实施方式中所述的那 些部件相同。由跟踪处理部51生成的跟踪结果信息分配到跟踪可靠度评 价部52和评价区域设定部73，由跟踪可靠度评价部52产生的跟踪可靠度 的评价结果分配到评价区域设定部73。
包括摄像装置lb的本发明的摄像装置在拍摄模式中能够执行基于图 像数据的自动聚焦控制(以下，称作AF控制)。
在AF控制中，基于在帧图像内设定的AF评价区域内的图像数据算 出AF评价值，并按照使AF评价值取最大值(严格地说是极大值)的方 式利用所谓的登山控制来控制图2所示的聚焦透镜31的位置。因此，能 够在对焦于出现在AF评价区域内的拍照对象的状态下进行帧图像列(即， 运动图像)的拍摄。
摄像装置lb执行跟踪处理并以帧图像上的跟踪目标的位置为基准设
31定AF评价区域的位置，并且根据跟踪可靠度可变设定AF评价区域的尺 寸(图像尺寸)。关于AF控制，下面更具体说明该方法。
首先，说明用于导出AF评价值的AF评价值计算部80。图20是AF 评价值计算部80的内部模块图。AF评价值计算部80设置在图1所示的 主控制部13内。AF评价值计算部80将帧图像作为被运算图像来处理， 如参照图7的说明，通过在水平方向和垂直方向分割帧图像的整体区域， 在帧图像的整体区域上设定(MXN)个小块。
AF评价值计算部80具有提取部81、 HPF (高通滤波器)82、累计部 83，按每一个帧图像计算一个AF评价值。提取部81中分配有帧图像的影 像信号。提取部81从该影像信号中提取亮度信号。HPF82只提取由提取 部81提取的亮度信号中的规定的高频分量。例如，由具有规定的滤波器 尺寸的拉普拉斯滤波器形成HPF82,进行将该拉普拉斯滤波器作用于帧图 像的各像素的空间滤波。从而，从HPF82依次得到与该拉普拉斯滤波器相 应的滤波器特性的输出值。累计部83累计由HPF82提取的高频分量的大 小(即，HPF82的输出值的绝对值)。该累计按每一个小块个别进行，将 某一小块内的高频分量的大小的累计值作为该小块的模块AF值。
另一方面，从图19的评价区域设定部73向AF评价值计算部80提供 规定AF评价区域的位置和大小的AF评价区域信息。累计部83根据属于 根据AF评价区域信息的AF评价区域的小块的模块AF值算出AF评价值。 属于AF评价区域的小块为1个时，将该小块的模块AF值本身作为AF 评价值来输出，如图21所示，属于AF评价区域的小块为多个时，将该多 个小块的模块AF值的平均值作为AF评价值来输出。
参照图22来说明利用跟踪可靠度评价结果的AF评价区域的设定方 法。图22是表示在拍摄模式下的摄像装置lb的动作的流程的流程图。在 拍摄模式下，拍照对象跟踪功能变为有效时，跟踪处理部51对依次输入 的帧图像进行脸部检测处理。主控制部13 —方面确认是否从当前的帧图 像检测到了脸部(步骤Sll)，另一方面确认对操作部17是否进行了规定 的跟踪开始指示操作(步骤S12)，检测出脸部且对操作部17进行了规定 的跟踪开始指示操作时，过渡到步骤S13执行步骤S13的处理。
在步骤S13中，跟踪处理部51基于初始设定用帧图像的图像数据设定跟踪目标和跟踪颜色。该设定方法与在第1实施方式中所述的设定方法
相同。设定跟踪目标和跟踪颜色之后，反复执行由步骤S21 S23和S44 构成的循环处理，但是在该循环处理中，跟踪处理部51对设定了跟踪目 标和跟踪颜色之后得到的跟踪目标帧图像列执行跟踪处理。跟踪处理的方 法与在第1实施方式中所述的处理方法相同。
步骤S21 S23的各处理与在第1实施方式中所述的那些处理相同。 即，在步骤S21中获取当前的帧图像(跟踪目标帧图像)，在之后的步骤 S22中通过跟踪处理检测该当前的帧图像中的跟踪目标的位置和大小，并 且生成包括表示检测出的位置和大小的信息的跟踪结果信息。跟踪结果信 息输出到跟踪可靠度评价部52和评价区域设定部73。在步骤S22之后的 步骤S23中，跟踪可靠度评价部52通过可靠度评价值EVK的计算评价当 前时刻的跟踪可靠度。
第3实施方式中，在步骤S23中评价了跟踪可靠度之后，执行步骤 S44的处理。在步骤S44中，评价区域设定部73基于从跟踪处理部51输 出的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可 靠度设定AF评价区域。该AF评价区域对当前得到的最新的帧图像或在 之后得到的帧图像进行设定。
AF评价区域的中心位置与在步骤S21中得到的最新的帧图像的跟踪 目标区域的中心位置相同。另一方面，基于在跟踪结果信息中规定的跟踪 目标的大小使跟踪目标区域包含在AF评价区域之中，并且根据跟踪可靠 度可变设定AF评价区域的尺寸。与跟踪可靠度相应的AF评价区域的尺 寸的设定方法与在第1实施方式中所述的与跟踪可靠度相应的切取区域的 尺寸的设定方法相同，关于该设定方法的第1实施方式的技术也适用于本 实施方式。适用该设定方法时，只要将第1实施方式的说明中的切取区域 代替为AF评价区域即可。g卩，例如，在帧图像上的跟踪目标的大小一定 时，设定AF评价区域的尺寸，使随着跟踪可靠度变高而AF评价区域的 尺寸变小。实际上，按照参照图10说明的方法，只要根据基于跟踪结果 信息的跟踪目标的大小和跟踪可靠度(EVR)，设定AF评价区域的位置 和大小即可。
包括摄像装置lb的本发明的摄像装置在拍摄模式下，也能够执行基于图像数据的自动光圈控制(以下，称为AE控制)和自动白平衡(white balance)控制(以下，称为AWB控制)，对AE控制和AWB控制也能 适用对AF控制所述的可变设定评价区域的方法。
在AE控制中，将根据图2所示的光圈32的开度决定的光圈值、AFE12 (参照图1)中的信号放大的放大幅度和帧图像拍摄时的曝光时间的长度 作为3个AE控制对象来处理。而且，由设定在帧图像内的AE评价区域 内的图像数据算出AE评价值，且在帧图像列内，通过控制3个AE控制 对象内的1个以上使AE评价值保持在规定的值或该值附近，从而将AE 评价区域内的图像的亮度(亮度等级)保持在期望的亮度上。
摄像装置lb内的AE评价值计算部(未图示)按每一个帧图像算出1 个AE评价值。AE评价值为属于AE评价区域内的像素的亮度值的平均值。 另外，亮度值意味着亮度信号的值，亮度值越大，则具有该亮度值的像素 的亮度就越高。
在AWB控制中，根据设定在帧图像内的AWB评价区域内的图像数 据算出AWB评价值，并基于AWB评价值调整帧图像整体的白平衡，使 AWB评价区域内的白平衡变成期望的白平衡。AWB控制，例如在生成帧 图像的图像数据的过程中，通过对摄像元件33的红色受光像素的输出信 号值、绿色受光像素的输出信号值或蓝色受光像素的输出信号值或者这些 信号值中的2个以上乘以与AWB评价值相应的AWB系数来实现。
摄像装置lb内的AWB评价值计算部(未图示)按每一个帧图像算出 1个AWB评价值。图2所示的摄像元件33是单板式摄像元件，摄像元件 33的各受光像素前面排列有滤色器。滤色器中具有只透过光的红色分量的 红滤色器、只透过光的绿色分量的绿滤色器、只透过光的蓝色分量的蓝滤
色器。滤色器的排列，例如是贝叶(x^r亇一)排列。前面排列有红滤色
器、绿滤色器、蓝滤色器的受光像素分别称作红色受光像素、绿色受光像 素、蓝色受光像素。红色受光像素、绿色受光像素、蓝色受光像素分别只 与光学系统35的入射光的红色分量、绿色分量、蓝色分量反应。
因为帧图像由摄像元件33的各感光图像的输出信号表示，因此假设 在摄像元件33的摄像面上也设定AWB评价区域。AWB评价值计算部将 属于AWB评价区域的各红色受光像素的输出信号值的平均值作为红色评价值来计算，将属于AWB评价区域的各绿色受光像素的输出信号值的平
均值作为绿色评价值来计算，且将属于AWB评价区域的各蓝色受光像素 的输出信号值的平均值作为蓝色评价值来计算。AWB评价值由红色评价 值、绿色评价值、蓝色评价值构成。
另外，执行AF控制时应调整的相机控制参数中包括聚焦透镜31的位 置，且执行AF控制时应调整的相机控制参数中包括AFE12的信号放大的 放大幅度和/或拍摄帧图像时的曝光时间的长度，且执行AF控制时应调整 的相机控制参数中包括上述AWB系数。为了获得依赖于相机控制参数的 运动图像，根据相机控制参数规定运动图像的获取条件。S卩，在执行AF、 AE或AWB控制时，基于AF、 AE或AWB评价区域(评价值收集区域) 内的图像数据控制运动图像的获取条件，例如，该控制由主控制部13内 的获取条件控制部(未图示)来执行。
在AE控制或AWB控制中应用评价区域的可变设定方法时，在图22 所示的步骤S44中，评价区域设定部73基于从跟踪处理部52输出的最新 的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度设定 AE评价区域或AWE评价区域。该AE评价区域或AWB评价区域对当前 得到的最新的帧图像或在之后得到的帧图像进行设定。
AE评价区域或AWB评价区域的中心位置与在步骤S21中得到的最 新的帧图像中的跟踪目标区域的中心位置相同。另一方面，基于由跟踪结 果信息规定的跟踪目标的大小使跟踪目标区域包含在AE评价区域或 AWB评价区域之中，并且根据跟踪可靠度可变设定AE.评价区域或AWB 评价区域的尺寸。根据跟踪可靠度的AE评价区域或AWB评价区域的尺 寸的设定方法与在第1实施方式中所述的根据跟踪可靠度的切取区域的尺 寸的设定方法相同，关于该方法的第1实施方式的技术也适用于本实施方 式。适用该方法时，只要将第1实施方式的说明中的切取区域代替为AE 评价区域或AWB评价区域即可。g卩，例如，在帧图像上的跟踪目标的大 小一定时，设定AE评价区域或AWB评价区域的尺寸，使随着跟踪可靠 度变高而AE评价区域或AWB评价区域的尺寸变小。实际上，按照参照 图IO说明的方法，只要根据基于跟踪结果信息的跟踪目标的大小和跟踪 可靠度(EVR)，设定AE评价区域或AWB评价区域的位置和大小即可。在步骤S44的处理之后回到步骤S21，反复执行由上述的步骤S21 S23和S44构成的循环处理。在显示部15上作为运动图像显示通过该循 环处理的反复执行得到的按时间序列排列的帧图像列，并且将该帧图像列 的图像数据记录到记录介质16上。
跟踪可靠度较低时，将不同于实际的跟踪目标的物体当作跟踪目标的 误检测的可能性比较高。因此，跟踪可靠度较低时，若与跟踪可靠度较高 时同样地设定小的AF、 AE、 AWB评价区域的尺寸，则可能发生对焦在 与关注的拍照对象完全无关的背景，并进行了图像亮度调整或白平衡调整 的情况。考虑到这些，在本实施方式中，根据跟踪可靠度可变设定AF、 AE、 AWB评价区域的尺寸。因此，能够避免上述情况的发生。
(第4实施方式)
下面对本发明的第4实施方式进行说明。第4实施方式的摄像装置的 整体模块与图1所示的摄像装置相同，但是为了区别第1实施方式的摄像 装置和第4实施方式的摄像装置，用符号lc来表示第4实施方式的摄像 装置。摄像装置lc的摄像部ll的内部结构与图2所示的结构相同，摄像 装置lc的外观立体图与图3所示的立体图相同。而且，只要不产生矛盾， 摄像装置lc能够实现第1或第2实施方式的摄像装置所实现的所有功能， 并且只要不产生矛盾，第1或第2实施方式中所记载的事项也适用于第4 实施方式。
摄像装置lc在图像再生时，能够执行与在第3实施方式中记载的AE 控制类似的控制(以下，称为再生时AE控制)和与在第3实施方式中记 载的AWB控制类似的控制(以下，称为生成时AWB控制)。该图像再 生操作之前，假设在拍摄运动图像时得到的按时间序列排列的帧图像列的 所有图像数据记录在记录介质16中。本实施方式的以下的动作是再生模 式下的摄像装置lc的动作。
图23表示了与第4实施方式的特征动作有关的摄像装置lc的部分模 块图。图23所示的符号51、 52、 101 104表示的各部件设置在图l所示 的主控制部13内。图像获取部101从记录介质16依次按时间序列顺序读 出帧图像，将各帧图像的图像数据依次按时间序列顺序分配到跟踪处理部
3651、跟踪可靠度评价部52、评价值计算部103、图像加工部104。设置在 摄像装置lc的跟踪处理部51和跟踪可靠度评价部52与在第1实施方式 中所述的那些部件相同。由跟踪处理部51生成的跟踪结果信息分配到跟 踪可靠度评价部52和评价区域设定部102，由跟踪可靠度评价部52产生 的跟踪可靠度的评价结果分配到评价区域设定部102。
跟踪处理部51在对操作部17进行了规定的跟踪开始指示操作的时 刻，作为初始设定用帧图像捕捉分配到自身的帧图像，基于该初始设定用 帧图像的图像数据设定跟踪目标和跟踪颜色。其中，假设初始设定用帧图 像中存在成为跟踪目标的人物。跟踪目标和跟踪颜色的设定方法与在第1 实施方式中所述的方法相同。
设定跟踪目标和跟踪颜色之后，执行按照图24所示的流程的动作。 图24是表示再生时AE控制的动作顺序的流程图。
设定跟踪目标和跟踪颜色之后，反复执行由步骤S21 S23和S54 S56构成的循环处理，但是在该循环处理中，跟踪处理部51对设定了跟踪 目标和跟踪颜色之后得到的跟踪目标帧图像列执行跟踪处理。跟踪处理的 方法与在第1实施方式中所述的处理方法相同。
步骤S21 S23的各处理与在第1实施方式中所述的那些处理相同。 即，在步骤S21中获取当前的帧图像(跟踪目标帧图像)，在之后的步骤 S22中通过跟踪处理检测该当前的帧图像中的跟踪目标的位置和大小，并 且生成包括表示检测出的位置和大小的信息的跟踪结果信息。跟踪结果信 息输出到跟踪可靠度评价部52和评价区域设定部102。在步骤S22之后的 步骤S23中，跟踪可靠度评价部52通过可靠度评价值EVR的计算评价当 前时刻的跟踪可靠度。
再生时AE控制中，在步骤S23中评价跟踪可靠度之后，执行步骤S54 的处理。在步骤S54中，评价区域设定部102基于从跟踪处理部51输出 的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠 度设定AE评价区域。该AE评价区域对在步骤S21中得到的最新的帧图 像进行设定。
AE评价区域的中心位置与在步骤S21中得到的最新的帧图像的跟踪 目标区域的中心位置相同。另一方面，基于由跟踪结果信息规定的跟踪目标的大小使跟踪目标区域包含在AE评价区域之中，并且根据跟踪可靠度
可变设定AE评价区域的尺寸。根据跟踪可靠度的AE评价区域的尺寸的 设定方法与在第1实施方式中所述的根据跟踪可靠度的切取区域的尺寸的 设定方法相同，关于该方法的第1实施方式的技术也适用于本实施方式。 适用该方法时，只要将第1实施方式的说明中的切取区域代替为AE评价 区域即可。即，例如，在帧图像上的跟踪目标的大小一定时，设定AE评 价区域的尺寸，使随着跟踪可靠度变高而AE评价区域的尺寸变小。实际 上，按照参照图IO说明的方法，只要根据基于跟踪结果信息的跟踪目标 的大小和跟踪可靠度(EVR)，设定AE评价区域的位置和大小即可。
在步骤S54之后的步骤S55中，评价值计算部103将在步骤S54中设 定的AE评价区域适用于在步骤S21中获得的帧图像上，基于该帧图像的 AE评价区域内的图像数据算出针对该帧图像的AE评价值。AE评价值的 计算方法与在第3实施方式中所述的那些计算方法相同。
然后，在步骤S56中，图像加工部104基于在步骤S55中算出的AE 评价值加工在步骤S21中获得的帧图像来生成加工帧图像。再生时AE控 制中，将根据AE评价值的一定值与在步骤S21中获得的帧图像的各像素 的亮度值相乘，通过该操作得到的图像作为加工帧图像。因此，将包括跟 踪目标区域的AE评价区域内的图像的亮度(亮度等级)保持在期望的亮 度上。
在步骤S56的处理之后回到步骤S21，反复执行由上述的步骤S21 S23和S54 S56构成的循环处理。在显示部15上作为运动图像显示通过 该循环处理的反复执行得到的按时间序列排列的帧图像列。也可以将该加 工帧图像列的图像数据记录到记录介质16中。
以上说明了再生时进行AE控制时的动作，再生时AWB控制也通过 执行步骤S21 S23和S54 S56的各处理来实现。但是，再生时进行AWB 控制时，将上述的AE评价区域和AE评价值分别替代为AWB评价区域 和AWB评价值。基于帧图像的AWB评价区域内的图像数据算出AWB 评价值，且在步骤S56中，基于AWB评价值加工帧图像。在再生时AWB 控制中，基于AWB评价值调整帧图像整体的色平均，使AWB评价区域 内的白平衡变成期望的白平衡。白平衡调整后的帧图像是应由图像加工部104生成的加工帧图像。
跟踪可靠度较低时，将不同于实际的跟踪目标的物体当作跟踪目标的 误检测的可能性比较高。因此，跟踪可靠度较低时，若与跟踪可靠度较高
时同样地设定小的AE或AWB评价区域的尺寸，则可能发生对与关注的 拍照对象完全无关的背景进行图像亮度调整或白平衡调整的情况。考虑到 这些，在本实施方式中，根据跟踪可靠度可变设定AE或AWB评价区域 的尺寸。因此，能够避免上述情况的发生。
另外，上述的例子中，在设置在摄像装置lc中的显示部15上再生显 示了加工帧图像列，但是也可以通过向摄像装置lc的外部的显示装置(未 图示)提供想要显示的图像的图像数据，在该外部的显示装置上显示加工 帧图像列。另外，也可以根据需要通过因特网等向利用该图像数据的外部 设备(运营网站的服务器等)提供加工帧图像列的图像数据。
(第5实施方式)
下面说明本发明的第5实施方式。在上述的各实施方式中，说明了基 于颜色信息的跟踪处理方法，图4等所示的跟踪处理部51能够采用其它 的任意的跟踪处理方法。将例示其它的跟踪处理方法的实施方式作为第5 实施方式。第5实施方式中所述的内容将与上述的第1 第4实施方式组 合后实施。
例如，跟踪处理部51能够通过利用图像匹配来执行帧图像列中的跟 踪目标的位置的跟踪。利用图像匹配的跟踪处理是众所周知的，简单说明 基于时刻tn.,的帧图像与时刻tn的帧图像之间的图像匹配(模板匹配)的 跟踪处理。另外，假设已检测出时刻tn.,的帧图像上的跟踪目标的位置。 另外，如第1实施方式中所述，拍摄完时刻Vi的帧图像之后拍摄时刻tn 的帧图像(参照图14)。
跟踪处理部51关注作为时刻t^的帧图像的整体区域中的一部分且表 现了跟踪目标的一部分或整体的图像区域， 一方面将该关注的图像区域内
的图像作为模板图像，另一方面在时刻tn的帧图像内设定跟踪框。然后，
在搜索范围内依次改变跟踪框的位置同时执行跟踪框内的图像与模板图 像之间的类似性评价，在得到最大的类似性(换言之是最小的相异度)的跟踪框的位置，判定存在时刻tn的帧图像上的跟踪目标。以时刻U的帧 图像中的跟踪目标的位置为基准设定对应于时刻tn的帧图像的搜索范围。 通常，该搜索范围是以时刻V,的帧图像中的跟踪目标的位置为中心的矩 形区域，搜索范围的尺寸(图像尺寸)比帧图像的整体区域的尺寸小。
跟踪处理部51利用图像匹配进行跟踪处理时，由跟踪可靠度评价部
52计算的可靠度评价值EVa的计算方法也与第1实施方式中所述的方法 不同。说明利用了图像匹配的跟踪处理中应用的可靠度评价值EVK的计算方法。
跟踪可靠度评价部52将各帧图像作为被运算图像来操作，利用在第1 实施方式中所述的方法，通过在被运算图像内设定多个小块并且将各小块 分类为拍照对象块或背景块，将各帧图像的整体区域划分为跟踪目标区域 和背景区域(参照图7)。然后，将上述的模板图像所在的小块作为小块 [m0， rio]来操作，按每一个背景块算出表示时刻tn的帧图像的小块[mo， no]内的图像与时刻tn的帧图像的背景块内的图像之间的相异度的相异度 评价值。
假设有Q个背景块，分别用Cd,sa[1] Cdka[Q]来表示対第1 第Q背 景块算出的相异度评价值(Q是满足不等式"2《Q《(MxN) -1"的整数)。
例如，对应于时刻t。的帧图像的相异度评价值cdba[1]，作为从属于时刻
tn的帧图像的小块[mo， no]的各像素的像素值(例如亮度值)与属于时刻 tn的帧图像的第i背景块的各像素的像素值(例如亮度值)之间的对比中 求得的SAD (Sum of Absolute Difference)或SSD (Sum of Square Difference)(这里i是自然数)。因此，对比图像间的相异度增大时相异 度评价值C服a[i]也会变大。另外，归一化相异度评价值，使相异度评价 值C服a[i]的取值范围在0以上1以下。当然，对于某一关注的图像区域 来说，属于该图像区域的像素的像素值(例如亮度值)是一种表示该图像 区域内的图像的特征的量(图像特征量)。
另一方面，将小块[mo， no]的中心作为参照图8所述的中心250来操 作，与在第1实施方式中所述的方法相同地求出对应于第1 第Q背景块 的位置差评价值Pms[l] Pms[Q]。然后，通过将相异度评价值CDISA[i^A 到Q^[i]中并利用上述的式(1)，从而算出合并距离CP^s，利用该合并距寓CPdk，并按照上述的式(2)算出针对所关注的被运算图像(在该例
中是时刻t。的帧图像)的可靠度评价值EV^从该计算方法可以了解到，
跟踪目标附近存在具有与跟踪目标模样类似的模样的物体时，可靠度评价
值EVa将变低。
跟踪处理部51不利用图像匹配，而是通过利用光学流向信息也能够 执行在帧图像列中的跟踪目标的位置的跟踪。虽然利用光学流向信息的跟
踪处理是公知的的技术，但是简单说明在时刻的帧图像与时刻tn的帧
图像之间基于光学流向信息的跟踪处理。假设时刻的帧图像上的跟踪
目标的位置是已检测出的位置。图25表示了时刻V,和时刻tn的帧图像501 和502以及两图像间的光学流向503。光学流向503内的实线箭头表示对 应于跟踪目标的运动矢量。
跟踪处理部51通过对比时刻tn-,和时刻tn的帧图像来求出对比图像间 的光学流向。光学流向是用矢量表现对比图像间图像上的物体的运动的运 动矢量束，利用代表点匹配法、模式匹配法、梯度法等而导出的。跟踪处 理部51根据该运动矢量束搜索具有大致相同方向且具有大致相同大小的 运动矢量的集合，并判断在存在该运动矢量的集合的位置上存在作为跟踪 目标的运动物体(g卩，判断该位置就是时刻tn的帧图像上的跟踪目标的位
置)。该搜索在搜索范围内完成，对于时刻tn的帧图像的搜索范围以时刻
tw的帧图像的跟踪目标的位置为基准来设定。通常，该搜索范围是以时刻
V,的帧图像的跟踪目标的位置为中心的矩形区域，搜索范围的尺寸(图像
尺寸)比帧图像的整体区域的尺寸小。另外，也能基于搜索到的运动矢量 的集合存在的范围设定跟踪目标区域。
跟踪处理部51利用光学流向信息进行跟踪处理时，由跟踪可靠度评 价部52进行的可靠度评价值EVa的计算方法也与第1实施方式中记载的 方法不同。说明利用了光学流向信息的跟踪处理中应用的可靠度评价值E
VR的计算方法。
跟踪可靠度评价部52将各帧图像作为被运算图像来处理，并利用第1 实施方式中记载的方法在被运算图像内设定多个小块并且通过将各小块 分类为拍照对象块或背景块，来将各帧图像的整体区域切分为跟踪目标区 域和背景区域(参照图7)。现在，将时刻t^和时刻tn的帧图像间的光学
41流向假设为对应于时刻tn的帧图像的光学流向。然后，将时刻tn的帧图像
中跟踪目标(跟踪目标的中心)所在的小块作为小块[mo， no]来处理，并 按每个背景块算出表示对应于时刻tn的帧图像的小块[mo， no]内的光学流
向、与对应于时刻t。的帧图像的背景块内的光学流向之间的相异度的运动 相异度评价值。
假设存在Q个背景块，分别用Q^B[1] QMSB[Q]来表示对应第1 第
Q背景块算出的运动相异度评价值(Q是满足不等式"2《Q《(MxN) -1" 的整数)。将对应于时刻tn的帧图像的小块[mo， no]内的光学流向和对应 于时刻tn的帧图像的第i背景块内的光学流向，分别称为第1和第2光学 流向。贝lj，例如，基于形成第l光学流向的运动矢量的方向及大小与形成 第2光学流向的运动矢量的方向及大小的对比结果，按照对比的方向越不
同就越增加且对比的大小越不同就越增加的方式算出对应于时刻tn的帧图 像的运动相异度评价值CwsB[i](这里，i是自然数)。此时，归一化运动
相异度评价值，使运动相异度评价值QnsB[i]的取值范围在O以上l以下。 关于某一关注的图像区域，能够将对该图像区域导出的光学流向捕捉为表 示该图像区域内的图像的、关于运动的特征的量(图像特征量)。
另一方面，将小块[mo， no]的中心作为参照图8记载的中心250来处 理，与在第1实施方式中记载的方法同样地，求出相对于第1 第Q背景
块的位置差评价值PlMS[l] PD!S[Q]。然后，通过将运动相异度评价值CmsB[i]
代入C服[i]并利用上述式(1)算出合并距离CPDIS，利用该合并距离CPDIS 并由上述式(2)算出对应于关注的被运算图像(在当前的例中，是时刻 tn的帧图像)的可靠度评价值EV^从该计算方法可以了解到，跟踪目标 附近存在具有与跟踪目标的运动类似地运动的物体时，可靠度评价值EVR 将变低。
(第6实施方式)
下面，说明本发明的第6实施方式。在第6实施方式中，说明跟踪可 靠度的导出方法的进一步变形例，即可靠度评价值EVR的计算方法的进一 步变形例。第6实施方式中记载的内容要与上述的各实施方式组合而实施。
以下，作为可靠度评价值EVR的计算方法例示第1 第IO计算方法。图4等中所示的跟踪可靠度评价部52能够利用第1 第10计算方法的任
何一种算出针对被运算图像(即，应算出可靠度评价值EVa的跟踪目标帧 图像)的可靠度评价值EVK。
另外，在第1实施方式中使可靠度评价值EVR取了 0以上100以下 的值，但是在第6实施方式中使可靠度评价值EVR取0以上1以下的值， 使跟踪可靠度越被评价为高，则可靠度评价值EVK越接近于上限值1。因 此，将第6实施方式的各计算方法适用于上述的各实施方式时，只要将由 第6实施方式的各计算方法算出的可靠度评价值EVr放大100倍即可。
说明第1计算方法。在第1实施方式中记载了如下所述的跟踪处理。 跟踪颜色设定后，在作为被运算图像的跟踪目标帧图像内设定搜索范围和 跟踪框，通过在搜索范围内依次改变跟踪框的位置同时执行跟踪框内的图 像的颜色与跟踪颜色之间的类似性评价，从而检测出跟踪目标帧图像上的 跟踪目标的位置。对当前的跟踪目标帧图像的搜索范围以前一次跟踪目标 帧图像中的跟踪目标的位置为基准来设定。
在这样的跟踪处理中，跟踪目标帧图像上的跟踪目标的大小小时，跟 踪的稳定性会降低。例如，具有与跟踪颜色类似的颜色的物体(不同于跟 踪目标的物体)进入搜索范围内时，即使该物体比较小，若跟踪目标的大 小较小时，也会提高误检测出该物体即为跟踪目标的可能性。相反，跟踪 后标的大小较大时，无论是否存在该物体，都会减少产生误检测的可能性。
考虑到这样的情况，在第l计算方法中，基于被运算图像上的跟踪目 标的大小来算出可靠度评价值EVa。具体而言，由以下式(6-1)算出对应 于被运算图像的可靠度评价值EVR。
EVR = TgtSize / AreaSize …(6 — i)
这里，TgtSize是在被运算图像中表示判断存在跟踪目标的图像数据 的图像区域的大小的数值，AreaSize是表示被运算图像的上述搜索范围的 大小的数值。
能够用像素数表示大小TgtSize。具体而言，例如，能够将属于上述 搜索范围内的像素内表示跟踪目标的图像数据的像素的总数代入到TgtSize中。如第1实施方式中所述，基于跟踪结果信息能够将被运算图 像的图像区域分类为表示跟踪目标的图像数据的跟踪目标区域和表示背 景的图像数据的背景区域，属于该跟踪目标区域的图像的总数能够代入到 TgtSize中。用像素数表示TgtSize时，AreaSize设定为属于上述搜索范围 的像素的总数。
或者，也可以用图像上的面积表示大小TgtSize。 g卩，在跟踪处理中 能够将跟踪目标的外形近似为比较简单的形状(例如，椭圆或矩形)，也 可以由通过该近似得到的跟踪目标的外形内的面积表示TgtSize。具体而 言，例如，能够将被运算图像上的跟踪目标区域的面积代入到TgtSize中。 在第1实施方式中跟踪目标区域的外形是矩形，但是该外形也可以是矩形 以外的其它形状。用面积表示TgtSize时，AreaSize设定为被运算图像上 的搜索范围的面积。
说明第2计算方法。在第2计算方法中，将基于被运算图像上的跟踪 目标的位置算出可靠度评价值EVK。具体而言，按照下式(6-2)算出针对 被运算图像的可靠度评价值EVK。其中，式(6-2)右边的值变成负值时， 设定EVk为零。
EVR =l-(TDist/StdDist) …(6 — 2)
如图26所述，TDist是跟踪目标的中心位置601与被运算图像的中心 位置602之间的距离(g卩，位置601和602间的被运算图像上的空间位置 差)，StdDist是预先设定的基准距离。跟踪目标的中心位置601，例如， 是基于针对被运算图像的跟踪结果信息的在第1实施方式中所述的中心 250的位置(参照图8)。
通常用户按照应成为跟踪目标的关注拍照对象配置在图像的中央附 近的方式操作摄像装置。因此，对于在图像端部中检测出跟踪目标的跟踪 结果会怀疑可靠性。另外，跟踪目标在图像端部时，跟踪目标很容易跑出 摄像装置的拍摄区域外(易引起所谓超屏)。此时，从跟踪维持的角度来 看重要的是降低跟踪可靠度从而使拍摄视角定位在增大方向。考虑到这 些，在第2计算方法中，判断出跟踪目标的位置越接近于图像的中心越增大可靠度评价值EVp相反时减少可靠度评价值EVR。 [第3计算方法〗
说明第3计算方法。第3计算方法中，将在不同的跟踪目标帧图像间 基于跟踪目标的运动矢量的大小算出可靠度评价值EVK。具体而言，按照 下式(6-3)算出针对被运算图像的可靠度评价值EVR。其中，式(6-3) 右边的值变成负值时，设定EVa为零。
EVR=H|Vt|/lVstd|) …(6-3)
Vt表示作为被运算图像的第l跟踪目标帧图像与比第l跟踪目标帧图 像更早拍摄的第2跟踪目标帧图像之间的跟踪目标的运动矢量，I Vt i 表示该运动矢量Vt的大小。Vstd是预先设定的基准矢量，I Vstd l表示基 准矢量Vstd的大小。
运动矢量Vt是表示从第2跟踪目标帧图像上的跟踪目标的位置看到 的第1跟踪目标帧图像上的跟踪目标的位置的矢量(即，运动矢量Vt是 将第2跟踪目标帧图像作为基准图像的运动矢量)。第1和第2跟踪目标 帧图像上的跟踪目标的位置分别指，例如，基于针对第l和第2跟踪目标 帧图像的跟踪结果信息的第1和第2跟踪目标帧图像上的中心250的位置 (参照图8)。另外，第2跟踪目标帧图像是比第1跟踪目标帧图像提早 n帧周期拍摄的帧图像(这里，n是l以上的整数)。另外，也可以将比 第1跟踪目标帧图像更早拍摄的多个帧图像的每一个看作第2跟踪目标帧 图像，并将该多个帧图像的每一个与第1跟踪目标帧图像之间的跟踪目标 的运动矢量的平均作为Vt来使用。
在作为第1和第2跟踪目标帧图像的拍摄间隔的评价期间中得到跟踪 目标的位置急剧变化的跟踪结果时，该跟踪结果的可靠性受到怀疑。另外， 跟踪目标的运动快时，跟踪目标易超屏，且也会存在跟踪处理中易丢失跟 踪目标的情况。考虑到这些，在第3计算方法中，基于跟踪目标的运动矢 量的大小算出可靠度评价值EVR。
说明第4计算方法。在第4计算方法中，基于在第3计算方法中记载 的跟踪目标的运动矢量Vt与基准矢量Vstd所成的角度e算出可靠度评价
45值EVK。但是，第4计算方法中的运动矢量Vt表示，作为被运算图像的
第1跟踪目标帧图像与比第1跟踪目标帧图像提前1个帧周期拍摄的跟踪
目标帧图像之间的跟踪目标的运动矢量，第4计算方法中的基准矢量Vstd 表示这之前得到的跟踪目标的运动矢量。
参照图27补充说明第4计算方法中的运动矢量Vt和基准矢量Vstd 的意义。现在，假设每流过1帧周期的时间时依次访问时刻V4、 tn.3、 tn.2、
t^、 V，将在时刻tn-i中获得的跟踪目标帧图像称为时刻tn.i的跟踪目标
帧图像或只称为时刻Vi的帧图像。另外，用如图27所示的V[i， i-l]表示
将时刻Vi的帧图像作为基准的、时刻tn,和tn.w)的帧图像间的跟踪目标 的运动矢量。
在这样的前提下，若应算出可靠度评价值EVK的被运算图像为t。的帧
图像，则第4计算方法中的运动矢量Vt是矢量V[1， 0]，且第4计算方法 中的基准矢量Vstd是矢量V[2， l]。或者，基准矢量Vstd也可以是对矢 量V[2， 1]与比矢量V[2， l]更早算出的跟踪目标的l个或多个运动矢量的 平均矢量(例如，V[2， 1]与V[3， 2]的平均矢量)。
利用如上所述的矢量Vt和Vstd并按照下式(6-4)算出针对被运算图 像的可靠度评价值EV^
EVR=(l + C0Se)/2 ... (6 —4)
=(l + (Vt.Vstd)/(]Vt|x|Vstdl))/2
运动矢量Vt的方向表示图像上的跟踪目标的最近的运动的方向，基 准矢量Vstd的方向表示图像上的跟踪目标的过去的运动的方向。跟踪目 标在运动图像上运动时，很多时候其运动方向大致上一定，对于运动方向 变化急剧的跟踪结果会怀疑可靠性。考虑到这些，在第4计算方法中，上
述角度e较大时使可靠度评价值eVk狡小，上述角度e较小时使可靠度评
价值EVR较大。
说明第5计算方法。第5计算方法是组合第3和第4计算方法的方法。 具体而言，在第5计算方法中，按照下式(6-5)算出针对被运算图像的可 靠度评价值EVR。这里，EV^表示应按照上述式(6-3)算出的EVr， EVR5 表示应按照上述式(6-4)算出的EVr。EVR=￡VR4xEVR5 …(6-5)
说明第6计算方法。在第6计算方法中，基于从分类为跟踪目标的像 素得到的特征量的帧间相关(换言之，基于跟踪目标的特征量在帧间的变 化量)算出可靠度评价值EVR。具体而言，按照下式(6-6)算出针对被运 算图像的可靠度评价值EVR。其中，式(6-6)的右边的值变成负值时，设 定EVa为零。
￡VR=1-(IVAL(n)-VAL(n-1)1)/VALbase …(6-6)
这里，VAL (n)是针对第n个跟踪目标帧图像(即，图27所示的时 刻tn的帧图像)的特征量，VAL (n-l)是针对第(n-l)个跟踪目标帧图 像(即，图27所示的时刻V,的帧图像)的特征量，VALbase是预先设定 的基准特征量。
如上所述，基于跟踪结果信息，将各跟踪目标帧图像的整体区域分类 为表示跟踪目标的图像数据的跟踪目标区域和表示背景的图像数据的背 景区域，设定第i个跟踪目标帧图像的跟踪目标区域的特征量为VAL (i) (这里，i是n或(n-l))。
特征量VAL (i)也可以是与跟踪处理中用于跟踪目标的识别的特征 量同一种类的特征量。即，具体而言，例如，如第l实施方式中记载的基 于颜色信息进行跟踪目标的身体区域的跟踪时，基于第i个跟踪目标帧图 像中的身体区域的图像数据求出第i个跟踪目标帧图像的身体区域的颜色 (以下称为第i特征色)。能够将在第1实施方式中记载的基于初始设定 用帧图像的图像数据导出跟踪色的方法，利用在基于第i个跟踪目标帧图 像的图像数据导出第i特征色的方法中。而且，将色空间(例如，RGB或 HSV色空间)上的第i特征色的位置作为VAL (i)。此时，式(6-6)的 IVAL (n) -VAL (n-l) l是色空间上的第n特征色的位置与第(n-l)特征 色的位置间的距离。
特征量VAL (i)也可以是与在跟踪处理中用于跟踪目标的识别的特 征量不同的特征量。即，具体而言，例如，如第1实施方式中记载的基于颜色信息进行跟踪目标的身体区域的跟踪时，基于第i个跟踪目标帧图像
的身体区域的图像数据求出第i个跟踪目标帧图像的身体区域的亮度等级
(以下称为第i亮度等级)。能够将属于第i个跟踪目标帧图像的身体区
域的各像素的平均亮度作为第i亮度等级。而且，将第i亮度等级作为VAL (i)即可。此时，式(6-6)的IVAL (n) ■ VAL (n-l) l变成表示第n和 (n-l)个跟踪目标帧图像间的跟踪目标(身体区域)的亮度差。
另外，也可以将针对在第n个跟踪目标帧图像之前得到的多个跟踪目 标帧图像的特征量的平均或加权平均代入到式(6-6)的VAL (n-l)中。 即，例如，也可以将针对第(n-l)禾n (n-2)个跟踪目标帧图像的特征量 的平均代入到式(6-6)的VAL (n-l)中。
得到跟踪目标的特征量急剧变化的跟踪结果时，该跟踪结果的可靠性 不可靠。考虑到这些，在第6计算方法中，基于表示跟踪目标的图像特征 的特征量的变化量来算出可靠度评价值EVR。 [第7计算方法]
说明第7计算方法。在第1实施方式中记载了如下的技术。
设定跟踪颜色之后，在作为被运算图像的跟踪目标帧图像内设定搜索 范围和跟踪框，通过在搜索范围内依次改变跟踪框的位置并且执行跟踪框 内的图像颜色与跟踪颜色之间的类似性评价，从而能够检测出跟踪目标帧 图像上的跟踪目标的位置。
通过将被运算图像的整体区域分解为多个小块(参照图7)并将各小 块分类为拍照对象块和背景块中的任一个，能够使被运算图像的整体区域 分类为作为拍照对象块群的合成区域的跟踪目标区域和作为背景块群的 合成区域的背景区域。
能够将跟踪颜色与第i背景块颜色之间的相异度作为色差评价值 Cois[i]来求出。色差评价值C园[i]取0以上1以下的值。
在第7计算方法中，利用该色差评价值Qns[i]，由以下式(6-7)算出
针对被运算图像的可靠度评价值EVR。 " 、<formula>formula see original document page 48</formula>式(6-7)右边的2意味着被运算图像中属于跟踪目标的周边区域的 各背景块的色差评价值的累积。被运算图像中的跟踪目标的周边区域指， 例如，从对该被运算图像设定的上述搜索范围中将跟踪目标区域除外而剩 下的图像区域，或者从稍大于或稍小于该搜索范围的图像区域中将跟踪目 标区域除外而剩下的图像区域，或者从被运算图像的整体区域将跟踪目标 区域除外而剩下的图像区域。现在，假设第1 第R背景块属于跟踪目标 的周边区域(R是2以上的整数)。贝U，由式(6-7)算出的EVr是相対 于第1 第R背景块算出的色差评价值C服[l] Qns[R]的总和与 (l-ColArea)的乘积。
ColArea表示与跟踪颜色具有相同或类似颜色的背景块在周边区域中 所占的比例。例如，色差评价值C肥[i]在规定的阈值以下时，判断第i背 景块具有的颜色是与跟踪颜色相同或类似的颜色，反之，判断第i背景块 具有的颜色非类似于跟踪颜色。假设尺=100，且在第1 第IOO背景块内， 判断出只有第1 第40背景块具有与跟踪颜色相同或类似的颜色时， ColArea是400/。。
若跟踪目标的周边区域的颜色与跟踪颜色相差很大，则基于颜色信息 的跟踪是稳定的，若该颜色与跟踪颜色相似，则基于颜色信息的跟踪是不 稳定的。另外，跟踪目标的周边存在越多的跟踪颜色的相似颜色，则会变 得越不稳定。第7计算方法提供对应于这些的可靠性评价。
说明第9计算方法。利用第9计算方法时，在图4等中所示的跟踪可 靠度评价部52按每一个跟踪目标帧图像基于跟踪目标帧图像的图像数据 推定跟踪目标帧图像的光源的色温(也能在跟踪可靠度评价部52以外的 部件中进行该推定)。
作为色温的推定方法能利用公知的任意的推定方法。例如，与在被运 算图像内设置小块[m， n]同样地(参照图7)，在关注的跟踪目标帧图像 内设定多个小块，并按每个小块基于小块的图像数据将该小块的颜色分类 为色饱和度较高的物体色或色饱和度较低的光源色。将具有被分类为光源 色的颜色的小块称为光源色模块。按每个光源色模块基于光源色模块的R、 G、 B信号推定光源的色温，并能够将相对于各光源色模块推定的色温的 平均作为对关注的跟踪目标帧图像的色温来推定。在图29中例示了按每 个跟踪目标帧图像推定的色温的分布。
在第9计算方法中，利用该推定色温，由以下式(6-9)算出针对被运 算图像的可靠度评价值EVp其中，式(6-9)右边的值变成负值时，设定 EVa为零。
EVR = 1 -(CTi -CTstd) …(6-9)
这里，CTi是针对在被运算图像更早得到的多个跟踪目标帧图像的推 定色温的方差，CTstd是预先设定的基准方差。
方差CTi大则表示拍摄跟踪目标帧图像时的光源的色温经常变化。在
50基于颜色信息的跟踪处理中，光源的色温变化大则很难执行稳定的跟踪。 第9计算方法提供对应这些情况的可靠性评价。
说明第10计算方法。在第10计算方法中，基于包括在跟踪目标帧图 像中的噪声的大小算出可靠度评价值EVw具体而言，由以下式(6-10A) (6-10C)算出相对于被运算图像的可靠度评价值EVR。其中，式(6-10B) 的右边的值变成负值时，设定NRtgt为零，式(6-10C)的右边的值变成 负值时，设定NRsrd为零。
EVR = NRtgt x NRsrd
NRtgt =-(atgt/obase) NRsrd = 1 一 ((jsrd / abase)
包括在被运算图像的跟踪目标区域内的平坦部称作第1平坦部，包括 在被运算图像的跟踪目标的周边区域内的平坦部称作第2平坦部。跟踪目 标的周边区域的意义与在第7计算方法的说明中记载的意义相同。otgt是 第1平坦部内的各像素的亮度值的标准偏差，asrd是第2平坦部内的各像 素的亮度值的标准偏差，(Tbase是预先设定的基准标准偏差。
otgt自身或otgt的正平方根表示包括在第1平坦部内的图像中的噪声 的大小或第l平坦部内的图像的信噪比(asrd也同样)。因此，包括在跟 踪目标区域和/或周边区域的噪声的大小较大时，通过crtgt禾B/或cjsrd的减 少会减少可靠度评价值EVK。
能够将第1平坦部设定为以下方式。在被运算图像的跟踪目标区域内 设定具有规定图像尺寸的评价块，使评价块的位置在跟踪目标区域内向水 平或垂直方向每次移动l个像素，并且在每次移动时求出评价块内的各像 素的亮度值的标准偏差。从而求出多个标准偏差。特定与该多个标准偏差 内的最小的标准偏差对应的评价块的位置，并在该位置上作为第1平坦部 设定被配置的评价块内的图像区域。第2平坦部的设定方法也相同。设定 第2平坦部时，在跟踪目标的周边区域内配置评价块。
包括在跟踪目标区域和/或周边区域中的噪声的大小大时会破坏跟踪 的稳定性。第IO计算方法提供对应这些情况的可靠性评价。
…(6 — 1 0 A)
…(6 — 1 0 B) …(6 — 1 OC)作为可靠度评价值EVK的计算方法个别说明了第1 第10计算方法，
也能由组合了第1 第10计算方法内的2个以上计算方法的方法算出可靠 度评价值EVK。另外，在上述的第1 第IO计算方法中说明了每算出相对
于1张被运算图像的可靠度评价值EVk吋利用llA张跟踪目标帧图像的方
法(iu是1以上的整数)，但是在第1 第IO计算方法中，只要不产生 矛盾，计算时也可利用riB张跟踪目标帧图像(iib是1以上的整数，nA# nB)。
例如，在上述的第l计算方法的说明中，每次计算针对作为被运算图 像的时刻tn的帧图像的可靠度评价值EVR时，仅利用了时刻tn的帧图像的 图像数据，但是在该计算中也可以利用时刻k和时刻tn.,的帧图像的图像
数据。即，更具体而言，例如，也可以通过将时刻tn的帧图像的跟踪目标
的大小TgtSize与时刻的帧图像的跟踪目标的大小TgtSize的平均代入 到上述式(6-1)的TgtSize中，从而算出针对时刻tn的帧图像的可靠度评 价值EVR。
(变形等)
第1 第6实施方式中记载的内容只要不产生矛盾则能够相互组合而 实施。另外，上述的说明中所示的具体的数值仅仅是例示，显然能够将这 些数值改变为各种各样的数值。作为上述实施方式的变形例或注释事项， 以下记载注释1 注释5。各注释中记载的内容只要不产生矛盾则能够任 意组合。
在上述的各实施方式中，例示了跟踪目标为人物时的情况，但是跟踪 目标也可以不是人物。例如，也可以将汽车等车辆或移动的机器人作为跟 踪目标。
在上述的各实施方式中，将帧作为单位来考虑并对帧图像列进行了包 括脸部检测处理或跟踪处理的各种处理，但是也可以将场作为单位来考虑 并对区域图像列进行那些处理。
[注释3]也可以将表示由跟踪可靠度评价部52评价的跟踪可靠度的指标显示
在显示部15上。该指标与应显示在显示部15上的运动图像一起显示在显 示部15上。 [注释4]
各实施方式的摄像装置能够通过硬件或硬件与软件的组合来实现。特 别是图4、图15、图19、图23中所示的各部件能够通过硬件、软件或者 硬件与软件的组合来实现。利用软件构成摄像装置时，关于由软件实现的 各部件的模块图变成表示该部件的功能模块图。另外，也可以通过作为程 序记述需要执行的计算处理的全部或一部分，并在程序执行装置(例如计 算机)上执行该程序，从而实现该计算处理的全部或一部分。
在运动图像再生时，包括图4的符号51 54所示的部件的装置和包 括图23的符号51、 52和101 104所示的装置分别作为图像再生装置而 起作用。也可以当作该图像再生装置中包括形成摄像装置的其它部件(显 示部15等)。也可以通过能够读入记录介质16的记录数据的摄像装置的 外部设备(未图示)实现该图像再生装置。
权利要求
1、一种摄像装置，其特征在于，具有摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；切取处理部，其按每个拍摄图像基于检测出的所述位置在所述拍摄图像内设定切取区域，并提取所述切取区域内的图像作为切取图像或输出表示所述切取区域的位置和大小的切取信息；和跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述切取处理部根据评价出的所述程度改变所述切取区域的大小。
2、 根据权利要求l所述的摄像装置，其特征在于所述切取处理部使所述程度被评价为比较高时的所述切取区域的大小比所述程度被评价为比较低时的所述切取区域的大小更小。
3、 根据权利要求l所述的摄像装置，其特征在于所述切取处理部基于评价出的所述程度与拍摄图像上的所述跟踪目标的大小来设定所述切取区域的大小。
4、 根据权利要求1所述的摄像装置，其特征在于所述跟踪评价部接受形成所述拍摄图像列的拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价所述程度。
5、 一种摄像装置，其特征在于，具有摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；视角调整部，其调整拍摄中的视角；禾口跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述视角调整部根据评价出的所述程度改变所述视角。
6、 根据权利要求5所述的摄像装置，其特征在于所述视角调整部按照在所述程度被评价为较高时使拍摄图像上的所述跟踪目标的大小较大、且在所述程度被评价为较低时使拍摄图像上的所述跟踪目标的大小较小的方式，根据所述程度调整所述视角。
7、 根据权利要求6所述的摄像装置，其特征在于所述视角调整部基于评价出的所述程度与拍摄图像上的所述跟踪目标的大小来设定所述视角。
8、 根据权利要求5所述的摄像装置，其特征在于所述跟踪评价部接受形成所述拍摄图像列的拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价所述程度。
9、 一种图像再生装置，其特征在于，具有图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像信号的输入图像列；跟踪处理部，其基于所述输入图像列的图像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪所述跟踪目标；切取处理部，其按每个输入图像基于检测出的所述位置在所述输入图像内设定切取区域，并提取所述切取区域内的图像作为切取图像；和跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；该图像再生装置将切取图像列的图像信号向显示部或外部输出，所述切取处理部根据评价出的所述程度改变所述切取区域的大小。
10、 一种摄像装置，其特征在于，具有摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；区域设定部，其基于检测出的所述位置在各拍摄图像内设定评价值收集区域；获取条件控制部，其基于各拍摄图像的所述评价值收集区域内的图像信号，控制所述拍摄图像列的获取条件；和跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述区域设定部根据评价出的所述程度改变所述评价值收集区域的大小。
11、 一种图像再生装置，其特征在于，具有图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像信号的输入图像列；跟踪处理部，其基于所述输入图像列的图像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪所述跟踪目标；区域设定部，其基于检测出的所述位置在各输入图像内设定评价值收集区域；输出图像生成部，其生成基于各输入图像的所述评价值收集区域内的图像信号对所述输入图像列进行加工后的输出图像列；和跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；该图像再生装置将所述输出图像列的图像信号向显示部或外部输出，所述区域设定部根据评价出的所述程度改变所述评价值收集区域的大小。
全文摘要
本发明提供一种摄像装置及图像再生装置。其中，该摄像装置具有通过依次拍摄来输出表示拍摄图像列的信号的摄像元件；通过基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标的跟踪处理部；按每个拍摄图像基于检测出的所述位置在所述拍摄图像内设定切取区域，并提取所述切取区域内的图像作为切取图像或输出表示所述切取区域的位置和大小的切取信息的切取处理部；和基于所述摄像元件的输出信号评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度的跟踪评价部。所述切取处理部根据评价出的所述程度改变所述切取区域的大小。
文档编号G06T7/20GK101605209SQ200910202859
公开日2009年12月16日 申请日期2009年5月26日 优先权日2008年5月26日
发明者克拉丽莎·梁, 横畠正大, 藤田日出人 申请人:三洋电机株式会社