电子照相机、图象处理装置及图象处理方法

专利名称：电子照相机、图象处理装置及图象处理方法
技术领域：
本发明涉及电子照相机、图像处理装置等，尤其涉及在输入图像中对作为跟踪的 对象的对象物的像进行跟踪的电子照相机、图像处理装置等。
背景技术：
近年来，电子照相机具有物体跟踪功能，来作为AF (自动聚焦Aut0-F0Cus)、 AE(自动曝光Automatic Exposure)或逆光校正功能的对位手段。其中，所谓电子照相机 (camera)，是指拍摄静止图像的照相机(camera)或拍摄活动图像的摄像机(camera)。例如在具备触摸面板作为显示电子照相机所拍摄的图像或要拍摄的图像的手段 的情况下，用户通过在触摸面板上触摸来指定作为跟踪的对象的对象物的像。另外，例如用 户在调整电子照相机的朝向以使希望跟踪的物体显示在显示画面的中央等预先决定的区 域之后，按下跟踪按键，由此将该区域中显示的物体的像指定为对象物的像。而且，电子照相机在指定了对象物的像之后拍摄的图像中，确定作为包括对象物 的像的区域的对象区域，由此进行对象物的像的跟踪。一般而言，电子照相机通过搜索具有 与被指定的对象物的像的特征量类似的特征量的区域，由此来确定对象区域(例如，参照 专利文件1)。具体而言，电子照相机例如通过利用颜色的信息作为特征量的模板匹配来搜 索对象区域。专利文献1 日本特开2009-484 号公报但是，在对象物是儿童等活动迅速的物体的情况下，或者在不擅长电子照相机的 操作的用户一边朝上下左右剧烈摇动电子照相机一边拍摄的情况下，或者在较暗的环境下 帧率(1秒钟拍摄的图像的张数)较小的情况下等，表示对象物的像的特征的特征量发生变 动。因此，在像以往的电子照相机那样利用特征量来确定对象区域的情况下，存在无法正确 跟踪对象物的问题。

发明内容
因此，本发明鉴于上述以往的问题而做出，其目的在于，提供一种电子照相机、图 像处理装置等，即使是在由于对象物剧烈运动等而输入图像中对象物的像的特征量发生了 变动的情况下，也能够稳定地跟踪对象物。为了达到上述目的，本发明涉及的电子照相机在输入图像中跟踪作为跟踪的对象 的对象物的像，利用跟踪结果，执行自动聚焦处理、自动曝光处理及逆光校正处理中的至少 一个，该电子照相机具备抖动检测部，在上述输入图像中检测抖动轨迹，该抖动轨迹是表 示搜索区域的抖动的轨迹，该搜索区域是利用比该输入图像在时间上靠前拍摄的图像来决 定的区域，而且是包括上述对象物的像的区域；以及跟踪处理部，利用由上述抖动检测部检 测出的抖动轨迹的端点来确定对象区域，由此跟踪上述对象物的像，该对象区域是包括上 述对象物的像的区域，而且是比上述搜索区域小的区域。由此，即使是在由于对象物迅速运动等而输入图像中对象物的像的特征量发生了变动的情况下，也能够通过利用抖动轨迹来稳定地跟踪对象物。另外，也可以是，还具备存储部，该存储部存储初始特征量，该初始特征量定量地 表示上述对象物的像的特征；上述抖动检测部进一步确定所检测出的抖动轨迹的终点；上 述跟踪处理部，在与上述输入图像在时间上连续的下一个输入图像中，将包括与由上述抖 动检测部确定的抖动轨迹的终点对应的位置的区域决定为上述搜索区域，在决定的搜索区 域内，搜索具有与上述存储部中存储的初始特征量最类似的特征量的区域，由此确定与上 述输入图像在时间上连续的下一个输入图像中的对象区域。由此，在对象物的像发生抖动的图像的下一个输入图像中，能够将推测为显示对 象物的位置的附近决定为搜索区域。因此，能够稳定地跟踪对象物，并且减轻搜索处理的负 担。另外，也可以是，上述抖动检测部将上述抖动轨迹的两个端点之中的、离与下述对 象区域对应的位置较远的端点确定为上述抖动轨迹的终点，该对象区域是在与上述输入图 像在时间上连续的前一个输入图像中确定的对象区域。由此，利用在时间上连续的前一个输入图像，能够高精度地确定根据一个图像难 以推测的抖动轨迹的终点的位置。通过利用像这样确定的抖动轨迹的终点的位置，能够更 加稳定地跟踪对象物的像。另外，也可以是，上述跟踪处理部将包括上述抖动轨迹的两个端点的各个端点的 区域之中的、具有与上述存储部中存储的初始特征量最类似的特征量的区域，确定为上述 输入图像中的对象区域。由此，在对象物的像发生抖动的图像中，通过对包括抖动轨迹的两个端点的各个 端点在内的区域的特征量与初始特征量进行比较，能够确定对象区域。因此，比起在搜索区 域内搜索，能够进一步减轻处理的负担。另外，也可以是，上述跟踪处理部在上述抖动轨迹的长度比阈值大的情况下，利用 上述抖动轨迹来确定上述输入图像中的对象区域，在上述抖动轨迹的长度为阈值以下的情 况下，在上述搜索区域内搜索具有与上述存储部中存储的初始特征量最类似的特征量的区 域，由此确定上述输入图像中的对象区域。由此，能够仅在对象物的像发生抖动、特征量变动的情况下，利用抖动轨迹来确定 对象区域，因此能够更加稳定地跟踪对象物。另外，也可以是，上述抖动检测部进一步确定所检测出的抖动轨迹的终点，上述跟 踪处理部将包括与由上述抖动检测部确定的抖动轨迹的终点对应的位置的区域，确定为上 述输入图像中的对象区域。由此，在对象物的像发生抖动的图像中，利用抖动轨迹的终点，将包括抖动轨迹的 终点的位置的区域确定为对象区域，因此能够在不进行特征量的提取或比较等的条件下容 易地确定对象区域。另外，也可以是，上述抖动检测部将上述抖动轨迹的两个端点之中的、离与下述对 象区域对应的位置较远的端点确定为上述抖动轨迹的终点，该对象区域是在与上述输入图 像在时间上连续的前一个输入图像中确定的对象区域。由此，利用在时间上连续的前一个输入图像，能够高精度地确定根据一个图像难 以推测的抖动轨迹的终点的位置，能够更加稳定地跟踪对象物。
另外，也可以是，还具备存储部，该存储部存储初始特征量，该初始特征量定量地 表示显示上述对象物的区域的特征；上述抖动检测部，在拍摄上述输入图像时的快门速度 或帧率比阈值小的情况下，检测上述抖动轨迹；上述跟踪处理部，在拍摄上述输入图像时的 快门速度或帧率比阈值小的情况下，将包括与由上述抖动检测部确定的抖动轨迹的终点对 应的位置的区域，确定为上述输入图像中的对象区域，在拍摄上述输入图像时的快门速度 或帧率为阈值以上的情况下，将包括与下述对象区域对应的位置的区域决定为搜索区域， 该对象区域是在与上述输入图像在时间上连续的前一个输入图像中确定的对象区域，在决 定的搜索区域内，搜索具有与上述存储部中存储的初始特征量最类似的特征量的区域，由 此确定上述输入图像中的对象区域。由此，能够按照快门速度或帧率来对是否利用抖动轨迹进行切换，因此能够减轻 用于检测抖动轨迹的处理的负担。另外，本发明涉及的图像处理装置，在输入图像中跟踪作为跟踪的对象的对象物 的像，该图像处理装置具备抖动检测部，在上述输入图像中检测抖动轨迹，该抖动轨迹是 表示搜索区域的抖动的轨迹，该搜索区域是利用比该输入图像在时间上靠前拍摄的图像来 决定的区域，而且是包括对象物的像的区域；以及跟踪处理部，利用由上述抖动检测部检测 出的抖动轨迹的端点来确定对象区域，由此跟踪对象物的像，该对象区域是包括上述对象 物的像的区域，而且是比上述搜索区域小的区域。另外，本发明涉及的集成电路，在输入图像中跟踪作为跟踪的对象的对象物的像， 该集成电路具备抖动检测部，在上述输入图像中检测抖动轨迹，该抖动轨迹是表示搜索 区域的抖动的轨迹，该搜索区域是利用比该输入图像在时间上靠前拍摄的图像来决定的区 域，而且是包括上述对象物的像的区域；以及跟踪处理部，利用由上述抖动检测部检测出的 抖动轨迹的端点来确定对象区域，由此跟踪上述对象物的像，该对象区域是包括上述对象 物的像的区域，而且是比上述搜索区域小的区域。而且，本发明不仅可以作为这样的图像处理装置来实现，而且还可以作为以这样 的图像处理装置所具备的特征性结构部的动作为步骤的图像处理方法来实现。另外，也可 以作为使计算机执行这样的图像处理方法中包括的步骤的程序来实现。而且，这样的程序 也可以通过⑶-ROM等记录介质或互联网等传输媒体来分发。发明效果根据以上说明可知，本发明涉及的电子照相机等，即使是在由于对象物剧烈运动 等而输入图像中对象物的像的特征量发生了变动的情况下，也能够通过利用抖动轨迹来稳 定地跟踪对象物。


图1是表示本发明的实施方式1或实施方式2涉及的图像处理装置的功能结构的 模块图。图2是表示作为本发明的实施方式1涉及的图像处理装置的具体例的电子照相机 的结构的模块图。图3是表示本发明的实施方式1涉及的图像处理装置的动作的流程图。图4是用于说明输入图像中不包括抖动图像的情况下的图像处理装置的各种动作的具体例的图。图5是用于说明本发明的实施方式1涉及的图像处理装置的动作的具体例的图。图6是表示本发明的实施方式2涉及的图像处理装置的动作的流程图。
具体实施例方式以下，参照

本发明的实施方式。(实施方式1)本发明的实施方式1涉及的图像处理装置的特征在于，在抖动轨迹的长度大于阈 值的情况下，利用抖动轨迹的终点来决定与抖动图像在时间上连续的下一个输入图像中的 搜索区域的位置。图1是表示本发明的实施方式1涉及的图像处理装置的功能结构的模块图。如图 1所示，图像处理装置10具备初始特征量提取部11、抖动检测部12、跟踪处理部13和存储 部14。初始特征量提取部11获得与初始区域相关的信息(例如位置、形状、大小等)，初 始区域是在指定对象物的像时的输入图像中包括对象物的像的区域。另外，初始特征量提 取部11提取初始特征量，该初始特征量定量地表示初始区域中包括的对象物的像的特征。 进而，初始特征量提取部11将提取出的初始特征量写入存储部14。抖动检测部12检测输入图像中的搜索区域的抖动轨迹。在此，搜索区域是由跟踪 处理部13利用在时间上比该输入图像靠前拍摄的图像决定的区域，而且是包括对象物的 像的区域。进而，抖动检测部12对检测出的抖动轨迹的终点进行确定。具体而言，将抖动轨 迹的两个端点之中的、离与前一个输入图像中确定的对象区域对应的位置较远的端点，确 定为抖动轨迹的终点，该前一个输入图像是与输入图像在时间上连续的前一个输入图像。跟踪处理部13利用由抖动检测部12检测的抖动轨迹的端点来确定对象区域。在 此，对象区域是包括对象物的像的区域，而且是比搜索区域小的区域。另外，跟踪处理部13 在由抖动检测部12检测出的抖动轨迹的长度比阈值大的情况下，判断为输入图像是抖动 图像，利用抖动轨迹的端点来确定对象区域。具体而言，跟踪处理部13将包括抖动轨迹的两个端点的各个端点的区域之中的、 具有与存储部14中存储的初始特征量最类似的特征量的区域，确定为输入图像中的对象 区域。进而，跟踪处理部13在与检测出抖动轨迹的输入图像在时间上连续的下一个输 入图像中，将包括与由抖动检测部12确定的抖动轨迹的终点对应的位置的区域，决定为搜 索区域。另外，在与检测出抖动轨迹的输入图像在时间上连续的下一个输入图像不是抖动 图像的情况下，跟踪处理部13在决定的搜索区域内搜索具有与存储部14中存储的初始特 征量最类似的特征量的区域。跟踪处理部13将像这样搜索到的区域确定为对象区域。存储部14存储由初始特征量提取部11提取出的初始特征量。另外，存储部14 存储表示由抖动检测部12确定的抖动轨迹的终点的位置的信息(以下简称“抖动终点信 息”)。进而，存储部14存储表示由跟踪处理部13确定的对象区域的位置及大小的信息(以 下简称“对象区域信息”)。图2是表示作为本发明的实施方式1涉及的图像处理装置的具体例的电子照相机的结构的模块图。如图2所示，电子照相机100具备摄影镜头101、快门102、摄像元件 103、AD转换器104、定时产生电路105、图像处理电路106、存储器控制电路107、图像显示 存储器108、DA转换器109、图像显示部110、存储器111、调整大小电路112、系统控制电路 113、曝光控制部114、测距控制部115、变焦控制部116、保护盖(barrier)控制部117、闪光 灯118、保护部119、存储部120、显示部121、非易失性存储器122、模式调节开关123、快门 开关124、电源控制部125、连接器126及127、电源128、接口 129及130、连接器131及132、 记录介质133、光学取景器134、通信部135、天线136、初始特征量提取电路137、跟踪处理 电路138、抖动检测电路139、跟踪结果描绘电路140、以及照相机控制电路141。另外，电源 128及记录介质133也可以是可拆卸的。摄影镜头101是具有变焦及聚焦功能的镜头，使入射的光在摄像元件103上成像。快门102具备光圈功能，对入射到摄像元件103的光的量进行调节。摄像元件103将入射的光成像所得到的光学像转换为电信号(图像数据)。AD转换器104将从摄像元件103输出的模拟信号转换为数字信号。AD转换器104 通过存储器控制电路107，将已转换为数字信号的图像数据写入图像显示存储器108或存 储器111。或者，AD转换器104将已转换为数字信号的图像数据输出到图像处理电路106。定时产生电路105向摄像元件103、AD转换器104及DA转换器109提供时钟信号 或控制信号。定时产生电路105被存储器控制电路107及系统控制电路113控制。图像处理电路106对从AD转换器104输出的图像数据或从存储器控制电路107 输出的图像数据进行规定的图像内插处理或颜色变换处理等。另外，图像处理电路106利 用被输入的图像数据进行规定的运算处理，系统控制电路113根据得到的运算结果对曝光 控制部114及测距控制部115进行控制。存储器控制电路107控制AD转换器104、定时产生电路105、图像处理电路106、图 像显示存储器108、DA转换器109、存储器111及调整大小电路112。图像显示存储器108存储用于显示的图像数据。DA转换器109通过存储器控制电路107，从图像显示存储器108获得用于显示的 图像数据，并从数字信号转换为模拟信号。图像显示部110显示由DA转换器109转换为模拟信号的用于显示的图像数据。 另外，图像显示部110也可以从用户接收用于确定正显示作为跟踪的对象的对象物的区 域(初始区域)的信息。图像显示部110例如是TFTLCD(Thin Film Transistor Liquid Crystal Display 薄膜晶体管液晶显示器)、触摸面板等显示器。存储器111存储从AD转换器104得到的图像数据、以及由图像处理电路106进行 了处理的图像数据。进而，存储器111存储由初始特征量提取电路137提取的初始特征量 等跟踪处理所需的信息。另外，存储器111相当于图1的存储部14。调整大小电路112根据拍摄得到的图像，生成低解析度的图像。另外，调整大小电 路112能够按照用途来选择规定的多个解析度。调整大小电路112读入被保存在存储器111 中的图像数据，对读入的图像数据进行调整大小处理，将处理完的数据写入存储器111。另外，调整大小电路112用于希望以与摄像元件103的像素数不同的像素数(大 小)在记录介质133等中记录图像数据的情况等。另外，图像显示部110可显示的像素数 比摄像元件103的像素数小很多。因此，调整大小电路112也用于生成将拍摄的图像数据显示于图像显示部110时的显示用图像的情况。同样，调整大小电路112也用于以下情况， 即生成抖动检测电路139在检测抖动时所利用的图像(例如图像大小为QVGA等的图像) 的情况。系统控制电路113通过控制电子照相机100整体的各处理部及各处理电路，由此 进行摄影处理。摄影处理包括曝光处理、显影处理及记录处理等。所谓曝光处理，是指将从 摄像元件103读出的图像数据通过AD转换器104及存储器控制电路107写入存储器111 的处理。所谓显影处理，是指图像处理电路106及存储器控制电路107中的运算处理。所 谓记录处理，是指从存储器111读出图像数据、并将图像数据写入记录介质133的处理。曝光控制部114对具备光圈功能的快门102进行控制。另外，曝光控制部114通 过与闪光灯118联动，还具有闪光灯调光功能。测距控制部115控制摄影镜头101的聚焦。变焦控制部116控制摄影镜头101的 变焦。保护盖控制部117控制保护部119的动作。闪光灯118对被摄体照射闪光。闪光灯118还具有AF辅助光的投射功能及闪光 灯调光功能。保护部119是通过对电子照相机100的包括摄影镜头101、快门102及摄像元件 103等的摄像部进行覆盖来防止摄像部的污染或破损的保护盖(barrier)。存储器120记录系统控制电路113的动作用的定量、变量及程序等。显示部121是按照系统控制电路113中的程序的执行并利用文字、图像或声音 等来显示动作状态或消息等的液晶显示装置或扬声器等。显示部121设置在电子照相机 100的操作部附近的容易视觉辨认的一个或多个位置。显示部121例如由IXD、LED (Light Emitting Diode 发光二极管)、或者发音元件等的组合构成。非易失性存储器122是能够以电气进行证明、记录的存储器，存储电子照 相机100的动作设定数据或使用者固有的信息等。非易失性存储器122例如是 EEPROM(ElectricalIy Erasable and Programmable Read OnlyMemory :电可擦写可编程只 读存储器)等。模式调节开关123能够切换、设定自动摄影模式、摄影模式、全景摄影模式及RAW 模式等各功能模式。快门开关IM在快门按键(未图示)的操作过程中打开(ON)，指示AF处理、AE处 理及AWB(Aut0 White Balance 自动白平衡)处理等的动作开始。另外，快门开关1 指 示曝光处理、显影处理及记录处理这一系列处理的动作的开始。电源控制部125由电池检测电路、DC-DC转换器、以及对通电的模块进行切换的开 关电路等构成。电源控制部125对有没有安装电池、电池的种类以及电池剩余电量进行检 测。电源控制部125还根据检测结果以及系统控制电路113的指示对DC-DC转换器进行控 制，反馈所需的电压，通过连接器126及127向包括记录介质133的各处理部提供电压。连接器126及127是进行电源控制部125与电源128的连接的连接器。电源128是碱电池或锂电池等一次电池，NiCd电池、NiMH电池或Li电池等二次电 池，或者AC适配器等。接口 1 及130是用于在记录介质133与存储器111等之间进行图像数据等的收 发的接口。
连接器131及132是通过接口 1 及接口 130进行与记录介质133的连接的连接器。记录介质133是记录图像数据的存储卡或硬盘等记录介质。光学取景器134是用于拍摄者确认被摄体的取景器。拍摄者可以不使用图像显示 部110的电子取景器功能，而仅利用光学取景器134来进行摄影。通信部1；35具有RS232C、USB、IEEE1394、调制解调器、LAN、或者无线通信等各种通 信功能。天线136是通过通信部135将电子照相机100与其他设备连接的连接器、或者是 无线通信的情况下的天线。初始特征量提取电路137从存储器111中保存的图像数据中提取初始特征量，并 将提取出的初始特征量写入存储器111。提取初始特征量的区域的坐标通过触摸面板从用 户接受的位置、或者用户按压快门开关1 来设定的AF区域等来确定。另外，初始特征量 提取电路137相当于图1的初始特征量提取部11。跟踪处理电路138从存储器111读入初始特征量，利用读入的初始特征量来进行 跟踪处理。而且，跟踪处理电路138将跟踪结果(坐标数据、评价值等)写入存储器111。 另外，跟踪处理电路138相当于图1的跟踪处理部13。抖动检测电路139检测抖动轨迹，将检测结果(快门从打开到关闭的时间、以及在 该时间中运动的对象物的像的X坐标以及y坐标的值)写入存储器111。另外，抖动检测电 路139相当于图1的抖动检测部12。跟踪结果描绘电路140为了使写入存储器111中的跟踪结果显示在显示部121 上，而对写入图像显示存储器108中的用于显示的图像数据进行加工。具体而言，跟踪结果 描绘电路140对图像数据进行例如跟踪框、马赛克化、文字、显示颜色的变更、模糊等加工。照相机控制电路141根据写入存储器111的跟踪结果(对象区域)的位置和大小， 控制AF处理以使焦点对应于对象区域中显示的对象物。具体而言，照相机控制电路141例 如利用对象区域中显示的对象物的对比度，控制摄影镜头101以使对比度增高。另外，照相机控制电路141也可以控制AE处理或逆光校正处理，以使对象区域中 显示的对象物的曝光合适。具体而言，照相机控制电路141也可以例如根据快门速度优先、 或者光圈值优先等模式，通过曝光控制部114，对具备光圈功能的快门102的快门速度或者 光圈值进行控制。进而，照相机控制电路141也可以控制电子照相机100，以使对象物位于图像内的 一定的位置或成为一定的大小(例如，使作为对象物的面部显示在图像的中央，或者显示 作为对象物的人物的全身等)。另外，在不具备初始特征量提取电路137、跟踪处理电路138、抖动检测电路139、 跟踪结果描绘电路140及照相机控制电路141中的某一个电路的情况下，系统控制电路113 也可以通过软件处理进行跟踪处理等。接下来，说明如上构成的图像处理装置的各种动作。图3是表示本发明的实施方式1涉及的图像处理装置的动作的流程图。首先，初始特征量提取部11获得在指定对象物时的输入图像中显示对象物的区 域即初始区域的信息，利用获得的初始区域，提取初始特征量，该初始特征量定量地表示对象物的像的特征(步骤S101)。另外，初始特征量提取部11将提取出的初始特征量和表示初始区域的位置及大 小的信息登录在存储部14中(步骤S102)。其后，图像处理装置10在提取了初始特征量的输入图像以后的输入图像中，反复 进行对显示对象物的区域即对象区域进行确定的处理。确定对象区域的处理如下所述。首先，跟踪处理部13判断在时间上连续的前一个输入图像是否为抖动图像(步骤 S103)。具体而言，跟踪处理部13例如对表示在时间上连续的前一个输入图像是否为抖动 图像的标记信息是否为“1”进行判断。在此，在前一个输入图像是抖动图像的情况下(步骤S103为是)，跟踪处理部13 将与抖动轨迹的终点对应的位置的附近的区域决定为搜索区域(步骤S104)。具体而言，例 如跟踪处理部13将以抖动终点信息所示的位置作为中心的区域决定为搜索区域。另一方面，在前一个输入图像不是抖动图像的情况下(步骤S103为否)，跟踪处 理部13将前一个输入图像中确定的对象区域的附近的区域决定为搜索区域(步骤S105)。 具体而言，例如，跟踪处理部13从存储部14中读出表示前一个输入图像中确定的对象区域 的中心位置和对象区域的大小的信息。然后，跟踪处理部13将中心位置与读出的中心位置 一致的区域且比读出的对象区域的大小更大的区域决定为搜索区域。另外，在读出的中心 位置为输入图像的端部的情况下等，搜索区域的中心位置不一定需要与读出的中心位置一 致。接下来，抖动检测部12检测由跟踪处理部13决定的搜索区域中的抖动轨迹(步 骤S106)。抖动有时也依赖于对象物的运动，因此抖动轨迹难以利用来自照相机等上安装 的回转仪传感器或加速度传感器等的传感器信息来求得。因此，抖动检测部12仅利用一张 输入图像的信息来检测抖动轨迹。具体而言，抖动检测部12例如将利用构成搜索区域的像 素的像素值而计算出的点分布函数(PSF =Point Spread Function)检测为抖动轨迹(例如 参照非专利文献1《基于单张图像的高质量运动去模糊High-Quality MotionDeblurring From a Single Image(Qi Shen et. al，SIGGRAPH2008)》)。在抖动检测部12根据非专利文献1所记载的方法检测抖动轨迹的情况下，在存储 部14中，事先保存没有抖动的一般的自然图像中表示的图像梯度的分布。另外，抖动检测 部12反复对利用规定的点分布函数校正搜索区域时的图像中的图像梯度的分布与存储部 14中保存的图像梯度的分布进行比较，由此搜索这些图像梯度的分布相同或类似的点分布 函数。抖动检测部12将像这样搜索到的点分布函数检测为抖动轨迹。接下来，抖动检测部12判断所检测出的抖动轨迹的长度是否为阈值以下(步骤 S107)。S卩，抖动检测部12判断输入图像是否为抖动图像。其中，阈值例如是预先决定的值。在此，在抖动轨迹的长度为阈值以下的情况下(步骤S107为是)，跟踪处理部13 在步骤S104或步骤S105中决定的搜索区域内，搜索具有与存储部14中存储的初始区域的 特征量最类似的特征量的区域。然后，跟踪处理部13根据搜索的结果，将具有最类似的特 征量的区域确定为对象区域(步骤S108)。即，在输入图像不是抖动图像的情况下，图像处 理装置10不利用抖动轨迹而确定对象区域。进而，跟踪处理部13将对象区域信息登录在 存储部14中，并且将表示是否为抖动图像的标记信息设定为“O”。另一方面，在抖动轨迹的长度大于阈值的情况下(步骤S107为否)，抖动检测部1212将抖动轨迹的两个端点之中的、远离与时间上连续的前一个输入图像中确定的对象区域 对应的位置的端点确定为终点(步骤S109)。接下来，抖动检测部12将抖动终点信息登录 在存储部14中，并且将表示是否为抖动图像的标记信息设定为“1”。进而，跟踪处理部13对包括抖动轨迹的两个端点的各个端点在内的区域的特征 量与存储部14中保存的初始特征量进行比较。根据比较的结果，将特征量类似的一方的区 域确定为输入图像中的对象区域(步骤S110)。通过对连续拍摄的每张输入图像反复进行以上步骤S103-S110的处理，图像处理 装置10能够跟踪对象物的像。接下来，说明使用颜色统计图(histogram)作为特征量的情况下的图像处理装置 10的各种动作的具体例。首先，说明输入图像中不包括抖动图像的情况下的图像处理装置10的动作。艮口， 在图3的步骤S107中，说明抖动轨迹的长度为阈值以下的情况下的动作。图4是用于说明输入图像中不包括抖动图像的情况下的图像处理装置的各种动 作的具体例的图。如图4(a)所示，首先，初始特征量提取部11获得在指定对象物时的输入 图像400中正显示对象物的区域即初始区域401。另外，初始特征量提取部11生成作为取 得的初始区域401的颜色统计图的初始颜色统计图402。进而，初始特征量提取部11将初 始区域401的边的长度及中心位置的坐标、以及初始颜色统计图402登录在存储部14中。其中，颜色统计图是表示构成图像或图像的一部分区域的多个像素所具有的颜色 的频度的分布的信息。例如，颜色统计图的横轴表示将HSV(Hue Saturation Value 色相 饱和度亮度)颜色空间的色相(H)的值(0 360)分割为20份时的颜色的分区。另外，颜 色统计图的纵轴表示属于各分区的像素的数量(度数)。各像素属于哪个颜色的分区，利用 用各像素的色相(H)的值除以分区的数量所得到的值的整数部分来决定即可。另外，分区的数量不一定需要是20，只要为1以上，无论是怎样的数量都可以。但 是，优选初始区域中包含的颜色越多，分区的数量就越多。由此，在初始区域中包含的颜色 较多时，能够利用每个较小的分区的度数来搜索类似的区域，因此能够提高对象区域的确 定的精度。另一方面，在初始区域中包含的颜色较少时，由于存储每个较大的分区的度数， 因此能够减少存储器的使用量。接下来，如图4(b)所示，跟踪处理部13在与输入图像400在时间上连续的下一个 输入图像410中，决定搜索区域411。具体而言，由于时间上前一个的输入图像400不是抖 动图像，因此跟踪处理部13将包括输入图像400中的对象区域(在此为初始区域401)、且 比对象区域(在此为初始区域401)大的矩形区域决定为搜索区域411。更具体而言，跟踪 处理部13读出存储部14中保存的初始区域401的边的长度及中心位置的坐标。然后，跟 踪处理部13将比读出的边的长度大的矩形区域且以读出的中心位置的坐标为中心的矩形 区域，决定为搜索区域。其中，搜索区域的形状不必须是矩形，也可以是圆形、六边形等任意形状。另外，搜 索区域的大小既可以是预先决定的大小，也可以是随着帧率或快门速度越小而变得越大的 大小。然后，由于输入图像410不是抖动图像，因此跟踪处理部13选择作为比搜索区域 411小的区域且位于搜索区域411内的区域的选择区域412。然后，跟踪处理部13提取作为所选择的选择区域412的颜色统计图的选择颜色统计图413。此时，选择颜色统计图413 优选利用初始颜色统计图402进行归一化。具体而言，跟踪处理部13优选通过用选择区域 的颜色统计图中的各分区的度数除以初始颜色统计图402的各分区的度数，由此对选择颜 色统计图413进行归一化。接下来，如图4(c)所示，跟踪处理部13计算初始颜色统计图402与选择颜色统计 图413重合的部分即重复部分420的比例，来作为类似度。具体而言，跟踪处理部13根据 (式1)来计算类似度。(数学式1)dimSrj =^]Min(RJRf 一 /“丄VilJl、AVi 3 上i 7 · · ·(式 1)i=0在此，Ri是初始颜色统计图402中的第i个分区的度数。另一方面，Ii是选择颜 色统计图413中的第i个分区的度数。在此，由于分割成20份，因此i为从0到19的值。 另外，示出重复部分420的比例越大则类似度所表示的类似程度越高，重复部分420的比例 越小则类似度所表示类似程度越低的情况。跟踪处理部13像这样在搜索区域411内一边变更位置及大小，一边反复进行选择 区域412的选择及选择颜色统计图413的提取，将颜色统计图的重复部分420的比例最大 的选择区域412确定为对象区域。然后，跟踪处理部13将对象区域的边的长度及中心位置 的坐标登录在存储部14中。像这样，在输入图像中不包含抖动图像的情况下，图像处理装置10在时间上比输 入图像400靠后的输入图像的各个图像中，不利用抖动轨迹而确定对象区域。接下来，利用图5说明输入图像中包含抖动图像的情况下的图像处理装置的各种 动作的具体例。图5是用于说明本发明的实施方式1涉及的图像处理装置的动作的具体例的图。 在图5中，示出在时间上连续拍摄的三个输入图像(第一输入图像500、第二输入图像510 及第三输入图像520)之中的、第二输入图像510为抖动图像的情况下的图像处理装置10 的动作。在图5(a)所示的第一输入图像500中，确定了对象区域501，作为显示作为跟踪对 象的对象物的区域。即，在存储部14中，保存了对象区域501的边的长度及中心位置的坐 标。在此，图像处理装置10开始第二输入图像510的图像处理。跟踪处理部13从存储部14中读出存储部14所保存的第一输入图像500中的对 象区域501的边的长度及中心位置的坐标。另外，如图5(b)所示，跟踪处理部13在第二输 入图像510中，将作为包括读出的中心位置的坐标的矩形区域、且具有比读出的边的长度 更长的边的矩形区域，决定为搜索区域511。接下来，抖动检测部12在搜索区域511中检测抖动轨迹512。在第二输入图像510 中，由于对象物的像发生抖动，因此如图5 (b)所示，检测出由具有两个端点513及514的曲14线构成的抖动轨迹512。在此，抖动轨迹512的长度比阈值大。因此，抖动检测部12将端点513及514之 中的、作为离对象区域501的中心位置较远的端点的端点514，确定为抖动的终点。S卩，抖动 检测部12决定为对象物从端点513向端点514的方向运动。然后，抖动检测部12将与抖 动的终点的位置对应的、第二输入图像510中的坐标，作为抖动终点信息登录在存储部14 中，并且将表示是否为抖动图像的标记信息设定为“ 1”。进而，跟踪处理部13在分别包括抖动轨迹512的两个端点513及514的各个端点 的区域515及516中，提取颜色统计图。然后，跟踪处理部13计算被提取的颜色统计图与 存储部14中保存的初始颜色统计图的类似度。结果，跟踪处理部13将具有类似度大的颜 色统计图的区域(例如区域515)确定为第二输入图像510中的对象区域。接下来，图像处理装置10开始第三输入图像520的图像处理。跟踪处理部13根据标记信息为“1”的情况，判断为第二输入图像510为抖动图像。 由此，跟踪处理部13从存储部14中读出第二输入图像510中的抖动的终点的坐标。然后， 如图5(c)所示，跟踪处理部13在第三输入图像520中，将包括读出的坐标的矩形区域决定 为搜索区域521。接下来，抖动检测部12在搜索区域521中检测抖动轨迹。在第三输入图像520中， 由于对象物的像没有发生抖动，因此抖动轨迹的长度为阈值以下。因此，抖动检测部12将 标记信息设定为“0”。进而，跟踪处理部13在搜索区域521内，搜索具有与初始颜色统计图 重合的部分的比例最大的颜色统计图的区域。然后，根据搜索的结果，跟踪处理部13将具 有重复部分的比例最大的颜色统计图的区域确定为对象区域522。像这样，本实施方式涉及的图像处理装置10在多个输入图像的一部分包括抖动 图像的情况下，在抖动图像的下一个输入图像中，利用抖动轨迹的终点来决定搜索区域。结 果，图像处理装置10能够在以显示对象物的可能性高的位置为中心的区域中搜索搜索区 域，因此能够稳定地跟踪对象物的像，而且能够减轻搜索处理的负担。尤其是，在由于对象 物急剧运动、或者用户突然剧烈移动电子照相机等，对象物的像的特征量因为抖动而变动 的情况下，图像处理装置10能够在抖动图像之后拍摄的输入图像中稳定地跟踪对象物的 像。另外，图像处理装置10能够利用在时间上连续的前一个图像，高精度地确定难以 根据一个图像推测的抖动轨迹的终点的位置。通过利用像这样确定的抖动轨迹的终点的位 置，图像处理装置10能够更加稳定地跟踪对象物。另外，图像处理装置10通过在抖动图像中，对包括抖动轨迹的两个端点的各个端 点的区域的特征量与初始特征量进行比较，由此能够确定对象区域。因此，与在搜索区域内 搜索相比，图像处理装置10能够减轻搜索处理的负担。另外，图像处理装置10仅在是抖动图像的情况下，利用抖动轨迹来确定对象区 域。因此，图像处理装置10能够更加稳定地跟踪对象物。(实施方式2)接下来，说明本发明的实施方式2涉及的图像处理装置。实施方式2涉及的图像处理装置20与实施方式1涉及的图像处理装置10相比， 抖动检测部及跟踪处理部的动作的一部分不同，而其他相同。因此，以下利用图1说明作为与实施方式1相同的功能结构的模块图。抖动检测部22在拍摄输入图像时的快门速度或帧率比阈值小的情况下，检测抖 动轨迹。然后，抖动检测部22与实施方式1的抖动检测部12同样地确定抖动轨迹的终点。跟踪处理部23将包括与由抖动检测部22确定的抖动轨迹的终点对应的位置在内 的区域，确定为输入图像中的对象区域。接下来，说明如上构成的图像处理装置的各种动作。图6是表示本发明的实施方式2涉及的图像处理装置的动作的流程图。在图6中， 对于内容与图3所示的流程图相同的处理附加相同的符号，并省略或简化说明。在步骤S105中决定了搜索区域之后，抖动检测部22获得拍摄输入图像时的快门 速度或帧率(步骤S201)。然后，抖动检测部22判断所获得的快门速度或帧率是否为阈值 以上(步骤S202)。阈值是预先决定的值，是一般而言对象物的像发生抖动的可能性增高的 快门速度或帧率的临界值。在此，在快门速度或帧率为阈值以上的情况下(步骤S202为是)，跟踪处理部23 在步骤S105中决定的搜索区域内，搜索具有与存储部14中存储的初始区域的颜色统计图 最类似的特征量的区域。然后，跟踪处理部23根据搜索的结果，将具有最类似的特征量的 区域确定为对象区域(步骤S108)。即，在快门速度或帧率大的情况下，是抖动图像的可能 性低，因此图像处理装置20在不检测抖动轨迹的条件下确定对象区域。另一方面，在快门速度或帧率比阈值小的情况下(步骤S202为否)，抖动检测部 22在由跟踪处理部23决定的搜索区域中，检测抖动轨迹(步骤S106)。即，在快门速度或 帧率小的情况下，输入图像是抖动图像的可能性高，因此抖动检测部22检测抖动轨迹。接下来，抖动检测部22将抖动轨迹的两个端点之中的、离与在时间上连续的前一 个图像中确定的对象区域对应的位置较远的端点，确定为抖动轨迹的终点(步骤S109)。然后，跟踪处理部23将包括与由抖动检测部22确定的抖动轨迹的终点对应的位 置在内的区域，确定为对象区域(步骤S203)。像这样，本实施方式涉及的图像处理装置20在多个输入图像中包括抖动图像的 情况下，在抖动图像中，将包括抖动轨迹的终点的位置的区域确定为对象区域。结果，图像 处理装置20不进行特征量的提取或比较等，就能够容易地确定对象区域。尤其是，在由于 在对象物的周围较暗的暗环境下拍摄而包括很多抖动图像的多个输入图像中，图像处理装 置20能够在抖动图像中稳定地跟踪对象物。另外，图像处理装置20在快门速度或帧率小的情况下，将包括与抖动轨迹的终点 对应的位置的区域确定为对象区域。即，图像处理装置20能够按照快门速度或帧率来对是 否利用抖动轨迹进行切换，因此能够减轻检测抖动轨迹的处理的负担。以上，根据实施方式说明了本发明涉及的图像处理装置或电子照相机，但本发明 不限定于这些实施方式。在不脱离本发明的主题的前提下，对本实施方式施加本领域技术 人员想到的各种变形而成的方式，或者对不同实施方式中的结构要素进行组合而架构的方 式，都包括在本发明的范围内。例如，在上述实施方式中，抖动检测部通过计算输入图像的搜索区域中的点分布 函数来检测抖动轨迹，但也可以通过其他方法来检测抖动轨迹。例如，抖动检测部也可以利 用作为快门速度或帧率比输入图像大的图像、且在与拍摄输入图像同时拍摄相同的被摄体所得到的多个图像，来计算抖动轨迹。在像这样计算抖动轨迹的情况下，与抖动轨迹一起计 算抖动轨迹的方向，因此图像处理装置或电子照相机能够容易地确定抖动轨迹的终点。另外，在上述实施方式中，初始特征量提取部或跟踪处理部提取了颜色统计图来 作为定量表示输入图像内的区域的特征的特征量，但例如也可以提取亮度统计图来作为特 征量。在这种情况下，跟踪处理部通过比较从初始区域得到的亮度统计图和从选择区域得 到的亮度统计图，由此计算类似度。另外，初始特征量提取部或跟踪处理部也可以提取亮度 本身作为特征量，通过利用提取出的亮度的模板匹配来搜索类似的区域。另外，构成上述图像处理装置的结构要素的一部分或全部也可以由一个系统 LSI (Large Scale htegration 大规模集成电路)构成。系统LSI是在一个芯片上集 成多个结构部而制造的超多功能LSI，具体而言，是构成为包括微处理器、ROM (Read Only Memory 只读存储器)及RAM (Random Access Memory 随机访问存储器)等的计算机系统。 例如，如图1所示，初始特征量提取部11、抖动检测部12或22、以及跟踪处理部13或23也 可以由一个系统LSI30构成。另外，本发明不仅可以作为如上所述的图像处理装置来实现，也可以如图2所示， 作为具备图像处理装置所具备的特征性结构部的电子照相机来实现。进而，本发明也可以 作为以图像处理装置所具备的特征性结构部的动作为步骤的图像处理方法来实现。另外， 也可以作为使计算机执行这样的图像处理方法中包括的步骤的程序来实现。而且，这样的 程序也可以通过⑶-ROM等记录介质或互联网等传输媒体来分发。工业可利用性本发明涉及的电子照相机或摄像装置等能够用于以下数字视频摄像机、数字静态 照相机、监视用摄像机、车载用摄像机或具备照相机功能的便携式电话等，上述数字视频摄 像机、数字静态照相机、监视用摄像机、车载用摄像机或具备照相机功能的便携式电话等通 过对显示作为跟踪对象的对象物的区域进行确定，由此跟踪对象物的像。0151]符号说明0152]10、20图像处理装置0153]11初始特征量提取部0154]12、22抖动检测部0155]13、23跟踪处理部0156]14存储部0157]30系统LSI0158]100电子照相机0159]101摄影镜头0160]102快门0161]103摄像元件0162]104AD转换器0163]105定时产生电路0164]106图像处理电路0165]107存储器控制电路0166]108图像显示存储器170167]109DA 转换器0168]110图像显示部0169]111、120 存储器0170]112调整大小电路0171]113系统控制电路0172]114曝光控制部0173]115测距控制部0174]116变焦控制部0175]117保护盖控制部0176]118闪光灯0177]119保护部0178]121显示部0179]122非易失性存储器0180]123模式调节开关0181]IM快门开关0182]125电源控制部0183]126、127、131、132 连接器0184]128 电源0185]129、130 接口0186]133记录介质0187]1；34光学取景器0188]1；35通信部0189]I36 天线0190]137初始特征量提取电路0191]138跟踪处理电路0192]139抖动检测电路0193]140跟踪结果描绘电路0194]141照相机控制电路0195]400、410输入图像0196]401初始区域0197]402初始颜色统计图0198]411、511、521 搜索区域0199]412选择区域0200]413选择颜色统计图0201]420重复部分0202]500第一输入图像0203]501、522对象区域0204]510第二输入图像0205]512抖动轨迹
513、514 端点515,516 区域520第三输入图像
权利要求
1.一种电子照相机，在输入图像中跟踪作为跟踪的对象的对象物的像，利用跟踪结果， 执行自动聚焦处理、自动曝光处理及逆光校正处理中的至少一个，该电子照相机具备抖动检测部，在上述输入图像中检测抖动轨迹，该抖动轨迹是表示搜索区域的抖动的 轨迹，该搜索区域是利用时间上比该输入图像靠前拍摄的图像来决定的区域，而且是包括 上述对象物的像的区域；以及跟踪处理部，利用由上述抖动检测部检测出的抖动轨迹的端点来确定对象区域，从而 跟踪上述对象物的像，该对象区域是包括上述对象物的像的区域，而且是比上述搜索区域 小的区域。
2.如权利要求1记载的电子照相机，其中，该电子照相机还具备存储部，该存储部存储初始特征量，该初始特征量定量地表示上 述对象物的像的特征；上述抖动检测部进一步确定所检测出的抖动轨迹的终点；上述跟踪处理部，在时间上与上述输入图像连续的下一个输入图像中，将包括与由上 述抖动检测部确定的抖动轨迹的终点对应的位置的区域决定为上述搜索区域，在决定的搜 索区域内，搜索具有与上述存储部中存储的初始特征量最类似的特征量的区域，从而确定 在时间上与上述输入图像连续的下一个输入图像中的对象区域。
3.如权利要求2记载的电子照相机，其中，上述抖动检测部，将上述抖动轨迹的两个端点之中的一个端点确定为上述抖动轨迹的 终点，该被确定的一个端点是离与在时间上与上述输入图像连续的前一个输入图像中确定 的对象区域对应的位置较远的端点。
4.如权利要求2记载的电子照相机，其中，上述跟踪处理部，将分别包括上述抖动轨迹的两个端点的各端点的区域之中的、具有 与上述存储部中存储的初始特征量最类似的特征量的区域，确定为上述输入图像中的对象 区域。
5.如权利要求2记载的电子照相机，其中，上述跟踪处理部，在上述抖动轨迹的长度比阈值大的情况下，利用上述抖动轨迹来确 定上述输入图像中的对象区域，在上述抖动轨迹的长度为阈值以下的情况下，在上述搜索 区域内搜索具有与上述存储部中存储的初始特征量最类似的特征量的区域，从而确定上述 输入图像中的对象区域。
6.如权利要求1记载的电子照相机，其中，上述抖动检测部进一步确定所检测出的抖动轨迹的终点；上述跟踪处理部，将包括与由上述抖动检测部确定的抖动轨迹的终点对应的位置的区 域，确定为上述输入图像中的对象区域。
7.如权利要求6记载的电子照相机，其中，上述抖动检测部，将上述抖动轨迹的两个端点之中的一个端点确定为上述抖动轨迹的 终点，该被确定的一个端点是离与在时间上与上述输入图像连续的前一个输入图像中确定 的对象区域对应的位置较远的端点。
8.如权利要求6记载的电子照相机，其中，该电子照相机还具备存储部，该存储部存储初始特征量，该初始特征量定量地表示显示有上述对象物的区域的特征；上述抖动检测部，在拍摄上述输入图像时的快门速度或帧率比阈值小的情况下，检测 上述抖动轨迹；上述跟踪处理部，在拍摄上述输入图像时的快门速度或帧率比阈值小的情况下，将包括与由上述抖动检 测部确定的抖动轨迹的终点对应的位置的区域，确定为上述输入图像中的对象区域，在拍摄上述输入图像时的快门速度或帧率为阈值以上的情况下，将包括下述位置的区 域决定为搜索区域，该位置对应于在时间上与上述输入图像连续的前一个输入图像中确定 的对象区域，在决定的搜索区域内，搜索具有与上述存储部中存储的初始特征量最类似的 特征量的区域，从而确定上述输入图像中的对象区域。
9.一种图像处理装置，在输入图像中跟踪作为跟踪的对象的对象物的像，该图像处理 装置具备抖动检测部，在上述输入图像中检测抖动轨迹，该抖动轨迹是表示搜索区域的抖动的 轨迹，该搜索区域是利用时间上比该输入图像靠前拍摄的图像来决定的区域，而且是包括 上述对象物的像的区域；以及跟踪处理部，利用由上述抖动检测部检测出的抖动轨迹的端点来确定对象区域，从而 跟踪上述对象物的像，该对象区域是包括上述对象物的像的区域，而且是比上述搜索区域 小的区域。
10.一种图像处理方法，在输入图像中跟踪作为跟踪的对象的对象物的像，该图像处理 方法包括抖动检测步骤，在上述输入图像中检测抖动轨迹，该抖动轨迹是表示搜索区域的抖动 的轨迹，该搜索区域是利用时间上比该输入图像靠前拍摄的图像来决定的区域，而且是包 括上述对象物的像的区域；以及对象区域确定步骤，利用在上述抖动检测步骤中检测出的抖动轨迹的端点来确定对象 区域，从而跟踪上述对象物的像，该对象区域是包括上述对象物的像的区域，而且是比上述 搜索区域小的区域。
11.一种集成电路，在输入图像中跟踪作为跟踪的对象的对象物的像，该集成电路具备抖动检测部，在上述输入图像中检测抖动轨迹，该抖动轨迹是表示搜索区域的抖动的 轨迹，该搜索区域是利用时间上比该输入图像靠前拍摄的图像来决定的区域，而且是包括 上述对象物的像的区域；以及跟踪处理部，利用由上述抖动检测部检测出的抖动轨迹的端点来确定对象区域，从而 跟踪上述对象物的像，该对象区域是包括上述对象物的像的区域，而且是比上述搜索区域 小的区域。
12.—种程序，在输入图像中跟踪作为跟踪的对象的对象物的像，该程序使计算机执行 以下步骤抖动检测步骤，在上述输入图像中检测抖动轨迹，该抖动轨迹是表示搜索区域的抖动 的轨迹，该搜索区域是利用时间上比该输入图像靠前拍摄的图像来决定的区域，而且是包 括上述对象物的像的区域；以及对象区域确定步骤，利用在上述抖动检测步骤中检测出的抖动轨迹的端点来确定对象 区域，从而跟踪上述对象物的像，该对象区域是包括上述对象物的像的区域，而且是比上述 搜索区域小的区域。
全文摘要
提供一种图像处理装置，即使是在由于对象物剧烈运动等而输入图像中对象物的像的特征量发生了变动的情况下，也能够稳定地跟踪对象物。一种图像处理装置(10)，在输入图像中跟踪作为跟踪的对象的对象物的像，具备抖动检测部(12)，在输入图像中检测抖动轨迹，该抖动轨迹是表示搜索区域的抖动的轨迹，该搜索区域是利用比该输入图像在时间上靠前拍摄的图像来决定的区域，而且是包括对象物的像的区域；以及跟踪处理部(13)，利用由抖动检测部(12)检测出的抖动轨迹的端点来确定对象区域，由此跟踪对象物的像，该对象区域是包括对象物的像的区域，而且是比搜索区域小的区域。
文档编号H04N5/225GK102057665SQ201080001779
公开日2011年5月11日 申请日期2010年4月22日 优先权日2009年5月7日
发明者小仓康伸, 物部祐亮, 石井育规 申请人:松下电器产业株式会社