专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及用于通过获取图像间的相关性来跟踪对象的技术。
背景技术：
一些数字照相机和摄像机在监视器上实时显示要摄取的图像，并允许 用户指定在监视器上显示的动态图像上的区域，以控制对存在于该区域中 的对象的曝光和聚焦。
另一些数字照相机和摄像机允许用户指定在监视器上显示的动态图像 上的任意对象，以指定作为要跟踪的跟踪目标的主对象。日本专利特开第
2008-011497号公报讨论一种照相机的结构，其通过计算动态图像的帧图 像之间的相关性并且以时间序列连续检测与初始指定的主对象相似的区域 来连续跟踪初始指定的主对象。
但是，如果跟踪目标的对象大范围地移动，则即使帧图像包含同一对 象，帧图像之间的共同部分也减少。由此，不能够将帧图像中的所述对象 识别为同一对象，并且跟踪可能失败。
下面将参照图4A、 4B和4C描述示例。在图4A、 4B和4C中，用粗 线标示的矩形形状的框是表示由用户指定的对象或通过跟踪处理检测到的 主对象的区域的跟踪框。将该跟踪框设置成稍微大于所指定的对象，以使 得用户所指定的对象(在该示例中为人脸)能够适纳在该框中。
例如，在图4A中，假定通过相关性计算成功地跟踪了初始指定为主 对象的人脸。如果该人突然移动，则如图4B所例示，人像出现较大程度 的模糊。因为图4A中例示的跟踪框包括人后面背景的一部分，所以在图 4B所例示的帧图像中，将背景(而不是人)确定为具有最高相关性的区域。 因此，可能选择背景作为新主对象的区域。
如果仅检测到具有低相关性的区域，则可能确定为未中(miss)主对象。但是，在主对象的姿势或方向改变时，即使主对象存在于图像中，也 不是总能够获取区域间的高相关性。由此，为了即使当对象在某种程度上 移动或改变姿势时也能够进行对对象的跟踪，期望即使图像中仅存在具有 低相关性的区域，也选择图像中的具有最高相关性的区域作为主对象的区 域。
但是，在这种情况下，如图4B所例示，背景的一部分可能被选择作 为新主对象的区域。如果背景是具有低对比度的均同(uniform)对象，则 周围存在许多相似的区域。因此，如图4C所例示，跟踪框绕背景移动并 且看起来模糊。
发明内容
本发明旨在提供一种在跟踪处理期间未中作为跟踪目标的对象时，使 用图像间的相关性来防止标示跟踪目标的框显示模糊的图像处理装置及图 像处理方法。
根据本发明的一个方面，提供一种图像处理装置，其通过在第二图像 中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图 像的帧图像中执行跟踪处理，该图像处理装置包括设置单元，其被构造 成在所述第一图像中设置所述跟踪目标区域；跟踪单元，其被构造成在所 述第二图像中检测与由所述设置单元设置的所述跟踪目标区域具有最高相 关性的跟踪目标候选区域；确定单元，其被构造成计算在所述跟踪目标候 选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评 价值之间的差；以及控制单元，其被构造成如果所述差等于或大于阈值则 用所述跟踪目标候选区域来更新所述跟踪目标区域，而如果所述差小于所 述阈值则重置所述跟踪目标区域。
根据本发明的另一方面，提供一种图像处理方法，其通过在第二图像 中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图 像的帧图像中执行跟踪处理，该图像处理方法包括以下步骤在所述第一 图像中设置所述跟踪目标区域；在所述第二图像中检测与所述跟踪目标区 域具有最高相关性的跟踪目标候选区域；计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间 的差；以及如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新 所述跟踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域。 通过以下参照附图对示例性实施例的具体描述，本发明的其他特征和 方面将变得清楚。
并入说明书且构成说明书的一部分的附图例示了本发明的示例性实施 例，其与描述部分一起用于解释本发明的原理。
图1是例示根据本发明的示例性实施例的数字照相机的功能结构的框图。
图2是例示根据本发明的示例性实施例的跟踪处理的流程图。
图3A、 3B、 3C和3D例示根据本发明的示例性实施例的由于在均同 背景中设置跟踪目标候选区域而停止跟踪处理的状态。 图4A、 4B和4C例示用于更新跟踪框的传统方法。
具体实施例方式
以下将参照附图具体说明本发明的各种示例性实施例、特征和方面。 在本发明的示例性实施例中，将使用数字照相机作为示例来说明图像 处理装置。
图1是例示根据本示例性实施例的数字照相机的功能结构的框图。
操作单元101包括由用户操作以将各种指令输入到数字照相机的开关 和按钮。操作单元101包括快门开关。在半按下快门开关时，生成信号SW1 并将其从操作单元101发送到控制单元102。
另外，在全按下快门开关时，生成信号SW2并将其从操作单元101 发送到控制单元102。
控制单元102根据来自操作单元101的指令控制图1所例示的各个单 元的动作。
图像传感器103接收通过镜头108a和曝光机构109a进入的光并输出
6与光量对应的电荷。对于图像传感器103，可以使用具有光电转换功能的
电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)传感器。
模拟/数字(A/D)转换单元104对从图像传感器103输出的模拟图像
信号执行取样、增益调整和A/D转换，并输出数字图像信号。
图像处理单元105对从A/D转换单元104输出的数字图像信号执行各
种图像处理并输出处理后的数字图像信号。例如，图像处理单元105将从
A/D转换单元104接收到的数字图像信号转换为YUV图像信号并输出该
YUV信号。
脸部检测单元106对从A/D转换单元104接收到的数字图像信号执行 脸部检测并将关于该区域的信息通知给控制单元102。通过脸部检测获取 的信息包括根据在图像传感器的画面中的遮光区域中的亮度的位置、范围 和可靠性(确定为脸部形状的确定性)。
监视器单元107包括用于显示根据由图像处理单元105处理的图像数 据的图像的小型液晶屏幕。
跟踪处理单元115通过使用帧图像间的相关性来确定在随后的图像帧 中的何处存在有被视为与在帧图像中检测到的脸部是相同脸部的区域。此 外，跟踪处理单元115计算该区域的位置、范围和大小。还使用角速度传 感器计算照相机本身的移动。根据本示例性实施例，相互比较按照时间序 列顺序布置的两个图像以获取关于其差异的信息。使用该差异信息，提取 被视为具有相同脸部的区域。跟踪处理单元115连续提取被视为具有相同 的脸部的区域以跟踪由脸部检测单元106所检测的脸部区。
确定单元116从由跟踪处理单元115计算的相关性获取评价值并且确 定当前框是设置在对象上还是在背景均同面上。该确定方法是本示例性实 施例的区别特征，以下将进行详细描述。
根据从由图像处理单元105获得的图像获取的自动聚焦(AF)评价值， 自动聚焦(AF)处理单元108操作镜头108a以在对象上聚焦。此外，根 据从由图像处理单元105获得的图像获取的测光值，自动曝光(AE)处理 单元109操作曝光机构109a以使画面具有最佳亮度。
在控制单元102从快门开关接收到信号SW1的通知时，AF处理单元108和AE处理单元109使用在该时刻的最新图像执行聚焦控制和曝光控制。
在从快门开关接收到信号SW2的通知(更具体而言，全按下快门开关 的通知)时，控制单元102确定是否发出闪光。用户可以使用操作单元101 预先设置是否发出闪光，使得控制单元102能够通过读取该设置数据进行 确定。另外，控制单元102能够通过检测环境中的暗度来自动进行确定。
作为确定结果，如果确定发出闪光，则控制单元102控制闪光处理单 元110以使闪光单元111预先发出闪光以计算发出的闪光的量。接着，控 制单元102使闪光单元111发出根据预先发出的闪光计算的主闪光的量， 并执行主图像摄取。
格式转换单元112将在执行主图像摄取时从图像处理单元105输出的 数字图像信号(图像数据)的格式转换成例如JPEG格式，并且将数字图 像信号输出到图像存储单元113。图像存储单元113将从格式转换单元112 接收到的转换后的格式的图像数据存储在数字照相机的存储器(未图示) 或插入到该数字照相机的外部存储器中。
外部连接单元114作为用于将数字照相机连接到诸如个人计算机(PC) 和打印机的外部装置的接口。
接着，基于均同面上的确定来进行用于确定是否成功地跟踪了对象， 更具体而言，是否停止对移动对象的跟踪的控制。
图2是例示根据本示例性实施例的跟踪处理的流程图。在用户将数字 照相机设置到图像摄取模式时，开始该流程图的处理。
在步骤S201中，在用户将数字照相机设置到图像摄取模式时，快门 打开并且光通过镜头108a和曝光机构109a进入图像传感器103。将由图 像传感器103连续创建的帧图像作为动态图像显示在监视器单元107上， 以使用户能够实时观察对象的状态。
在步骤S202中，控制单元102针对动态图像执行评价测光(例如， 中央重点测光)以控制曝光。
在步骤S203中，控制单元102读取最新的帧图像并且将帧图像发送 到从帧图像中检测脸部区的脸部检测单元106。作为检测脸部的方法，例如能够应用使用包括在脸部中的诸如眼、鼻和嘴的部位的特征的方法。例 如，如果包括与预先存储在照相机中的眼、鼻和嘴的标准图形及特征(形 状和位置)匹配的多个部位并且它们以合理的平衡排布，则能够推断该区 域为脸部区。
在检测到多个脸部区时，可以将所有的多个脸部区设置为跟踪目标区 域。此外，可以分别为脸部的位置、大小和作为脸部的可靠性(与标准图 形匹配的程度)赋予分数，只有获得最高分数的一个脸部才可以被设置为
跟踪目标区域。此外，用户可以操作操作单元101来选择多个脸部区中的
任意一个。可以通过在动态图像上添加跟踪框来显示动态图像以使用户能 够识别跟踪目标区域的位置和大小。此外，将与跟踪目标区域对应的图像 数据发送到跟踪处理单元U5以将其用作跟踪处理中的参照图像数据。
图3A例示上述状态以及显示在监视器单元107上的、将用粗线标示
出的跟踪框添加在检测到的脸部区上的图像。跟踪框设置成略大于脸部区 以使检测到的脸部区能够完全包括在该跟踪框中。
在步骤S204中，控制单元102确定在步骤S203中是否能够检测到脸 部区。如果检测到脸部区(在步骤S204中为"是")，则处理进行到步骤 S205。如果没有检测到脸部区(在步骤S204中为"否")，则处理进行到 步骤S209。
在步骤S205中，控制单元102新读取帧图像，并且对该帧图像执行 跟踪处理。跟踪处理单元115在该新读取的帧图像的大小或坐标逐渐移位 的同时从该新读取的帧图像切出部分区域，并且根据关于切出区域的亮度、 色差和对比度的信息获取该切出区域的评价值。
在步骤S206中，跟踪处理单元115将从预先获取的参照图像数据获 取的评价值与所有切出区域的各个评价值进行比较。从切出区域(即目标 区域)中选择确定为与参照图像数据具有最高相关性的区域，并且将其设 置为跟踪目标候选区域。
图3B例示上述状态。在图3B中，由于脸部被检测为脸部区的人快速 移动使得该人的图像变得模糊，所以选择用虚线标示的背景作为与图3A 中例示的跟踪框包围的区域具有最高相关性的跟踪目标候选区域。
9在步骤S207中，确定单元116设置通过将跟踪目标候选区域移位到
以所设置的跟踪目标候选区域为中心的四个位置(即左上、右上、左下和 右下)而获取的四个周围区域，并且获取这四个周围区域的评价值。作为 位移量，例如，可以设置为跟踪目标候选区域的纵向宽度和横向宽度各自
的50-100%。可以获取位移量作为考虑了设置为跟踪目标区域的对象的大 小和之前的移动的实验上的最佳值。
图3C例示上述状态。在图3C中，以图3B中例示的跟踪目标候选区 域为中心，设置了在四个倾斜方向上移位的周围区域。
确定单元116获取从四个周围区域获取的各个评价值与从跟踪目标候 选区域获取的评价值之间的差。如果所有的差均小于阈值(在步骤S207 中为"是")，则处理进行到步骤S208。如果不是所有的差都小于阈值，更 具体而言，如果即使所述差中的一个等于或大于阈值，则处理进行到步骤 S211。
在步骤S208中，如图3D所例示，控制单元102删除和重置有关跟踪 目标区域和参照图像数据的信息并且停止跟踪处理。控制单元102从显示 在监视器单元107上的图像删除跟踪框。作为步骤S207中的确定的结果， 如果跟踪目标候选区域与所有的四个周围区域类似，则可以在具有低对比 度的均同背景中设置跟踪目标候选区域。停止跟踪处理是因为如果照这 样继续跟踪处理，则如以上使用图4A、 4B和4C所描述那样，周围存在 具有高相关性的许多区域。因此，跟踪框的位置变得不稳定和模糊。
在步骤S209中，因为未中跟踪目标，所以控制单元102使AF处理单 元108执行聚焦控制以使存在于中央部分的对象大致聚焦，使AE处理单 元109通过执行中央重点测光来执行曝光控制。
在步骤S210中，控制单元102监视是否通过半按下操作单元101的 快门开关生成了信号SW1。如果生成了信号SW1(在步骤S210中为"是")， 则处理进行到步骤S214。如果未生成信号SW1 (在步骤S210中为"否")， 则处理返回到步骤S203，控制单元102新检测跟踪目标区域，并且从由脸 部检测单元106新读取的帧图像中检测脸部区。
如果处理从步骤S207进行到步骤S211，则控制单元102确定成功执行了跟踪并且用跟踪目标候选区域更新跟踪目标区域来作为新跟踪目标区域。此外，控制单元102在监视器单元107上显示添加了跟踪框的新跟踪目标区域的图像。
在步骤S212中，AF处理单元108和AE处理单元109分别通过对从跟踪目标区域获取的测光值和AF评价值执行最大加权来控制聚焦和曝光。
在步骤S213中，控制单元102监视是否通过半按下操作单元101的快门开关生成了信号SW1。如果生成了信号SW1(在步骤S213中为"是")，则处理进行到步骤S214。如果未生成信号SW1 (在步骤S213中为"否")，则处理返回到步骤S205以继续跟踪处理。
如果在步骤S210和S213中生成了信号SW1，则在步骤S214中，AF处理单元108和AE处理单元109分别控制用于主图像摄取的聚焦和曝光。如果存在跟踪目标区域，则控制单元102控制AF处理单元108和AE处理单元109以调整跟踪目标区域的聚焦并且将亮度调整到最佳值。如果不存在跟踪目标区域，则控制单元102控制AF处理单元108和AE处理单元109优先考虑处于中央部分的聚焦和测光值以将整个画面调整到最佳状态。
在步骤S215中，控制单元102进行等待直到通过全按下操作单元101的快门开关生成信号SW2为止。如果生成了信号SW2 (在步骤S215中为"是")，则处理进行到步骤S216，控制单元102生成静止图像数据并且将该静止图像数据存储到图像存储单元113中。
如上所述，根据本示例性实施例，能够防止跟踪框被设置到具有低对比度的均同背景上并且在均同背景上出现模糊的问题。
此外，根据本示例性实施例，围绕跟踪目标候选区域设置四个周围区域以确定是否能够继续跟踪，但是，可以设置周围区域来仅仅确定跟踪目标候选区域和周围区域之间的相关度。因此，可以设置多个例如三或六个周围区域。此外，周围区域不仅可以在四个倾斜方向上设置，还可以在垂直和水平方向上设置。
在本示例性实施例中，作为示例，将通过脸部检测单元106检测到的脸部区设置为跟踪目标区域。但是，如日本专利特开第2008-011497号公报所讨论的那样，用户可以操作操作单元101以指定任意的跟踪目标区域。通过使用上述方法，不仅能够将人脸设置为跟踪目标，还能够将动物和车辆设置为跟踪目标。
作为选择，跟踪处理单元115可以考虑帧图像间的差异来提取移动对象，并且用户可以操作操作单元101以选择多个脸部区中的任意一个。
更具体而言，本发明能够应用于包括跟踪处理单元115的结构，该跟踪处理单元115通过使用帧图像间的相关性来确定在随后的第二图像中的何处存在有被视为与在第一图像中检测到的脸部是相同脸部的区域。
如上所述，参照数字照相机为例描述了本发明的示例性实施例。作为对数字照相机的替代，本发明能够应用于摄像机。此外，本发明还能够应用于诸如从与系统连接的照相机接收动态图像数据并且在图像处理单元中对接收到的动态图像数据执行跟踪处理的监视系统的计算机系统。
此外，能够按如下所述来实现本发明。首先，为系统或装置提供存储有用于实现上述示例性实施例的功能的软件的程序代码的计算机可读存储介质(或记录介质)。该系统或者装置的计算机(或者中央处理单元(CPU)或微处理单元(MPU))读取并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质中读取的程序代码本身实现上述本示例性实施例的功能，从而存储有所述程序代码的存储介质构成本发明。
此外，除了通过计算机执行读取的程序代码外，能够按如下所述实现上述示例性实施例的功能。更具体而言，在计算机上运行的操作系统(OS)根据所读取的程序代码的指令执行部分或全部的实际处理，通过该处理来实现本示例性实施例的上述功能。
用于存储所述程序代码的计算机可读存储介质包括例如软盘、硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁带、非易失性存储卡、光盘ROM (CD-ROM)、可记录CD (CD-R)、数字通用光盘(DVD)、光盘和磁光(MO)盘。此外，诸如局域网(LAN)和广域网(WAN)的计算机网络能够用于提供程序代码。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明
12并不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以涵盖所有变型、等同的结构和功能。
权利要求
1.一种图像处理装置，其通过在第二图像中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图像的帧图像中执行跟踪处理，该图像处理装置包括设置单元，其被构造成在所述第一图像中设置所述跟踪目标区域；跟踪单元，其被构造成在所述第二图像中检测与由所述设置单元设置的所述跟踪目标区域具有最高相关性的跟踪目标候选区域；确定单元，其被构造成计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差；以及控制单元，其被构造成如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新所述跟踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域。
2. 根据权利要求l所述的图像处理装置，其中，所述设置单元还被构造成将检测到人脸的区域设置为所述跟踪目标区域。
3. 根据权利要求l所述的图像处理装置，其中，所述设置单元还被构造成根据所述跟踪目标区域的大小来设置在所述 跟踪目标候选区域周围的所述周围区域。
4. 根据权利要求l所述的图像处理装置，其中，所述设置单元还被构造成根据所述跟踪目标区域的移动来设置在所述 跟踪目标候选区域周围的所述周围区域。
5. —种图像处理方法，其通过在第二图像中检测存在于在第一图像中 设置的跟踪目标区域中的对象来在构成动态图像的帧图像中执行跟踪处 理，该图像处理方法包括以下步骤在所述第一图像中设置所述跟踪目标区域；在所述第二图像中检测与所述跟踪目标区域具有最高相关性的跟踪目 标候选区域；计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选 区域的周围区域中获取的评价值之间的差；以及如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新所述跟 踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域。
全文摘要
本发明涉及一种图像处理装置及图像处理方法。在根据帧图像间的相关性执行跟踪处理的图像处理装置中，当跟踪处理期间未中作为跟踪目标的对象并且在均同背景中设置标示跟踪目标的框时，框的显示可能出现模糊。提供如下所述的图像处理装置检测与设置的跟踪目标区域具有最高相关性的跟踪目标候选区域，计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差，并且如果该差小于阈值则停止跟踪。
文档编号H04N5/232GK101656830SQ20091016297
公开日2010年2月24日 申请日期2009年8月20日 优先权日2008年8月20日
发明者宫崎康嘉 申请人:佳能株式会社