专利名称：追踪设备和追踪方法
技术领域：
本发明涉及用于追踪对象物体的追踪设备和追踪方法。
背景技术：
用于拍摄静止图像和运动图像的摄像设备(例如，数字照相机)包括追踪(搜索) 任意对象物体的追踪功能。例如，使用模式匹配法、相对差分法或颜色/亮度一致法来实现这种追踪功能。模式匹配法在与存储在存储单元中的模板图像或追踪模式下根据需要更新的模板图像的一致度高的区域内搜索要拍摄的图像，作为对象物体。相对差分法根据当前帧和前一帧之间的图像差来搜索对象物体。颜色/亮度一致法在与从对象物体提取出的一个或多个颜色、亮度水平或直方图的一致度高的区域内搜索要拍摄的图像，作为对象物体。模式匹配法在对象物体没有运动时，可以实现高精度的追踪性能。然而，模式匹配法在对象物体运动(对象物体和摄像设备之间的距离变化、对象物体的转动、摄像设备的姿势变化等)时，无法实现充分的追踪性能。相对差分法在其它物体穿过对象物体和摄像设备之间时或者当对象物体在完全退出画面之后再次进入画面时，无法追踪该对象物体。 颜色/亮度一致法可以在一定程度上支持对象物体的运动。然而，颜色/亮度一致法在仅基于对象物体的颜色和亮度水平指定对象物体时不够精确，并且在背景包括与对象物体的颜色和亮度水平类似的多个颜色和亮度值时，无法实现充分的追踪性能。为了解决这种问题，日本特开平5484411和日本特开2010-28608已提出了用以提高追踪性能的技术。日本特开平5484411和日本特开2010-28608公开了与提取对象物体的特征有关的技术。利用日本特开平5484411的技术，选择包括要追踪的对象物体的区域中出现频率最高的颜色(颜色信号)作为该对象物体的特征颜色。利用日本特开 2010-28608的技术，在提取要追踪的对象物体的颜色时，优先选择包括该对象物体的区域中出现频率最高的且在背景中没有频繁出现的颜色作为该对象物体的特征颜色。然而，当选择包括对象物体的区域中出现频率最高的颜色作为特征颜色时，包括在该区域中的背景颜色有可能被选择作为特征颜色，并且可能追踪并非用户意图追踪的物体(即，可能发生误追踪(tracking error)).包括对象物体的区域中出现的百分比低的颜色有可能是表示该对象物体的特征的重要颜色，但该颜色未被选择作为特征颜色并且被排除。然而，当简单地选择包括对象物体的区域中出现的百分比低的颜色作为特征颜色时，在该特征颜色由于周围环境或对象物体的变化而渐现渐隐的情况下无法追踪该对象物体。此外，当与特征颜色相同的颜色包括在除对象物体以外的其它物体中时，可能发生误追踪。
发明内容
本发明提供了在减轻对象物体的误追踪方面有利的技术。根据本发明的一个方面，提供一种追踪设备，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪设备包括设置单元，用于将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的
5特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；计算单元，用于针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；提取单元，用于从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及确定单元，用于将与如下像素相对应的位置确定为所述对象物体该像素的颜色与所述提取单元提取出的特征颜色类似。根据本发明的第二方面，提供一种追踪方法，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪方法包括以下步骤设置步骤，用于控制设置单元，以将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；计算步骤，用于控制计算单元，以针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；提取步骤，用于控制提取单元，以从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及确定步骤， 用于控制确定单元，以将与如下像素相对应的位置确定为所述对象物体该像素的颜色与所述提取单元提取出的特征颜色类似。通过以下参考附图对典型实施例的说明，本发明的其它方面将变得明显。
图IA IC是示出用作根据本发明一个方面的追踪设备的摄像设备的图。图2A和2B是示出要拍摄的场景的示例的图。图3是示出用于提取对象物体的特征颜色的特征颜色提取区域的设置示例的图。图4是示出从特征颜色提取区域提取出的特征候选颜色的示例的表。图5A 51是示出颜色分别与特征候选颜色类似的像素的分布的图。图6是示出根据相对于基点的距离将图像分割成6个部分区域的示例的图。图7是示出包括在部分区域中的特征候选颜色的类似颜色的像素数的计数结果的表。图8是示出检测包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界所需的边界条件的表。图9A和9B是用于解释包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界的检测的图。图10是示出包括特征候选颜色的类似颜色的像素的像素组中的像素数和包括在整个图像中的特征候选颜色的类似颜色的总像素数的表。图IlA和IlB是示出按边界内颜色比率的降序对特征候选颜色的排序结果以及针对特征候选颜色分别设置的基准比率的表。
图12A和12B是示出按像素组的像素数的升序对特征候选颜色的排序结果以及针对特征候选颜色分别设置的基准特征度的表。图13A和13B是示出表示要追踪的对象物体的特征颜色的表的示例的图。图14是示出要追踪的对象物体的特征颜色的类似颜色的像素在图像内的分布的图；图15是示出与类似颜色分布度相对应的权重下降系数(weight-down coefficient)的图。图16是从概念上示出权重表的生成的图。图17A 17C是示出权重表的概念的图。图18A 18D是示出基于权重表所设置的搜索区域的示例的图。图19是用于减轻处理负荷的时序图。图20A和20B是示出设置在图像上的静态搜索区域和动态搜索区域的图。图21是示出根据类似颜色分布度计算信号水平所需的表的概念的图。图22是示出计算邻接度所需的表的概念的图。图23A和2 是示出针对静态搜索区域和动态搜索区域的评价值的计算结果的图。图24A和24B是用于解释以使与对象物体的位置相对应的像素作为基点的方式利用权重量进行加权得到的评价值映射的生成的图。图25是用于解释对象物体的位置的确定和动态特征颜色的更新的图。图26A和^B是用于解释图IA IC所示的摄像设备的整体操作的流程图。图27A和27B是用于解释图26A所示的步骤S2612的特征颜色提取处理的流程图。图28是用于解释图26A所示的步骤S2622的追踪处理的流程图。图四是用于解释图28所示的步骤S2804的类似颜色分布度计算处理的流程图。图30A和30B是用于解释图28所示的步骤S2812的静态评价值计算处理的流程图。图31是用于解释图观所示的步骤S2826的动态特征颜色更新处理的流程图。图32A和32B是示出根据对象物体的运动所设置的静态搜索区域的示例的图。图33是示出与评价值相对应的权重下降系数的图。图34A和34B是示出根据对象物体的运动所设置的静态搜索区域的示例的图。图35是示出与在对象物体丢失之后所经过的时间相对应的权重下降系数的图。
具体实施例方式以下将参考附图来说明本发明的优选实施例。注意，在整个附图中，相同的附图标记表示相同的构件，并且将不重复说明这些构件。图IA IC示出摄像设备1。图IA是示出摄像设备1的结构的示意框图，图IB是示出摄像设备1的外观的正视图，并且图IC是示出摄像设备1的外观的后视图。摄像设备 1用于拍摄被摄体的图像，并且例如体现为数字照相机。在本实施例中，摄像设备1包括用于追踪在要拍摄的图像上指定的对象物体的追踪功能(即，该设备用作追踪设备)。镜头102会聚外部光(来自被摄体的光)。镜头驱动单元104沿着光轴驱动镜头102从而调节焦点和视场角。照相机抖动校正单元106基于照相机抖动检测单元108检测到的照相机抖动来驱动镜头102以消除照相机抖动(即，实现了光学照相机抖动校正)。照相机抖动检测单元108包括例如陀螺仪传感器。注意，在本实施例中，通过驱动镜头102来实现照相机抖动校正。可选地，可以通过驱动摄像元件118来实现照相机抖动校正。光圈110包括虹膜光圈或圆形光圈，并且调整已穿过镜头102的光(来自被摄体的光)的量。光圈驱动单元112基于来自系统控制单元134的控制信息驱动光圈110。例如，当被摄体的亮度高时，光圈驱动单元112驱动光圈110以使来自被摄体的光量下降(缩小光圈)；当被摄体的亮度低时，光圈驱动单元112驱动光圈110以使来自被摄体的光量大量进入(完全打开)。注意，ND滤波器可移除地配置在来自被摄体的光的光路上，并且可以与光圈110协作调整来自被摄体的光量。快门114在打开状态下使来自被摄体的光穿过其自身，并且在关闭状态下遮挡来自被摄体的光。快门驱动单元116基于来自系统控制单元134的控制信息将快门114驱动至打开状态或关闭状态。由快门114的打开/关闭时间来指定拍摄图像(静止图像)时的曝光时间。摄像元件118具有多个像素，并且例如包括CXD图像传感器或CMOS图像传感器。 摄像元件118将经由镜头102、快门114和光圈110所形成的光学图像转换成电信号。系统控制单元1；34经由时序发生器(TG) 120控制摄像元件118。摄像元件118以TG120基于来自系统控制单元134的控制信息所生成的驱动信号为基准，周期地执行电荷的充电操作 (曝光)和充电后的电荷的读取操作(图像信号的读取)。此外，可以读取摄像元件118充电后的电荷的特定线或特定区域的电荷。例如，由于在拍摄静止图像时需要高分辨率，因此读取摄像元件118充电后的所有电荷。另一方面，由于在拍摄运动图像或启用电子取景器时需要高达30fps或60fps的帧频，因此通过对摄像元件118充电后的电荷的特定线进行间隔剔除来读取电荷。注意，TG 120生成在任意时刻读取摄像元件118充电后的电荷所使用的驱动信号，由此还控制曝光时间。⑶S (相关双采样器)电路122使用⑶S方法在从摄像元件118读取的图像信号中去除噪声成分。PGA (可编程增益放大器)电路124基于来自系统控制单元134的控制信息对图像数据的水平进行衰减或放大。通常，利用光圈110适当设置光量，并且利用快门114 适当设置曝光时间，由此适当设置摄像元件118的曝光值。在这种情况下，当PGA电路IM 对图像数据进行衰减或放大时，曝光值可以以伪方式改变。作为摄像时的曝光条件其中之一，将该情况作为灵敏度提供给用户。A/D转换器1 将从摄像元件118输出的模拟图像信号(模拟图像数据)转换成数字图像信号(数字图像数据)。由于数字信号的位宽包括10位、12位和14位，因此图像处理电路1 被配置为支持多种不同的位宽。图像处理电路1 对来自A/D转换器126的图像信号应用各种图像处理。在本实施例中，TG 120、CDS电路122、PGA电路IM和A/D转换器126由独立块构成，但这些单元可以由包括它们的功能的单个块构成。通常，滤色器配置在摄像元件118上，并且经由这些滤色器针对各个像素提取特定颜色成分。由于来自A/D转换器126的图像信号具有与摄像元件118的像素和滤色器的布局相对应的格式，因此该图像信号不适合在通过仅评价亮度成分实现曝光控制的AE(自动曝光控制)处理中使用。图像处理电路1 具有通过从图像信号排除颜色信息而仅提取亮度信息的功能，并且可以将来自A/D转换器126的图像信号转换成适合在AE中使用的格式。图像处理电路1 还具有通过从图像信号排除亮度信息而仅提取颜色信息的功能，并且可以将图像信号转换成适合在用于指定被摄体的光源颜色并且适当调整颜色的AWB(自动白平衡)处理中使用的格式。此外，图像处理电路1 具有仅提取从摄像元件118读取的图像信号的频率成分的功能，并且可以将该图像信号转换成适合在AF(自动调焦)处理中使用的格式。图像处理电路1 包括以下功能该功能使得能够在从摄像元件118读取的图像信号中设置要提取频率成分的区域以及如何分割该区域。在AF处理中，摄像元件118在适合于测距的驱动模式下驱动。在使用摄像元件118的AF处理中，由于需要与摄像元件118的驱动速率(帧频)同步地驱动调焦透镜，因此当摄像元件118的驱动速率高时，可以将调焦透镜的驱动速度设置得高。因此，当在短时间段内进行AF处理时，可以驱动摄像元件118以提高驱动速率。另一方面，通过设置低的驱动速率而从摄像元件118读取多个图像信号成分，可以增加图像处理电路1 能够分析的频率成分的数量，从而使得能够更加精确地测量距离。图像处理电路128具有例如用于增加/减少来自A/D转换器126的图像信号的水平的功能以及用于对图像的色彩效果等进行操作的功能，由此调整要拍摄的图像的图像质量。用于增加/减少图像信号的水平的功能例如包括用于以同一比率增加/减少整个图像的水平的功能、用于根据原始图像信号的水平来转换该水平的色调曲线(伽玛)功能、以及用于以与图像的各个区域的频率成分相对应的比率来增加/减少该水平的功能。临时存储器130存储来自A/D转换器1 的图像信号(即，输入至图像处理电路 128的图像信号)。可以再次读出存储在临时存储器130中的图像信号。例如，系统控制单元134可以参考存储在临时存储器130中的图像信号，并且可以将所读出的图像信号输入至图像处理电路128。此外，临时存储器130可以存储已在图像处理电路128中经过了图像处理的图像信号和从系统控制单元134输出的图像信号。图像识别电路132对例如已在图像处理电路128中经过了图像处理的图像信号 (图像)的亮度状态、聚焦状态和颜色状态进行识别。当图像包括人物时，图像识别电路132 还可以识别该人物的面部和面部表情。当图像包括文本时，图像识别电路132还可以识别出文本信息。可以将多个图像信号输入至图像识别电路132。例如，图像识别电路132对两个输入图像信号进行比较(即，比较图像的特征)以判断这两个图像信号是否相同。注意， 前述图像识别处理也可以由系统控制单元Π4来实现。例如，系统控制单元134读出存储在临时存储器130中的图像信号，并且分析该图像信号以识别场景的状态。系统控制单元134例如包括CPU和存储器，并且控制摄像设备1的整体操作。系统控制单元134通过执行存储在该存储器中的程序来执行本实施例的各个处理。在VRAM 136上展开已在图像处理电路128中经过了图像处理的图像信号。D/A转换器138将在VRAM 136上展开得到的数字图像信号转换成模拟图像信号。显示单元140例如包括IXD (液晶显示器)，并且显示与来自D/A转换器138的图像信号相对应的图像。显示单元140可以通过顺次显示与从摄像元件118读取的图像信号相对应的图像而用作电子取景器。注意，在VRAM136上，与显示单元140的(用以显示与一个图像信号相对应的图像或多画面显示与多个图像信号相对应的多个图像的)各种显示模式相对应地展开图像信号。
显示单元140经由存储介质接口(I/F) 143显示与存储在存储介质141中的图像数据相对应的图像。注意，当存储在存储介质141中的图像数据被压缩时，该图像数据可以由压缩/解压缩单元145进行解压缩，并且可以在VRAM 136上展开。存储介质141例如由非易失性存储器构成，并且主要存储图像数据(所拍摄图像)。与图像数据的存储相关联地，可以形成文件夹层，并且可以按摄像顺序分配文件夹名和文件名。此外，可以将光圈值、 快门速度、灵敏度和摄像时间等附加至各图像数据。摄像设备1可以复制、移动和擦除存储在存储介质141中的图像数据。显示单元140不仅可以显示图像，还可以将任意信息单独或连同图像一起显示。 该任意信息例如包括摄像设备1的状态、文本信息(快门速度、光圈值、灵敏度等)、诸如亮度分布等的图、面部识别结果、以及场景识别结果。显示单元140配置在摄像设备1的背面(参见图1C)。如上所述，显示单元140可以显示图像和任意信息等，并且用作用户界面。当显示单元140用作电子取景器时，可以将 AE处理和AF处理中的测光区域信息和测量距离信息叠加在实时图像上。此外，显示单元 140可以将框叠加在人物面部上作为面部识别结果，或者可以显示表示诸如蓝天、日落和背光等的场景的图标作为场景识别结果。注意，除利用显示单元140的电子取景器以外，摄像设备1还可以包括光学取景器 142。电子取景器具有实现高的视野率、使用户能够容易地观看大的被摄体图像以及在要拍摄的图像和取景器图像之间无视场角差(视差)的优点，但需要电力(消耗电力)来驱动摄像元件118和显示单元140。因此，当用户在避免消耗电池的情况下想要拍摄多个图像时，他或她优选使用光学取景器142而不启用电子取景器。闪光灯单元144例如配置在摄像设备1的正面以与镜头102处于同一面(参见图 1B)。当被摄体暗时，闪光灯单元144利用闪光灯光照射该被摄体，由此获得充分的光量。因而，可以在维持高快门速度的情况下拍摄最佳图像。注意，为了避免被摄体被闪光灯光直接照射，闪光灯单元144可被配置为沿着摄像设备1的上部方向发出闪光灯光。操作单元146具有接受(用以向系统控制单元134输入各种指示的)用户操作的功能，并且例如包括电源开关146a、模式开关146b、设置开关146c和释放按钮146d。当显示单元140包括触摸面板时，显示单元140可以用作操作单元146的一部分。电源开关146a用于在电源接通(ON)状态和电源断开(OFF)状态之间切换摄像设备1的电源状态。模式开关146b用于切换摄像设备1的操作模式(静止图像拍摄模式、运动图像拍摄模式、播放模式等)。此外，模式开关146b可以用作用于在静止图像拍摄模式下选择最适于特定场景的模式(例如，风景模式、肖像模式等)的开关。设置开关146c用于设置诸如测距区域和测光模式等的摄像时的摄像条件、诸如图像重放时的页面进给操作等的操作、与摄像设备1的操作有关的参数以及与是否启用电子取景器有关的信息。释放按钮146d用于指示拍摄被摄体的图像，并且包括第一开关和第二开关。第一开关在释放按钮146d的操作途中(半冲程位置)接通，以开始诸如AE处理和AF处理等的摄像准备处理。第二开关在释放按钮146的操作完成(全冲程位置)时接通，以开始诸如曝光处理和图像识别处理等的摄像处理。以下将说明包括在摄像设备1中的用以在适当条件(聚焦和亮度)下拍摄主被摄体的图像的追踪功能。注意，当系统控制单元134系统地控制摄像设备1的各个单元时，实
10现该追踪功能。图2A和2B示出要拍摄的场景的示例。图2A示出人物位于显示单元140 (画面) 的中央并且正在玩球的场景。在图2A所示的场景中，为了以使主被摄体具有适当聚焦和亮度的方式拍摄图像，例如，基于面部识别功能的面部识别结果，根据面部的位置和大小将测距区域和测光区域设置在人物的面部附近。然后，可以使用根据这些设置所获得的测距信息和测光信息来执行AF处理和AE处理。注意，当面部识别功能不可用时，设置多个测距区域，并对从这多个测距区域所获得的测距信息进行综合分析。然后，例如，基于该分析结果， 优先于近距离侧而执行AF控制。当将特定对象物体(或对象物体的一部分)保持设置成聚焦状态时，需要追踪所指定的对象物体(即，追踪功能)。在图2A中，将用于指定要追踪的对象物体的追踪对象指定框IF显示在显示单元140的中央。例如，在这种状态下，当用户在任意时刻按下设置开关146c时，摄像设备1判断为指定了要追踪的对象物体，并且将位于追踪对象指定框IF内侧或附近的物体设置为要追踪的对象物体。当显示单元140包括触摸面板，并且用户按下显示单元140的期望位置时，摄像设备1判断为指定了要追踪的对象物体，并且将位于按下位置PP附近的物体设置为要追踪的对象物体。在这种情况下，可以无需显示追踪对象指定框IF或将追踪对象指定框IF与要追踪的对象物体对准。图2B示出图2A所示的图像(与该图像相对应的图像信号)经过图像处理并被均等分割成块的状态。在本实施例中，如图2B所示，使用被分割成块的低分辨率图像来追踪对象物体。如图2B所示，假定指定球作为要追踪的对象物体，并且将包括与球位置BP相对应的像素的像素区域设置为提取对象物体的特征颜色所需的特征颜色提取区域ER。在本实施例中，将包括与球位置BP相对应的像素和位于该像素周围的8个像素的像素区域设置为特征颜色提取区域ER。更具体地，如图3所示，将显示在显示单元140上的图像分割成32 X 24 个块，并且将包括与球位置BP相对应的像素E和位于像素E周围的8个像素A、B、C、D、F、 G、H和I的像素区域设置为特征颜色提取区域ER。接着，如图4所示，将包括在特征颜色提取区域ER中的9个像素A I的各个颜色提取(设置)为特征候选颜色A I。在本实施例中，假定使用RGB格式(8位)来表现 9个像素A I的信号成分。计算颜色与特征候选颜色类似的像素(即，类似颜色的像素)在图像内如何分布。 在这种情况下，如由以下所示，当各特征候选颜色的R、G和B成分与关注像素的R、G和B成分之间的差落入预定信号水平HiRGB的范围内时，判断为关注像素的颜色与特征候选颜色类似Σ abs (R (η) -R (χ, y))彡 ThRGBΣ abs (G (η) -G (χ, y))彡 ThRGBΣ abs (B (η) -B (χ, y))彡 ThRGB …(1)其中，ThRGB :30LSB, η :特征候选颜色(特征候选颜色A I)，χ 水平坐标(0 31)，并且y:垂直坐标(0 23)。注意，在本实施例中，使用RGB格式来表现各像素的信号成分，并且使用三个元素 (R、G和B)是否落入预定范围作为类似判断的标准。然而，对于颜色类似判断，可以应用本领域技术人员已知的各种技术。例如，可以将像素的信号成分分离成亮度成分和颜色成分 (即，可以使用YCrCb格式来表现信号成分)，饱和度等于或高于阈值的像素可以使用色相信息来进行颜色类似判断，并且饱和度小于阈值的像素可以使用亮度信息来进行颜色类似判断。图5A 51是分别示出特征候选颜色A I (像素A I的颜色)的类似颜色的像素的分布的图。在图5A 51中，由灰色像素来表示特征候选颜色A I的类似颜色的像素。参考图5A 51，由于在像素B、C和E周围未分布特征候选颜色(即，像素B、C和E的颜色)的类似颜色的像素，因此像素B、C和E的颜色更有可能是作为对象物体的球的特征颜色。另一方面，由于在像素G周围分布有特征候选颜色(即，像素G的颜色)的类似颜色的多个像素，因此像素G的颜色更有可能表示例如地板颜色，并且不可能是球的特征颜色。接着，将与追踪对象指定位置相对应的像素(在本实施例中为像素E)设置为基点，根据与基点的距离将图像分割成部分区域，并且针对各个部分区域来计数颜色与特征候选颜色类似的像素数。图6示出根据与作为基点的像素E的距离将图像分割成6个部分区域时的示例。在本实施例中，如图6所示，从作为基点的像素E起，将相距1步的区域设置为第一部分区域，将相距2步的区域设置为第二部分区域，并且将相距3步的区域设置为第三部分区域。同样，从作为基点的像素E起，将相距4步的区域设置为第四部分区域，将相距5步的区域设置为第五部分区域，并且将相距6步的区域设置为第六部分区域。在本实施例中，将图像分割成以基点作为中心的圆形部分区域。可选地，可以将图像分割成矩形部分区域，或者可以将图像分割成从基点起相距增量为两步的距离的区域。利用同一方法， 针对像素A I分别设置以像素A I各自作为中心的第一部分区域 第六部分区域。图7示出包括在第一部分区域 第六部分区域中的特征候选颜色A I的类似颜色的像素数的计数结果。注意，图7还示出包括在除第一部分区域 第六部分区域以外的周围区域中的特征候选颜色A I的类似颜色的像素数的计数结果以及包括在整个图像中的特征候选颜色A I的类似颜色的像素总数Sum。如从图7可以看出，例如，特征候选颜色A的类似颜色的像素数在第一部分区域中为5，在第二部分区域中为3，在第三部分区域中为1，并且在周围区域中为3。接着，针对各个像素A I判断是否独立形成各个特征候选颜色A I的类似颜色的像素连续出现(即，包括类似颜色的像素)的像素组。例如，当用户不必要地指定背景区域作为要追踪的对象物体时，包括特征候选颜色的类似颜色的像素的像素组的范围可能一直扩展到图像周边的宽范围，并且无法追踪这种对象物体。作为要追踪的对象物体的特征颜色的颜色可以形成面积小且独立于周围颜色的像素组，并且优选选择这种颜色作为对象物体的特征颜色。换言之，优选提取所形成的包括类似颜色的像素的像素组的面积小于基准面积的特征候选颜色作为对象物体的特征颜色。注意，以优先提取所形成的像素组的面积较小的特征候选颜色作为对象物体的特征颜色的方式设置基准面积。因而，在本实施例中，为了检测包括特征候选颜色的像素(即，各个像素A I)且包括该特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界，如由以下所示，针对各特征候选颜色的像素设置边界条件边界条件=包括在第一部分区域中的特征候选颜色的类似颜色的像素数 XThBorderRatio . . . (2)
12
其中，ThBorderRatio 0. 25。如等式( 所示，将通过使包括在第一部分区域中的各特征候选颜色的类似颜色的像素数乘以预定比(ThBorderRatio)所获得的值[像素数]设置为边界条件。然后，判断为低于该边界条件的部分区域包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界。图8示出根据等式(2)对像素A I的边界条件的计算结果。当在等式(2)中 ThBorderRatio = 25 %时，例如，像素A的边界条件为1. 25 [像素数]，并且像素F的边界条件为0. 75 [像素数]。图9A是用于解释包括像素A且还包括特征候选颜色A的类似颜色的像素的像素组与其它颜色的像素之间的边界的检测的图。图9B是用于解释包括像素G且还包括特征候选颜色G的类似颜色的像素的像素组与其它颜色的像素之间的边界的检测的图。图9A 和9B的横轴采用部分区域并且纵轴采用像素数。此外，在图9A和9B中，分别标绘出包括在第一部分区域、第二部分区域、第三部分区域、第四部分区域、第五部分区域和第六部分区域以及周围区域中的特征候选颜色A和G的类似颜色的像素数。如上所述，由于像素A的边界条件为1. 25 [像素数]，因此特征候选颜色A的类似颜色的像素数低于1. 25的部分区域包括边界。参考图9A，由于特征候选颜色A的类似颜色的像素数在第一部分区域中为5、在第二部分区域中为3并且在第三部分区域中为1，因此包括在第三部分区域中的特征候选颜色A的类似颜色的像素数低于1. 25。因此，将第二部分区域和第三部分区域之间的边界检测为包括特征候选颜色A的类似颜色的像素的像素组与其它颜色的像素之间的边界。因而，判断为像素A形成包括包含在第一部分区域中的 5个像素和包含在第二部分区域中的3个像素的像素组。另一方面，由于与像素A的边界条件相同，像素G的边界条件也为1.25[像素数]， 因此特征候选颜色G的类似颜色的像素数低于1. 25的部分区域包括边界。然而，参考图 9B，不存在特征候选颜色G的类似颜色的像素数低于1. 25的部分区域。这意味着特征候选颜色G的类似颜色的像素分布到图像周边，并且特征候选颜色G更有可能是背景颜色。这样，针对各个像素A I检测包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界，并且计算该像素组的像素数、即该像素组的面积(第一面积)。图10示出包括特征候选颜色A I的类似颜色的像素的像素组的像素数Areah以及包括在整个图像中的特征候选颜色A I的类似颜色的像素总数(即，面积(第二面积)) Sum。在这种情况下，判断为没有检测到边界的像素(在本实施例中为像素G)未被选择为要追踪的对象物体的特征颜色，并且将作为像素G的颜色的特征候选颜色G从对象物体的特征颜色的候选中排除。此外，即使对于检测到边界的像素，当像素组的面积大于预定基准面积时，或者当像素组包括与图像的端部相对应的像素(端部像素)时，也可以将该像素的特征候选颜色从对象物体的特征颜色的候选颜色中排除。随后，根据以下来计算给定特征候选颜色的像素的像素组的像素数(AreaIn)相对于包括在整个图像中的该特征候选颜色的类似颜色的像素总数(Sum)的比率，作为边界内颜色比率。边界内颜色比率=(Arealn/Sum)X100[% ] ... (3)例如，由于对于像素B，AreaIn为1并且Sum为1，因此边界内颜色比率为100%(参见图10)。随着边界内颜色比率变高，在该相应像素周围不存在类似颜色的像素，并且该像素在要追踪的对象物体(追踪对象指定位置)附近可能被看作特征颜色。对于像素I，由于Areah* 2并且Sum为18，因此边界内颜色比率为11% (参见图10)。即使当针对边界内颜色比率低的像素检测到边界时，在该像素周围也分布有类似颜色的多个像素。因此，当要使用这种像素的颜色来追踪对象物体时，代替要追踪的对象物体 (原始对象物体)，可能误追踪了其它物体(例如，与包括在背景中的类似颜色的像素相对应的物体)。因而，在本实施例中，基于边界内颜色比率来判断特征候选颜色是否可能是对象物体的特征颜色。图IlA示出按边界内颜色比率的降序对特征候选颜色A I的排序结果。此外，图IlB示出针对按边界内颜色比率的降序排序的特征候选颜色A I分别设置的基准比率。基准比率用作用于从要追踪的对象物体的特征颜色的候选中排除各个特征候选颜色A I的排除条件，并且将边界内颜色比率低于基准比率的特征候选颜色从对象物体的特征颜色的候选中排除。在本实施例中，如图IlB所示，以从对象物体的特征颜色的候选中排除边界内颜色比率较低的特征候选颜色(换言之，提取边界内颜色比率较高的特征候选颜色作为对象物体的特征颜色)的方式来设置基准比率。参考图11B，特征候选颜色H 的边界内颜色比率为27%，这低于作为基准比率的60%。同样，特征候选颜色I的边界内颜色比率为11%，这低于作为基准比率的70%。因此，将作为像素H的颜色的特征候选颜色H和作为像素I的颜色的特征候选颜色I从对象物体的特征颜色的候选中排除。注意， 基准比率不限于图IlB所示的值，并且可以设置任意值。接着，计算特征候选颜色的相对特征度。包括类似颜色的像素的像素组的面积越小，越被看作作为要追踪的对象物体的特征的特有重要颜色。在本实施例中，为了提取这种颜色作为对象物体的特征颜色，计算特征度。更具体地，如图12A所示，按特征候选颜色的像素的像素组的像素数(AreaIn)的升序对特征候选颜色A I进行排序。在本实施例中， 特征候选颜色B被指定为像素组的像素数最小(即，面积最小)的特征候选颜色。然后，针对各个特征候选颜色A I，根据以下来计算像素组的像素数中的最小像素数(ArealnMin) 相对于像素组的像素数(Areah)的比率作为特征度。特征度=(ArealnMin/Arealn)X100[% ] . . . (4)参考等式G)，在本实施例中，分别地，ArealnMin = 1(即，像素B的像素组的像素数)，并且Areah =像素B、C、E、F、A和D的像素组的像素数。图12A示出使用等式(4)计算出的特征度。参考图12A，像素组的像素数最小的特征候选颜色B具有最高的特征度、即 100%，因为该特征度是通过利用其自身的像素数进行除算而计算出的。因而，在本实施例中，基于特征度，判断各特征候选颜色是否可以作为对象物体的特征颜色。图12B示出针对按照像素组的像素数的升序排序的特征候选颜色A I分别设置的基准特征度。基准特征度是用于从对象物体的特征颜色的候选中排除各个特征候选颜色A I的排除条件，并且将特征度低于该基准特征度的特征候选颜色从对象物体的特征颜色的候选中排除。在本实施例中，如图12B所示，以从对象物体的特征颜色的候选中排除特征度较低的特征候选颜色(换言之，提取特征度较高的特征候选颜色作为对象物体的特征颜色)的方式来设置基准特征度。参考图12B，特征候选颜色F、A和D的特征度分别为 20 %、12 %和7 %，这低于作为相应的基准特征度的30 %、45 %和60 %。因此，将作为像素F
14的颜色的特征候选颜色F、作为像素A的颜色的特征候选颜色A以及作为像素D的颜色的特征候选颜色D从对象物体的特征颜色的候选中排除。这样，在特征候选颜色A I中，选择特征候选颜色B、C和E作为要追踪的对象物体的特征颜色，其中特征候选颜色B、C和E具有如下特征包括类似颜色的像素的像素组的面积小于基准面积，边界内颜色比率高于基准比率，并且特征度高于基准特征度。如从图 5A 51可以看出，特征候选颜色B、C和E在追踪对象指定位置附近不具有类似颜色的像素，并且提取像素组的面积较小的特有特征候选颜色作为对象物体的特征颜色。将像素B、C和E的特征候选颜色B、C和E作为要追踪的对象物体的特征颜色存储在例如临时存储器130或系统控制单元134的存储器中。注意，在本实施例中，如图13A所示，在这种情况下还将特征候选颜色B、C和E的特征度作为主像素来存储。此外，如图13A 和1 所示，将邻接像素B、C和E的上下左右位置的像素的颜色作为子像素以RGB格式来存储。由于在追踪对象物体时还使用与子像素的颜色的一致度，因此可以提高对象物体的追踪精度。在本实施例中，假定将特征候选颜色B、C和E ( S卩，通过前述处理提取出的颜色) 作为对象物体的静态特征颜色来存储。这种静态特征颜色是一旦存储就不再更新的特征颜色。此外，在本实施例中，如后面将说明的，存储对象物体的动态特征颜色。这种动态特征颜色是在追踪对象物体期间根据需要而更新的特征颜色。在追踪对象物体时还使用动态特征颜色的情况下，即使在对象物体或环境改变时，也可以继续进行对象物体追踪操作。这样， 临时存储器130或系统控制单元134的存储器用作存储静态特征颜色的第一存储单元和存储动态特征颜色的第二存储单元。以下将实际解释使用图13A所示的静态特征颜色和动态特征颜色的对象物体追踪操作。基本上，在图像中搜索颜色与对象物体的特征颜色(在本实施例中为特征候选颜色B、C和E)类似的像素，并且将颜色与这些特征颜色类似的(即，与这些特征颜色的类似度较高)的像素的位置确定为对象物体(对象物体的位置)。注意，在追踪对象物体时，如上所述，还使用特征度以及与邻接主像素的上下左右位置的子像素的颜色的一致度。当对象物体的颜色的类似颜色的物体包括在图像(背景)中时，与前一追踪操作中确定出的对象物体的位置越近的位置需要具有越高的类似度。因而，在本实施例中，使用权重表。该权重表是通过将与前一追踪操作中确定出的对象物体的位置相对应的像素设置为基点、在各个像素的位置处根据与该基点的距离而设置权重量的表。注意，可以根据各种条件来适当地设置与距基点的距离相对应的权重量的变化量。为了生成权重表，计算颜色与要追踪的对象物体的特征颜色类似的像素在图像中如何分布。图14示出颜色与要追踪的对象物体的特征颜色类似的像素在图像中的分布。 参考图14，像素PXl是与前一追踪操作中确定出的对象物体的位置(即，最新的对象物体位置)相对应的像素。包括像素PX2、PX3和PX4的灰色像素是颜色与对象物体的特征颜色类似的像素(类似像素)。监视区域(第三区域)OA是用于搜索颜色与对象物体的特征颜色类似的像素的区域，并且被设置为覆盖整个图像(区域设置)。注意，如由不等式(1)所示，当对象物体的特征颜色的R、G和B成分与关注像素的R、G和B成分之间的差落入预定信号水平的范围内时，判断为关注像素的颜色与对象物体的特征颜色类似。然后，根据以下来计算作为最新的对象物体位置的像素PXl的位置(TargetPosX， TargetPosY)与类似像素位置(FindPosX，FindPosY)之间的距离的总和(DistanceSum)Jt
15为类似颜色分布度
权利要求
1.一种追踪设备，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪设备包括设置单元，用于将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；计算单元，用于针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；提取单元，用于从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及确定单元，用于将与如下像素相对应的位置确定为所述对象物体该像素的颜色与所述提取单元提取出的特征颜色类似。
2.根据权利要求1所述的追踪设备，其特征在于，所述计算单元针对所述特征候选颜色中的每个特征候选颜色，计算提取出的特征颜色的第一面积相对于该特征候选颜色的第一面积的比率作为特征度，以及所述提取单元提取所述特征候选颜色中所述特征度高于预定的基准特征度的特征候选颜色，作为所述对象物体的特征颜色。
3.根据权利要求1所述的追踪设备，其特征在于，所述计算单元从所述第一面积小于基准面积的特征候选颜色中，求出所述第一面积相对于所述第二面积的比率高于所述预定的基准比率的特征候选颜色。
4.根据权利要求2所述的追踪设备，其特征在于，以提取所述特征度较高的特征候选颜色作为所述对象物体的特征颜色的方式来设置所述基准特征度。
5.根据权利要求2所述的追踪设备，其特征在于，所述确定单元按所述提取单元提取出的特征颜色的特征度的降序选择特征颜色，并且将与如下像素相对应的位置确定为所述对象物体该像素的颜色与所选择的特征颜色类似。
6.根据权利要求1所述的追踪设备，其特征在于，以提取所述第一面积相对于所述第二面积的比率较高的特征候选颜色作为所述对象物体的特征颜色的方式来设置所述基准比率。
7.根据权利要求1所述的追踪设备，其特征在于，当所述像素组包括所述多个像素中的端部像素时，所述提取单元将与该像素组相对应的特征候选颜色从所述对象物体的特征颜色中排除。
8.根据权利要求1所述的追踪设备，其特征在于，还包括第一存储单元，用于存储所述提取单元提取出的特征颜色作为所述对象物体的静态特征颜色；第二存储单元，用于存储与所述确定单元确定出的对象物体的位置相对应的像素的颜色作为所述对象物体的动态特征颜色；以及区域设置单元，用于在所述多个像素中设置第一区域和第二区域，其中，所述第一区域用于使用存储在所述第一存储单元中的静态特征颜色来追踪所述对象物体，所述第二区域用于使用存储在所述第二存储单元中的动态特征颜色来追踪所述对象物体，并且所述第二区域的面积小于所述第一区域的面积，其中，所述确定单元针对所述第一区域中所包括的像素中的每个像素，计算表示该像素的颜色与所述静态特征颜色的类似程度的第一类似度，并且针对所述第二区域中所包括的像素中的每个像素，计算表示该像素的颜色与所述动态特征颜色的类似程度的第二类似度，以及所述确定单元将与如下像素相对应的位置确定为所述对象物体该像素的通过合成所述第一类似度和所述第二类似度所获得的类似度最高，并且满足预定的基准类似度。
9.根据权利要求8所述的追踪设备，其特征在于，计算所述第二类似度时的类似度的标准高于计算所述第一类似度时的类似度的标准。
10.根据权利要求8所述的追踪设备，其特征在于，所述区域设置单元在所述多个像素中设置面积大于所述第一区域的面积的第三区域，以及所述确定单元计算所述第三区域中颜色与所述对象物体的静态特征颜色类似的像素的分布度，以根据所述分布度来设置类似度的标准，并且所述分布度越高，则将所述标准设置得越高。
11.根据权利要求10所述的追踪设备，其特征在于，所述确定单元将计算所述第一类似度时的类似度的标准设置为恒定，并且所述分布度越高，则将计算所述第二类似度时的类似度的标准设置得越高。
12.根据权利要求8所述的追踪设备，其特征在于，当与所述确定单元确定出的所述对象物体的位置相对应的像素的颜色和所述静态特征颜色之间的差小于阈值时，所述第二存储单元存储与所述对象物体的位置相对应的像素的颜色作为新的动态特征颜色。
13.根据权利要求8所述的追踪设备，其特征在于，还包括生成单元，用于将与所述确定单元确定为所述对象物体的位置相对应的像素设置为基点，并且生成随着距所述基点的距离的增大而将权重量设置得越大的权重表，其中，所述确定单元将所述生成单元生成的权重表中所设置的权重量赋予所述第一类似度和所述第二类似度，并且将与如下像素相对应的位置确定为所述对象物体该像素的通过合成利用权重量进行加权后的第一类似度和利用权重量进行加权后的第二类似度所获得的类似度最高，并且满足所述基准类似度。
14.根据权利要求13所述的追踪设备，其特征在于，所述区域设置单元在所述多个像素中设置面积大于所述第一区域的面积的第三区域，所述确定单元计算所述第三区域中颜色与所述对象物体的静态特征颜色类似的像素的分布度，以及所述生成单元生成如下的权重表所述分布度越高，则以使与距所述基点的距离相对应的权重量的变化量越陡的方式来设置权重量。
15.根据权利要求14所述的追踪设备，其特征在于，用于计算所述分布度的操作周期长于用于将与如下像素相对应的位置确定为所述对象物体的操作周期该像素的通过合成所述第一类似度和所述第二类似度所获得的类似度最高，并且满足所述基准类似度。
16.根据权利要求13所述的追踪设备，其特征在于，所述生成单元生成如下的权重表与所述确定单元确定为所述对象物体的位置相对应的像素的类似度越低，则以使与距所述基点的距离相对应的权重量的变化量越陡的方式来设置权重量。
17.根据权利要求13所述的追踪设备，其特征在于，所述确定单元判断通过合成利用权重量进行加权后的第一类似度和利用权重量进行加权后的第二类似度所获得的类似度最高的像素的类似度是否满足所述基准类似度，并且当类似度最高的像素的类似度不满足所述基准类似度时，确定为发生所述对象物体的追踪失败，以及所述生成单元生成如下的权重表从所述对象物体的追踪失败起所经过的时间越短， 则以使与距所述基点的距离相对应的权重量的变化量越陡的方式来设置权重量。
18.—种追踪方法，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪方法包括以下步骤设置步骤，用于控制设置单元，以将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；计算步骤，用于控制计算单元，以针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；提取步骤，用于控制提取单元，以从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及确定步骤，用于控制确定单元，以将与如下像素相对应的位置确定为所述对象物体该像素的颜色与所述提取单元提取出的特征颜色类似。
全文摘要
本发明提供一种追踪设备和追踪方法，所述追踪设备用于追踪在摄像元件拍摄到的图像上所指定的对象，所述追踪设备包括计算单元，用于针对特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；以及提取单元，用于从所述第一面积相对于所述第二面积的比率高于预定基准比率的各个特征候选颜色中提取所述第一面积最小的特征候选颜色作为对象的特征颜色。
文档编号H04N5/232GK102447832SQ201110237830
公开日2012年5月9日 申请日期2011年8月18日 优先权日2010年8月18日
发明者窪田聪 申请人:佳能株式会社