图像处理装置、图像处理方法和记录介质的制作方法
【专利摘要】提出一种能够精确地跟踪移动对象的跟踪方法。一种图像处理设备，包括：距离信息获取单元，用于获取到要由图像捕获元件捕获的被摄体的距离的信息；像素值信息获取单元，用于获取对应于被摄体的图像的像素值信息；以及跟踪单元，用于基于获取的距离信息和像素值信息，跟踪移动的对象。图像捕获元件具有相位差像素，用于检测被摄体的相位差并且执行对焦调节。距离信息获取单元基于由相位差像素检测的相位距离获取距离信息。
【专利说明】图像处理装置、图像处理方法和记录介质
【技术领域】
[0001]本公开涉及图像处理装置、图像处理方法和记录介质。
【背景技术】
[0002]作为图像处理装置，例如，已知当成像运动对象时自动跟踪对象的成像装置(见专利文献I)。
[0003]专利文献I描述了一种成像装置，其通过基于目标颜色或亮度，从多个图像重复检测目标图像来跟踪目标图像。
[0004]引用列表
[0005]专利文献
[0006]专利文献I JP2010-113129A
【发明内容】
[0007]技术问题
[0008]然而，根据专利文献I中的技术，如果可以跟踪的多个对象具有相同颜色或亮度，那么存在跟踪不同于所希望对象的对象的可能性。例如，如果两个对象正如交叉移动，并且两个对象具有相同颜色或亮度，那么存在跟踪目标从一个对象切换为另一个的可能性。
[0009]因此，本公开提出了一种能够以高精度跟踪移动对象的跟踪方法。
[0010]对于问题的解决方案
[0011]根据本公开，提供了一种图像处理装置，包括:距离信息获取单元，其获取关于直到由图像传感器成像的对象的距离的距离信息；像素值信息获取单元，其获取对应于所述对象的图像的像素值信息；以及跟踪单元，其基于获取的距离信息和获取的像素值信息跟踪移动的对象。
[0012]根据本公开，提供了一种图像处理方法，包括:获取关于直到由图像传感器成像的对象的距离的距离信息；获取对应于所述对象的图像的像素值信息；以及基于获取的距离信息和获取的像素值信息跟踪移动的对象。
[0013]根据本公开，提供了一种具有记录在其上的程序的记录介质，所述程序使得计算机执行:获取关于直到由图像传感器成像的对象的距离的距离信息；获取对应于所述对象的图像的像素值信息；以及基于获取的距离信息和像素值信息跟踪移动的对象。
[0014]然后，根据本公开，基于获取的距离信息和像素值信息跟踪移动的对象的图像。因此，即使例如多个对象具有相同的颜色、亮度等的像素值信息，也可以基于距离信息识别各个对象并跟踪希望的对象，并且因此可以以高精度跟踪移动对象。
[0015]本发明的有益效果
[0016]根据本公开，如上所述，可以以高精度跟踪移动对象。
【专利附图】
【附图说明】[0017]图1是示出根据第一实施例的成像装置的外部配置的前视图。
[0018]图2是示出根据第一实施例的成像装置的外部配置的后视图。
[0019]图3是示出根据第一实施例的成像装置的电配置的框图。
[0020]图4是图示图像传感器的配置的图。
[0021]图5是图示图像传感器的配置的图。
[0022]图6是示出成像装置的跟踪功能的配置示例的框图。
[0023]图7是示出在跟踪移动对象的同时捕获图像时成像装置的操作示例的流程图。
[0024]图8是示出成像模式的选择处理的流程图。
[0025]图9是示出AF选择处理的流程图。
[0026]图10是示出AF模式的选择处理的流程图。
[0027]图11是示出对象跟踪和对焦跟踪处理的流程图。
[0028]图12是示出要跟踪的对象的图。
[0029]图13是示出AF点位置和对象距成像装置的距离之间的关系的曲线图。
[0030]图14是图示其中对象移动的方向的预测方法的图。
[0031]图15是示出根据第二实施例的成像装置的外部配置的前视图。
[0032]图16是示出根据第二实施例的成像装置的外部配置的后视图。
[0033]图17是根据第二实施例的成像装置的纵向视图。
[0034]图18是示出根据第二实施例的成像装置的电配置的框图。
[0035]图19是根据第三实施例的成像装置的纵向视图。
[0036]图20是示出根据第三实施例的成像装置的电配置的框图。
【具体实施方式】
[0037]下文中，将参照附图详细描述本公开的优选实施例。注意到，在该说明书和附图中，具有基本相同功能和结构的元件用相同的参考标号标识表示，并且省略重复说明。
[0038]以下面示出的顺序提供描述:
[0039]1.第一实施例
[0040]1-1.成像装置的外部配置
[0041]1-2.成像装置的电配置
[0042]1-3.图像传感器的详细配置
[0043]1-4.对象跟踪功能
[0044]1-5.成像装置的操作
[0045]1-6.第一实施例的概述
[0046]2.第二实施例
[0047]2-1.成像装置的外部配置
[0048]2-2.成像装置的内部配置
[0049]2-3.成像装置的电配置
[0050]2-4.对象跟踪功能
[0051]3.第三实施例
[0052]〈1.第一实施例>[0053](1-1.成像装置的外部配置)
[0054]将参照图1和图2描述作为根据第一实施例的图像处理装置的示例的成像装置I的外部配置。图1是示出根据第一实施例的成像装置I的外部配置的前视图。图2是示出根据第一实施例的成像装置I的外部配置的后视图。
[0055]成像装置I配置为例如紧凑型数字照相机。成像装置I包括相机主体10和固定到相机主体10的成像镜头2。
[0056]在图1中，内置闪光灯318和安排在顶面的快门按钮307提供在相机主体10的前侦U。如图2所示，LCD (液晶显示器)311提供在相机主体10的后侧。
[0057]快门按钮307是按下开关，其能够执行其中向下半按快门按钮的“半按状态”操作以及其中进一步向下全按快门按钮的“全按状态”操作。当在静态图像捕获模式下向下半按快门按钮307时，执行捕获对象的静态图像的准备操作(诸如曝光控制值的设置和对焦检测的准备操作)。另一方面，当进一步向下全按快门按钮307时，执行成像操作(包括曝光图3中示出的图像传感器4、对通过曝光获得的图像信号执行预定图像处理、以及在存储卡等中记录图像信号的一系列操作)。
[0058]IXD311包括能够显示图像的彩色液晶触摸面板，并且显示作为由图像传感器4捕获的对象图像的直通图像，并且回放记录的图像。IXD311还用于设置在成像装置I中实施的功能或模式，并且显示其设置屏幕。替代IXD311，可以使用能够触摸输入的有机EL或等离子体显示装置。
[0059]主开关(未示出)安排在相机主体10的顶面上，并且配置为每次按压开关时打开或关闭成像装置I的按压开关。
[0060]成像镜头2用作捕获来自对象的光(光图像)的镜头窗，并且还用作将对象光引导到安排在相机主体10的内部的图像传感器4的成像光学系统。成像镜头2包括包含沿着光轴顺序安排的多个透镜的透镜组。透镜组包含用于调节对焦的对焦透镜和用于可变能力的变焦透镜，并且这些透镜每个沿着光轴方向驱动，用于可变能力或对焦调整。
[0061](1-2.成像装置的电配置)
[0062]将参照图3描述根据第一实施例的成像装置I的电配置。图3是示出根据第一实施例的成像装置I的电配置的框图。
[0063]如图3所示，成像装置I包括成像镜头2、相机DSP单元3、图像传感器4、预处理单元5、LCD16、记录介质19、操作单元22、CPU20、USB23、EEPR0M24、RAM25、闪光灯27和存储器28。
[0064]成像镜头2通过在相机DSP (数字信号处理器)单元3的控制下，改变变焦透镜、对焦和光圈，将入射光会聚在随后的图像传感器4的成像面上，从而在随后的图像传感器4的成像面上形成光学图像。
[0065]图像传感器4成像对象。图像传感器4是CMOS (互补金属氧化物半导体)固态图像传感器等，并且通过驱动预处理单元5光电转换在成像面上形成的光学图像，以输出成像信号作为成像结果。
[0066]图像传感器4安排在与Z轴垂直的平面(XY平面)上，并且接收对象光。在图像传感器4中，通过包括光电二极管配置的多个像素以矩阵形状二位排列。然后，普通像素和相位差像素排列在每个像素的接收面上，在普通像素中以1:2:1的比率布置具有相互不同光谱特性的例如R(红色)、G (绿色)和B (蓝色)的滤色镜，相位差像素用于通过对象光的光瞳分割检测对焦。
[0067]图像传感器4生成并且输出关于通过成像镜头2之后形成的对象光图像的R(红色)、G (绿色)和B (蓝色)的每个颜色分量的模拟电信号(图像信号)作为R、G和B的每个颜色的图像信号，并且还输出相位差信息。稍后将描述图像传感器4的详细配置。
[0068]预处理单元5驱动图像传感器4，并且还通过对从图像传感器4输出的图像信号执行信号处理输出图像数据。预处理单元5包括时序发生器(TG)6、V驱动器7和⑶S/AGC/ADC单元8。
[0069]时序发生器(TG)6生成并且输出各种时序信号作为图像传感器4的驱动标准，并且V驱动器7基于由时序发生器6生成的时序信号驱动图像传感器4。
[0070]⑶S/AGC/ADC单元8使从图像传感器4输出的成像信号经历相关双采样(CTS)，从而生成例如原色的色彩信号。此外，在通过自动增益控制(AGC)校正色彩信号的信号电平之后，CDS/AGC/ADC单元8通过模拟到数字转换器(ADC)生成图像数据。然后，CDS/AGC/ADC单元8输出图像数据到相机DSP单元3。
[0071]相机DSP单元3在中央处理单元(CPU) 20的控制下切换操作，并且使用存储器28执行与从预处理单元5输出的图像数据的记录、回放、监视等相关的处理。存储器28形成相机DSP单元3的工作区。
[0072]相机DSP单元3包括相机信号处理单元11、存储器控制器12、镜头控制器13、分辨率转换单元14、显示控制器15、图像编解码器17、介质控制器18、BIU21和闪光灯控制器26。
[0073]相机信号处理单元11对从预处理单元5输出的图像数据执行白平衡调整处理、伽马校正处理等，经由存储器控制器12将处理的图像数据存储在存储器28中，并且输出图像数据到分辨率转换单元14。相机信号处理单元11还从图像数据检测光圈校正和自动对焦调整所需的信息，并且将信息输出到镜头控制器13。
[0074]存储器控制器12是控制外部添加到相机DSP单元3的存储器28的控制器，并且将从相机DSP单元3的每个单元输出的图像数据记录到存储器28，并且还读取和输出存储器28中记录的图像数据到相机DSP单元3的每个单元。
[0075]分辨率转换单元14转换存储器28中存储的图像数据或从相机信号处理单元11输出的图像数据的分辨率，并且将图像数据存储在存储器28中。相应地，相机DSP单元3将由图像传感器4获得的成像结果转换为传递到LCD16用于显示的分辨率，并且还将成像结果转换为由用户指示用于记录介质19的分辨率。相机DSP单元3切除成像结果的部分区域，并且执行与分辨率转换相关的处理，从而执行电子变焦或回放变焦的处理。
[0076]显示控制器15通过存储器28中存储的图像数据驱动液晶显示器(IXD) 16，从而显示成像结果的监视图像或显示记录介质中记录的成像结果。
[0077]图像编解码器17压缩存储器28中存储的图像数据，以便输出压缩的图像数据到相机DSP单元3的每个单元，或者相反地解压存储器28中存储的图像数据，以便输出解压的图像数据到相机DSP单元3的每个单元。JPEG(联合图像编码专家组)的技术应用于静态图像以压缩或解压数据。另一方面，诸如IS0/IEC JTC1/SC29WG11的MPEGl (运动图像专家组I)、MPEG2和MPEG4以及ITU-T的H.263和H.264/MPEG4-AVC (先进视频编码)的使用运动矢量的数据压缩技术应用于运动图像。
[0078]介质控制器18将存储器28中记录的图像数据记录在记录介质19中，并且还读取记录介质19中记录的图像数据以输出图像数据到存储器28。作为记录介质19，可以广泛地应用各种记录介质，诸如通过半导体存储器的所谓存储卡、如可记录DVD (数字多功能盘)和可记录⑶(致密盘)的光盘、以及硬盘驱动器。
[0079]镜头控制器13基于从相机信号处理单元11获得的信息控制镜头块2的光圈，并且还通过所谓爬山(hill-climbing)方法控制镜头块2的自动对焦。镜头控制器13还在CPU20的控制下响应于用户的操作，改变镜头块2的变焦。
[0080]BIU (总线接口单元)21是CPU20和相机DSP单元3之间的接口，并且通过其输入和输出与通过CPU20的相机DSP单元3的控制有关的命令。
[0081]闪光灯控制器26控制闪光灯27的光量为闪光成像模式下由CPU20设置的光量。
[0082]操作单元22是成像装置I中提供的操作控制或者IXD16的显示屏中提供的通过触摸面板的用户界面，并且将通过用户的操作通知CPU20。
[0083]USB (通用串行总线)23是存储类兼容接口，并且连接诸如各人计算机的外部设备以将各种数据输入外部设备/从外部设备输出各种数据。
[0084]EEPROM(电可擦除可编程只读存储器)24是记录CPU20的处理程序等的记录介质。RAM25是CPU20的工作存储器。在成像装置I中，CPU20的处理程序(例如，执行对象跟踪功能的程序)可以通过预先安装在成像装置I中提供。替代通过预安装提供程序，程序还可以通过经由诸如因特网的网络的安装提供，或者通过诸如存储卡、光盘、磁盘等的各种类型的介质提供。
[0085]CPU20是控制成像装置I的操作的控制器，并且通过执行EEPR0M24中记录的处理程序，响应于通过用户对操作单元22等的操作控制每个单元的操作。
[0086]也就是说，当通过操作单元22的操作指示图像捕获时，CPU20通过控制预处理单元5和相机DSP单元3的操作从图像传感器4获取作为运动图像的成像结果以顺序处理成像结果，并且经由相机信号处理单元11和存储器控制器12顺序将成像结果存储在存储器28中。CPU20还通过分辨率转换单元14转换作为成像结果顺序存储在存储器中的图像数据的分辨率，并且通过显示控制器115由图像数据驱动IXD16。因此，在将作为运动图像的成像结果记录在存储器28中的同时，CPU20在IXD16中显示成像结果的监视图像。
[0087]如果，在此状态下，由用户指示作为静态图像的成像结果的记录，则CPU20停止存储器28中相机信号处理单元11的输出数据的存储。然后，CPU20通过分辨率转换单元14将指示获取成像结果时存储器28中存储的图像数据转换为由用户指示的分辨率。CPU20还通过图像编解码器17压缩已经经历分辨率转换处理的图像数据，然后将压缩的图像数据记录在记录介质19中。在处理序列中，CPU20指示分辨率转换单元14创建缩略图图像，并且由此创建用于索引的缩略图图像。CPU20还将缩略图图像记录为记录介质19中记录的成像结果的索引图像。
[0088]类似地，指示由用户指示的作为运动图像的记录的开始，CPU20停止存储器28中相机信号处理单元11的输出数据的存储，并且开始通过分辨率转换单元14的从相机信号处理单元11输出的图像数据的分辨率转换处理。CPU20还指示由分辨率转换单元14处理的图像数据通过图像编解码器17的图像压缩处理，并且指示记录介质18记录通过图像编解码器17的成像结果。同样在该处理中，CPU20指示分辨率转换单元14创建当开始记录时第一帧的缩略图图像，并且将缩略图图像记录在记录介质19中作为记录介质19中记录的成像结果的索引图像。
[0089](1-3.图像传感器的详细配置)
[0090]将参照图4和5描述图像传感器4的配置。图4和5是图示图像传感器4的配置的图。
[0091]如图4所示，图像传感器4配置为能够通过在成像面IOlf上以矩形形状规定的多个AF区域EF的每个，基于相位差检测方法检测对焦。
[0092]在每个AF区域Ef中，在用作聚焦透镜的微透镜ML(图5中示出的线圈)和光电二极管之间提供包括R像素111、G像素112和B像素113的普通像素(下文中，也称为“普通像素”)，在R像素111、G像素112和B像素113中每个分别布置R(红色)、G (绿色)和B (蓝色)的滤色镜。另一方面，在每个AF区域Ef中提供用于实现光瞳分割功能以执行相位差AF的一对像素(下文中，也称为“AF像素对”)120f。多个AF像素对120f是通过检测对象的相位差调节对焦的相位差像素。在AF区域Ef中，基本上通过普通像素110获取对象的图像信息，普通像素110的数目大于AF像素对120f的数目。
[0093]在AF区域Ef中，Gr线LI和Gb线L2形成为不具有光瞳分割功能的普通像素110的水平线(下文中，也称为“普通像素线”)Ln，在Gr线LI中在水平方向交替安排G像素112和R像素111，在Gb线L2中在水平方向交替安排B像素113和G像素112。通过在水平方向交替安排的Gr线LI和Gb线L2，由各组普通像素110配置拜耳阵列。
[0094]同样在AF区域Ef中，由包括与沿着水平方向重复安排的普通像素110相同配置(直径和曲率)的一个微透镜ML的AF像素对120f，在垂直方向周期性地形成其中并排安排多个AF像素对120f的AF线Lf。优选的是提供如在垂直方向上相互邻近的AF线Lf之间插入缺少AF线Lf的对象的图像信息所需那么多(例如，4或更多)的普通像素线Ln。作为在AF线Lf上或下邻近的两个普通像素线Ln的组合，可以组合相同类型的水平线(Gr线LI或Gb线L2)或者不同类型的水平线(一条Gr线LI和一条Gb线L2)。
[0095](1-4.对象跟踪功能)
[0096]成像装置I首先基于距离信息和像素值信息(颜色信息等)，开始通过任何AF点检测的对象的跟踪，并且继续将对象的最近部分对焦。此外，通过在预测距当前对焦位置的对焦移动量以及对象前一帧的对焦位置的同时跟踪对焦，可以捕获对焦的移动对象的图像。
[0097]图6是示出成像装置I的跟踪功能的配置示例的框图。如图6所示，成像装置I包括距离信息获取单元210、像素值信息获取单元220、对象识别单元230、预测单元240和跟踪单元250。图6中示出的元件由图3中示出的相机DSP单元3、预处理单元5、CPU20等实现。
[0098]距离信息获取单元210获取直到要成像的对象的距离信息。更具体地，距离信息获取单元210基于由图像传感器4的AF像素对120f检测的相位差，获取距离信息。距离信息获取单元210还获取位于不同位置的对象的距离信息。也就是说，距离信息获取单元210获取连续帧的每帧中对象的距离信息。
[0099]距离信息获取单元210可以根据对象的尺寸使多个AF像素对120f的部分稀薄，获取距离信息。例如，如果对象具有等于预定尺寸或更大的尺寸，则距离信息获取单元210稀疏多个AF像素对120f的部分。即使以此方式稀疏AF像素对120f，如果对象具有大尺寸，则仅仅稍稍影响检测的精度。此外，稀疏要检测的AF像素对120f的数目在节电上有效。距离信息获取单元210将获取的距离信息输出到对象识别单元230和预测单元240。
[0100]像素值信息获取单元220获取对应于对象的对象像素的像素值信息。在此，像素值信息例如是关于对象像素的颜色和亮度的信息。像素值信息获取单元220获取连续帧中每帧的对象像素的像素值信息。像素值信息获取单元220将获取的像素值信息输出到跟踪单元250。
[0101]对象识别单元230基于获取的距离信息识别要跟踪的对象。例如，对象识别单元230识别其包括在距离信息中的距离小于预定值的对象。当与背景比较时，从成像装置I到如人的对象的距离短，并且通过设置其距离小于预定值的对象作为要跟踪的对象，可以适当地识别移动的人。对象识别单元230将识别结果输出到预测单元240。
[0102]预测单元240基于多条获取的距离信息，预测目的地位置中要跟踪的对象的距离信息。例如，预测单元240使用位于多个帧中紧接在前的对象的距离信息预测目的地位置的距离信息。预测单元240将预测结果输出到跟踪单元250。
[0103]跟踪单元250基于获取的距离信息和像素值信息跟踪移动对象。在此，跟踪单元250跟踪由对象识别单元230识别的对象。因此，即使多个对象例如具有相同的颜色、亮度等的像素值信息，可以基于距离信息识别各个对象，并且可以跟踪希望的对象，因此可以以闻精度跟踪移动对象。
[0104]如果目的地位置的对象的像素值信息与紧接在前位置的对象的像素值信息相同，则跟踪单元250跟踪对象。换句话说，如果目的地位置的对象的像素值信息与紧接在前位置的对象的像素值信息不相同，则跟踪单元250停止跟踪。因此，可以避免具有不同像素值信息的对象的跟踪，并且因此可以以更高精度跟踪对象。
[0105](1-5.成像装置的操作)
[0106]将参照图7描述在跟踪移动对象的同时捕获图像时成像装置I的操作示例。图7是示出在跟踪移动对象的同时捕获图像时成像装置I的操作示例的流程图。
[0107]通过由用户激活成像装置，开始图7中的流程图。在步骤501中，在IXD311中显示由图像传感器4捕获的直通图像。用户通过观看显示的直通图像确认对象和构图。
[0108]接下来，在步骤502中，接收由用户选择的成像模式。
[0109]在此，成像装置I具有多个成像模式，并且具有例如自动模式和程序模式。自动模式是其中基于测光值选择快门速度、F数、ISO敏感度、闪光灯的闪光和AF点的模式。程序模式是包括快门优先AE模式和光圈优先AE模式的模式，在快门优先AE模式中基于用户通过操作单元任意选择的快门速度决定曝光，在光圈优先AE模式中类似地选择光圈。用户通过对于成像条件的调整，从这些模式中选择适当的成像模式。在自动模式中，基于稍后描述的测量的结果，闪光灯的闪光自动出现。在不同于自动模式的其他成像模式中，用户选择强制闪光或不闪光。可以通过诸如模式设置转盘等的操作部件进行这些选择。
[0110](成像模式的选择处理)
[0111]将参照图8描述步骤502中执行的成像模式的选择处理。图8是示出成像模式的选择处理的流程图。[0112]在步骤601中，如果成像模式不是自动模式(否)，则处理进到步骤602。另一方面，如果成像模式是自动模式(是)，则处理进到步骤606。接下来，在步骤602中，如果成像模式不是程序模式(否)，则处理进到步骤603。另一方面，如果成像模式是程序模式(是)，则处理进到步骤604。
[0113]在步骤603中，用户基于紧接在前测量的测光值，任意地选择快门速度、F数、ISO敏感度和闪光灯的闪光。
[0114]在步骤604中，用户基于紧接在前测量的测光值，决定快门速度、F数和ISO敏感度中的一个或多个设置，并且其他设置被自动决定。然后，在步骤605中，用户设置是否闪光闪光灯。
[0115]在步骤606中，成像装置I基于紧接在前测量的测光值，自动设置快门速度、F数、ISO敏感度和闪光灯的闪光。然后，在步骤607中，通过适应由用户决定的构图，自动选择AF点。
[0116]在返回到图7中的流程图之前，在步骤502中完成成像模式的选择处理。在步骤503中，接收通过适应要由用户成像的构图选择并且旨在用于AF的AF区域。
[0117]在此，宽AF、中心固定AF和局部AF可用于AF区域。在宽AF中，成像装置I从所有AF点自动选择确定为最佳的AF点。在中心固定AF中，固定存在于中心的AF点。在局部AF中，AF点设为来自可选择的AF点的任何位置。然后，用户通过适应对象和构图的环境选择AF区域。当选择自动模式作为成像模式时，AF区域变为宽AF。在局部AF中对象跟踪和对焦跟踪运打。
[0118](AF区域选择处理)
[0119]将参照图9描述步骤503中执行的AF区域选择处理。图9是示出AF区域选择处理的流程图。
[0120]在步骤701中，如果选择自动模式作为成像模式(是)，则处理进到步骤707。另一方面，如果选择不同于自动模式的模式作为成像模式(否)，则处理进到步骤702。
[0121]在步骤702中，如果用户选择宽AF(是)，则处理进到步骤707。另一方面，如果选择不同于宽AF的AF区域(否)，则处理进到步骤703。在步骤703中，如果用户选择中心固定AF (是)，则处理进到步骤706。另一方面，如果选择局部AF (否)，则处理进到步骤704。
[0122]在步骤704中，设置局部AF作为AF区域。然后，在步骤705中，由用户从所有AF点选择任意一点。
[0123]在步骤706中，设置中心固定AF作为AF区域。在此情况下，存在于中心的AF点用于对焦检测。在步骤707中，设置宽AF作为AF区域。在此情况下，成像装置I从所有AF点自动选择确定为最佳的AF点。
[0124]在返回到图7中的流程图之前，在步骤503中完成AF区域选择处理。在步骤504中，接收适应对象的环境的由用户选择的AF模式。
[0125]单个AF、连续AF和自动AF可用做AF模式。在单个AF中，对焦调节状态固定在向下半按快门按钮307(图1)时的AF点。在连续AF中，在向下半按快门按钮307同时，AF点的对焦总是连续调节。在自动AF中，成像装置I通过适应对象的移动切换单个AF和连续AF。在连续AF中对象跟踪和对焦跟踪运行。
[0126](AF模式选择处理)[0127]将参照图10描述在步骤504中执行的AF模式选择处理。图10是示出AF模式的选择处理的流程图。
[0128]在步骤801中，如果用户选择单个AF作为AF模式(是)，则处理进到步骤805。另一方面，如果选择不同于单个AF的AF作为AF模式(否)，则处理进到步骤802。
[0129]在步骤802中，如果用户选择连续AF作为AF模式(是)，则处理进到步骤804。另一方面，如果选择不同于连续AF的AF作为AF模式(否)，则处理进到步骤803。
[0130]在步骤803中，设置自动AF作为AF模式。在步骤804中，设置连续AF作为AF模式。在步骤805中，设置单个AF作为AF模式。
[0131]在返回到图7中的流程图之前，在步骤504中完成AF模式的选择处理。在步骤505中，由图像传感器4(图3)测量对象。取决于设置的成像模式，决定快门速度、F数、ISO敏感度和闪光灯的闪光的设置。接下来，在步骤506中，执行对象跟踪和对焦跟踪。
[0132](对象跟踪和对焦跟踪)
[0133]将参照图11描述步骤506中的对象跟踪和对焦跟踪处理。图11是示出对象跟踪和对焦跟踪处理的流程图。
[0134]在步骤901中，如果选择局部AF作为AF区域(是)，则处理进到步骤902。另一方面，如果选择不同于局部AF的AF作为AF区域(否)，则不执行对象跟踪和对焦跟踪处理，并且处理进到图7中步骤507中的处理。
[0135]在步骤902中，如果要自动对焦的对象处于直通图像中(是)，则处理进到步骤903。另一方面，如果要自动对焦的对象不处于直通图像中(否)，则重复步骤902中的确定直到对象进入直通图像。
[0136]在步骤903中，如果AF点与对象重叠(是)，则处理进到步骤904。另一方面，如果AF点与对象不重叠(否)，则重复步骤903中的确定直到AF点与对象重叠。
[0137]在步骤904中，如果向下半按快门按钮307 (是)，则处理进到步骤905。另一方面，如果没有向下半按快门按钮307 (否)，则处理进到步骤903。
[0138]在步骤905中，对象识别单元230基于AF点的距离信息(由距离信息获取单元210获取的距离信息)识别对象，并且跟踪单元250设置最接近成像装置I的识别对象的点作为要对焦跟踪的点。
[0139]将参照图12和13描述对象跟踪和要对焦跟踪的点的设置。图12是示出要跟踪的对象的图。图13是示出AF点位置和对象距成像装置I的距离之间的关系的曲线图。
[0140]由沿着图12中的虚线箭头X存在的AF点检测的距离信息具有如图13中的1201的分布。图13中的水平轴代表对应于虚线箭头X的水平方向的AF点位置，并且垂直线代表距成像装置I的距离。
[0141]在此，具有范围1202中的距离信息(预定距离Dl或更小)的AF点的集合识别为对象。假设范围1202为依赖于对象的形状可变。点1203是最接近成像装置I的点，并且组合对应于点1203的距离信息和从图像传感器4的普通像素获得的颜色信息以设为要对焦跟踪的点。此外，从普通像素获得的亮度信息或者与参考图像对照匹配的图案可以用作与距离信息的组合。
[0142]如果识别为对象的AF点的数目超过例如所有AF点的50% (对象大)，则图像传感器101可以通过稀疏AF像素的一些线读取。这是因为即使通过稀疏AF像素的一些线减少AF点的数目并且通过读取图像传感器101，实际上也不影响距离信息的操作，即使当对象以高速移动时，也可以正确地操作距离信息。
[0143] 通过返回到图11中示出的流程图，描述将继续。在步骤906中，预测单元240预测在步骤905中设置的要对焦跟踪的点移动的方向，也就是说，对象移动的方向。
[0144]将参照图14描述对象移动的方向的预测方法。图14是图示对象移动的方向的预测方法的图。
[0145]在此，假设在步骤905中向下半按快门按钮时对象的位置是Pt。然后，一帧之前的位置是位置Pt-ι，并且一帧之后的位置是Pt+i。如果通过使用三维坐标表示为Xt+l，Yt+l，Zt+l，则可以通过以下公式⑴到(3)确定要预测的位置Pt+Ι:
[0146]Xt+1 = Xt+ (Xt - Xt-1)…(I)
[0147]Yt+1 = Yt+(Yt - Yt-1)...(2)
[0148]Zt+1 = Zt+ (Zt - Zt-1)…(3)
[0149]根据连续跟踪对焦所需，通过运算上面的公式(I)到(3)预测对象移动的方向。X和Y方向对应于图像传感器4的平面，并且Z方向的值等于到对象的距离R，并且基于该值执行AF。在预测期间可以确定目的地点的对象的像素值信息是否与紧接在前点的对象的像素值信息相同，以只是在两条像素值信息相同时继续跟踪。
[0150]如果保持向下半按快门按钮(否)，则重复步骤904到906。另一方面，如果在步骤907中向下全按快门按钮(是)，则处理进到步骤507。这在步骤506中完成对象跟踪和对焦跟踪处理，以返回到图7中的流程图。
[0151]在步骤507中，实际上捕获静态图像。接下来，在步骤508中，在步骤507中的成像结果记录在存储卡中以终止一系列操作。
[0152](1-6.第一实施例的概述)
[0153]如上图像处理装置的成像装置I获取直到由图像传感器4捕获的对象的距离信息，获取关于该对象的像素值信息，并且基于获取的距离信息和像素值信息跟踪移动对象的图像。因此，即使对象变形或伴随复杂的移动，也可以在以高精度在全屏幕上跟踪对象的同时捕获对焦的图像。此外，即使对象位于接近成像装置1，也可以通过图像传感器4的高速驱动，以高速检测对焦。
[0154]〈2.第二实施例〉
[0155](2-1.成像装置的外部配置)
[0156]将参照图15和16描述根据第二实施例的成像装置I的外部配置。图15是示出根据第二实施例的成像装置I的外部配置的前视图。图16是示出根据第二实施例的成像装置I的外部配置的后视图。在以下描述中，具有与第一实施例中相同参考标号的组件具有类似功能，并且因此省略其重复描述。
[0157]成像装置I配置为例如单镜头反光数字照相机。成像装置I包括相机主体10和作为可互换镜头的成像镜头2，成像镜头2可以自由地附接到相机主体10和从相机主体10分离。
[0158]如图15所示，在相机主体10的前侧，提供在前面的基本中心中插入成像镜头2的安装单元301、安排在安装单元301的右侧的镜头互换按钮302以及实现抓握的抓握部分303。此外在相机主体10的前侧上，提供安排在前左上部分的模式设置盘305、安排在前右上部分的控制值设置盘306以及安排在抓握部分303的顶面的快门按钮307。
[0159]如图16所示，在相机主体10的后侧，提供IXD(液晶显示器)311、安排到IXD311的左边的设置按钮组312、安排到IXD311的右边的十字键314。此外在相机主体10的后侧上，提供安排在十字键314的中心的按压按钮315、布置在IXD311上面的EVF(电子取景器)316以及围绕EVF316的眼罩321。此外在相机主体10的后侧上，提供布置在EVF316左边的主开关317以及布置在EVF316右边的曝光校正按钮323和AE锁定按钮324。此外，提供布置在EVF316上面的闪光灯单元318和连接端子单元319。
[0160]在安装单元301中提供用于电连接的连接器以及用于到插入的成像镜头2的机械连接的耦合器。镜头互换按钮302是在应当移除插入安装单元301的成像镜头2时按压的按钮302。
[0161]抓握部分303是用户捕获图像时抓握的成像装置I的部分，并且提供有适于手指形状以提升装配性能的表面不规则。在抓握部分303内部提供电池外壳和卡外壳(未示出)。作为相机的电源的电池69B(见图18)安放在电池外壳中，并且用于记录捕获图像的图像数据的存储卡67 (见图18)可移除地安放在卡外壳中。顺便提及，用户检测用户是否抓握抓握部分303的抓握传感器可以提供在抓握部分303中。
[0162]模式设置盘305和控制值设置盘306由基本盘形的部件构成，其可以在与相机主体10的顶面基本平行的表面中旋转。模式设置盘305用于交替选择在成像装置I实施的模式或功能。要选择的模式包括自动曝光(AE)控制模式、自动对焦(AF)控制模式、各种成像模式(诸如捕获一个静态图像的静态图像模式和连续捕获图像的连续成像模式)和回放记录的图像的回放模式。另一方面，控制值设置盘306用于对于在成像装置I中实施的各种功能设置控制值。
[0163]设置按钮组312包括操作在成像装置I中实施的各种功能的按钮。设置按钮组312包含用于确定从在LCD311中显示的菜单屏幕中选择的内容的选择确定开关、选择取消开关、用于切换菜单屏幕的内容的菜单显示开关、显示开/关开关、以及显示放大开关。
[0164]十字键314具有环部件，其包括在圆周方向以规定间隔安排的多个按压部分(图16中的三角标记)，并且配置为能够通过包括在按压部分中的触点(开关)(未示出)，检测每个按压部分的按压操作。按压按钮315安排在十字键314的中心。十字键314和按压按钮315用于改变成像放大率、要在IXD311等中回放的预先记录图像、以及用于设置成像条件(F数、快门速度、闪光灯的闪光等)的输入指令。
[0165]EVF316包括液晶面板310(见图17)，并且显示由图像传感器101 (见图17)捕获的图像或者回放记录的图像。利用在实际成像(用于图像记录的图像)之前在基于由图像传感器101连续生成的图像信号以动态模式显示对象的EVF316或IXD311中的实时取景(预览)显示，用户可以视觉上识别由图像传感器101实际成像的对象。
[0166]主开关317是向左和右滑动的2触滑动开关，成像装置I在主开关317设为左时打开并且在主开关317设为右时关闭。闪光灯单元318配置为弹出内置闪光灯。另一方面，当外部闪光灯安装在相机主体10上时，连接端子单元319用于连接外部闪光灯。
[0167]眼罩321是具有抑制外部光进入EVF316的挡光特性的“C”形遮挡部件。曝光校正按钮323是手动调节曝光值(F数或快门速度)的按钮，并且AE锁定按钮324是固定曝光的按钮。[0168]成像镜头2用作捕获来自对象的光(光图像)的镜头窗，并且还用作将对象的光引导到相机主体10内部安排的图像传感器101中的成像光学系统。执行上面的镜头互换按钮302的按压操作，成像镜头2可以从相机主体10移除。
[0169](2-2.成像装置的内部配置)
[0170]将参照图17描述根据第二实施例的成像装置I的内部配置。图17是根据第二实施例的成像装置I的纵向视图。如图17所示，在相机主体10内部提供图像传感器101、作为显示单元的示例的EVF316等。
[0171]图像传感器101具有与第一实施例中的图像传感器4相同的功能，并且具有图5中示出的普通像素Iio和AF像素对120f。
[0172]快门单元40在光轴方向上安排在图像传感器101前面。快门单元40包括在上下方向上移动的帘，并且配置为机械焦平面快门，其通过其打开操作和关闭操作执行沿着光轴LT引导到图像传感器101的对象光的光路打开操作和光路阻挡操作。如果图像传感器101是能够完全电子快门的图像传感器，则可以省略快门单元40。
[0173]EVF316包括液晶面板310和目镜106。液晶面板310配置为例如能够显示图像的彩色液晶面板，并且能够显示由图像传感器101捕获的图像。目镜106将在液晶面板310中显示的对象图像引导到EVF316的外部。利用如上所述配置的EVF316，用户可以视觉地识别由图像传感器101成像的对象。
[0174](2-3.成像装置的电配置)
[0175]将参照图18描述根据第二实施例的成像装置I的电配置。图18是示出根据第二实施例的成像装置I的电配置的框图。相同的参考标号附加到与图15到17中那些组件相同的组件。
[0176]除了上述图像传感器101和快门单元40外，在相机主体10中提供AFE(模拟前端)5、图像处理单元61、图像存储器614、主控制单元62、闪光灯电路63、操作单元64、VRAM65 (65a、65b)、卡接口(I/F) 66、存储卡67、通信接口(I/F) 68、电源电路69和电池69B。
[0177]图像传感器101由CMOS彩色区域传感器形成，并且由稍后描述的定时控制电路51控制诸如图像传感器101的曝光操作的开始(以及结束)、包括在图像传感器101中的每个像素的输出选择和像素信号的读取的成像操作。
[0178]AFE5提供用于导致预定操作的定时脉冲到图像传感器101。AFE5还对从图像传感器101输出的图像信号(由CMOS区域传感器的每个像素接收的模拟信号组)执行预定信号处理，以将该信号转换为数字信号并且输出该数字信号到图像处理单元61。AFE5包括定时控制电路51、信号处理单元52和A/D转换单元53。
[0179]定时控制电路51基于从主控制单元62输出的参考时钟，生成预定定时脉冲(导致垂直扫描脉冲Φνη、水平扫描脉冲Φνπκ复位信号等的脉冲Φνι.)。定时控制电路51还输出生成的定时脉冲到图像传感器101，以控制图像传感器101的成像操作。定时控制电路51还输出预定定时脉冲到信号处理单元52和A/D转换单元53，以分别控制信号处理单元52和A/D转换单元53的操作。
[0180]信号处理单元52对从图像传感器101输出的模拟图像信号执行预定模拟信号处理。信号处理单元52包括⑶S(相关双采样)电路、AGC(自动增益控制)电路、箝位电路等。A/D转换单元53基于从定时控制电路51输出的定时脉冲，将从信号处理单元52输出的模拟R、G、B图像信号转换为由多个位(例如，12位)形成的数字图像信号。
[0181]图像处理单元61通过对从AFE5输出的图像数据执行预定信号处理，创建图像文件，并且包括黑电平校正电路611、白平衡控制电路612和伽马校正电路613。捕获到图像处理单元61中的图像数据与图像传感器101的读取同步暂时写入图像存储器614中，并且此后访问写入图像传感器614的图像数据以便由图像处理单元61的每个块处理。
[0182]黑电平校正电路611将由A/D转换单元53A/D转换的R、G、B的每个数字图像信号的黑电平校正为参考黑电平。
[0183]白平衡校正电路612基于根据光源的白色参考，转换R (红色)、G (绿色)、B (蓝色)的每个颜色分量的数字信号的电平(白平衡(WB)调节)。也就是说，白平衡控制电路612基于由主控制单元62提供的WB调节数据，从亮度、色度数据等识别成像对象中假定原始为白色的部分。然后，白平衡控制电路612确定识别的部分中R、G、B每个的颜色分量的平均值、G/R比率和G/B比率，以使用各比率作为R和B的校正增益进行电平校正。
[0184]伽马校正电路613校正WB调节的图像数据的灰度特性。更具体地，伽马校正电路613通过使用用于每个颜色分量的预设伽马校正表格，使得图像数据的电平经历非线性变换以及偏差调节。
[0185]图像存储器614是临时存储成像模式中从图像处理单元61输出的图像数据的存储器，并且还用作由主控制单元62对图像数据执行预定处理的工作区域。在回放模式中，图像存储器614临时存储从存储卡67读取的图像数据。
[0186]主控制单元62配置为包含像例如用于存储控制程序的ROM和用于临时存储数据的RAM的存储单元的微计算机，并且控制成像装置I的每个单元的操作。
[0187]闪光灯电路63将在闪光灯成像模式中闪光灯单元318或连接到连接端子单元319的外部闪光灯的光量控制为由主控制单元62设置的光量。
[0188]操作单元64包括上述模式设置盘305、控制值设置盘306、快门按钮307、设置按钮组312、十字键314、按压按钮315、主开关317，并且用于输入操作信息到主控制单元62。
[0189]VRAM65a、65b具有对应于IXD311和EVF316的像素数目的图像信号的存储容量，并且是主控制单元62与IXD311和EVF316之间的缓冲存储器。卡I/F66是实现存储卡67和主控制单元62之间信号的发送/接收的接口。存储卡67是用于存储由主控制单元62生成的图像数据的记录介质。通信I/F68是实现图像数据等到个人计算机和其他外部设备的传输的接口。
[0190]电源电路69例如由恒压电路配置，并且生成用于驱动诸如像主控制单元62、图像传感器101和其他各种驱动单元的控制单元的整个成像装置I的电压。顺便提及，由从主控制单元62提供到电源电路69的控制信号执行图像传感器101的通电控制。电池69B配置为诸如镍氢电池的二次电池或者诸如碱性电池的原电池，并且是给整个成像装置I供电的电源。
[0191]相机主体10还包括相位差AF操作电路77，其基于从黑电平校正电路611输出的黑电平校正图像数据，执行使用图像传感器101的自动对焦(AF)控制所需的操作。
[0192](2-4.对象跟踪操作)
[0193]此外，根据第二实施例的成像装置I具有与第一实施例中的对象跟踪功能类似的对象跟踪功能。也就是说，根据第二实施例的成像装置I获取到由图像传感器101成像的对象的距离信息，或者关于对象的像素值信息，并且基于获取的距离信息和像素值信息跟踪移动对象。
[0194]因此，即使例如多个对象具有相同的颜色、亮度等的像素值信息，也可以基于距离信息识别各个图像，并且可以跟踪希望的对象，因此可以以高精度跟踪移动图像。
[0195]〈3.第三实施例〉
[0196]当与第二实施例比较时，根据第三实施例的成像装置I具有类似的外部配置，但是内部配置不同。因此，下面将主要描述与第二实施例中的那些部分不同的部分。
[0197]图19是根据第三实施例的成像装置的纵向视图。图20是示出根据第三实施例的成像装置I的电配置的框图。
[0198]如图19所示，在相机主体10内部提供两个图像传感器100、101、反射镜单元1031等。两个图像传感器的图传感器100用于捕获静态图像(实际成像)，并且图像传感器101具有用于直通图像的成像和相位差检测的相位差像素。图像传感器101对应于具有相位差像素的第一图像传感器，并且图像传感器100对应于用于生成实时取景显示图像的第二图像传感器。
[0199]透射反射镜单元1031配置为透射/反射部件，其向提供在相机主体10的上部中的图像传感器101和光轴LT上的图像传感器100反射和透射对象光，并且安全地安装在相机主体10中。透射和反射的比率设为5:5，但是可以根据每个图像传感器的特性任意地改变。
[0200]已经通过成像镜头2的对象光由透射反射镜单元1031向上反射，并且此外已经通过成像镜头2的一部分对象光通过透射反射镜单元1031进入图像传感器100。此外，一部分对象光由透射反射镜单元1031反射，并且反射的对象光进入图像传感器101。
[0201]图像传感器100安排在与Y轴平行的平面(XY平面)上，并且接收已经通过透射反射镜单元1031的对象光。图像传感器101安排在与Y轴垂直的平面(XZ平面)上，并且接收对象光。图像传感器101具有与第二实施例中的图像传感器101的功能类似的功能，并且具有图5所示的普通像素110和AF像素对120f。另一方面，图像传感器100具有普通像素110，但不具有AF像素对120f。
[0202]如图20所示，快门单元40安排朝向图像传感器100的前面。快门单元40配置为机械焦平面快门，其执行对象光向图像传感器100的光路打开操作和光路阻挡操作。如果图像传感器100是能够完全电子快门的图像传感器，则可以省略快门单元40。
[0203]AFE5提供用于导致预定操作的定时脉冲到图像传感器100、101，并且还对从图像传感器100、101输出的图像信号(由CMOS区域传感器的每个像素接收的模拟信号组)执行预定信号处理，以便将该信号转换为数字信号并且输出该数字信号到图像处理单元61。通过包括定时控制电路51、信号处理单元52和A/D转换单元53配置AFE5。
[0204]定时控制电路51基于从主控制单元62输出的参考时钟，生成预定定时脉冲(导致垂直扫描脉冲Φνη、水平扫描脉冲Φνπκ复位信号Φνι.等的脉冲)，并且输出生成的定时脉冲到图像传感器100、101，以控制图像传感器100、101的成像操作。定时控制电路51还输出预定定时脉冲到信号处理单元52和A/D转换单元53，以分别控制信号处理单元52和A/D转换单元53的操作。
[0205]信号处理单元52对从图像传感器101输出的模拟图像信号执行预定模拟信号处理。信号处理单元52包括⑶S(相关双采样)电路、AGC(自动增益控制)电路、箝位电路等。A/D转换单元53基于从定时控制电路51输出的定时脉冲，将从信号处理单元52输出的模拟R、G、B图像信号和相位差像素信号转换为由多个位(例如，12位)形成的数字图像信号。
[0206]此外，第三实施例具有与第一和第二实施例中的对象跟踪功能类似的对象跟踪功能。因此，即使对象变形或者伴随复杂移动，也可以在以高精度全屏幕上跟踪对象的同时捕获对焦的图像。此外，即使对象位于接近成像装置1，也可以通过图像传感器的高速驱动，以闻速检测对焦。
[0207]此外，在第三实施例中，在通过EVF316的对象图像的实时取景显示期间图像传感器100成像对象。通过以此方式独立地提供捕获旨在用于实时取景显示的直通图像的图像传感器101和捕获静态图像的图像传感器100，在捕获静态图像时可以一起显示直通图像。
[0208]上面已经参照附图描述了本公开的优选实施例，尽管本公开当然不限于上面的示例。本领域的技术人员可以在所附权利要求的范围内可以发现各种替换和修改，并且应该理解它们将自然进入本公开的技术范围内。
[0209]图像处理装置在上面的实施例中假设为图像捕获装置，但是其不限于此。图像处理装置仅仅必须具有用于捕获被摄体的图像的功能，并且例如可以是移动电话、PDA(个人数字助理)、便携式AV播放器、电子书、电子词典等。
[0210]此外，尽管上述实施例的流程图中示出的各步骤当然可以根据上述顺序以时间顺序处理，但是它们可以不必以时间顺序处理，并且可以独立地或者以并行方式处理。不必说在以时间顺序处理各步骤的情况下，可以根据情况适当地改变各步骤的顺序。
[0211]通过在本公开中描述的图像处理装置的处理可以通过使用软件、硬件或软件和硬件的组合的任何来实施。构成软件的程序例如预先存储在每个装置内部或外部安装的存储介质中。此外，每个程序在运行时读取到例如RAM(随机存取存储器)，并且由诸如CPU的处理器运行。
[0212]此外，本技术还可以如下配置:
[0213](I) 一种图像处理装置，包括:
[0214]距离信息获取单元，其获取关于直到由图像传感器成像的对象的距离的距离信息；
[0215]像素值信息获取单元，其获取对应于所述对象的图像的像素值信息；以及
[0216]跟踪单元，其基于获取的距离信息和获取的像素值信息跟踪移动的对象。
[0217](2)如(I)所述的图像处理装置，
[0218]其中所述图像传感器包括相位差像素，用于检测所述对象的相位差并且调节对焦，并且
[0219]其中所述距离信息获取单元基于由所述相位差像素检测到的相位差，获取所述距离信息。
[0220](3)如(I)所述的图像处理装置，
[0221]其中所述图像传感器包括多个相位差像素，并且
[0222]其中所述距离信息获取单元通过根据所述对象的尺寸稀疏所述多个相位差像素的一部分，获取所述距离信息。[0223](4)如(I)到(3)的任一所述的图像处理装置，还包括:
[0224]对象识别单元，其基于获取的距离信息，识别要跟踪的对象，
[0225]其中所述跟踪单元跟踪由所述对象识别单元识别的对象。
[0226](5)如(I)到(4)的任一所述的图像处理装置，还包括:
[0227]显示单元，其对于对应于所述对象的图像执行实时取景显示，
[0228]其中当所述显示单元对于所述图像执行实时取景显示时，所述图像传感器成像所述对象。
[0229](6)如(5)所述的图像处理装置，
[0230]其中所述图像传感器是包括用于检测所述对象的相位差并且调节对焦的相位差像素的第一图像传感器，并且
[0231]其中所述图像处理装置还包括第二图像传感器，用于所述显示单元对其执行实时取景显示的图像的生成。
[0232](7)如(I)到(6)的任一所述的图像处理装置，
[0233]其中所述距离信息获取单元获取位于不同位置的对象的各条距离信息，并且
[0234]其中所述图像处理装置还包括预测单元，其基于获取的各条距离信息，预测在作为目的地的位置的对象的距离信息。
[0235](8)如(I)到(7)的任一所述的图像处理装置，其中当在作为目的地的位置的对象的像素值信息与在最后位置的对象的像素值信息相同时，所述跟踪单元跟踪所述对象。
[0236](9) 一种图像处理方法，包括:
[0237]获取关于直到由图像传感器成像的对象的距离的距离信息；
[0238]获取对应于所述对象的图像的像素值信息；以及
[0239]基于获取的距离信息和获取的像素值信息跟踪移动的对象。
[0240](10) 一种具有记录在其上的程序的记录介质，所述程序使得计算机执行:
[0241]获取关于直到由图像传感器成像的对象的距离的距离信息；
[0242]获取对应于所述对象的图像的像素值信息；以及
[0243]基于获取的距离信息和像素值信息跟踪移动的对象。
[0244]参考标号列表
[0245]I成像装置
[0246]4、100、101图像传感器
[0247]110普通像素
[0248]120f AF 像素对
[0249]210距离信息获取单元
[0250]220像素值信息获取单元
[0251]230对象识别单元
[0252]240预测单元
[0253]250跟踪单元
【权利要求】
1.一种图像处理装置，包括: 距离信息获取单元，其获取关于直到由图像传感器成像的对象的距离的距离信息； 像素值信息获取单元，其获取对应于所述对象的图像的像素值信息；以及 跟踪单元，其基于获取的距离信息和获取的像素值信息跟踪移动的对象。
2.如权利要求1所述的图像处理装置， 其中所述图像传感器包括相位差像素，用于检测所述对象的相位差并且调节对焦，以及 其中所述距离信息获取单元基于由所述相位差像素检测到的相位差，获取所述距离信肩、O
3.如权利要求2所述的图像处理装置， 其中所述图像传感器包括多个相位差像素，以及 其中所述距离信息获取单元通过根据所述对象的尺寸稀疏所述多个相位差像素的一部分，获取所述距离信息。
4.如权利要求1所述的图像处理装置，还包括: 对象识别单元，其基于获取的距离信息，识别要跟踪的对象， 其中所述跟踪单元跟踪由所述对象识别单元识别的对象。
5.如权利要求1所述的图像处理装置，还包括: 显示单元，其对于对应于所述对象的图像执行实时取景显示， 其中当所述显示单元对于所述图像执行实时取景显示时，所述图像传感器成像所述对象。
6.如权利要求5所述的图像处理装置， 其中所述图像传感器是包括用于检测所述对象的相位差并且调节对焦的相位差像素的第一图像传感器，并且 其中所述图像处理装置还包括第二图像传感器，用于所述显示单元对其执行实时取景显示的图像的生成。
7.如权利要求1所述的图像处理装置， 其中所述距离信息获取单元获取位于不同位置的对象的各条距离信息，并且其中所述图像处理装置还包括预测单元，其基于获取的各条距离信息，预测在作为目的地的位置的对象的距离信息。
8.如权利要求1所述的图像处理装置，其中当在作为目的地的位置的对象的像素值信息与在最后位置的对象的像素值信息相同时，所述跟踪单元跟踪所述对象。
9.一种图像处理方法，包括: 获取关于直到由图像传感器成像的对象的距离的距离信息； 获取对应于所述对象的图像的像素值信息；以及 基于获取的距离信息和获取的像素值信息跟踪移动的对象。
10.一种具有记录在其上的程序的记录介质，所述程序使得计算机执行: 获取关于直到由图像传感器成像的对象的距离的距离信息； 获取对应于所述对象的图像的像素值信息；以及 基于获取的距离信息和像素值信息跟踪移动的对象。
【文档编号】H04N5/225GK103988490SQ201280060388
【公开日】2014年8月13日 申请日期:2012年11月20日 优先权日:2011年12月13日
【发明者】增田笃 申请人:索尼公司