专利名称：图像摄取装置、图像摄取装置控制方法和程序的制作方法
技术领域：
本发明涉及ー种图像摄取装置、图像摄取装置控制方法和程序。更详细地说，本发明涉及ー种执行以区域(region)为单位的曝光控制的图像摄取装置、图像摄取装置控制方法和程序。
背景技术：
以下參考图I对以图像传感器为示例的ー个CMOS(互补金属氧化物半导体)图像传感器的配置和图像摄取过程的示例进行描述。图I是示出了图像传感器(CMOS图像传感器)101的部分配置的示图。图像传感器(CMOS图像传感器)101包括垂直扫描电路102、水平扫描电路103和设置成阵列的多个像素104。当执行曝光过程以摄取ー对象(subject)的图像时，电荷在每个像素104内部的光电ニ极管中积聚。积聚在每个像素的光电ニ极管中的电荷通过放大晶体管和转移晶体管 被输出到垂直信号线113。输出到垂直信号线113的信号电流还提供给水平扫描电路103，并且在经过指定的信号处理之后，通过信号输出线114被输出到外围。因为每个垂直信号线113通常连接到在垂直方向上对齐的像素，因此为了读出单个像素的信号，必须保证每次只能将ー个像素的信号输出到垂直信号线113。通过图像传感器(CMOS图像传感器)101，可以分别从单个像素读出信号，例如，首先从在底行上排列的各个像素104d读出信号，如图2A所示，然后从另一行像素104c读出信号，如图2B所示，然后按顺序更换读取行以读出信号。例如，用于这种像素读取的控制信号被从连接到图I中示出的垂直扫描电路102的水平复位线111和水平选择线112输出。在积聚电荷的读取过程完成之后，构成图像传感器(CMOS图像传感器)101的个别像素104立即再次开始曝光。也就是说，开始了下一图像帧的曝光过程。这样，当读出过程以行为单位按顺序执行并且随后立即开始曝光过程时，曝光开始时间和结束时间将不同，也就是说，第一行上的光电ニ极管104a与最后一行上的光电ニ极管104d在曝光时间(或曝光周期)上会有所不同。这是快门操作的特有现象，称为“焦面快门”或“滚动快门”。注意，虽然附图中只示出4行104a到104d，这是因为图中只能示出图像传感器的一部分，而实际的图像传感器将有很多行，诸如几百到几千行，信号同样需要以行为单位按顺序读出。现有的图像传感器一般会使用能确保每个像素的曝光时间都相同的配置，曝光时间是指从曝光开始到结束的时间。然而，近年来，已经提出了一种根据对象亮度控制图像传感器上个别像素的曝光时间的配置。通过执行这种曝光控制，可以增大摄取图像的动态范围。现在，将对ー种通过控制曝光时间(以下简称“快门控制”)来扩展动态范围的方法进行描述。如果在亮对象区域内増加曝光时间，那么像素内将充满积聚电荷，这阻碍了获得精确像素值。同时，如果在暗对象区域内増加曝光时间，就比较容易获得对应于对象亮度的精确像素值。
因此，在对象明亮的区域中，获取曝光时间减少的像素的像素值作为有效像素值。同时，在对象较暗的区域中，获取曝光时间增加的像素的像素值作为有效像素值。一种扩展动态范围的方法是通过合并曝光时间減少和曝光时间增加的区域来生成输出图像。注意，当输出最后的像素值时，基于相应的曝光时间来执行像素值调整过程。在日本特开2010-136205号专利公开说明书和Jenwei Gu等人的“CodedRolling Shutter Photography Flexible Space-Time Sampling” (ComputationalPhotography (ICCP)，2010)中，公开了ー种通过为图像传感器上每一行像素设置不同的曝光时间而扩展摄取图像的动态范围的技木。一个示例是针对图像传感器上的各行像素交替地设置短曝光行和长曝光行的配置。例如，2010-136205号公开说明书和Jenwei Gu等人的文章公开了ー种执行以行为单位的曝光时间控制从而设置以行为单位的曝光时间以符合屏幕上的像素亮度的方法。
2010-136205号公开说明书和Jenwei Gu等人的文章中的配置使用具有电子快门的配置来执行以图像区域为单位的曝光时间控制。
一种适应性地设置曝光时间以符合对象亮度的算法已有人描述，例如，“A NewAlgorithm for Exposure しontrol Based on Fuzzy Logic ForVideo Camerasr (ShujiShimizu 等人，IEEE Transactions on ConsumerElectronics, Vol. 38-3, (1992))。这样就说明，已公开了以区域(诸如行)为单位控制曝光时间以符合对象亮度的配置。然而，为了执行符合对象亮度的曝光控制，必须在图像摄取开始之前，确定以像素为单位的曝光时间。这里存在的ー个问题是，在下列两个过程之间会产生延迟。过程I :获取前一(在前，preceding)图像的过程，该前ー图像将用于确定以像素为单位的曝光时间的过程，以及过程2 :在过程I之后的图像摄取过程，执行反映过程I所产生的信息的曝光控制。上述延迟越长，越难以追踪亮度变化。结果就存在这样的问题有时候在亮度变化之后，将会获取太亮或者太暗的图像。具体地说，当针对诸如行単位或像素単位的区域执行曝光控制时，与过去在整个屏幕上执行曝光控制相比，有必要执行更加严格的曝光控制。当过去为整个屏幕确定单个曝光时间时，物体的局部移动仅会造成极其微小的亮度变化。然而，当在逐区域基础上执行曝光控制时，就必须要追踪物体的这种局部移动，且此追踪中的延迟会造成比以前更大的影响。现在，将參照图3和4对曝光控制中反映运动的延迟进行描述。在图3和4中，横轴表示时间，纵轴表示像素的行。例如，在图3中，图中以虚线151a、151b示出了以行为单位的电荷读取定时的变化。图3中示出的多个矩形块示出了单个摄取图像帧的曝光时间，并且表示行块单元的曝光时间，每个行块单元由一行或多行组成。在前一摄取图像帧的读取线151a表示的定时后立即开始曝光过程。如读取线151a所示，曝光开始时间以行为单位逐渐变化。如图3中的图表所示，上面的行较早便开始曝光，但是靠近底部的行要经过增加的延迟之后才开始曝光。对于在最顶部的行而言，时间(tl)为曝光开始时间，而对于最底部的行而言，时间(t2)为曝光开始时间。图3示出的多个矩形块的右端是对曝光图像执行读出过程的定时，并且在读取线151b示出的定时读取每行像素的积聚电荷。在这个示例中，因为曝光结束时间近似等于读出过程时间，如图3中的读取线151b所示，因此从第一行开始按顺序对各行像素执行读出过程。对于最顶部的行而言，时间(t2)为曝光结束时间，而对于最底部的行而言，时间(t3)为曝光结束时间。注意，在这个示例中，因为各个行的曝光开始和曝光结束都以行为单位作出等量的变化，所以每行的曝光时间都是相同的。在图4中，示出了在视频图像的图像摄取过程中对应于三个连续的图像摄取帧(编号为N到N+2)的曝光过程和读出定吋。在读出第N帧中的最后一行之后，开始读出第N+1帧中的第一行。第N帧的整个图像可以在最后一行的读出定时获取。然而，由于在此时已经开始曝光第N+1帧，第N+1帧的曝光控制不可能反映对第N帧获取的图像，并且这种控制对于之后的第N+2帧(即，延迟两帧)才可能实现。然而，因为从读出第N帧的最后一行到开始曝光第N+2帧的第一行的间隔较短，所以如果曝光时间的计算和控制数据的通信花费了ー些时间，那就不可能在第N+2帧的曝光 控制中反映第N帧，这造成更长的延迟。这样，如果根据对象亮度执行曝光控制，在下列两个过程之间就会产生延迟。过程I :获取前ー图像的过程，该前ー图像将用于确定以像素为单位的曝光时间的过程，以及过程2 :在过程I之后的图像摄取过程，执行反映过程I所产生的信息的曝光控制。由于这种延迟，存在的问题是不可能实现最优的曝光控制。
发明内容
本公开g在提供ー种能够实现具有很短延迟的曝光时间控制的图像摄取装置、图像摄取装置控制方法和程序。根据本公开的ー个实施例，提供了ー种图像摄取装置，包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取。控制单元基于形成前一摄取图像的一部分的像素区域単位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。在根据本公开的图像摄取装置的实施例中，控制单元基于以前一摄取图像的至少一行为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器，并且图像传感器从控制単元输入以区域为单位的曝光时间控制数据，并且基于以至少一行为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。在根据本公开的图像摄取装置的实施例中，控制单元通过仅參照一个块作为像素区域的计算生成曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，该像素区域是用于获取前一摄取图像的亮度信息的単位，并且图像传感器基于使用曝光时间控制数据的曝光时间控制来执行图像获取。在根据本公开的图像摄取装置的实施例中，控制单元生成第一曝光时间控制数据和第二曝光时间控制数据并且将第一曝光时间控制数据和第二曝光时间控制数据输出到图像传感器，第一曝光时间控制数据是通过仅參照一个块作为用于获取前一摄取图像的亮度信息的単位的像素区域计算得到的，第二曝光时间控制数据是通过參照多个块计算得到的，并且图像传感器基于选择性使用第一曝光时间控制数据和第二曝光时间控制数据中的ー个的曝光时间控制来执行图像获取。在根据本公开的图像摄取装置的实施例中，当选择性使用第一曝光时间控制数据和第二曝光时间控制数据来执行图像获取时，图像传感器可操作来执行积聚的像素电荷的复位过程以设置选择性使用的曝光时间。在根据本公开的图像摄取装置的实施例中，控制单元基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，其中像素区域形成作为前ー摄取图像的图像帧N的一部分，并且图像传感 器从控制単元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行图像帧N+1的以像素区域为单位的曝光时间控制，其中图像帧N+1是继图像帧N之后连续摄取的图像。在根据本公开的图像摄取装置的实施例中，图像摄取装置还包括高动态范围处理単元，该高动态范围处理单元基于长曝光像素和短曝光像素的像素信息生成高动态范围图像。根据本公开的ー个实施例，提供了一种由图像摄取装置执行的图像摄取装置控制方法，包括通过控制単元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及通过图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，其中像素区域的単位形成前一摄取图像的一部分，并且在输入步骤中，从控制単元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。根据本公开的ー个实施例，提供了一种使图像摄取装置执行图像摄取控制过程的程序，包括通过控制単元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及通过图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，其中像素区域的単位形成前一摄取图像的一部分，并且在输入步骤中，从控制単元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。注意，根据本公开的程序是ー个例如通过存储介质提供给能执行多种程序代码的信息处理装置或计算机系统的程序。通过此种信息处理装置或计算机系统中的程序执行单元来执行该程序，可实现根据该程序的处理。
结合下文中对实施例和附图的详细描述，将会使根据本发明的技术的其他目的、特征和优点易于理解。注意，本说明书中的“系统“ー词是指多个装置的逻辑组合，并不限于在单个机壳内设置不同的多个装置。根据本公开如上所述的实施例，以图像的像素区域为单位控制曝光时间的配置可实现延迟减少的曝光时间控制过程。更具体地说，包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。控制单元基于形成前一摄取图像的一部分的像素区域単位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。通过执行连续使用以区域为单位的曝光时间控制数据的过程，可实现延迟减少的曝光时间控制过程。
图I是用于说明图像传感器的配置和图像摄取过程的示图；图2A和2B是用于说明图像传感器的配置和图像摄取过程的示图；图3是用于说明图像摄取处通顺序的不图；图4是用于说明图像摄取处理顺序的示图；图5是用于说明图像摄取装置的配置和处理过程的示图；图6是用于说明图像传感器的配置和图像摄取处理过程的示图；图7是用于说明图像摄取处通顺序的不图；图8是用于说明控制単元的曝光时间计算过程的配置的示图；图9是用于说明控制単元的曝光时间计算过程的配置的示图；图10A-10C是用于说明通过分析亮度执行的曝光时间设置过程的示例的示图；图11是用于说明曝光时间控制単元的配置和处理过程的示图；图12是用于说明曝光时间锁存单元的配置和示例处理过程的示图；图13A-13E是示出了图12所示的曝光时间锁存单元的操作顺序的示例的定时图；图14是用于说明垂直扫描电路的示例配置的示图；图15是用于说明读取定时生成単元的处理过程的示图；图16是用于说明任意一行的读取定时、复位定时和曝光时间之间的关系的示图；图17A和17B是用于说明现有的曝光时间控制顺序的示图；图18A和18B是用于说明根据本发明的一个实施例的图像摄取装置的曝光时间控制顺序的不图；图19是示出了用作曝光控制的単位的块的示例设置的示图；图20是示出了用作曝光控制的単位的块的示例设置的示图；图21A-21C是用于说明曝光控制过程的示例的示图；图22A和22B是用于说明图像摄取装置的曝光时间控制顺序的问题的示图23是用于说明曝光时间锁存单元的配置和示例处理过程的示图；图24A和24B是用于说明根据本发明的一个实施例的图像摄取装置的曝光时间控制顺序的示例的示图；以及图25A和25B是用于说明根据本发明的一个实施例的图像摄取装置的曝光时间控制顺序的示例的示图。
具体实施例方式以下，将參照附图对本发明的优选实施例进行详细描述。注意，在本说明书和附图中，功能和结构大体上相同的结构元件以相同的參考标号表示，并且对这些结构元件不作重复的说明。现在，将參照附图对根据本公开的图像摄取装置、图像摄取装置控制方法以及程序进行详细描述。下面将按以下顺序作出说明。 I.图像摄取装置的配置和处理2.以区域为单位的曝光时间控制过程3.根据以区域为单位的曝光控制的图像传感器的示例性操作4.根据本公开的ー个实施例的曝光控制过程与现有的曝光控制过程的比较5.变形例6.基于參照多个块的过程的曝光控制的配置7.总结I.图像摄取装置的配置和处理首先，将參照图5对图像摄取装置的示例性配置进行描述。如图5所示，该图像摄取装置包括光学透镜201、由CMOS图像传感器等制成的图像传感器202、高动态范围(HDR)处理单元204、信号处理单元206以及控制単元208。图5中示出的图像摄取装置被配置为通过在逐区域(region-by-region)基础上改变曝光时间的同时摄取图像以执行高动态范围(HDR)图像摄取。该图像摄取装置是能够摄取视频和/或静态图像并且可根据对象亮度实现以区域为单位的曝光时间控制的图像摄取装置。例如，当摄取视频图像时，针对前ー图像帧以区域为单位获取亮度信息，并且基于测量得到的这些区域単元的亮度信息针对下ー摄取帧以区域为单位执行曝光时间控制。当摄取静态图像时，利用紧邻要摄取的当前图像之前的摄取的一图像获取区域単位的亮度信息，并且当摄取当前静态图像时，基于测量得到的这些区域単元的亮度信息执行以区域为单位的曝光时间控制。图像传感器202将通过光学透镜201的入射光进行光电变换以获得摄取图像203。在HDR处理单元204中，校正由于以像素区域为单位的曝光时间的差异造成的灵敏度差异，以获得HDR图像205。注意，曝光时间控制具体地为亮对象区域设置短曝光时间并且为暗对象区域设置长曝光时间。因此，摄取图像203中各个像素的像素值即为符合不同曝光时间的像素值。在HDR处理单元204中，通过參照各个像素的曝光时间，计算在所有的像素具有相同的曝光时间的情况下的像素值，并且生成设置有这些计算得到的像素值的HDR图像205。信号处理单元206执行改善图像质量的处理，从而获得输出图像207。
控制单元208对图像摄取装置的多个过程执行控制。例如，基于先前获取的图像的亮度信息以像素区域为单位计算最优曝光时间，并且将最优曝光时间输出到图像传感器202作为控制数据209。图像传感器202利用电子快门并根据以区域为单位的曝光时间控制，基于控制数据209执行图像摄取过程(电荷积聚)。注意，控制单元208根据例如存储在存储器(未示出)中的程序全面控制各个组成元件。图像传感器202例如由CMOS图像传感器制成的，并且是能够以指定的像素区域为单位进行曝光控制的图像传感器。图6中示出了ー个具体的示例性配置。图6是示出了图像传感器(CMOS图像传感器)202的部分配置的示图。如图6所示，图像传感器(CMOS图像传感器)202由以下元件构成曝光时间控制単元202a (从控制単元208输出的控制数据209被输入到曝光时间控制单元202a中)、垂直扫描电路202b、水平扫描电路202c和设置成阵列的多个像素202d。由于要执行曝光过程以摄取对象图像，电荷在每个像素202d的光电ニ极管中 积聚。积聚在每个像素的光电ニ极管中的电荷通过放大晶体管和转移晶体管输出到垂直信号线202g。输出到垂直信号线202g的信号电流还提供给水平扫描电路202c，并且在经过指定的信号处理之后，通过信号输出线202h输出到外国。例如，如图7所示，图像传感器202是ー种曝光时间可以行为单位任意控制的CMOS图像传感器。例如，在上文提及的Jenwei Gu等人的文章中描述了此类图像传感器202的配置。如上所述，HDR处理单元204校正由于以像素区域为单位的曝光时间的差异造成的灵敏度差异，以获得HDR图像205。更具体地说，通过将摄取图像203的各个像素值乘以各区域中的曝光时间的倒数，生成了具有线性亮度特征的图像，并且将该图像设置为HDR图像205。在图5示出的图像摄取装置中，控制单元208基于以像素区域为单位的亮度信息(这些像素区域形成前一摄取图像的一部分)按顺序依次生成以区域为单位的曝光时间控制数据(即，控制数据209)，并且将此曝光时间控制数据输出到图像传感器202。图像传感器202从控制単元208输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据以执行图像获取。2.以区域为单位的曝光时间控制过程接下来，将參照图8-10C对通过控制单元208执行的符合对象亮度的以区域为单位的曝光时间控制过程进行描述。图8是示出了由控制单元208执行的曝光时间控制过程的示例性配置的示图。亮度计算单元211输入由HDR处理单元204基于前ー摄取的图像生成的HDR图像205，并且从输入图像计算以像素区域为单位的亮度。例如，如图9所示，构成HDR图像205的2X2像素区域被设置为用于亮度计算的像素区域単元215。发现R、G和B(其中，R是R(红色)像素的像素值，G是G(緑色)像素的平均值(Gr+Gb)/2，B是B(蓝色)像素的像素值)的最大值(MAX)，并且此最大值被设置为用于亮度计算的像素区域単元215的亮度し块亮度统计值计算单元212计算每ー块的亮度统计值，如图IOB所示，其中每ー块又由图IOA中所示的多个行组成。在图IOB中，纵轴表示行，而横轴表示每一行块的亮度统计值。
块曝光时间计算单元213基于每ー块的亮度统计值，计算针对图IOC中每一行块将要设置的曝光时间(Texl到TexM)。通过在亮区域中设置短曝光时间，抑制了像素值的饱和。通过较暗区域中设置长曝光时间，执行了提高S/N比值的控制。此处理过程使摄取具有宽动态范围和良好的S/N比值的图像成为可能。根据本配置，当对每个区域执行曝光控制时，可以仅通过參照此区域的外围来确定曝光时间。也就是说，例如，为了计算第I块的曝光时间Texl，只需用到第I块的图像信息。可以仅使用以块为単位的信息来设置每个块的曝光时间，而不用执行參照ー帧的整个图像或者參照覆盖该帧的大部分的图像区域的过程。这意味着，控制单元208可以立即将来自曝光时间的计算已完成的块的控制数据209依次地输出到例如由CMOS图像传感器构成的图像传感器202。也就是说，如上所述，控制单元208基于以像素区域为单位(即以块为单位，例如以行为单位或以多个行为单位)的亮度信息(该像素区域形成前一摄取的图像的一部分)按顺序依次生成以块为単位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器202。图像传感器202从控制単元208输入以块为单位的曝光时间控制数据，并且基于 以块为単位的曝光时间控制(按顺序依次使用输入的曝光时间控制数据)执行图像获取。3.根据以区域为单位的曝光控制的图像传感器的示例性操作接下来，将对图像传感器202输入从控制单元208输出的控制数据209并且通过执行以区域为单位的曝光控制来执行图像摄取过程的示例性操作进行描述。图11是用于说明图像传感器202的曝光时间控制単元202a的示例性配置的示图。图像传感器202的曝光时间控制単元202a从控制単元208输入由以区域为单位的曝光时间设置信息组成的控制数据209，并且控制垂直扫描电路202b以图像区域为单位(以块为单位(例如，以行为単位))设置曝光时间。解码器221从控制単元208输入由以区域为单位的曝光时间设置信息组成的控制数据209，并且生成以块为単位的曝光时间数据222。行计数器226使用定时生成単元223生成的垂直同步信号224和水平同步信号225来生成表示当前处理目标的行号。曝光时间锁存单元227输入行计数器226生成的行号，生成每ー块(像素区域)的曝光时间锁存定时，并且在每ー块(像素区域)的不同定时将曝光时间数据222输出到垂直扫描电路202b。垂直扫描电路202b根据曝光时间锁存单元227输出的以块(像素区域)为单位的曝光时间数据执行以块(像素区域)为单位的电子快门控制。更具体地说，例如，垂直扫描电路202b生成以行为单位的行复位及行选择信号，并且执行电子快门控制以实现以行为单位的曝光时间控制。图12是示出了一个块的曝光时间锁存单元227的详细配置的示例的示图。对应于ー个块的曝光时间锁存单元227将ー块的曝光时间控制信号输出到垂直扫描电路202b。例如，如果块是一行，那么就以行为单位执行曝光时间控制过程。如图12所示，曝光时间锁存单元227将解码器221生成的以块为単位的曝光时间数据(输入)222in取入存储单元234中，并且输入行计数器226生成的当前行号231。曝光时间锁存单元227存储利用此特定曝光时间锁存单元227控制的行的锁存行号232，并在匹配检测单元233中确定从行计数器226输入的行号231是否与利用此曝光时间锁存单元227控制的行的锁存行号232相匹配。如果检测到了匹配，则曝光时间数据(输出)222out被从存储单元234输出到垂直扫描电路202b，并且与曝光时间数据222 —致地以块为单位执行曝光时间控制。注意，当通过逻辑电路实施吋，存储单元234可以使用例如具有使能端ロ的D触发器电路来实现。图13是用于说明图12中示出的曝光时间锁存单元227的操作顺序的定时图。横轴表示时间(t)，因此，下文所述的数据变化均体现在时间轴上。(a)输入曝光时间锁存单元227中的“曝光时间数据(输入)222in”(b)输入曝光时间锁存单元227中的“当前行号231”(c)存储在曝光时间锁存单元227中的“锁存行号232”(d)匹配检测单元233的“匹配检测信号输出” (e)存储单元234的输出(即，曝光时间数据(输出)222out)注意，为了简化说明，将每帧的行的数目设置为10。在图13中，在执行第N帧的第0-9行以及第N+1帧的第0-9行的曝光时间设置过程的时间段中，示出了用于处理第5行的单个曝光时间锁存单元227的处理顺序。在(d)匹配检测单元233的“匹配检测信号输出”检测到(b)输入曝光时间锁存单元227中的“当前行号231”与(c)由曝光时间锁存单元227存储的“锁存行号232”相匹配的定时，(a)输入曝光时间锁存单元227中的“曝光时间数据(输入)222in”被取入，并且被从存储単元234输出到垂直扫描电路202b并存储在存储单元234中直到下ー帧的相同定时。图14示出了垂直扫描电路202b的示例性配置。解码器251用于从外围提供的控制数据209中提取定时数据252。例如，用于定时目的所需的信息(诸如图像的输出行的编号)被提取作为定时数据252。读取定时生成单元253基于定时数据252将读取时间连续(接连)输出到每行的水平(行)选择线202f。更具体地说，例如，如图15所示，在读取定时生成単元253内生成对应于每行的读取定吋，并且读取定时被连续输出到每行的水平(行)选择线202f。复位定时生成単元254输入读取定时生成単元253生成的对应于各行的读取定时，基于从曝光时间锁存单元227输入的曝光时间数据(输出)222out计算以行为单位的复位时间作为曝光开始时间，以控制曝光开始时间从而设置输入的曝光时间数据中给出的曝光时间，生成以行为单位的复位信号，并且将复位信号输出到水平(行)复位线202e。图16示出了任意一行的读取定时、复位定时和曝光时间之间的关系。图16中示出的复位定时(Treset)是像素的电荷开始积聚的曝光开始时刻，而读取定时(Tread)是读出积聚信号时的曝光结束时刻。也就是说，建立了曝光时间(Texp) = (Tread)-(Treset)的关系。因为已经获得了曝光时间数据241和读取定时，所以复位定时生成単元254使用复位定时(Treset) = Tread-Texp的关系生成复位定时，并且将根据复位定时的复位信号逐行输出到水平(行)复位线202e。4.根据本发明的一个实施例的曝光控制过程与现有的曝光控制过程的比较接下来，将參照图17A-18B将根据本发明的一个实施例的曝光控制过程和现有的曝光控制过程进行比较。图17A和17B是用于说明根据现有的曝光控制的图像传感器(CMOS图像传感器)的示例性操作的示图。图18A和18B是用于说明根据本发明的一个实施例的图像摄取装置的图像传感器(CMOS图像传感器)的示例性操作的示图。首先，将參照图17A和17B对根据现有的曝光控制的图像传感器(CMOS图像传感器)的示例性操作进行描述。图17A和17B示出了连续摄取的编号为N到N+2的三个帧的图像摄取过程中执行的曝光控制顺序。在示出了曝光定时的图17A的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为ー个矩形区域。如上所述(參照图3和4)，从顶部的行起到底部的行，曝光时间设置有指定时间的延迟。图17B示出了使用第N帧的图像的曝光控制过程的时间轴上的曝光控制过程顺序。编号为301到305的过程按时间顺序执行。这些过程的内容如下测量获取301 :第N帧的图像被输出的定时。
曝光时间计算302 :基于测量获取301获取的图像计算曝光时间的定时。曝光时间传输303 :在曝光时间计算302中计算得到的曝光时间被输出到图像传感器(图像传感器)的定时。曝光时间锁存定时304 :通过曝光时间传输303输入的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始第一行的曝光。根据复位控制的曝光时间控制305 :基于锁存在曝光时间锁存定时304中的数据生成复位定吋，并且复位定时是执行曝光控制的周期。虽然过程301到305中的处理是基于第N帧的摄取图像执行的曝光时间控制，但是第N+1帧的图像摄取已经在根据复位控制的曝光时间控制305的开始时间开始了。因此，根据复位控制的曝光时间控制305并没有应用到第N+1帧的图像摄取过程。结果，对第N+2帧的图像执行根据具有此曝光控制的图像摄取的图像获取306。这样，在图17A-B示出的曝光时间控制中，根据使用曝光时间控制数据(该曝光时间控制数据是基于第N帧的摄取图像生成的)的曝光时间控制的图像摄取过程不能对紧邻其后摄取的帧(第N+1帧)执行，而只能对第N帧之后两个帧的第N+2帧执行。这样，用现有的方法就产生了至少两个帧的延迟。图18A和18B是用于说明根据本实施例的图像摄取装置中的图像传感(CMOS图像传感器)的示例性操作的示图。与图17A和17B —祥，图18A和18B示出了连续摄取的编号为N到N+2的三个帧的图像摄取过程中执行的曝光控制顺序。在示出了曝光定时的图18A的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为ー个矩形区域。图18B示出了使用第N帧的图像的曝光控制过程的时间轴上的以区域(块)为单位的曝光控制过程顺序。在根据本实施例的处理中，通过在图像的指定单位区域(在当前实施例中指的是“行”)中分别执行曝光时间控制的计算、传输和锁存，可減少延迟时间。在图18A和18B中，作为在后的图像摄取帧的第N+1帧的曝光控制是利用作为前一图像摄取帧的第N帧的图像实现的。此曝光控制以像素区域(块)为单位执行。在本实施例中，以行为单位执行曝光控制。在图18A和18B中，作为代表性示例，示出了以下处理示例基于第N帧的第I块(第I行)的图像信息对第N+1帧的第I块(第I行)执行曝光控制(曝光时间设置)，并且基于第N帧的第M块(第M行)的图像信息对第N+1帧的第M块(第M行)执行曝光控制(曝光时间设置)。与图17B—祥，在图18B中示出了使用第N帧的图像的曝光控制过程在时间轴上的曝光控制处理顺序。编号为311到316的过程按时间顺序执行。注意，对于第I块和第M块而言，二者的处理过程以相同的顺序进行。这些过程的内容如下测量获取311 :第N帧中的块的图像被输出的定时。曝光时间计算312 :基于测量获取311获取的图像(第N帧中的ー块，在本实施例中是以一行为单位的图像)计算块(行)的曝光时间的定时。曝光时间传输313 :在曝光时间计算312中计算得到的块的曝光时间被传输的定时。曝光时间锁存定时314 :通过曝光时间传输313传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始曝光此 块。曝光时间控制315 :基于曝光时间锁存定时314以块(行)为单位生成复位定吋，并且复位定时是执行曝光控制(开始曝光的控制)的定时。图像获取316:通过如上所述的曝光控制315执行的以块(行)为单位的曝光控制获得当前受到控制的块(行)的图像的时间。对于图18A示出的第I块、第M块以及所有其他的块(行)而言，根据如上所述的相同顺序执行处理。与图17A和17B不同，通过图18A和18B示出的根据本实施例的配置，可针对指定単位计算曝光时间控制数据，指定単位也就是像素区域(或者“块”，或者本实施例中的行)的単位，并且曝光控制可以像素区域为单位按顺序开始。根据此处理过程，实现了将基于前一摄取图像的曝光控制数据应用于下ー(在后)图像摄取帧以执行曝光控制的配置。在图18A和18B示出的曝光时间控制中，根据使用曝光时间控制数据(该曝光时间控制数据是基于第N帧的摄取图像生成的)的曝光时间控制的图像摄取过程可对紧邻其后的图像摄取帧(第N+1帧)执行，这意味着可以没有延迟地执行曝光控制。为了实现图18A和18B示出的控制，图像传感器202具有能够对每个图像区域(或块(例如，行))进行曝光控制并且还可以对每个指定単元执行按不同定时取出控制数据的控制的配置。5.变形例现在，将对如上所述的实施例的变形例进行描述。在如上所述的实施例中，描述了图像摄取装置的示例性配置(參照图5)。图5示出的配置仅仅是ー个示例，其他的配置也是可能的。例如，在图5示出的所有处理过程在图像传感器内部执行的情况下，有可能使用
另ー种配置。根据本实施例的图像摄取装置被配置为执行在每个区域中设置不同的曝光时间的曝光控制，例如，上文所述的以行为单位执行曝光控制的示例性配置(參照图7)。然而，作为曝光控制单位的区域(块)并不限于以行为单位或者以多个行为单位，还可以按不同的方式设置。例如，如图19所示，可以使用以矩形区域的块为单位执行曝光控制的配置。同时，如图20所示，还可以使用这样ー种配置除基于前ー摄取图像执行曝光控制之外，还设置了短曝光块和长曝光块以循环地执行多个灵敏度的控制，并基于得到的图像生成HDR图像。另外，也可以使用这样ー种装置除基于前ー摄取图像执行曝光控制之外，还对每个区域均执行短曝光图像摄取过程和长曝光图像摄取过程(如图21A-21C所示)，并基于得到的图像生成HDR图像。此外，在如上所述的实施例中，作为图像传感器的曝光控制配置的ー个示例，描述了曝光时间锁存单元227的示例性配置(參照图12)。在上述描述中，描述了曝光时间锁存単元227存储表示将要由此特定曝光时间锁存单元227控制的块的锁存行号232的示例。然而，锁存行号232无须固定，并且可以设置为按图像的亮度统计值进行改变。此改变过程可以动态改变受控块。6.基于參照多个块的过程的曝光控制的配置在如上所述的实施例中，使用了如上所述的基于以块(例如，行)为单位的前ー摄取图像的亮度信息设置曝光时间的配置(參照图18A-B)，并且执行了对于下一摄取图像中的相应块的曝光时间控制。 也就是说，描述了这样ー种配置，控制单元208基于前ー摄取图像的以单个块为単位的亮度信息连续将曝光时间控制数据以块为单位输出到图像传感器202，并且图像传感器202基于以块为单位的曝光时间控制按顺序接连(依次)使用以单个块为单位的曝光时间控制数据以执行图像获取。也就是说，在图18A-B示出的示例中，对于图像中设置的第I块到第M块，执行对应于这些块的曝光控制，以便根据基于第N帧的第I块的图像区域的曝光控制数据执行第N+1帧的第I块的图像区域的曝光控制，根据基于第N帧的第2块的图像区域的曝光控制数据执行第N+1帧的第2块的图像区域的曝光控制，...，并且根据基于第N帧的第M块的图像区域的曝光控制数据执行第N+1帧的第M块的图像区域的曝光控制。然而，如果以此方式通过仅參照局部信息执行曝光控制，那么在诸如明亮的物体进行大幅运动的情况下，相同的对象可能没出现在第N帧和第N+1帧的相同块区域中。在此种情况下，基于前ー摄取图像设置的曝光时间就不再合适了，并且还可能发生像素值饱和的问题。为了解决此问题，有时候有效的是不仅要參照局部信息而且还要參照较宽区域(例如，多个块)来设置曝光时间。也就是说，通过利用參照多个块来设置曝光时间的配置，可以准确地预测亮度变化。然而，当參照较宽区域时，存在的问题是图像获取很耗吋。首先将參照图22k和22B对上述问题进行描述，然后将參照图23A-25B对解决该问题的配置和处理顺序进行描述。首先，将參照图22A和22B对上述问题(即当參照较宽区域吋，图像获取很耗时的问题)进行描述。图22A是当计算图18A中第I块的曝光控制数据时參照多个块(即第I块到第3块)进行设置的情况下的定时图。图22B示出了连续摄取的编号为N和N+1的两个帧的图像摄取过程中执行的曝光控制顺序。在示出了曝光定时的图22A中的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为ー个矩形区域。图22B示出了使用第N帧的图像的曝光控制过程在时间轴上的以区域(块)为单位的曝光控制过程顺序。注意，编号I到M是摄取图像中像素区域(或块，在本示例中为“多行”)的标识符。
与參照图18A和18B描述的示例一祥，图22A和22B中示出的设置使曝光控制可以指定单位连续开始，指定単位也就是像素区域(或“块”，在本示例中为行)的単位。通过执行此处理，此配置通过将基于前ー摄取图像的曝光控制数据应用于在后的图像摄取帧来执行曝光控制。然而，对应于每个块的曝光时间控制数据的计算过程參照多个块。即，基于多个块的图像信息来确定ー个块的曝光时间。图22B示出的示例是通过參照前一图像摄取帧中的三个块来确定在后图像摄取帧中的ー个块的曝光时间的示例。与图18B—祥，在图22B中示出了作为ー个块(行)的第I块(第I行)的曝光控制过程的示例。图22B示出的过程311到316与之前描述的图18B中的过程311到316相同。然而，在图22B示出的示例中，參照前一图像摄取帧的三个块确定下ー图像摄取帧的一个块的曝光时间。相应过程的内容描述如下图像获取311 :第N帧的块的图像被输出的定时。在此定时，从图像传感器输出三个连续的块的图像，即第I像素区域(第I块)到第3像素区域(第3块)的图像，其中所 述三个连续的块是形成第N摄取图像的一部分的图像区域。曝光时间计算312 :基于图像获取311获取的图像(第N帧中的三个块，在本示例中为以行为单位的图像)计算经曝光控制的在后帧的ー个块(行)的曝光时间的定时。计算在后摄取图像的第I块的曝光时间。曝光时间传输313 :由曝光时间计算312计算得到的块的曝光时间被传输的定时。曝光时间锁存定时314 :通过曝光时间传输313过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。曝光时间控制315 :基于曝光时间锁存定时314以块(行)为单位生成复位定吋，并且复位定时是执行曝光控制(开始曝光的控制)的定时。图像获取316:通过如上所述的曝光控制315执行的以块(行)为单位的曝光控制获得当前受到控制的块(行)的图像的时间。在此示例中，图像获取311与第N帧的第3块的输出相重叠。结果，与图18B的设置相比，曝光时间计算312和曝光时间传输313都有延迟。結果，如果曝光时间锁存定时314和曝光时间控制315都设置成和图18B中的一祥，那么曝光时间锁存定时314和曝光时间控制315可能会设置在比曝光时间传输313早的时间。在实际中，无法执行此处理过程。即，通过图22A-B示出的顺序，基于第N帧中的图像的曝光控制无法在下ー帧第N+1帧上执行，基于第N帧中的多个块的图像计算得到的曝光时间无法在第N+1帧的图像摄取过程中使用，只能在处理过程进行到第N+2帧的图像摄取之后使用。现在，将參照图23对解决此问题的曝光时间锁存单元227的配置进行描述。图23示出的曝光时间锁存单元227是之前描述的图11示出的曝光时间控制単元202a的ー个曝光时间锁存单元227的配置。通过使用诸如图23中所示的曝光时间锁存单元227来替代图12所述的曝光时间锁存单元227，可以解决上文所述的问题(參照图22A和22B)。图23示出的曝光时间锁存单元227在多个不同定时接收对应于相应块的曝光控制时间数据，将曝光控制时间数据存储在存储单元245和246中，并且通过选择器249将曝光控制时间数据输出到垂直扫描电路202b。
更具体地说，(I)仅从前一摄取图像帧中的一个块的图像数据计算得到的第一曝光控制时间数据被从图23示出的第一存储单元245输出。(2)从前ー摄取图像帧中的多个块的图像数据计算得到的第二曝光控制时间数据被从图23示出的第二存储单元246输出。生成并且选择性使用此曝光时间控制数据。数据(I)与之前给出的实施例中描述的数据相同。例如，当对象亮度没有变化吋，就执行仅使用第一存储单元245的处理过程，即，之前參照图12描述的相同处理过程。同时，在下一曝光过程中对象亮度将发生变化并且将发生饱和的预期情况下，发送从多个块的图像数据计算得到的第二曝光控制时间数据(曝光时间数据222)，第二存储单元246在第二锁存行号242的定时锁存此数据，并且根据基于多个块计算得到的曝光时间执行曝光控制。例如，如果将要利用此指定曝光时间锁存单元227进行处理的块是第一行，那么设置图23示出的第X块的第一锁存行号241以使行号是I。此外，如果第二存储单元246中存储的曝光时间数据是基于以多个块(例如，三个块(三行))为单位的图像计算得到的曝光时间数据，那么设置图23示出的第X块的第二锁存行号242以使行号是3。 注意，由于当第一存储单元245和第二存储单元246中的曝光时间数据不同吋，垂直扫描电路102可能需要再次执行复位控制，因此匹配检测单元247检测匹配并且输出表示匹配的信息。图24A和25A是与图22A相似的定时图，并且是使用具有图23示出配置的曝光时间锁存单元227的处理过程的定时图。与图22B —祥，图24B和25B示出了连续摄取的编号为N和N+1的两个帧的图像摄取过程中的曝光控制顺序。在示出了曝光定时的图24A和25A中的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为ー个矩形区域。图24B和25B示出了使用第N帧的图像的曝光控制过程在时间轴上的以区域(块)为单位的曝光控制处理顺序。注意，编号I到M是摄取图像中像素区域(或“块”，在本示例中为“多行”)的标识符。与參照图18A和18B描述的示例一祥，图24A-25B示出的设置使曝光控制可以指定单位连续开始，指定単位也就是像素区域(或“块”，在本示例中为行)的単位。通过执行此处理过程，此配置通过将基于前ー摄取图像的曝光控制数据应用于下ー图像摄取帧来执行曝光控制。现在，将对图24B和25B示出的处理顺序进行简要描述。首先，仅參照一个块确定曝光时间，此曝光时间作为第一数据被从第一存储单元245通过选择器249输出到垂直扫描电路202b。此后，參照较大的块确定曝光时间，在图24B和25B的示例中为三个块，并且如果例如可能出现了饱和，此曝光时间作为第二数据被从第二存储单元246通过选择器249输出到垂直扫描电路202b。图24B是表示曝光控制过程的示例的定时图，该曝光控制过程在下ー帧图像摄取的过程中舍弃了通过仅參照一个块确定的曝光时间并且改为使用通过參照三个块确定的曝光时间。图25B是表示曝光控制过程的示例的定时图，该曝光控制过程被设置为使用通过仅參照一个块确定的曝光时间而不使用通过參照三个块确定的曝光时间。现在，将对图24B示出的处理过程进行描述。图24B是表示曝光控制过程的示例的定时图，该曝光控制过程在下一帧的图像摄取的过程中舍弃了通过仅參照ー个块确定的曝光时间、并且改为使用通过參照三个块确定的曝光时间。在图24B示出的使用第N帧的图像的曝光控制中，示出了一个处理示例，该处理示例在下一帧图像摄取的过程中舍弃了通过仅參照作为“第一曝光控制”执行的第N帧的ー个块(即，行I)确定的曝光时间，并且使用通过參照作为“第二曝光控制”执行的三个块(即，行I至3)得到的曝光时间计算結果。现在，将对作为“第一曝光控制”执行的过程311到325进行描述。图像获取311 :第N帧的第I块(S卩，第I行)的图像被输出的定时。在此定时，从图像传感器输出第I块(第I行)的图像，其中第I块是形成第N摄取图像的一部分的像素区域。曝光时间计算312 :基于图像获取311获取的图像(第N帧中的ー个块，在本示例中为第I行)计算经曝光控制的下ー帧的ー个块(行)的曝光时间的定时。这里，计算下一摄取图像的第I块的曝光时间。 曝光时间传输313 :由曝光时间计算312计算得到的块的曝光时间被传输的定时。曝光时间锁存定时314 :通过曝光时间传输313过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。第一曝光时间控制325 :基于曝光时间锁存定时314以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。到目前为止，该处理对应干“第一曝光控制”。与此处理并行，执行图24B底部示出的“第二曝光控制”。在此过程中，通过參照多个块(在本示例中为第I块到第3块(第I行到第3行))确定的曝光时间被用作下ー帧第N+1帧的第I块(第I行)的曝光控制时间。图像获取321 :第N帧的块的图像被输出的定时。在此定时，从图像传感器输出三个连续块的图像，即第I像素区域(第I块)到第3像素区域(第3块)的图像，其中所述三个连续的块是形成第N摄取图像的一部分的图像区域。曝光时间计算322 :基于图像获取311获取的图像(第N帧中的三个块，在本示例中为以行为单位的图像)计算经曝光控制的下ー帧的ー个块(行)的曝光时间的定时。这里，计算下一摄取图像的第I块的曝光时间。曝光时间传输323 :由曝光时间计算322计算得到的块的曝光时间被传输的定时。曝光时间锁存定时324 :通过曝光时间传输323过程传输的ー个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。第二曝光时间控制327 :基于曝光时间锁存定时324以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。图像获取328:通过如上所述的曝光控制327执行的以块(行)为单位的曝光控制获得当前受到控制的块(行)的图像的时间。此过程被执行为基于第二曝光控制的下一图像摄取帧的曝光控制，即基于參照多个块确定的曝光时间的控制。接下来，将參照图25B对曝光控制过程的示例进行描述，该曝光控制过程被设置为使用通过仅參照一个块确定的曝光时间而不使用通过參照三个块确定的曝光时间。
在图25B中，作为使用第N帧的图像的曝光控制，示出了ー种示例，该示例在下一曝光时间控制中使用作为“第一曝光控制”执行的通过仅參照第N帧的ー个块(第I行)确定的曝光时间，并且停止作为“第二曝光控制”执行的、參照三个块(第I行到第3行)的曝光时间计算过程。现在，将对作为“第一曝光控制”执行的过程311到328进行描述。图像获取311 :第N帧的第I块(S卩，第I行)的图像被输出的定时。在此定时，从图像传感器输出第I块(第I行)的图像，其中第I块是形成第N摄取图像的一部分的像素区域。曝光时间计算312 :基于图像获取311获取的图像(第N帧中的ー个块，在本示例中为第I行)计算经曝光控制的下ー帧的ー个块(行)的曝光时间的定时。这里，计算下一摄取图像的第I块的曝光时间。曝光时间传输313 :由曝光时间计算312计算得到的块的曝光时间被传输的定时。 曝光时间锁存定时314 :通过曝光时间传输313过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。第一曝光时间控制325 :基于曝光时间锁存定时314以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。图像获取328 :使用第二曝光控制确定的曝光时间摄取的第N+1帧的第I块(第I行)的图像获取过程。到目前为止，该过程对应干“第一曝光控制”。与此处理过程并行，执行图25B底部示出的“第二曝光控制”。在此过程中，通过參照多个块(在本示例中为第I块到第3块(第I行到第3行))确定的曝光时间被用作下ー帧第N+1帧的第I块(第I行)的曝光控制时间。图像获取321 :第N帧的块的图像被输出的定时。在此定时，从图像传感器输出三个连续的块的图像，即第I像素区域(第I块)到第3像素区域(第3块)的图像，其中所述三个连续的块是形成第N摄取图像的一部分的像素区域。曝光时间计算322 :基于图像获取311过程获取的图像(第N帧的三个块，在本示例中为以行为单位的图像)计算经曝光控制的下ー帧的ー个块(行)的曝光时间的定时。这里，计算下一摄取图像的第I块的曝光时间。此时，因为将基于第一曝光控制开始第N+1帧的图像摄取，所以取消第二曝光控制的处理过程。在參照图24B和25B描述的处理过程中，曝光控制信号输出定时被设置为两个不同的定时。一个是输出通过參照一个块计算得到的曝光控制数据的定时，另ー个是输出通过參照多个块计算得到的曝光控制数据的定吋。对应于通过參照多个块生成的曝光时间的第二控制信号的输出定时比对应于通过參照单个块生成的曝光时间的第一控制信号输出定时晩。例如，如果对象亮度没有变化，像之前參照图12所述ー样，执行使用通过參照单个块计算得到的曝光控制数据的输出的过程，即，仅使用图23示出的第一存储单元245的过程。同时，如果在下一曝光过程中对象亮度发生变化并且预计可能会发生饱和，在第二锁存行号242的定时锁存基于多个块计算得到的曝光控制数据(即来自图23中示出的第二存储单元246的数据)，并且根据基于多个块计算得到的曝光时间执行曝光控制。
通过执行此控制，即使因对象移动等造成了连续摄取图像帧中的相同像素区域的亮度变化，也可以基于多个块的信息计算亮度并且设置曝光时间，从而实现适当的曝光控制。7.总结以上已參照指定实施例对本发明的配置进行了详细描述。本领域技术人员应当理解，只要是在权利要求或者其等效内容的范围内，可根据设计要求和其他因素进行各种变形、组合、子组合和变动。另外，本说明书中公开的技术可以按如下配置(I) ー种图像摄取装置，包括控制单元，该控制単元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及
图像传感器，该图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取，其中所述控制単元按顺序依次生成基于形成在先摄取图像的一部分的像素区域単位的亮度信息的、以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。(2)根据⑴所述的图像摄取装置，其中所述控制单元按顺序依次生成基于以在先摄取图像的至少一行为单位的亮度信息的、以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以至少一行为单位的曝光时间控制的图像获取。(3)根据⑴或⑵所述的图像摄取装置，其中所述控制単元生成通过仅參照作为像素区域的一个块计算出的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，所述像素区域是用于获取在先摄取图像的亮度信息的単位，以及所述图像传感器执行基于使用了所述曝光时间控制数据的曝光时间控制的图像获取。(4)根据⑴至(3)中的任一项所述的图像摄取装置，其中所述控制単元生成第一曝光时间控制数据和第二曝光时间控制数据并且将所述第一曝光时间控制数据和所述第二曝光时间控制数据输出到所述图像传感器，所述第一曝光时间控制数据是通过仅參照作为像素区域的一个块计算得到的，所述第二曝光时间控制数据是通过參照多个块计算得到的，所述像素区域是用于获取在先摄取图像的亮度信息的単位，并且所述图像传感器执行基于选择性使用了所述第一曝光时间控制数据和所述第二曝光时间控制数据中的一者的曝光时间控制的图像获取。(5)根据⑷所述的图像摄取装置，其中当执行基于选择性使用所述第一曝光时间控制数据和所述第二曝光时间控制数据的图像获取时，所述图像传感器可操作来执行积聚的像素电荷的复位处理过程以设置选择性使用的曝光时间。(6)根据⑴至(5)中的任一项所述的图像摄取装置，其中所述控制単元按顺序依次生成基于以像素区域为单位的亮度信息的、以区域为单位的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，其中所述像素区域形成作为在先摄取图像的图像帧N的一部分，并且所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来对图像帧N+1执行以像素区域为单位的曝光时 间控制，其中所述图像帧N+1是继图像帧N之后连续摄取的图像。(7)根据(I)至(6)中的任一项所述的图像摄取装置，还包括高动态范围处理単元，该高动态范围处理单元生成基于长曝光像素和短曝光像素的各像素信息的高动态范围图像。此外，本发明的配置中还包括一种用于上述装置等的处理方法以及执行该处理过程的程序。此外，本说明书中描述的一系列过程可以通过硬件、软件或两者相结合的方式来执行。在执行基于软件的处理过程时，存储处理序列的程序可以安装在嵌入在专用硬件内的计算机中的存储器中并且执行，或者该程序可以安装在能执行多种程序的通用计算机中并且执行。例如，该程序可以预先存储在记录介质中。除从记录介质将程序安装在计算机中之外，该程序可以通过诸如LAN(局域网)或国际互联网络的网络接收并且安装在诸如嵌入式硬盘等的记录介质中。另外，本说明书中描述的多个过程不仅可以根据描述按时间顺序执行，而且还可以根据执行过程的装置的处理能力并行或单独执行或者视情况而定。此外，本说明书中的系统是多个装置的逻辑组合，而且相应配置的装置不必设置在一个机壳中。如上所述，根据本发明的实施例，通过控制图像每个像素区域的控制曝光时间的配置可实现延迟减少的曝光时间控制过程。更具体地说，在上述配置中，包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。控制单元基于形成前一摄取图像的一部分的像素区域単位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。通过执行连续使用以区域为单位的曝光时间控制信息的过程，可实现延迟减少的曝光时间控制过程。本发明包含与2011年6月13日提交日本专利局的日本优先权专利申请JP
2011-131116相关的内容，其全部内容通过引用结合在本文中。
权利要求
1.一种图像摄取装置，包括 控制单元，该控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及 图像传感器，该图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取， 其中所述控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且 所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
2.根据权利要求I所述的图像摄取装置， 其中所述控制单元基于以所述前一摄取图像的至少一行为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且 所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以至少一行为单位的曝光时间控制的图像获取。
3.根据权利要求I所述的图像摄取装置， 其中所述控制单元生成通过仅参照作为像素区域的一个块计算出的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，所述像素区域是用于获取所述前一摄取图像的亮度信息的单位，并且 所述图像传感器执行基于使用了所述曝光时间控制数据的曝光时间控制的图像获取。
4.根据权利要求I所述的图像摄取装置， 其中所述控制单元生成第一曝光时间控制数据和第二曝光时间控制数据并且将所述第一曝光时间控制数据和所述第二曝光时间控制数据输出到所述图像传感器，所述第一曝光时间控制数据是通过仅参照作为像素区域的一个块计算得到的，所述第二曝光时间控制数据是通过参照多个块计算得到的，所述像素区域是用于获取所述前一摄取图像的亮度信息的单位，并且 所述图像传感器执行基于选择性使用了所述第一曝光时间控制数据和所述第二曝光时间控制数据中的一者的曝光时间控制的图像获取。
5.根据权利要求4所述的图像摄取装置， 其中当执行基于选择性使用所述第一曝光时间控制数据和所述第二曝光时间控制数据的图像获取时，所述图像传感器可操作来执行积聚的像素电荷的复位处理过程以设置选择性使用的曝光时间。
6.根据权利要求I所述的图像摄取装置， 其中所述控制单元基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，其中所述像素区域形成作为前一摄取图像的图像帧N的一部分，并且所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来对图像帧N+1执行以像素区域为单位的曝光时间控制，其中所述图像帧N+1是继图像帧N之后连续摄取的图像。
7.根据权利要求I所述的图像摄取装置，还包括 高动态范围处理单元，该高动态范围处理单元生成基于长曝光像素和短曝光像素的各像素信息的高动态范围图像。
8.—种由图像摄取装置执行的图像摄取装置控制方法，包括 通过控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及 通过图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取， 其中，在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到所述图像传感器，其中所述像素区域的单位形成前一摄取图像的一部分，并且 在输入步骤中，从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
9.一种使图像摄取装置执行图像摄取控制过程的程序，包括 通过控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及 通过图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取， 其中，在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到所述图像传感器，其中所述像素区域的单位形成前一摄取图像的一部分，并且 在输入步骤中，从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
全文摘要
本发明公开了图像摄取装置、图像摄取装置控制方法和程序。该图像摄取装置包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取。控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
文档编号H04N5/351GK102833488SQ20121018876
公开日2012年12月19日 申请日期2012年6月6日 优先权日2011年6月13日
发明者海津俊, 光永知生, 城坚诚, 栗田哲平 申请人:索尼公司