成像装置、成像系统以及成像装置的驱动方法与流程

本发明涉及成像装置、成像系统以及成像装置的驱动方法。

背景技术：

近年来，在成像装置中，已提出了抑制由于诸如荧光灯、发光二极管(led)等的光源而引起的闪光的技术。专利文献1公开了根据光源的闪烁周期抑制闪光的成像装置。

[引用列表]

[专利文献]

专利文献1：日本专利申请特开no.2003-18458

技术实现要素：

在高动态范围捕获等中，有必要读出通过不同长度的曝光时段捕获的两种类型的图像。但是，专利文献1中公开的成像装置仅仅抑制以相同长度的曝光时段获得的图像中的闪光，而不能抑制以不同长度的曝光时段获得的多个图像中的闪光。

鉴于上述问题而做出本发明，并且本发明旨在抑制以不同长度的曝光时段获得的多个图像中的闪光。

本发明的一个实施例中的成像装置包括：多个像素，每个像素具有光电转换单元，该光电转换单元累积根据来自被摄体的入射光的电荷；驱动单元，该驱动单元驱动像素，以使得光电转换单元执行具有第一曝光时段的第一曝光和具有比第一曝光时段长的第二曝光时段的第二曝光中的每个中的电荷的累积；检测单元，该检测单元执行被摄体的闪烁的检测；以及控制单元，当检测的结果指示被摄体没有闪烁时，控制单元以第一周期执行第一曝光并且以第二周期执行第二曝光，并且当检测的结果指示被摄体闪烁时，控制单元以与第一周期不同的周期执行第一曝光。

本发明的另一个实施例中的成像装置的驱动方法是包括多个像素的成像装置的驱动方法，每个像素具有累积根据来自被摄体的入射光的电荷的光电转换单元，并且该驱动方法包括：驱动像素，以使得光电转换单元交替地执行第一曝光时段中的电荷的累积以及具有与第一曝光时段不同的长度的第二曝光时段中的电荷的累积；以及根据基于第一曝光时段中累积的电荷的第一像素信号与基于第二曝光时段中累积的电荷的第二像素信号之间的比较来改变第一曝光时段或者第二曝光时段的开始定时。

根据本发明，可以抑制以不同长度的曝光时段获得的多个图像中的闪光。

附图说明

图1是第一实施例中的成像装置的框图。

图2是第一实施例中的成像设备的框图。

图3是示出第一实施例中的图像的等效电路的图。

图4是示出第一实施例中的具有高动态范围的图像合成的图。

图5是示出捕获高动态范围图像时的问题的图。

图6是示出第一实施例中的成像装置的驱动方法的时序图。

图7a是示出第一实施例中的闪烁检测方法的图。

图7b是示出第一实施例中的闪烁检测方法的图。

图7c是示出第一实施例中的闪烁检测方法的图。

图8是第一实施例中的闪烁检测方法的流程图。

图9是第一实施例中的相位改变处理的流程图。

图10a是第一实施例中的光源闪烁时的时序图。

图10b是第一实施例中的相位改变之后的时序图。

图11是示出第二实施例中的像素的等效电路的图。

图12是示出第二实施例中的固态成像设备的驱动方法的时序图。

图13是示出第三实施例中的成像装置的驱动方法的时序图。

图14是示出第三实施例中的成像装置的驱动方法的时序图。

图15是示出第四实施例中的成像装置的操作的图。

图16是第五实施例中的成像系统的框图。

图17a是与第六实施例中的成像系统中的车载相机有关的成像系统的框图。

图17b是与第六实施例中的成像系统中的车载相机有关的成像系统的框图。

具体实施方式

下面将描述本发明的实施例。在第一实施例至第四实施例中的成像装置中，多个像素中的每个像素具有光电转换单元，该光电转换单元累积根据来自被摄体的入射光的电荷。驱动单元驱动像素，以使得光电转换单元交替地执行第一曝光时段中的电荷的累积以及具有与第一曝光时段不同的长度的第二曝光时段中的电荷的累积。检测单元根据基于在第一曝光时段中累积的电荷的第一像素信号和基于在第二曝光时段中累积的电荷的第二像素信号来检测被摄体的闪烁。当检测结果指示被摄体没有闪烁时，控制单元以第一周期执行第一曝光并且以第二周期执行第二曝光。此外，当检测结果指示被摄体闪烁时，控制单元以与第一周期不同的周期执行第一曝光。此外，当检测单元检测到被摄体的闪烁时，控制单元可以改变第一曝光时段或者第二曝光时段的开始定时。

根据本实施例，通过改变第一曝光时段或者第二曝光时段的开始定时，可以避免第一曝光时段或第二曝光时段中的每个中的入射光的不均匀。因此，可以避免基于第一曝光时段的第一像素信号或基于第二曝光时段的第二像素信号中的闪光。

下面将参考附图描述本发明的实施例。本发明不限于下面描述的实施例。例如，下面任何实施例的一部分的配置可以被添加到另一实施例，或者被另一实施例的一部分的配置替换。

[第一实施例]

图1是本实施例中的成像装置的框图。成像装置具有成像设备1、检测单元20、控制单元21和信号处理单元22。成像设备1例如是诸如互补金属氧化物半导体(cmos)图像传感器的固态成像设备。来自光学系统(未示出)的被摄体图像在成像设备1上被捕获，并且根据被摄体图像的图像信号被输出。

检测单元20具有图像分析单元201和闪烁检测单元202。图像分析单元201在以不同的曝光时段获得的两个图像信号中检测被摄体。例如，图像分析单元201将长时间图像信号与短时间图像信号进行比较，并且检测位于相同位置(坐标)处的被摄体。闪烁检测单元202检测由图像分析单元201检测到的被摄体的闪光。

控制单元21具有曝光控制单元211和同步信号生成电路212。曝光控制单元211根据来自闪烁检测单元202的检测结果来确定曝光时段的长度和曝光的开始定时。同步信号生成电路212具有时钟电路和门电路，并生成垂直同步信号和水平同步信号。

信号处理单元22由诸如数字信号处理器(dsp)的数字电路形成，并且具有图像合成电路(图像合成单元)221、图像处理电路222和帧存储器223。图像合成电路221合成由于不同长度的曝光时段而产生的两个图像，并且生成高动态范围(hdr)图像。图像处理电路222对从成像设备1输出的图像信号执行诸如颜色载体去除、噪声去除、孔径校正、伽马校正、颜色插值、数据压缩等的处理，并且输出处理后的图像信号作为移动图像位流。帧存储器223可以保持多个帧的图像，并且可以保持由于不同长度的曝光时段而产生的两个图像。此外，信号处理单元22对在帧存储器223中保持的图像执行各种处理。注意的是，信号处理单元22不是必须要求被包括在成像装置中，并且可以设置在与成像装置分离的装置中。

图2是本实施例中的成像设备的框图。成像设备1具有像素单元100、垂直扫描电路(驱动单元)101、列放大器电路102、水平扫描电路103、输出电路104和控制电路105。像素单元100具有以xy矩阵布置的多个像素10。注意的是，在本说明书中，行方向是指附图中的水平方向，并且列方向是指附图中的垂直方向。微透镜和滤色器可以布置在像素10上。滤色器例如是红色、蓝色和绿色的原色滤色器，并且根据拜耳(bayer)布置设置在各个像素10上。像素10中的一些像素被遮蔽光作为光学黑色(ob)像素。在多个像素10中，可以设置测距行和多个成像行，在这些测距行上布置输出用于焦点检测的像素信号的焦点检测像素，并且在这些多个成像行上布置输出用于生成图像的像素信号的成像像素。

垂直扫描电路101由移位寄存器、门电路、缓冲电路等形成，基于垂直同步信号、水平同步信号、时钟信号等向像素10输出控制信号，并且逐行地驱动像素10。针对像素10的每列设置列信号线110，并且同一列上的像素10将像素信号输出到共用的列信号线110。列放大器电路102放大输出到列信号线110的像素信号并且执行基于像素10的复位时的信号和光电转换时的信号的相关双采样处理。水平扫描电路103将用于控制开关被接通或关断的控制信号供应到与列放大器电路102的放大器连接的这些开关。输出电路104由缓冲放大器、差分放大器等形成，并且将来自列放大器电路102的像素信号输出到成像装置外部的信号处理单元。注意的是，ad转换单元可以被提供给成像设备以输出数字图像信号。控制电路105基于时钟信号、同步信号等生成各种控制信号和驱动信号，并且控制垂直扫描电路101、列放大器电路102和水平扫描电路103。

图3示出了本实施例中的像素10的等效电路。虽然图3示出了在行方向和列方向上二维地布置的多个像素10中的两行×两列的四个像素10，但是成像装置具有更多的像素。每个像素10具有光电转换单元pd、浮置扩散部fd、传输晶体管m1、放大器晶体管m3、选择晶体管m4和复位晶体管m5。

光电转换单元pd对入射光进行光电转换并累积由光电转换导致的电荷。当接通时，传输晶体管m1将光电转换单元pd的电荷传输到浮置扩散部fd。电源电压vdd被施加到放大器晶体管m3的漏极，并且源极经由选择晶体管m4连接到列信号线110。放大器晶体管m3形成源极跟随器，并经由选择晶体管m4将基于浮置扩散部fd的电压的信号输出到列信号线110。恒定电流源16连接到列信号线110。电源电压vdd被施加到复位晶体管m5的漏极，并且当接通时，复位晶体管m5复位浮置扩散部fd的电压。

共用的控制信号从垂直扫描电路101被供应到同一行上的像素10。即，控制信号tx(m)、sel(m)和res(m)被分别供应到第m行上的像素10的传输晶体管m1、选择晶体管m4和复位晶体管m5。这些晶体管在控制信号处于高电平时各自被接通，并且在控制信号处于低电平时各自被关断。通过控制每行上的控制信号同时接通或关断，可以同时执行多个像素10中的曝光时段的控制。注意的是，多个像素10可以共享一个放大器晶体管m3。

图4是示出具有高动态范围的图像合成的图。水平轴表示进入像素10的被摄体的亮度，并且垂直轴表示从像素10输出的像素信号的电平。示出了像素信号40a和像素信号40b关于像素信号的电平对入射光强度的特性。与像素信号40b相比较，像素信号40a基于较长的电荷累积时间的电荷生成。在以下描述中，像素信号40a的电荷累积时间(第一曝光时段)被称为长时间曝光或长时间曝光时段，并且像素信号40b的电荷累积时间(第二曝光时段)被称为短时间曝光或短时间曝光时段。长时间曝光例如可以是短时间曝光的长度的200倍，并且可以根据成像装置适当地改变。

当被摄体暗时，像素信号40a和像素信号40b都不饱和(区域401)。在这种情况下，通过使用像素信号40a，可以获得高信噪比的图像。当被摄体亮时，像素信号40b不饱和，但是长时间曝光的像素信号40a饱和(区域402)。图像合成电路221通过使用数字信号处理来放大区域402中的像素信号40b，并且用放大的像素信号40b代替饱和的像素信号40a。由此，可以生成超过像素信号40a的饱和电平的高动态范围图像。

图5是示出当高动态范围图像被捕获时的问题的图，并且示出了当光源被捕获时的曝光和读出操作以及相应地读出的图像。在这种情况下，假定光源是使用led灯的交通灯，并且三个led灯中的右led灯处于开启状态。led由于残留图像对于人眼看起来像处于开启状态，但是以数百赫兹闪烁。在执行像素10的复位操作之后，像素10开始长时间曝光(a)。由于在长时间曝光(a)中包括光源的开启时段，因此根据入射光的电荷被累积在像素10中。当光源极其亮时，像素10中的电荷饱和。从像素10读出长时间曝光(a)中的像素信号，并且像素10开始短时间曝光(b)。由于短时间曝光(b)中仅包括光源的关闭时段，因此像素10中累积的电荷减少。然后从像素10读出短时间曝光(b)中的像素信号。注意的是，虽然在图5中仅描绘了第m行上的曝光定时，但每行上的曝光以预定时间的偏移被驱动，并且像素信号逐行地被顺序地读出。以这种方式，分别读出长时间曝光图像50a和短时间曝光图像50b。

在长时间曝光图像50a和短时间曝光图像50b中，黑色表示关闭状态，并且白色表示开启状态。在长时间曝光图像50a中，虽然开启的光源被包括作为被摄体50a，但是被摄体50a的信号饱和，并且颜色信息丢失。另一方面，在短时间曝光图像50b中，光源的被摄体50b处于关闭状态。在高动态范围图像50c中，长时间曝光图像50a的饱和被摄体50a被短时间曝光图像50b的被摄体50b代替。但是，由于被摄体50b处于关闭状态，因此高动态范围图像50c中的被摄体50c也处于关闭状态，并且不再能够抑制闪光。下面将描述用于解决上述问题的成像装置的驱动方法。

图6是示出本实施例中的成像装置的驱动方法的图，并且示出了光源、垂直同步信号vd、曝光定时、读出定时、闪烁状态、曝光图像和高动态范围图像。光源与上述示例一样是使用led灯的交通灯，并且以预定的光源周期重复开启和闪烁。虽然为了便于理解，这里仅示出了一行(第m行)的曝光定时，但是各行的曝光定时通过彼此偏移预定时间来被驱动。

在时刻t0处，开始第m行上的像素10的长时间曝光(a)，并且光电转换单元pd开始累积根据入射光的电荷。在时刻t1至t2期间，光源处于开启状态，并且在光电转换单元pd中电荷可以饱和。

在时刻t3处，同步信号生成电路212输出垂直同步信号vd、结束长时间曝光(a)，并且开始短时间曝光(b)。垂直扫描电路101将控制信号tx控制为高电平，并且接通传输晶体管m1。累积在光电转换单元pd中的电荷被传输到浮置扩散部fd，并且浮置扩散部fd的电位根据电荷而降低。放大器晶体管m3经由列信号线110将根据浮置扩散部fd的电位的像素信号输出到列放大器电路102。列放大器电路102放大像素信号并且根据来自水平扫描电路103的控制信号顺序地输出长时间曝光(a)中的一行的像素信号。如上所述，通过逐行地以预定时间偏移来驱动像素10的曝光和读出。在像素10中，控制信号tx被控制为低电平，并且开始短时间曝光(b)。在时刻t3至t4期间，由于光源处于关闭状态，因此很少的电荷被累积在光电转换单元pd中。

在时刻t4处，垂直扫描电路101将控制信号tx控制为高电平，并且接通传输晶体管m1。从而，在短时间曝光(b)中累积在光电转换单元pd中的电荷被传输到浮置扩散部fd，并且短时间曝光(b)中的像素信号被从像素10读出。短时间曝光(b)的像素信号被逐行地顺序读出。

在时刻t4至t5期间，传输晶体管m1被关断，并且光电转换单元pd累积电荷。在长时间曝光(a)中，由于光源处于开启状态，因此与先前的长时间曝光(a)一样，光电转换单元pd中的电荷可以饱和。

在时刻t5处，同步信号生成电路212输出垂直同步信号vd以开始短时间曝光(b)。此外，长时间曝光(a)中的像素信号被顺序地读出。在时刻t6处，传输晶体管m1被接通，并且短时间曝光(b)中的像素信号被顺序地读出。在时刻t6处，在短时间曝光(b)中累积在光电转换单元pd中的电荷被传输到浮置扩散部fd，并且短时间曝光(b)中的像素信号被从像素10读出。

信号处理单元22将通过上述处理读出的像素信号转换成数字数据，并将该数字数据存储在帧存储器223中。在本实施例中，图像分析单元201将长时间曝光图像51a与短时间曝光图像51b进行比较，并且检测位于相同位置处的被摄体51a和51b。闪烁检测单元202确定被摄体51a和51b的各个像素值是否与曝光时段成比例。在本文中，由于短时间曝光图像51b的被摄体51b处于关闭状态，因此被摄体51a和51b的各个像素值与曝光时段不成比例。因此，闪烁检测单元202确定被摄体51a和51b在闪烁。当闪烁检测单元202检测到连续的两个帧中的闪烁时，闪烁检测单元202将状态从“开启”改变为“闪烁”(时刻t7)。曝光控制单元211接收“闪烁”的状态，并改变下一个短时间曝光(b)的开始定时。时刻t8是改变之前的短时间曝光(b)的开始时刻。曝光控制单元211将短时间曝光(b)的开始从时刻t8改变为时刻t9。即，短时间曝光(b)的开始定时从前一帧的开始时刻延迟δt，并且帧时段l1(时刻t5至t9)变得比前一帧时段l(时刻t3至t5)长δt。即，响应于状态从“开启”到“闪烁”的改变，曝光控制单元211从“开启”的状态下的预定周期改变短时间曝光的周期(这可以被称为多次短时间曝光的各个开始定时的间隔)。

在时刻t9处，短时间曝光(b)开始，并且来自长时间曝光(a1)的像素信号被读出。由于短时间曝光(b)的相位被延迟，因此光源处于开启状态的时段被包括在短时间曝光(b)的时段中。在时刻t10处，短时间曝光(b)中的像素信号被读出。在时刻t11处，曝光控制单元211将状态从“闪烁”改变为“开启”。在时刻t12处，短时间曝光(b)根据通常的帧周期开始。即，帧时段再次变为l。同样在时刻t12及其之后的短时间曝光(b)中，包括光源处于开启状态的时段。

以这种方式，利用短时间曝光(b)的开始定时的改变，光源处于开启状态的时段被包括在短时间曝光(b)中，并且短时间曝光图像52b的被摄体52b处于开启状态。图像合成电路221与曝光时段的长度成比例地放大被摄体52b的像素值，并且用放大的被摄体52b代替长时间曝光图像52a中饱和的被摄体52a。在生成的高动态范围图像52c中，被摄体52c未处于关闭状态。因此，可以在抑制闪光的同时生成高动态范围图像52c。

图7a、图7b和图7c是示出本实施例中的闪烁检测方法的图。图7a示出了当光源处于开启状态时的曝光定时、逐行的读出定时以及曝光图像。在第一帧和第二帧中，光源处于开启状态，来自光源的光在长时间曝光(a)和短时间曝光(b)两者中进入光电转换单元pd。长时间曝光图像71a和72a以及短时间曝光图像71b和72b的每个像素值是与曝光时段的长度成比例的值。但是，当长时间曝光图像71a和72a的像素值饱和时，每个像素值不一定与曝光时段的长度成比例。此外，长时间曝光图像71a和72a的各个像素值相同，并且短时间曝光图像71b和72b的各个像素值也相同。即，当光源处于开启状态时，第一帧和第二帧中的像素值相同。

图7b示出了当光源处于脉冲闪亮时的曝光定时、逐行的读出定时以及曝光图像。仅在第一帧的长时间曝光(a)中，单脉冲光进入光电转换单元pd。因此，仅长时间曝光图像73a处于开启状态，并且长时间曝光图像74a以及短时间曝光图像73b和74b处于关闭状态。在短时间曝光(b)中，没有入射光进入光电转换单元pd，长时间曝光图像73a和短时间曝光图像73b的每个像素值与曝光时段的长度不成比例。此外，不同的帧的长时间曝光图像73a和74a的像素值不相同。

图7c示出了当光源闪烁时的曝光定时、逐行的读出定时以及曝光图像。在第一帧和第二帧的长时间曝光(a)中，光源处于开启状态，并且在第一帧和第二帧的短时间曝光(b)中，光源处于关闭状态。在这种情况下，长时间曝光图像75a和76a处于开启状态，并且短时间曝光图像75b和76b处于关闭状态。由于光源在闪烁，因此长时间曝光图像75a和短时间曝光图像75b的每个像素值与曝光时段的长度不成比例。此外，长时间曝光图像75a和76a的像素值相同，并且短时间曝光图像75b和76b的像素值也相同。

以这种方式，通过比较连续的两帧中的四个图像，可以检测光源的开启、单脉冲闪亮和闪烁。将参考图8以及上述的图7a、图7b和图7c描述本实施例中的闪烁检测方法的细节。

图8是示出本实施例中的闪烁检测方法的流程图。在步骤s801中，闪烁检测单元202开始操作，并且然后将状态的初始值设定为“开启”。状态表示由闪烁检测单元202检测到的检测结果，并且可以取“开启”或“闪烁”的值。换句话说，检测结果“开启”指示未检测到被摄体的闪烁。随后，闪烁检测单元202将闪烁标志(flag)的初始值设定为“0”(步骤s802)。闪烁标志指示是否在连续的两帧中检测到闪烁。

在第一帧中，成像设备1根据来自同步信号生成电路212的同步信号捕获长时间曝光图像并将长时间曝光图像输出到信号处理单元22(步骤s804)。图像处理电路222对长时间曝光图像执行诸如根据曝光时段的长度的增益处理、相关双采样等的图像处理，并将长时间曝光图像存储在帧存储器223中(步骤s805)。类似地，成像设备1捕获短时间曝光图像(步骤s806)，并且图像处理电路222将图像处理后的短时间曝光图像存储在帧存储器223中(步骤s807)。

图像分析单元201确定是否存在与帧存储器205中存储的长时间曝光图像和短时间曝光图像的同一位置对应的信号(步骤s810)。当光源处于开启状态时(图7a)，长时间曝光图像和短时间曝光图像的同一位置处的两个像素值与曝光时段的长度成比例。长时间曝光图像和短时间曝光图像的各个像素值的相关性高，并且存在与同一位置对应的信号(步骤s810为是)。闪烁检测单元202将状态设定为“开启”(步骤s812)，并将闪烁标志设定为“0”(步骤s813)。在这种情况下，状态和闪烁标志的每个值保持在初始值。如果状态为“开启”，那么曝光控制单元211在不改变帧的开始定时的情况下继续长时间曝光图像和短时间曝光图像的读出。闪烁检测单元202重复步骤s804至s810的处理。

另一方面，如图7b和图7c所示，当光源处于脉冲闪亮或闪烁时，在第一帧中长时间曝光图像的光源处于开启状态时，短时间曝光图像的光源处于关闭状态。闪烁检测单元202确定不存在与长时间曝光图像和短时间曝光图像的同一位置对应的信号(步骤s810为否)。在这种情况下，不可能区分单脉冲闪亮(图7b)和闪烁(图7c)，并且闪烁检测单元202执行步骤s820及其之后的处理。在步骤s820中，闪烁检测单元202确定闪烁标志是否为“1”。在该步骤中，由于闪烁标志为“0”(步骤s820为否)，因此闪烁检测单元202将闪烁标志设定为“1”(步骤s821)，并在第二帧中返回到步骤s804的处理。

在第二帧中，闪烁检测单元202再次确定是否存在分别与长时间曝光图像和短时间曝光图像的同一位置对应的信号(步骤s810)。如图7b所示，当光源执行单脉冲闪亮时，长时间曝光图像和短时间曝光图像的各个光源都在第二帧中处于关闭状态。因此，闪烁检测单元202确定存在与长时间曝光图像和短时间曝光图像的同一位置对应的信号(步骤s810为是)，并且将状态设定为“开启”(步骤s812)，并将闪烁标志复位为“0”(步骤s813)。然后，闪烁检测单元202重复步骤s801至s810的处理。

如图7c所示，当光源在闪烁时，长时间曝光图像的光源处于开启状态，并且短时间曝光图像的光源处于关闭状态。在这种情况下，闪烁检测单元202确定不存在与长时间曝光图像和短时间曝光图像的同一位置对应的信号(步骤s810为否)，并且进一步确定闪烁标志是否为“1”(步骤s820)。由于在第一帧中的闪烁标志被设定为“1”，因此步骤s820的确定结果为是，并且闪烁检测单元202将状态设定为“闪烁”(步骤s825)。响应于状态被设定为“闪烁”，曝光控制单元211执行帧的相位改变处理(步骤s830)。然后，闪烁检测单元202重复步骤s804及其之后的处理。

以这种方式，当光源在连续的两帧中重复开启和关闭时，闪烁检测单元202将状态从“开启”改变为“闪烁”。因此，可以确定光源的开启、短脉冲闪亮或闪烁。

图9是本实施例中的相位改变处理的流程图，并且表示图8的相位改变处理(步骤s830)的细节。响应于“闪烁”的状态，曝光控制单元211执行帧的相位改变处理(步骤s901)。即，曝光控制单元211改变垂直同步信号vd的相位，并且将短时间曝光的开始定时偏移δt。然后，成像设备1根据来自同步信号生成电路212的同步信号捕获长时间曝光图像(步骤s902)，并且图像处理电路222对长时间曝光图像执行诸如根据曝光时段的长度的增益处理、相关双采样等的图像处理(步骤s903)。类似地，成像设备1捕获短时间曝光图像(步骤s904)，并且图像处理电路222将图像处理后的短时间曝光图像存储在帧存储器223中(步骤s905)。

图像分析单元201确定在帧存储器223中存储的短时间曝光图像中是否存在来自光源的光的进入(步骤s906)。如果图像分析单元201确定在短时间曝光图像中不存在来自光源的光的进入(步骤s906为否)，那么曝光控制单元211调整相位改变量δt(步骤s907)。曝光控制单元211进一步使短时间曝光的开始定时延迟在步骤s907中调整的相位改变量(步骤s901)。直到确定在短时间曝光图像中存在来自光源的光的进入为止(步骤s906为是)，曝光控制单元211重复步骤s901至s907的处理。如果图像分析单元201确定在短时间曝光图像中存在来自光源的光的进入(步骤s906为是)，那么曝光控制单元211结束相位改变处理(步骤s908)。此外，曝光控制单元211将状态从“闪烁”改变为“开启”(步骤s910)，并将处理返回到图8的流程图。

如上所述，曝光控制单元211使短时间曝光的开始定时偏移，直到在短时间曝光图像上进入光为止。因此，可以避免长时间曝光图像和短时间曝光图像中的每个中的入射光的不均匀并且抑制闪光。此外，在由长时间曝光图像和短时间曝光图像合成的高动态范围图像中，可以避免图像质量的退化，诸如光源看起来像被关闭。

图10a和图10b示意性地示出了本实施例中的效果。图10a示出了相位改变之前的曝光定时、曝光图像和高动态范围图像。在长时间曝光图像80a的被摄体80a处于开启状态时，短时间曝光图像80b的被摄体80b处于关闭状态。因此，如果高动态范围图像80c由长时间曝光图像80a和短时间曝光图像80b合成，那么光源的被摄体80c将看起来像被关闭。图10b示出了相位改变之后的曝光定时、曝光图像和高动态范围图像。在短时间曝光(b)的开始定时改变的情况下，来自光源的光进入短时间曝光图像90b，并且被摄体90b处于开启状态。由于在长时间曝光(a)中光源处于开启状态的时段较短，因此累积的电荷量减少，但是，这里假定被摄体90b处于饱和电平。在长时间曝光图像90a和短时间曝光图像90b被合成的情况下，在高动态范围图像90c中，被摄体90c处于开启状态。

如上所述，根据本实施例，可以抑制由于不同长度的曝光时段而产生的两个图像中的闪光。此外，在长时间曝光图像和短时间曝光图像被合成的高动态范围图像中，可以避免图像质量的退化，诸如高辉度被摄体看起来暗。注意的是，虽然本实施例的成像装置在检测到被摄体的闪烁时延迟短时间曝光的开始定时，但是开始定时可以被提前。此外，一帧中的长时间曝光和短时间曝光的次序不必限于上述示例。

[第二实施例]

将主要针对与第一实施例不同的特征来描述第二实施例中的成像装置。当改变短时间曝光的相位时，第一实施例中的成像装置还改变一帧的长度。在本实施例中，通过设置用于长时间曝光和短时间曝光的各个电荷保持部，可以在不改变一帧的长度的情况下改变曝光的相位。

图11示出了本实施例中的像素11的等效电路。虽然图11示出了在行方向和列方向上二维地布置的多个像素11中的两行×两列的四个像素11，但是成像装置具有更多的像素。每个像素11具有光电转换单元pd、浮置扩散部fd、第一存储器传输晶体管m11、第二存储器传输晶体管m21、第一传输晶体管m12、第二传输晶体管m22、放大器晶体管m3、选择晶体管m4、复位晶体管m5、第一保持部c1和第二保持部c2。

光电转换单元pd对入射光进行光电转换并累积由光电转换导致的电荷。第一存储器传输晶体管m11将光电转换单元pd的电荷传输到第一保持部c1，并且第一传输晶体管m12将第一保持部c1的电荷传输到浮置扩散部fd。类似地，第二存储器传输晶体管m21将光电转换单元pd的电荷传输到第二保持部c2，并且第二传输晶体管m22将第二保持部c2的电荷传输到浮置扩散部fd。电源电压vdd被施加到放大器晶体管m3的漏极，并且源极经由选择晶体管m4连接到列信号线110。放大器晶体管m3形成源极跟随器，并经由选择晶体管m4将基于浮置扩散部fd的电压的信号输出到列信号线110。恒定电流源16连接到列信号线110。电源电压vdd被施加到复位晶体管m5的漏极，并且当接通时，复位晶体管m5复位浮置扩散部fd的电压。

共用的控制信号从垂直扫描电路101被供应到同一行上的像素11。即，控制信号gs1(m)、gs2(m)、tx1(m)、tx2(m)、sel(m)和res(m)被分别供应到第m行上的像素11的第一存储器传输晶体管m11、第二存储器传输晶体管m21、第一传输晶体管m12、第二传输晶体管m22、选择晶体管m4和复位晶体管m5。这些晶体管在控制信号处于高电平时各自被接通，并且在控制信号处于低电平时各自被关断。通过控制每行上的控制信号同时接通或关断，可以同时执行多个像素11中的曝光时段的控制。注意的是，多个像素11可以共享一个放大器晶体管m3。此外，溢漏(overflowdrain)晶体管可以被提供给光电转换单元pd。在像素单元100中，除了有效像素之外，还可以包括诸如遮光像素、不具有光电转换单元的伪(dummy)像素等的不输出图像的像素。

在像素11中，通过控制第一存储器传输晶体管m11和第二存储器传输晶体管m21的接通或关断的定时，可以获取短时间曝光和长时间曝光的图像。通过接通第一存储器传输晶体管m11，可以将长时间曝光的电荷从光电转换单元pd传输到第一保持部c1。此外，通过接通第二存储器传输晶体管m21，可以将短时间曝光的电荷从光电转换单元pd传输到第二保持部c2。

可以适当地限定将电荷从光电转换单元pd传输到第一保持部c1和第二保持部c2的次序和次数。例如，在第一存储器传输晶体管m11被接通之后，第二存储器传输晶体管m21可以被接通，并且此外，第一存储器传输晶体管可以被接通。通过第一存储器传输晶体管m11和第二存储器传输晶体管m21被排他地接通或关断，长时间曝光的电荷可以被累积在第一保持部c1中，并且短时间曝光的电荷可以被累积在第二保持部c2中。在这种情况下，保持在第一保持部c1中的电荷的量是在第一存储器传输晶体管m11处于接通状态的整个时段期间曝光的电荷的量。保持在第二保持部c2中的电荷的量是在第二存储器传输晶体管m21处于接通状态的时段期间曝光的电荷的量。此外，电荷在存储器传输晶体管m11和m21处于关断状态的时段期间可以被累积在光电转换单元pd中，存储器传输晶体管m11和m21可以被接通，从而电荷可以被传输到第一保持部c1和第二保持部c2。在这种情况下，保持在第一保持部c1和第二保持部c2中的电荷的量是在存储器传输晶体管m11和m21处于关断状态的时段期间在光电转换单元pd中累积的电荷的量。

图12是示出本实施例中的成像装置的驱动方法的图，并且示出了光源、垂直同步信号vd、曝光定时、读出定时、闪烁状态、曝光图像和高动态范围图像。在本实施例中，同步信号生成电路212以恒定周期输出垂直同步信号vd，并且一帧的长度是恒定的。

在时刻t20处，第一帧中的长时间曝光(a)开始，并且光电转换单元pd开始累积根据入射光的电荷。在时刻t21处，累积在光电转换单元pd中的电荷被传输到第一保持部c1，并且光电转换单元pd开始在短时间曝光(b)中累积电荷。在时刻t21至t22期间，由于光源处于关闭状态，因此很少的电荷被累积在光电转换单元pd中。

在时刻t22处，光电转换单元pd中累积的电荷被传输到第二保持部c2，并且短时间曝光(b)结束。随后，在时刻t22至t24期间，执行第二帧的长时间曝光(a)，并且在时刻t24至t25期间，执行短时间曝光(b)。

在时刻t22至t24期间，在光电转换单元pd在累积电荷的同时，逐行地读出第一帧的像素信号。例如，在第m行上，第一传输晶体管m12被接通，并且保持在第一保持部c1中的电荷被传输到浮置扩散部fd。放大器晶体管m3将长时间曝光(a)中的像素信号输出到列信号线110。随后，第二传输晶体管m22被接通，并且保持在第二保持部c2中的电荷被传输到浮置扩散部fd。放大器晶体管m3将短时间曝光(b)中的像素信号输出到列信号线110。信号处理单元22将通过上述处理读出的像素信号转换成数字数据，并将该数字数据存储在帧存储器223中。在第一帧中的长时间曝光图像92a中被摄体92a处于饱和电平时，在短时间曝光图像92b中，被摄体92b处于关闭状态。因此，高动态范围图像92c的被摄体92c也处于关闭状态。同样在本实施例中，响应于检测到连续的两帧中的闪烁，闪烁检测单元202将状态从“开启”改变为“闪烁”(时刻t23)。

在时刻t23处，曝光控制单元211接收“闪烁”的状态，并改变短时间曝光(b)的开始定时。例如，曝光控制单元211以时刻t25至时刻t26期间的第一长时间曝光(a1)、时刻t26至t27期间的短时间曝光(b)以及时刻t27至t29期间的第二长时间曝光(a2)的次序执行曝光。第一长时间曝光(a1)和第二长时间曝光(a2)的总时段等于长时间曝光(a)的时段。此外，短时间曝光(b)的长度和一帧的长度在每帧中是恒定的。在第三帧中，通过改变短时间曝光(b)的开始定时，曝光控制单元211可以使来自光源的光进入短时间曝光图像93b。如果图像分析单元201确定存在来自光源的光进入到短时间曝光图像93b，那么曝光控制单元211结束相位改变处理。此外，闪烁检测单元202将状态从“闪烁”改变为“开启”(时刻t28)。

在第四帧中，以与第三帧相同的方式执行曝光。即，执行时刻t29至t30期间的第一长时间曝光(a1)、时刻t30至t31期间的短时间曝光(b)以及时刻t31至t32期间的第二长时间曝光(a2)。

以这种方式，短时间曝光(b)的开始定时的改变使得光源处于开启状态的时段被包括在短时间曝光(b)中，并且短时间曝光图像93b的被摄体93b以与长时间曝光图像93a相同的方式处于开启状态。因此，同样在本实施例中，可以避免由于不同长度的曝光时段而产生的两个图像中的入射光的不均匀，并且抑制闪光。此外，图像合成电路221与曝光时段成比例地放大被摄体93b的像素值，并用放大的被摄体93b代替长时间曝光图像93a中饱和的被摄体93a。在生成的高动态范围图像93c中，被摄体93c处于开启状态。因此，可以在抑制闪光的同时生成高动态范围图像93c。此外，在本实施例中，可以在不改变一帧的长度的情况下改变短时间曝光的开始定时。

注意的是，一帧中的长时间曝光和短时间曝光的次序、次数或定时不限于上述示例。只要短时间曝光的总时段是恒定的，短时间曝光就可以通过被划分成多次来执行。此外，可以在一帧中重复多次短时间曝光或长时间曝光。此外，可以以与第一实施例相同的方式一起执行改变一帧的长度的驱动方法。

[第三实施例]

将主要针对与第二实施例不同的特征来描述第三实施例中的成像装置。在第二实施例中，一帧中的存储器传输晶体管m11和m21的接通次数不受限制。但是，存储器传输晶体管m11和m21的接通次数的增加可能导致电力消耗的增加和放射噪声的发生。在本实施例中，基于诸如电力消耗、噪声、光源周期等因素，一帧中的存储器传输晶体管m11和m21的接通次数被预先设定为最优初始值。通过改变初始值中的曝光定时来执行相位改变。

图13和图14是示出本实施例中的成像装置的驱动方法的时序图。在图13中，一帧中的存储器传输晶体管m11和m21中的每个的接通次数的初始值被设定为四。即，以长时间曝光(a1)、短时间曝光(b1)、长时间曝光(a2)、短时间曝光(b2)、长时间曝光(a3)、短时间曝光(b3)、长时间曝光(a4)和短时间曝光(b4)的次序执行存储器传输晶体管m11和m21的接通。当在一帧中多次重复光源的闪烁时，图13中所示的初始值是有效的。注意的是，存储器传输晶体管m11和m21中的每个的接通次数不必限于四。

图14示出了当捕获图13的光源的闪烁周期的一半，即两倍频率的光源时的曝光。在闪烁的检测之前的曝光中，由于在短时间曝光(b1)中没有光的进入，因此由该短时间曝光图像合成的高动态范围图像将是关闭图像。响应于通过使用图8所示的方法检测到闪烁，本实施例的成像装置将短时间曝光(b1)移动到长时间曝光(a1)的一半长度处的定时。以这种方式，在图14的示例中，使得能够进行高动态范围捕获的闪烁频率是两倍。

同样在本实施例中，可以在抑制闪光的同时实现高动态范围捕获。此外，在本实施例中，通过将一帧中的存储器传输晶体管m11和m21的接通次数预先设定为最优初始值，可以在将电力消耗、噪声等的影响抑制到最小的同时减小相位改变的频率。

[第四实施例]

第一实施例至第三实施例中的成像装置通过使用长时间曝光图像和短时间曝光图像来检测光源的闪烁。在本实施例中，可以通过使用长时间曝光图像和短时间曝光图像来进一步执行诸如被摄体的移动速度的计算之类的对象检测。下面将主要描述与上述实施例不同的特征。

图15是示出本实施例中的成像装置的操作的图。通过在一帧内彼此偏移预定时段来捕获长时间曝光图像150a和短时间曝光图像150b。因此，长时间曝光图像150a的被摄体150a已移动到短时间曝光图像150b中的被摄体150b的位置。检测单元20可以基于被摄体150a和被摄体150b之间的移动量δd和捕获时间的差来计算被摄体150a的移动速度。此外，检测单元20可以确定诸如车辆的移动单元或诸如交通灯的静止对象。检测单元20可以根据被摄体的速度将短时间曝光的相位改变量调整为最优值，并且捕获更精确的高动态范围图像。

[第五实施例]

上述实施例中的每个固态成像设备可应用于各种成像系统。成像系统可以是数字静态相机、数字便携式摄像机、相机头、复印机、传真机、移动电话、车载相机、观察卫星、监控相机等。图16示出了作为成像系统的示例的数字静态相机的框图。

图16中所示的成像系统包括挡板1001、透镜1002、光圈1003、成像设备1004、信号处理设备1007、定时生成单元1008、通用控制/操作单元1009、存储器单元1010、存储介质控制i/f单元1011、存储介质1012和外部i/f单元1013。挡板1001保护透镜1002，并且透镜1002将被摄体的光学图像捕获到成像设备1004上。光圈1003改变已通过透镜1002的光量。成像设备1004包括上述每个实施例的固态成像设备，并且将由透镜1002捕获的光学图像转换成图像数据。信号处理设备1007对从成像设备1004输出的图像数据执行各种校正或数据压缩。定时生成单元1008将各种定时信号输出到成像设备1004和信号处理设备1007。通用控制/操作单元1009控制整个数字静态相机，并且存储器单元1010暂时地存储图像数据。存储介质控制i/f单元1011是用于存储介质1012上的图像数据的存储或读出的接口，并且存储介质1012是用于成像数据的存储或读出的诸如半导体存储器的可移除存储介质。外部i/f单元1013是用于与外部计算机等进行通信的接口。可以从成像系统的外部输入定时信号等，并且成像系统可以是至少具有成像设备1004和处理从成像设备1004输出的图像信号的信号处理设备1007的任何成像系统。

在本实施例中，已经描述了成像设备1004和ad转换单元被设置在同一半导体基板上的配置。但是，成像设备1004和ad转换单元可以形成在分离的半导体基板上。此外，成像设备1004和信号处理设备1007可以形成在同一半导体基板上。

此外，每个像素可以包括第一光电转换单元和第二光电转换单元。信号处理设备1007可以被配置成处理基于由第一光电转换单元生成的电荷的像素信号和基于由第二光电转换单元生成的电荷的像素信号，并且获取关于从成像设备1004到被摄体的距离的距离信息。

[第六实施例]

图17a和图17b示出了本发明的第六实施例中的与车载相机有关的成像系统的一个示例。成像系统2000具有上述实施例中的任一个实施例的成像设备1004。成像系统2000具有对由成像设备1004获取的多个图像数据执行图像处理的图像处理单元2030和从由成像系统2000获取的多个图像数据计算视差(视差图像的相位差)的视差计算单元2040。此外，成像系统2000具有基于计算出的视差来计算到对象的距离的距离测量单元2050以及基于计算出的距离来确定是否存在碰撞可能性的碰撞确定单元2060。这里，视差计算单元2040和距离测量单元2050是获取关于到对象的距离的距离信息的距离信息获取单元的示例。即，距离信息是关于视差、散焦量、到对象的距离等的信息。碰撞确定单元2060可以使用任何距离信息来确定碰撞可能性。距离信息获取单元可以由专门设计的硬件来实现，或者可以由软件模块来实现。此外，距离信息获取设备可以由现场可编程门阵列(fpga)或专用集成电路(asic)来实现，或者可以由其组合来实现。

成像系统2000连接到车辆信息获取设备2310，并且可以获取诸如车速、偏航率、转向角等的车辆信息。此外，成像系统2000连接到控制ecu2410，该ecu2410是基于碰撞确定单元2060的确定结果来输出用于使车辆生成制动力的控制信号的控制设备。此外，成像系统2000还连接到警报设备2420，该警报设备2420基于碰撞确定单元2060的确定结果向驾驶员发出警报。例如，当作为碰撞确定单元2060的确定结果的碰撞可能性高时，控制ecu2410执行车辆控制以通过施加制动、回推加速器、抑制发动机动力等来避免碰撞或减小损坏。警报设备2420通过发出诸如声音之类的警报、在汽车导航系统等的显示器上显示警报信息、向安全带或方向盘提供振动等来警告用户。成像系统2000用作控制单元，该控制单元控制如上所述的控制车辆的操作。

在本实施例中，通过使用成像系统2000来捕获车辆周围的区域，例如前方区域或后方区域。图17b示出了当车辆的前方区域(捕获区域2510)被捕获时的成像系统。作为成像控制单元的车辆信息获取设备2310指示成像系统2000或成像设备1004执行以上第一实施例至第五实施例中描述的操作。由于成像设备1004的操作与第一实施例至第四实施例中的操作相同，因此这里将省略其描述。这种配置还可以提高测距精确度。

虽然上面已经描述了用于避免与另一车辆的碰撞的控制的示例，但是实施例可应用于跟随另一车辆的自动驾驶控制、不驶出行车道的自动驾驶控制等。此外，成像系统不限于诸如汽车的车辆，并且例如可以应用于诸如船、飞机或工业机器人之类的移动单元(移动装置)。另外，成像系统可以广泛地应用于利用对象识别的设备，诸如智能运输系统(its)，而不限于移动单元。

[其它实施例]

本发明不限于上述实施例，并且各种修改是可能的。例如，任一个实施例的配置的一部分被添加到另一个实施例的示例，或者任一个实施例的配置的一部分被另一个实施例的配置的一部分代替的示例也是本发明的实施例之一。

注意的是，上述所有实施例仅是实现本发明时的实施示例，并且本发明的技术范围不应由这些实施例在限制意义上被解释。即，本发明可以在不脱离其技术概念或主要特征的情况下以各种形式实现。

本发明不限于上述实施例，并且可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。因此，附上以下权利要求以便使本发明的范围公开。

本申请要求2017年12月25日提交的日本专利申请no.2017-247761的优先权，该日本专利申请的全部内容通过引用整体并入本文。

[参考符号列表]

1成像设备

20检测单元

21控制单元

22图像处理单元

101垂直扫描电路

202闪烁检测单元

212同步信号生成电路

221图像合成电路

pd光电转换单元

c1、c2保持部。