成像设备、信号处理方法及程序的制作方法
【专利摘要】提供了用于将来自不同曝光时间设定的像素值进行合成以产生高动态范围图像的装置和方法。针对构成像素块的相同颜色的像素来控制不同的曝光时间，并且产生将像素块中的相同颜色像素的输出加到一起的相加像素值。例如通过包括用于将像素块中的相同颜色像素的输出加到一起的相加单元的计算单元来产生相加像素值。或者，通过执行设置给像素块单位的浮置扩散（FD）来产生相加像素值。在浮置扩散（FD）中，累积并输出从构成像素块的相同颜色像素中的每一个输出的电荷。
【专利说明】成像设备、信号处理方法及程序
【技术领域】
[0001]本公开涉及成像设备、信号处理方法及程序。具体来说，本公开涉及能够产生宽动态范围的图像的成像设备、信号处理方法及程序。
【背景技术】
[0002]在摄像机或者数字静态照相机中使用的固态成像装置(如CCD图像传感器或者互补金属氧化物半导体(CMOS)图像传感器)进行光电转换，以根据入射光的量累积电荷，并且输出与所累积的电荷相应的电信号。然而，光电转换元件中的电荷累积量存在上限。如果接收到一定量以上的光，则可能产生所谓的曝光过度，其中累积电荷量达到饱和水平并且一定亮度以上的被摄体区域的亮度水平被设定为饱和亮度水平。
[0003]为了防止这种现象，执行以下处理:根据外部光的变化控制光电转换元件中的电荷累积周期，调节曝光时间以及将敏感度控制为最佳值。例如，对于亮的被摄体，快门被快速释放以减小曝光时间并减小光电转换元件中的电荷累积周期，并且在累积电荷量达到饱和水平之前输出电信号。通过该处理，能够输出下述图像:在该图像中，精确地再现了根据被摄体的灰度级。
[0004]然而，如果在对亮区域与暗区域混合的被摄体成像时快门快速释放，则在暗部分中未获得足够的曝光时间。因此，S/N恶化并且图像质量下降。因此，在通过对亮区域与暗区域混合的被摄体成像而获得的图像中，对亮部分和暗部分的亮度水平的精确再现需要下述处理:该处理用于在图像传感器上入射光少的像素中增加曝光时间并实现高S/N，并且在入射光多的像素中避免饱和。
[0005]作为用于实现这种处理的方法，已知一种连续地成像具有不同曝光时间的多个图像并且结合这多个图像的方法。也就是说，该方法是下述方法:其连续地并且分别地成像了长时间曝光的图像和短时间曝光的图像，通过将长时间曝光的图像用于暗图像区域并且将短时间曝光的图像用于在长时间曝光的图像中可能产生曝光过度的亮图像区域来执行结合处理，并且生成一个图像。这样，多个不同曝光的图像被结合，从而可以获得没有曝光过度的宽动态范围的图像，即，宽动态范围图像(HDR图像)。
[0006]例如，专利文献I (JP2000-50151A)公开一种配置，其中对被设定了多个不同曝光时间的两个图像进行成像，将这些图像结合，并且获得宽动态范围的图像。将参照图1描述该处理。例如，当对运动图像成像时，成像装置以视频速率(30至60fps)输出两个不同曝光时间的图像数据。另外，当对静态图像成像时，该成像装置产生两个不同曝光时间的图像数据并且输出该图像数据。图1是示出由该成像装置产生的并且具有两个不同曝光时间的图像(长时间曝光的图像和短时间曝光的图像)的特征的图。横轴示出时间(t)，而纵轴示出光接收光电二极管(PD)中的累积电荷量(e)，该光接收光电二极管构成与固态成像元件的一个像素相对应的光电转换元件。
[0007]例如，在光接收光电二极管(PD)的光接收量大的情况下，即，对应于亮被摄体的情况，如图1中所示的高亮度区域11中示出的那样，电荷累积量随着时间迅速增加。同时，在光接收光电二极管(PD)的光接收量小的情况下，S卩，对应于暗被摄体的情况，如图1中所示的低亮度区域12中所示出的那样，电荷累积量随着时间缓慢增加。
[0008]时间t0至t3对应于用于获取长时间曝光图像的曝光时间TL。即使当时间是长时间的曝光时间TL时，在低亮度区域12中所示的线中，电荷累积量在时间t3也达不到饱和水平(不饱和点Py)，并且，可以通过使用基于电荷累积量(Sa)获得的电信号而确定的像素的灰度水平来获得精确的灰度表现。
[0009]然而，在高亮度区域11中所示的线中，很明显在到达时间t3之前电荷累积量已经达到饱和水平(饱和点Px)。因此，在高亮度区域11中，从长时间曝光图像只获得与饱和水平的电信号相对应的像素值。结果，像素可成为过曝光像素。
[0010]因此，在高亮度区域11中，在到达时间t3之前的时间，例如，该图中所示的时间11(电荷扫描开始点P1)，扫描一次光接收光电二极管(PD)的累积电荷。该电荷扫描进行到在光电二极管(PD)中控制的中间电压保持水平，而不针对在光接收光电二极管(PD)中累积的全部电荷。在电荷扫描处理之后，在曝光时间TS (t2至t3)再次进行短时间曝光。也就是说，进行从该图中的短时间曝光开始点P2到短时间曝光结束点P3的时段的短时间曝光。通过该短时间曝光获得电荷累积量(Sb)，并且根据基于电荷累积量(Sb)获得的电信号来确定像素的灰度级。
[0011]当根据基于在低亮度区域12通过长时间曝光而获得的电荷累积量(Sa)的电信号和基于在高亮度区域251中通过短时间曝光而获得的电荷累积量(Sb)的电信号来确定出像素值时，计算进行相同时间曝光时的估计电荷累积量以及与该估计电荷累积量相对应的电信号输出值，并且根据计算结果确定像素值水平。
[0012]这样，将短时间曝光图像与长时间曝光图像结合，从而可以获得没有过曝光的宽动态范围的图像。
[0013]然而，在专利文献I中描述的所有配置中，都必需执行用于分别地成像长时间曝光图像和短时间曝光图像并将长时间曝光图像和短时间曝光图像结合的处理。
[0014]这样，通过使用曝光时间变化的多个图像可以产生宽动态范围图像(HDR图像)。然而，在基于多个图像的该处理中会出现以下问题。
[0015]问题1:需要数次进行成像并且需要提供存储图像的存储器。
[0016]问题2:因为将成像定时不同的多个图像结合或者使用长时间曝光的成像数据，所以容易产生照相机抖动。
[0017]此外，有人提议了下述处理:该处理用于在一个成像图像中设定长时间曝光像素和短时间曝光像素而不使用多个图像，将不同曝光时间的像素结合，并且产生宽动态范围图像。
[0018]例如，在专利文献2 (JP11-29880A)和专利文献3 (JP2000-69491A)中描述了该处理。
[0019]在该处理中，进行用于在成像元件(图像传感器)中布置相同颜色的多个像素(如2X2像素的R像素、2 X 2像素的G像素和2X2像素的B像素)的设定，对相同颜色的2X2像素的构成像素设定不同曝光时间，并执行成像。将该图像传感器所成像的不同曝光时间的相同颜色的像素值进行结合，并且获得宽动态范围图像。
[0020]然而，在上述配置中，由于元件或滤色器的加工差异而可能产生噪声，并且难以获取高质量图像。
[0021]引用文献列表
[0022]专利文献
[0023]专利文献I JP2000-50151A
[0024]专利文献2 JPll-2988OA
[0025]专利文献3 JP2OOO-6M9IA
【发明内容】
[0026]本发明要解决的问题
[0027]本公开是鉴于上述情况而作出的，并且本公开的目的是提供一种能够基于一次成像的图像而产生高质量的宽动态范围图像的成像设备、信号处理方法和程序。
[0028]此外，本公开的目的是提供一种能够基于具有与拜耳阵列不同的阵列的成像图像来产生宽动态范围图像的成像设备、信号处理方法和程序。
[0029]问题的解决方案
[0030]本公开的第一方面是一种成像设备，包括:像素单元，其中布置有各自包括多个相同颜色的像素的像素块；控制单元，其对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制；以及相加像素值产生单元，其产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值。
[0031]在根据本公开的成像设备的一个实施例中，所述相加像素值产生单元由具有用于将所述像素块的多个相同颜色的像素的输出相加的相加单元的相加电路构成。
[0032]在根据本公开的成像设备的一个实施例中，所述像素块由包括多行X多列的多个像素的相同颜色的像素构成，并且所述相加电路具有用于存储设定给所述像素块的在先读取行的多个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的多个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
[0033]在根据本公开的成像设备的一个实施例中，所述像素块由包括2行X2列的四个像素的相同颜色的像素构成，并且所述相加电路具有用于存储设定给所述像素块的在先读取行的两个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的两个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
[0034]在根据本公开的成像设备的一个实施例中，所述相加像素值产生单元由以所述像素块为单位设置的浮置扩散(FD)构成，并且所述浮置扩散(FD)具有下述配置:在该配置中，累积从构成所述像素块的多个相同颜色的像素中的每一个输出的电荷。
[0035]在根据本公开的成像设备的一个实施例中，所述像素单元具有四分区拜耳型RGB阵列，并且具有以R、G、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
[0036]在根据本公开的成像设备的一个实施例中，所述像素单元具有四分区WRB阵列，在所述四分区WRB阵列中用全可见光波长透射型的W像素代替四分区拜耳型RGB阵列中的G像素,并且所述像素单元具有以W、R、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
[0037]此外，本公开的第二方面是一种在成像设备中执行的信号处理方法。所述成像设备具有:像素单元，其中布置有各自包括多个相同颜色的像素的像素块；控制单元，其执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理；以及相加像素值产生单元，其执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。
[0038]此外，本公开的第三方面是一种用于使得在成像设备中执行信号处理的程序。所述成像设备具有像素单元，所述像素单元中布置有各自包括多个相同颜色的像素的像素块，所述程序使控制单元执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理，并且所述程序使相加像素值产生单元执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。
[0039]根据本公开的该程序是一种能够通过以计算机可读格式提供的存储介质和通信介质提供给能执行各种程序/代码的信息处理设备或计算机/系统的程序。以计算机可读格式提供该程序，从而在该信息处理设备或计算机/系统上实现根据该程序的处理。
[0040]通过基于稍后要描述的本公开的实施例和附图的以下详细描述，本公开的其他目的、特征和优点将变得明显。在本说明书中，系统意味着多个设备的逻辑集成结构，并且不局限于各配置的设备在同一外壳内的结构。
[0041]本发明的效果
[0042]根据本公开的一个实施例的配置，实现了用于通过执行长时间曝光像素和短时间曝光像素的像素值结合处理来产生宽动态范围图像的设备和方法。
[0043]具体来说，针对构成像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制，并且产生通过将像素块的多个相同颜色的像素的输出相加而获得的相加像素值。在具有将像素块的多个相同颜色的像素的输出相加的相加单元的操作单元中，执行相加像素值的产生。或者，通过在像素块单位中设置的浮置扩散(FD)来执行相加像素值的产生，并且在浮置扩散(FD)中累积并输出从构成像素块的多个相同颜色的像素中的每一个输出的电荷。
[0044]通过该配置,可以产生宽动态范围图像。
【专利附图】
【附图说明】
[0045]图1是示出通过多次图像成像而产生宽动态范围图像的成像处理示例的图。
[0046]图2是示出成像元件的配置示例的图。
[0047]图3是示出成像设备的配置示例的图。
[0048]图4是示出成像装置的配置示例的图。
[0049]图5是示出曝光控制和输出图像的产生示例的图。
[0050]图6是示出成像装置的配置示例的图。
[0051]图7是示出成像装置的配置示例的图。
[0052]图8是示出曝光控制序列的图。
[0053]图9是示出成像装置的配置示例的图。
[0054]图10是示出成像装置的配置示例的图。
[0055]图11是示出曝光控制序列的图。
[0056]图12是示出成像元件的配置和处理示例的图。【具体实施方式】
[0057]在下文中将参照附图详细描述根据本公开的成像设备、信号处理方法和程序。按照以下条目进行描述。
[0058]1、关于成像装置的像素单元的配置示例
[0059]2、关于成像设备的配置示例
[0060]3、关于成像装置的配置示例
[0061]4、关于像素单元的曝光时间控制配置和输出像素值的计算处理示例
[0062]5、关于成像装置的专用电路配置示例
[0063]6、浮置扩散(FD)相加配置示例
[0064]7、关于其他实施例
[0065]8、根据本公开的配置的总结
[0066][1、关于成像装置的像素单元的配置示例]
[0067]将参照图2描述根据本公开的作为成像设备的部件的成像装置的像素单元的配置示例。图2示出成像装置的像素单元的以下三个配置示例。
[0068](I)拜耳阵列
[0069](2)四分区拜耳型RGB阵列
[0070](3)四分区WRB型阵列
[0071](I)拜耳阵列是许多照相机中采用的阵列，并且差不多建立了具有关于这种拜耳阵列的滤色器的成像图像的信号处理。
[0072]然而，对于(2)四分区拜耳型RGB阵列和(3)四分区WRB型阵列，还不能说关于针对由具有滤色器的成像元件成像的图像的信号处理已经进行了充分研究。
[0073]此外，(2)四分区拜耳型RGB阵列对应于(I)中所示的拜耳阵列的每个R、G、和B像素被设置为四个像素的阵列。
[0074](3)四分区WRB阵列是(I)中所示的拜耳阵列的每个R、G、和B像素被设置为四个像素并且代替G像素而设置W (白)像素的阵列。
[0075]在下面的实施例中，将描述这样的成像设备，该成像设备针对由包括具有图2中所示的(2)四分区拜耳型RGB型阵列的滤色器的成像元件所成像的图像来执行信号处理。
[0076][2、关于成像设备的配置示例]
[0077]图3是示出根据本公开的成像设备100的配置示例的框图。穿过光学镜头101入射的光入射到由成像单元(例如，CMOS图像传感器)构成的成像装置102上，并且输出通过光电转换获得的图像数据。输出的图像数据被输入到信号处理单元103。信号处理单元103执行一般照相机中的信号处理，如白平衡(WB)调节和伽玛校正，并且产生输出图像120。输出图像120被存储在附图中未示出的存储单元中。或者，输出图像120被输出到显示单元。
[0078]控制单元105根据附图中未示出的存储器中存储的程序而向每个单元输出控制信号，并且控制各种处理。
[0079][3、关于成像装置的配置示例]
[0080]接下来，将参照图4描述成像装置102的配置示例。
[0081]图4是示出根据本公开的实施例的成像装置102的配置的图。[0082]如图4中所示，成像装置102具有像素单元151和充当相加像素值产生单元的操作单元160。
[0083]操作单元160具有Α/D转换器161、像素信息结合单元162和输出单元163。
[0084]操作单元160可以与像素单元151具有在同一芯片上的配置，即，设置在片上的配置，或者设置在不同于像素单元151的芯片或装置中的配置。
[0085]像素单元151基于多个像素的每个像素中的被摄体的光而累积电荷，并且输出高像素数目的图像数据，以作为高分辨率图像。
[0086]另外，尽管以下参照图5和后续的附图进行详细描述，但是像素单元151被配置为在以2X2像素为单位的相同颜色像素块单位中输出四种不同曝光时间的像素信息。也就是说，输出图4中所示的多个不同曝光时间像素信息181。
[0087]多个不同曝光时间像素信息181被从像素单元151输入到充当相加像素值产生单元的操作单元160。
[0088]操作单元160的Α/D转换器161执行用于对输入信号进行Α/D转换的处理，即，将模拟信号转换为数字信号，并且将转换后的数字值输入到像素信息结合单元162。
[0089]在像素信息结合单元162中，通过对多个不同曝光时间像素信息181的相加处理来计算输出像素值。例如，像素信息结合单元162基于四个像素信号来计算输出图像的一个像素值。像素信息结合单元162执行像素值结合处理，产生像素数目减少的宽动态范围图像，并且通过输出单元163输出该宽动态范围图像。
[0090][4、关于像素单元的曝光时间控制配置和输出像素值的计算处理示例]
[0091]接下来，将描述像素单元151的曝光时间控制配置以及在操作单元160的像素信息结合单元162中执行的输出像素值的计算处理示例。
[0092]图5示出以下各图。
[0093](I)曝光控制处理
[0094](2)输出像素值计算处理
[0095]在该处理示例中，如图5(2)的(a)中所示,像素单元151具有上文参照图2(2)描述的四分区拜耳型RGB阵列。四分区拜耳型RGB阵列对应于图2(1)中所示的拜耳阵列的每个R、G、和B像素被设置为四个像素的阵列。
[0096]像素单元的配置具有图5(2)的(a)中所示的四分区拜耳型RGB阵列。也就是说，像素单元的配置变为将2X2四个像素的块设置到相同颜色(R、G或B)的每个像素的配置。
[0097]如图5(1)中所示，在四个曝光时间的设定下，对每个相同颜色块的四个像素中的每一个进行成像。
[0098]图5 (I)示出Φ1、Φ2、Φ3和Φ4四个不同曝光时间的控制序列，作为曝光时间控制序列。
[0099]曝光时间的长度被设定为Φ1>Φ3>Φ4>Φ2。
[0100]如图5(2)的(b)中所示，在R、G和B每一个的四像素块单位中，在四个不同曝光时间的设定下，进行成像。
[0101]在该曝光控制下成像的图像中，如图5(2)的(C)中所示，在R、G和B每一个的四像素块单位中获取四个不同曝光像素值。
[0102]例如，在图5(2)的(C)的左上部分的四个G像素中，获得四个曝光时间对应像素值Gl=根据曝光控制参数Φ1的最长曝光时间对应像素值、G3=根据曝光控制参数Φ3的第二长曝光时间对应像素值、G4=根据曝光控制参数Φ4的第三长曝光时间对应像素值、以及G2=根据曝光控制参数Φ2的第四长曝光时间对应像素值。
[0103]这在所有R、G和B像素块中是相同的，并且获得四个曝光时间对应像素值。
[0104]这样，在以不同的曝光时间对四分区拜耳型阵列的四个相同颜色的像素中的每一个进行曝光之后，操作单元160的像素信息结合单元162产生四个相同颜色的像素的像素值的相加信号，并且输出该相加信号。
[0105]如图5(2)的(d)中所示，设定并输出与包括四个像素的块相对应的一个输出像素值。通过该处理，产生并输出宽动态范围图像。
[0106]通过该配置，实现了固定模式噪声的增加被抑制并且动态范围可被电子调节的配置。
[0107][5、关于成像装置的专用电路配置示例]
[0108]接下来，将描述成像装置的专用电路配置示例。
[0109]图6示出CMOS图像传感器的一个像素结构。
[0110]PD:光电二极管
[0111]FD:浮置扩散
[0112]Ml 至 M4:晶体管(MOSFET)
[0113]RS:复位信号线
[0114]TR:传输信号线
[0115]SL:行选择信号线
[0116]SIG:列信号线
[0117]如果光入射到该像素，则在光电二极管(PD)中通过光电转换产生与光的量相对应的电荷。光电二极管(PD)中累积的电荷通过晶体管(Ml)传送到浮置扩散(FD)。通过传输信号线(TR)的控制信号来控制晶体管(Ml)。晶体管(M2)被供电，并且对累积在浮置扩散(FD)中的电荷执行复位操作。通过复位信号线(RS)的控制信号来控制晶体管(M2)。浮置扩散(FD)中累积的电荷被晶体管(M3)放大，并且通过晶体管(M4)从列信号线(SIG)输出。通过行选择信号线的控制信号来控制晶体管(M4)。
[0118]图7示出根据本公开的包括操作单元的电路配置示例，该操作单元输出在相同颜色的四像素块201中获取的与不同曝光时间相对应的像素值的相加信号。
[0119]图7示出包括四个相同颜色的像素的像素块以及用于这些像素的输出的操作处理配置，其中，这四个相同颜色的像素例如是如图2(2)中所示的四分区拜耳型RGB阵列中由R、G、和B中的任一个颜色的像素所构成的2X2像素。
[0120]在相同颜色的2X2像素单位中，存在具有图6中所示的内部配置并且在其中进行不同曝光时间控制的四个像素。
[0121]下文中将这四个像素描述为(Φ1，Φ2, Φ3和Φ4)。
[0122]从行选择器202提供像素控制信号。在相同行中的像素Φ1和Φ2以及像素Φ3和Φ4共享复位信号线RS和行选择信号线SL。
[0123]在像素Φ1, Φ2, Φ3和Φ4中的每一个中提供传输信号线TR并且不共享传输信号线TR。[0124]从每个像素读取的像素信号通过列信号线SIG在Α/D转换器203中转换为数字值。在从像素进行读取时，以IH (横向)周期，将与一行相对应的像素同步化，并且进行读取。
[0125]在Α/D转换器203中转换为数字值的像素信号在相加电路204中以相同颜色的2X2像素为单位相加，并且成为一个像素信号。
[0126]当来自Α/D转换器203的输出是四像素块201的上侧的行(行2i)的像素的输出信号行(2i)时，相加电路204的开关(SW) 205对寄存器(Reg) 206侧断开，并且行(2i)的像素信号一度保持在寄存器(Reg) 206中。
[0127]同时，当来自Α/D转换器203的输出是四像素块201的下侧的行(行2i+l)的像素的输出信号行(2i+l)时，相加电路204的开关(SW) 205对相加单元(ADD) 207侧断开，并且相加单元(ADD) 207将行(2i+l)的像素信号与即刻之前保持在寄存器(Reg) 206中的行
(2i)的像素信号相加。然后，后面步骤的相加单元(ADD) 208将像素信号与相邻列的相加的像素信号相加，并且获得四像素相加信号。
[0128]根据来自定时发生器(TG) 210的选择控制信号，从列选择器209顺序选择相加的像素信号，并且将该相加的像素信号传送到输出信号线。
[0129]图8是示出下述的像素控制信号的时序图的图:其用于对图7中所示的包括四个像素的像素块201中所包括的四个像素中的每个像素设定不同的曝光时间。
[0130]通过将以IV (竖向)周期传送并且用“实线圆”围绕的读取控制信号301与根据曝光长度适当传送到每个像素并且用“虚线圆”围绕的ro复位控制信号302相结合，实现了不同曝光时间控制。
[0131]读取控制信号301 (实线圆)是用于使一行(I行)的像素将像素信号彼此同步地传送到Α/D转换器203的控制信号。
[0132]为此，图7中所示的包括四个像素的像素块201的上侧的行的像素的输出信号行
(2i)和下侧的行的输出信号行(2i+l)的定时相差1H。
[0133]图7中所示的包括四个像素的像素块201的四个像素的配置与上面参照图6描述的配置相同。将参照图6描述每个像素中像素信号的产生处理。
[0134]首先，对晶体管M2施加复位信号RS，并且在浮置扩散FD中累积的电荷被复位。当电荷水平充分达到复位水平时，对晶体管M4施加行选择信号SL，并且对应于FD的复位水平的晶体管M3的源极电流流到列信号线(SIG)并作为复位水平被传送到图7中所示的A/D转换器203。
[0135]接下来，复位信号RS和行选择信号SL —度成为“断开”，传输信号TS被施加到晶体管Ml，并且光电二极管H)产生的电荷被传送到浮置扩散FD。当该传送充分完成时，对晶体管M4施加列选择信号SL，并且对应于浮置扩散FD的电荷量的晶体管M3的源极电流流到列信号线并作为像素信号水平被传送到图7中所示的Α/D转换器203。在Α/D转换器203中，通过检测复位水平和像素信号水平的差，获得准确的像素信号。
[0136]读取控制和IV之后的下一个读取控制之间的周期是曝光周期。复位控制信号(虚线圆)302是这样的控制:其用于在曝光周期期间通过适当地提供传输信号TS而将光电二极管ro累积的电荷传送到浮置扩散FD。因为通过该复位控制而传送的电荷可在读取控制中被首先复位，所以该电荷不被读取作为像素信号。为此，从复位控制的传输信号到读取控制的传输信号的周期成为实质曝光周期。在根据本发明的该配置中，因为传输信号TS可以被独立施加到2X2像素单位中的四个像素，所以所需的四个像素的曝光时间可以被结合。
[0137]在图8中所示的时序图中，示出了如下情况的示例:不对像素Φ1进行复位控制，在不同的定时对其他像素Φ2、Φ3和Φ4施加复位控制信号302以进行不同的复位控制，并且实现了 Φ1的曝光《?长时间，Φ2 4短时间，Φ3 =?中等短时间，以及Φ4 =>中等长时间。在图8中所示的ακΦ?至ακΦ4中，实线的周期示出曝光周期。
[0138]曝光周期被设定为Φ1>Φ4>Φ3>Φ2。
[0139][6、浮置扩散(FD)相加配置示例]
[0140]在上述实施例中，构成像素块的四个像素中的每个像素具有图6中所示的配置，在具有相加电路的操作单元中将每个像素的输出相加，并且产生输出像素值。
[0141]每个像素具有如图6中所示的像素单位中的单独浮置扩散(FD)，并且在图7中所示的相加电路204中将每个FD的输出相加。
[0142]接下来，如图9中所示，将描述如下配置示例:每个像素单位中的浮置扩散(FD)被省去，以构成像素块的四个像素为单位设置一个共享浮置扩散(FD)，并且在该共享浮置扩散(FD)中执行像素块的像素值的相加处理。也就是说，该共享浮置扩散(FD)充当相加像素值产生单元。
[0143]在该实施例中，如图9中所示，四个相同颜色的像素的各个像素Φ1，401至Φ4, 404接收来自不同传输信号线(TRl至TR4)的传输信号，并且共享共享浮置扩散(FD)412和复位信号线(RS)。
[0144]在各个像素Φ1，401至Φ4，404中`以不同的曝光时间产生的全部电荷累积在一个共享浮置扩散(FD) 412中。
[0145]通过该配置，不同曝光时间的四个像素Φ1，401至Φ4，404的像素信号可以在一个共享浮置扩散(FD) 412中相加。
[0146]在该配置中，不必分别读取四个像素的像素值，并且可以对一个共享浮置扩散(FD)412中的相加结果进行读取。因为必要的读取次数变为1/4，所以能够实现高速驱动。
[0147]将参照图9描述进行浮置扩散(FD)相加的成像装置的配置和处理。
[0148]图9示出相同颜色的2X2像素单位的像素单元的电路配置。被四个实线矩形围绕的区域对应于像素(Φ1，401，Φ2, 402, Φ 3，403和Φ4, 404)。
[0149]这些像素分别具有光电二极管PDl至PD4和传输晶体管Ml至M4。
[0150]像素(Φ 1,401，Φ2, 402, Φ3，403和Φ4, 404)外部的配置是由2X2像素的像素块共享的部分，并且复位晶体管Μ5，411、浮置扩散FD412、放大晶体管Μ6，413和行选择晶体管Μ7，417被设置为该像素块单位的共享元件。
[0151]这样，复位信号线RS和行选择信号线被2X2像素共享，并且传输信号线TS(TS1, TS2, TS3和TS4)被分别提供给每个像素。
[0152]图10是示出具有图9中所示的浮置扩散(FD)相加配置的像素单元和操作单元的配置示例的图。
[0153]图10示出相同颜色的2X2像素的像素块501和输出控制单元502的各自配置。
[0154]在2X2像素单位的像素块501中，包括具有参照图9描述的内部配置的四个像素(Φ I, Φ2, Φ3 和 Φ4)。[0155]从行选择器511提供像素控制信号。
[0156]以设置有每个像素块的两行(2行)为单位，在行方向上从行选择器511延伸出复位信号线RS、行选择信号线SL和四个传输信号线TS。复位信号线RS、行选择信号线SL和四个传输信号线TS以在行方向上布置的2X2像素为单位提供控制信号。
[0157]通过在内部共享浮置扩散(FD)中将每个像素块中的2X2=4个像素的像素值相加而获得的像素信号从每个2X2像素单位的像素块501经由列信号线SIG输入到Α/D转换器521，并且在Α/D转换器521中转换为数字值。在该配置中，因为对以每个2 X 2像素的像素块501为单位相加的像素值来执行读取处理，所以以2H周期从像素进行像素值读取。
[0158]根据通过定时发生器(TG) 522输出的控制信号，从列选择器523顺序选择在A/D转换器521中转换为数字值的像素信号，并且将该像素信号传送到输出信号线。
[0159]图11是示出下述配置中的像素控制信号的时序图的图:在该配置中，执行参照图9和图10描述的浮置扩散(FD)相加处理。
[0160]通过结合以IV周期传送并且被“实线圆”围绕的读取控制信号601与根据曝光长度适当传送到每个像素并且被“虚线圆”围绕的ro复位控制信号602，进行曝光时间控制。
[0161]读取控制信号601是用于使2行的像素将像素信号彼此同步地传送到图10中所示的Α/D转换器521的控制。
[0162]因为针对包括2X2=4个像素的每个像素块的上侧的行的像素信号行(2i)和下侧的行的像素信号行(2i+l)来执行在设置给每个像素块的一个浮置扩散(FD)中的相加处理，所以读取控制信号601变为四像素单位的一个相同定时。
[0163]首先，向图9中所示的晶体管M5，411施加复位信号RS，并且在作为该像素块单位的共享FD的FD412中累积的电荷被复位。当电荷水平充分达到复位水平时，行选择信号SL被施加给晶体管M7，414，并且对应于FD412的复位水平的晶体管M6，413的源极电流流到列信号线并被作为复位水平传送到图10中所示的Α/D转换器521。
[0164]接下来，复位信号RS和行选择信号SL —度变为“断开”，对包括2X2像素的像素块进行配置并且对应于各个像素的四个传输信号TR1，TR2, TR3和TR4被施加给图9中所示的各个像素Φ1，401至Φ4, 404的各个晶体管Ml, M2, M3和Μ4，四个像素Φ 1,401至Φ4, 404的各光电二极管H)产生的电荷被传送到该像素块单位的浮置扩散FD412，并且总电荷量累积在FD412中。当该传送充分完成时，列选择信号SL被施加给晶体管M7，414，并且对应于FD412的电荷量的晶体管M6，413的源极电流流到列信号线，并作为像素信号水平被传送到图10中所示的Α/D转换器521。在图10中所示的Α/D转换器521中，通过检测复位水平和像素信号水平的差，获得准确的像素信号。
[0165]在图11中所示的时序图中，读取控制信号601a和IV之后的下一个读取控制信号601b之间的周期是曝光周期。复位控制信号602是用于在该曝光周期中通过适当地提供传输信号TS而将每个像素的光电二极管F1D累积的电荷传送到共享FD412的控制信号。因为通过该复位控制传送的电荷可能在读取控制中被首先复位，所以该电荷不被读取作为像素信号。因此，从复位控制的传输信号到读取控制的传输信号的周期成为实质曝光周期。在根据本公开的该配置中，因为传输信号TS可被独立地施加给2X2像素单位中的四个像素，所以所需的四个像素的曝光周期可以被结合。
[0166]图11中所示的控制是如下情况的示例:不对像素Φ I进行复位控制，对像素Φ2、Φ3和Φ4执行不同定时的复位控制信号602的复位处理,并且实现了 Φ1的曝光长时间，Φ2 =>'短时间，Φ3=?>?中等短时间，以及Φ4 =>中等长时间。在CHGC> I至CHGC>4中，实线的周期示出曝光周期。
[0167]在该示例中，曝光周期被设定为Φ1>Φ4>Φ3>Φ2。
[0168][7、关于其他实施例]
[0169]在上述实施例中，描述了具有图1(2)中所示的四分区拜耳型RGB阵列的成像元件的处理示例。然而，根据本公开的该配置可应用于其他像素配置。
[0170]也就是说，如果像素阵列是以2 X 2像素单位设置相同颜色的像素阵列，则2 X 2像素的颜色的阵列没有具体限制。为了在像素相加并输出之后通过信号处理获得颜色图像，布置如拜耳阵列的RGB的2X2像素是有效的。然而，如果可以准备适当的信号处理(去马赛克处理、色彩校正或者颜色矩阵处理)，则本发明可应用于RGB的拜耳阵列以外的阵列。
[0171]例如，本公开可应用于上文参照图2(3)描述的四分区WRB型阵列。
[0172]也就是说，如图12⑵中所示，可以对WRB型的2X2像素的拜耳阵列执行相同的处理，在该WRB型的2X2像素的拜耳阵列中，用全可见光波长透射型的W像素代替四分区RGB型阵列中的G像素(例如，使用透射全可见光波长的片上滤色器)。
[0173]另外，上述实施例中描述的曝光时间控制或者操作处理可以作为对应于在控制单元中执行的程序的处理来执行。
[0174][8、根据本公开的配置的总结]
[0175]已经参照特定实施例描述了本公开的实施例。然而，本领域的技术人员显然可以在不偏离本公开的范围的情况下获得上述实施例的变形和替换。也就是说，以示例的形式公开了本发明，因此，应当指出，不应将本发明分析为限制性的。要确定本公开的范围，必需考虑权利要求。
[0176]另外，本说明书中公开的技术可以采用如下配置。
[0177](1) 一种成像设备，包括:
[0178]像素单元，其中布置有各自包括多个相同颜色的像素的像素块；
[0179]控制单元，其对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制；以及
[0180]相加像素值产生单元，其产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值。
[0181]( 2 )根据(1)所述的成像设备，
[0182]其中，所述相加像素值产生单元由具有用于将所述像素块的多个相同颜色的像素的输出相加的相加单元的相加电路构成。
[0183]( 3 )根据(1)或(2 )所述的成像设备，
[0184]其中，所述像素块由包括多行X多列的多个像素的相同颜色的像素构成，以及
[0185]所述相加电路具有用于存储设定给所述像素块的在先读取行的多个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的多个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
[0186](4)根据(1)至(3)中任一项所述的成像设备，
[0187]其中，所述像素块由包括2行Χ2列的四个像素的相同颜色的像素构成，以及[0188]所述相加电路具有用于存储设定给所述像素块的在先读取行的两个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的两个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
[0189]( 5 )根据(I)所述的成像设备，
[0190]其中，所述相加像素值产生单元由以所述像素块为单位设置的浮置扩散(FD)构成，以及[0191]所述浮置扩散(FD)具有下述配置:在该配置中，累积从构成所述像素块的多个相同颜色的像素中的每一个输出的电荷。
[0192](6)根据(I)至(5)中任一项所述的成像设备，
[0193]其中，所述像素单元具有四分区拜耳型RGB阵列，并且具有以R、G、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
[0194](O根据(I)至(5)中任一项所述的成像设备，
[0195]其中，所述像素单元具有四分区WRB阵列，在所述四分区WRB阵列中用全可见光波长透射型的W像素代替四分区拜耳型RGB阵列中的G像素，并且所述像素单元具有以W、R、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
[0196]根据本公开的配置中还包括在设备和系统中执行的处理方法、用于使该处理被执行的程序以及记录有该程序的记录介质。
[0197]另外，本说明书中描述的处理序列可以由硬件、软件或者硬件与软件两者的复合配置来执行。当该处理由软件执行时，记录有处理序列的程序可以安装在专用硬件中内置的计算机中的存储器中并且可以被执行，或者该程序可以安装在可以执行各种处理的通用计算机中并且被执行。例如，该程序可以被预先记录在记录介质上。除了从记录介质将该程序安装到计算机之外，还可以通过诸如局域网(LAN)和因特网的网络接收该程序，并且该程序可以被安装在记录介质(如内置硬盘)中。
[0198]本说明书中描述的各种处理不局限于只根据该描述的时间顺序执行，并且可以根据执行该处理的设备的处理能力或者根据需要而并行地或单独地执行。另外，本说明书中的系统意味着多个设备的逻辑集成结构，并且不局限于各配置的设备在同一外壳内的结构。
[0199]工业应用件
[0200]如上所述，根据本公开的一个实施例的配置，实现了用于通过执行长时间曝光像素和短时间曝光像素的像素值结合处理来产生宽动态范围图像的设备和方法。
[0201]具体来说，针对构成像素块的多个相同颜色的像素中的每一个来进行不同曝光时间的控制，并且产生通过将像素块的多个相同颜色的像素的输出相加而获得的相加像素值。在具有将像素块的多个相同颜色的像素的输出相加的相加单元的操作单元中执行相加像素值的产生。或者，通过在像素块单位中设置的浮置扩散(FD)来执行相加像素值的产生，并且从构成像素块的多个相同颜色的像素中的每一个输出的电荷在浮置扩散(FD)中被累积并被输出。
[0202]通过该配置，可以产生宽动态范围图像。
[0203]附图标记列表
[0204]10亮阈值水平[0205]11高亮度区域
[0206]12低亮度区域
[0207]100成像设备
[0208]101光学镜头
[0209]102成像装置
[0210]103信号处理单元
[0211]105控制单元
[0212]120输出图像
[0213]151像素单元
[0214]160操作单元
[0215]161Α/D 转换器
[0216]162像素信息结合单元
[0217]163输 出单元
[0218]181多个不同曝光时间像素信息
[0219]201像素块
[0220]202行选择器
[0221]203Α/D 转换器
[0222]204相加电路
[0223]205开关
[0224]206寄存器
[0225]207,208 相加单元
[0226]209列选择器
[0227]210定时发生器(TG)
[0228]401 至 404 像素
[0229]411、413、414 晶体管
[0230]412浮置扩散(FD)
[0231]501像素块
[0232]502输出控制单元
[0233]511行选择器
[0234]521Α/D 转换器
[0235]522定时发生器(TG)
[0236]523列选择器。
【权利要求】
1.一种成像设备，包括: 像素单元，其中布置有各自包括多个相同颜色的像素的像素块； 控制单元，其对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制；以及 相加像素值产生单元，其产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值。
2.根据权利要求1所述的成像设备， 其中，所述相加像素值产生单元由具有用于将所述像素块的多个相同颜色的像素的输出相加的相加单元的相加电路构成。
3.根据权利要求2所述的成像设备， 其中，所述像素块由包括多行X多列的多个像素的相同颜色的像素构成，以及所述相加电路具有用于存储设定给所述像素块的在先读取行的多个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的多个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
4.根据权利要求2所述的成像设备， 其中，所述像素块由包括2行X2列的四个像素的相同颜色的像素构成，以及所述相加电路具有用于存储设定给所述像素块的在先读取行的两个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的两个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
5.根据权利要求1所述的成像设备， 其中，所述相加像素值产生单元由以所述像素块为单位设置的浮置扩散(FD)构成，以及 所述浮置扩散(FD)具有下述配置:在该配置中，累积从构成所述像素块的多个相同颜色的像素中的每一个输出的电荷。
6.根据权利要求1所述的成像设备， 其中，所述像素单元具有四分区拜耳型RGB阵列，并且具有以R、G、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
7.根据权利要求1所述的成像设备， 其中，所述像素单元具有四分区WRB阵列，在所述四分区WRB阵列中用全可见光波长透射型的W像素代替四分区拜耳型RGB阵列中的G像素，并且所述像素单元具有以W、R、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
8.—种在成像设备中执行的信号处理方法， 其中，所述成像设备具有:像素单元，其中布置有各自包括多个相同颜色的像素的像素块； 控制单元，其执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理；以及 相加像素值产生单元，其执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。
9.一种用于使得在成像设备中执行信号处理的程序，其中，所述成像设备具有像素单元，所述像素单元中布置有各自包括多个相同颜色的像素的像素块， 所述程序使控制单元执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理，以及 所述程序使相加像素值产生单元执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相 加像素值的相加像素值产生处理。
【文档编号】H04N9/07GK103748868SQ201280040981
【公开日】2014年4月23日 申请日期:2012年6月29日 优先权日:2011年8月31日
【发明者】光永知生 申请人:索尼公司