本发明涉及固体摄像装置、固体摄像装置的驱动方法以及电子设备。
背景技术：
作为利用了检测到光而产生电荷的光电变换元件的固体摄像装置(图像传感器)，有cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)图像传感器以供实用。
cmos图像传感器作为数字摄像机、视频摄像机、监视摄像机、医疗用内窥镜、个人计算机(pc)、便携电话等便携终端装置(移动设备)等各种电子设备的一部分而被广泛应用。
cmos图像传感器的主流是列并列输出型，其中，使每个像素具备具有光电二极管(光电变换元件)以及浮动扩散层(fd：floatingdiffusion，浮动扩散)的fd放大器，其读出方式是，选择像素阵列当中的某一行，并将它们同时向列(column)方向读出。
但是，为了特性提升，提出有各种实现具有高动态范围(hdr：highdynamicrange)的高画质的固体摄像装置(cmos图像传感器)的方法。
过去，在固体摄像装置中，作为提高(扩大)动态范围的方法，例如已知如下等方法：从图像传感器的同一像素读出积蓄时间不同的两个种类的信号，将这两个种类的信号组合来使动态范围扩大；以及将高灵敏度的像素中动态范围小的信号和在低灵敏度下扩大了动态范围的信号组合来扩大动态范围。
例如在专利文献1中，公开了分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术。
另外，在专利文献1中，公开了使浮动扩散的电容可变的高动态范围化技术。
另外，在专利文献2中公开了如下技术：在光电二极管pd连接高灵敏度低照度侧的小电容c1的浮动扩散和低灵敏度高照度侧的大电容c2的浮动扩散，并分别输出低照度侧的输出out1和高照度侧输出out2，由此进行高动态范围化。
这些信号的合成方法若在时间上看，存在跨多个帧的方式和在1帧内输出多个种类的动态范围不同的信号的方式等。
现有技术文献
专利文献
专利文献1：jp专利第3984814号公报
专利文献2：jp专利第3592106号公报
技术实现要素：
发明要解决的课题
然而，不管在哪种方法中，对于要组合的(要合成的)多个信号来说，在进行组合(信号的切换)的信号值的附近，相对于入射光量(照度)的输出电压的直线性都需要分别大致保持成同等。
由于各个信号为了扩大动态范围(d范围)而被设计成使相对于光量(照度)的增益不同，因此主要在由模拟数字转换器(adc)进行了数字变换后的数字信号处理电路中对增益进行补正，从而保持相同的直线性(或倾斜度)。
但是，由于存在固体摄像装置的个体单位中的偏差、或一个个体当中的像素间的偏差等，因此即使用以偏差的中心值的参数为基础进行了补正的数值来切换各个信号，有时也不一定能保证该电平的附近的直线性(linearity)。
在这样补正精度低(有偏差)的情况下，存在如下不利：不能进行平滑的切换，该不连续点会成为噪声，从而成为所谓的色调跳变或伪色产生等图像劣化的主要原因。
本发明提供固体摄像装置、固体摄像装置的驱动方法以及电子设备，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制伪色的产生等图像劣化的同时实现高动态范围化，进而能实现高画质化。
用于解决课题的手段
本发明的第1观点是能将多个读出信号合成来扩大动态范围的固体摄像装置，具有信号处理部，其在进行所述多个读出信号当中所关注的读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部每当对来自一个所关注的像素的读出信号进行合成时，就参考与所述一个所关注的像素的周边像素的合成相关的合成信息来决定与该读出信号的合成相关的合成信息。
本发明的第2观点是能将多个读出信号合成来扩大动态范围的固体摄像装置的驱动方法，具有：比较步骤，在进行所述多个读出信号当中所关注的读出信号的合成时，对所述多个读出信号当中至少一个读出信号和阈值进行比较；选择步骤，根据比较结果选择至少一个合成所需的信号；和生成步骤，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，每当对来自一个所关注的像素的读出信号进行合成时，就参考与所述一个所关注的像素的周边像素的合成相关的合成信息来决定与该读出信号的合成相关的合成信息。
本发明的第3观点的电子设备具有：能将多个读出信号合成来扩大动态范围的固体摄像装置；和在所述固体摄像装置成像被摄体像的光学系统，所述固体摄像装置包含信号处理部，其在进行所述多个读出信号当中所关注的读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部每当对来自一个所关注的像素的读出信号进行合成时，就参考与所述一个所关注的像素的周边像素的合成相关的合成信息来决定与该读出信号的合成相关的合成信息。
发明效果
根据本发明，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制伪色的产生等图像劣化的同时实现高动态范围化，进而能实现高画质化。
附图说明
图1是表示本发明的第1实施方式所涉及的固体摄像装置的信号处理系统的整体的结构例的框图。
图2是作为像素(pixel)的排列例而示出拜耳排列的图。
图3是附加输出代码值来表示拜耳排列中的高增益信号和低增益信号的一例的图。
图4是用于说明作为所关注的像素的周边像素的合成信息而参考形成拜耳排列的最小单位的像素的合成信息即表示是高增益信号还是低增益信号的信息的示例的图。
图5是用于说明作为所关注的b像素的周边像素而采用与所关注的像素同色的多个像素并参考它们的合成信息的示例的图。
图6是表示本第1实施方式所涉及的像素阵列部中的能生成低增益信号和高增益信号的像素(pixel)的结构例的图。
图7是表示本发明的第1实施方式所涉及的信号处理部的结构例的图。
图8是用于说明本实施方式所涉及的读出信号的合成信息的决定的第1方法的图。
图9是用于说明本实施方式所涉及的读出信号的合成信息的决定的第2方法的图。
图10是用于说明本实施方式所涉及的读出信号的合成信息的决定的第3方法的图。
图11是表示采用本实施方式所涉及的读出信号的合成信息的决定方法的情况下的高动态范围信号的生成过程以及结果的图。
图12是表示不采用本实施方式所涉及的读出信号的合成信息的决定方法的情况下的高动态范围信号的生成过程以及结果的图。
图13是用于具体说明将高增益信号和低增益信号合成来做出高动态范围信号的合成方法的图。
图14是示意地表示将低增益信号和高增益信号以4步分阶段地平滑地合成的情况下的信号电平、中心阈值、各结合位置(点)、被动态地设定的阈值的关系的图。
图15是用于说明本第1实施方式所涉及的信号处理部中的合成处理的一例的流程图。
图16是表示本发明的第2实施方式所涉及的信号处理部的结构例的图。
图17是表示图16的随机数产生部的具体的结构例的图。
图18是用于说明将高增益信号、中增益信号、和低增益信号这三个信号以倾斜度相等的方式进行合成的处理的图。
图19是表示分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术的一例的图。
图20是用于说明以帧为单位提高动态范围的示例的图。
图21是表示应用本发明的实施方式所涉及的固体摄像装置的电子设备的构成的一例的图。
附图标记的说明
10固体摄像装置
20寄存器控制器
30定时控制器
40像素(pixel)阵列部
50模拟增益部
60模拟数字转换器(adc)
70数字信号处理器(dsp)
710、710a信号处理部
711合成信息判别部
712、713乘法运算器
714、714a合成处理部
715随机数产生部
80可扩展低电压信号传输(slvs)接口部
90时钟发生器
100电子设备
110cmos图像传感器
120光学系统
130信号处理电路(prc)
具体实施方式
以下与附图建立关联来说明本发明的实施方式。
(第1实施方式)
图1是表示本发明的第1实施方式所涉及的固体摄像装置的信号处理系统的整体的结构例的框图。
在本实施方式中，固体摄像装置10构成为能将从像素(pixel)读出的多个(两个或三个以上)的读出信号合成来扩大动态范围，例如由cmos图像传感器构成。
图1的固体摄像装置10具有以下各部分作为主构成要素：寄存器控制器(registercontroller)20、定时控制器(timingcontroller)30、像素(pixel)阵列(pixelarray)部40、模拟增益(analoggain)部50、模拟数字转换器(adc：analogdigitalconverter)部60、包含作为信号处理部的功能的数字信号处理器(dsp：digitalsignalprocessor)部70、可扩展低电压信号传输(slvs：scalablelowvoltagesignaling)接口部80、以及时钟发生器(clockgenerator)90。
在固体摄像装置10中，寄存器控制器20、定时控制器30、模拟增益部50、adc部60、dsp部70、以及slvs接口部80通过用于进行信号的授受的总线bs连接。
另外，由时钟发生器90生成的系统时钟clk被提供给寄存器控制器20、定时控制器30、模拟增益部50、adc部60、dsp部70以及slvs接口部80。
寄存器控制器20与未图示的cpu、dsp等外部控制装置通信，作为将动作模式的设定、各种控制参数写入的存储部发挥功能。
定时控制器30配合各种动作模式生成读出像素(pixel)数据的控制脉冲s30，进行像素阵列部40的读出控制。
像素阵列部40将包含光电二极管(光电变换元件)和像素内放大器的多个像素排列成n行×m列的二维的矩阵状(matrix状)。
像素阵列部40例如采用图2所示那样的拜耳排列来作为其像素(pixel)排列。
图2表示拜耳排列的最小单位的一例。
在该示例中，r(红)的像素pxl-r、gr(绿)的像素pxl-gr、gb(绿)的像素pxl-gb以及b(蓝)的像素pxl-b排列成2×2的矩阵状，形成拜耳排列的最小单位unt。
按照基于定时控制器30的控制脉冲s30从包含像素阵列部40的光电变换元件的像素群读出的读出信号被模拟增益部50以给定的增益放大，由adc部60变换成数字信号后输入到如之后详述那样的作为信号处理部发挥功能的dsp部70。
另外，在adc部60的输出级例如配置列存储器(columnmemory)。
在dsp部70中，在对所输入的数字信号实施相关双采样(cds：correlateddoublesampling)、黑补正、数字增益等图像信号处理后，在slvs接口部80以适合输出型式(图1中是slvs)的方式输出。
在本实施方式中，从包含像素阵列部40的光电变换元件的像素群读出的读出信号如图1所示那样是读出光电变换增益不同的多个种类(本例中是两个种类)的高增益信号(hcg：highconversiongain)和低增益信号(lcg：lowconversiongain)这两个系统的信号。
并且，在dsp部70的信号处理部710将两个信号合成来生成扩大了动态范围的高动态范围信号。
另外，读出信号虽然存在两个系统，但是如之后说明的那样，能将与信号的读出相关的部分(例如信号线)作为一个系统以时分方式进行处理。
高增益信号hcg是来自光电变换元件部的高增益输出信号，与该程度的低增益信号lcg相比以较少的入射光量饱和。低增益信号lcg由于是低增益输出信号，因此达到饱和的入射光量有富余，与高增益信号hcg相比较大。
因此，在dsp部70的信号处理部710中，使低增益信号lcg和高增益信号hcg的倾斜度相等，并且在高增益信号hcg快要饱和之前即在保持了直线性的区域(非饱和区域)，将这两个种类的信号合成，由此取得提高了动态范围的信号即合成信号。
图3(a)以及(b)是附加输出代码值来表示拜耳排列中的高增益信号hcg和低增益信号lcg的一例的图。
图3(a)表示高增益信号hcg的一例，图3(b)表示低增益信号lcg的一例。
基本上，形成拜耳排列的最小单位unt的四个r像素pxl-r、g像素pxl-gr、g像素pxl-gb以及b像素pxl-b这四者全都示出与高增益信号hcg或低增益信号lcg关联的输出代码值。
在图3(a)所示的高增益信号hcg的情况下，r像素pxl-r的输出代码值示出“2200”，g像素pxl-gr以及pxl-gb的输出代码值示出“2400”，b像素pxl-b的输出代码值示出“1600”。
在图3(a)的高增益信号hcg的示例中，g像素pxl-gr以及pxl-gb的输出代码值与b像素pxl-b的输出代码值之比(g/b)是1.5。
另一方面，在图3(b)所示的低增益信号lcg的情况下，r像素pxl-r的输出代码值示出“80”，g像素pxl-gr以及pxl-gb的输出代码值示出“100”，b像素pxl-b的输出代码值示出“50”。
在图3(b)的低增益信号lcg的示例中，g像素pxl-gr以及pxl-gb的输出代码值与b像素pxl-b的输出代码值之比(g/b)是2.0。
另外，高增益信号hcg与低增益信号lcg之比(hcg/lcg)对于r像素pxl-r和g像素pxl-gr以及pxl-gb是24，对于b像素pxl-b是32。
进行高增益信号hcg与低增益信号lcg的合成处理的dsp部70的信号处理部710为了使在饱和之前有直线性的低增益信号lcg的倾斜度与同样在饱和之前有直线性的高增益信号hcg的倾斜度相等，将所输入的低增益信号lcg与增益比k(＝hcg/lcg)相乘。
在图3的示例中，增益比k例如设定为16。但是，增益比并不限定于16，还可以设定为4、8等与状况相应的值。
在图3的示例中，若将低增益信号lcg与增益比k＝16(＝hcg/lcg)相乘，则r像素pxl-r的输出代码值成为“80×16＝1280”，g像素pxl-gr以及pxl-gb的输出代码值成为“100×16＝1600”，b像素pxl-b的输出代码值成为“50×16＝800”。
进行该高增益信号hcg与低增益信号lcg的合成处理的dsp部70的信号处理部710基本具有以下所示的特征性的结构、功能。关于具体的合成处理，之后详述。
本实施方式的信号处理部710构成为能将多个读出信号(在该示例中是高增益信号hcg和低增益信号lcg)合成来扩大动态范围。
信号处理部710使应合成的多个读出信号例如高增益信号hcg和低增益信号lcg的倾斜度相等。
信号处理部710在进行多个读出信号当中所关注的读出信号的合成时，根据多个读出信号当中至少一个读出信号(高增益信号hcg、低增益信号lcg)与阈值(jointthresh)的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号。
并且，将多个信号(高增益信号hcg、低增益信号lcg)合成(组合)来使动态范围提升的本实施方式的信号处理部710为了减轻在组合处理中产生的、因直线性(linearity)的精度的劣化导致的问题，特别是为了抑制由于因色温的变化引起的与周边像素(附近像素)的相关性的变化而产生的伪色来使画质提升，具有以下的特征性的结构。
信号处理部710每当对来自一个所关注的像素(pixel)的读出信号进行合成时，就参考与一个像素的周边像素的合成相关的合成信息来决定与读出信号的合成相关的合成信息。
在此，所谓与读出信号的合成相关的合成信息，例如包含表示从像素读出的信号是高增益信号hcg还是低增益信号lcg的信息。
但是，与读出信号的合成相关的合成信息并不限定于表示是高增益信号hcg还是低增益信号lcg的信息。
作为所关注的像素(pixel)的周边像素的合成信息，信号处理部710参考形成给定的色排列(本例中为拜耳排列)的最小单位unt的像素(pixel)的合成信息(本例中为表示是高增益信号hcg还是低增益信号lcg的信息)。
图4是用于说明作为所关注的像素的周边像素的合成信息而参考形成拜耳排列的最小单位unt的像素的合成信息即表示是高增益信号hcg还是低增益信号lcg的信息的示例的图。
在图4所示的示例中，所关注的像素是拜耳排列的最小单位unt的b像素pxl-b，周边像素是拜耳排列的最小单位unt的r像素pxl-r和g像素pxl-gr以及pxl-gb。
在图4的示例中，读出时的所关注的b像素pxl-b的合成信息是高增益信号hcg，周边像素r像素pxl-r和g像素pxl-gr以及pxl-gb是低增益信号lcg。
在该情况下，由于所关注的b像素pxl-b的周边像素r像素pxl-r和g像素pxl-gr以及pxl-gb这三个像素的合成信息都是低增益信号lcg，且对于最小单位unt的四个像素的合成信息来说，按3比1的比例，作为低增益信号lcg的像素处于多数，因此信号处理部710取代高增益信号hcg，将所关注的b像素pxl-b的合成信息决定(修正)为是低增益信号lcg。
另外，作为所关注的像素的周边像素，并不限定于拜耳排列的最小单位unt的三个像素。
图5是用于说明作为所关注的b像素pxl-b的周边像素而采用与所关注的像素同色的多个像素并参考它们的合成信息的示例的图。
例如，信号处理部710如图5所示那样，采用与所关注的b像素pxl22-b同色的b像素pxl11-b、pxl12-b、pxl13-b、pxl21-b、pxl23-b、pxl31-b、pxl32-b、pxl33-b这8像素作为所关注的b像素pxl22-b的周边像素，参考它们的合成信息。
即，信号处理部710将所关注的b像素pxl22-b的合成信息(本例中为低增益信号lcg)和与所关注的b像素pxl22-b的过滤色同色的周边像素b像素pxl11-b、pxl12-b、pxl13-b、pxl21-b、pxl23-b、pxl31-b、pxl32-b、pxl33-b的合成信息(本例中为高增益信号hcg)进行比较，来选择最佳的合成信息的决定方法。
在该情况下，由于所关注的b像素pxl22-b的周边像素b像素pxl11-b、pxl12-b、pxl13-b、pxl21-b、pxl23-r、pxl31-b、pxl32-b、pxl33-b这8像素的合成信息都是高增益信号hcg，且对于包含关注像素在内的9个像素的合成信息来说，按8比1的比例，作为高增益信号hcg的像素处于多数，因此信号处理部710取代低增益信号lcg，将所关注的b像素pxl22-b的合成信息决定(修正)为是高增益信号hcg。
另外，作为周边像素，并不限于同色，还能有包括同色在内参考周边的16像素的合成信息等各种方式。
另外，在这些情况下，包括图5的示例在内都不限于拜耳排列，还能应用到其他排列。
在本实施方式中，信号处理部710有多种读出信号的合成信息的决定方法。
基本上，在拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg或高增益信号hcg的数量按3比1的比例处于多数的情况下，信号处理部710采用多的一方的合成信息作为所关注的像素的合成信息。
在拜耳排列的最小单位unt的四个像素的合成信息是按4比0的比例为低增益信号lcg或高增益信号hcg的情况下，信号处理部710不修正所关注的像素的合成信息而保持原样。
在拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等的情况下，作为所关注的像素的合成信息来采用的合成信息的决定方法有多种，信号处理部710能采用这多种方法当中的一种。
例如在第1方法中，在拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等的情况下，使所关注的像素的合成信息与g像素pxl-gr、pxl-gb的合成信息(低增益信号lcg或高增益信号hcg)一致。
例如在第2方法中，在拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等的情况下，将所关注的像素的合成信息与周边同色像素进行比较，使其与周边同色像素的合成信息(低增益信号lcg或高增益信号hcg)一致。
例如在第3方法中，在拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等的情况下，将所关注的像素的合成信息与周边16像素进行比较，使其与周边16像素的合成信息(低增益信号lcg或高增益信号hcg)一致。
例如信号处理部710能具有根据周边像素的合成信息的决定方法的采用数进行判断来选择最佳的合成信息的决定方法的功能。
另外，信号处理部710能具有将所关注的像素的合成信息和与所关注的像素的过滤色同色的周边像素的合成信息进行比较来选择最佳的合成信息的决定方法的功能。
信号处理部710能具有每当选择最佳的合成信息的决定方法时就参考各色像素(pixel)的例如从边缘部分生成的亮度信号的电平的功能。
另外，信号处理部710能具有每当选择最佳的合成信息的决定方法时就参考所算出的色温信息的功能。
信号处理部710能具有以来自要参考的各个像素(pixel)的读出信号的时间上的变化为基础来决定合成信息的决定方法的功能。
另外，信号处理部710能具有将1画面内分割成多个区域并以该分割区域为单位来限制要选择的合成信息的决定方法的功能。
并且，本实施方式的信号处理部710构成为能动态变更合成处理中应用的阈值。
作为阈值，信号处理部710将预先设定的基准阈值(中心阈值)jointthresh(以下称作j_thresh)、和通过对基准阈值j_thresh和给定的步值stepα(α是自然数)进行比较运算(例如加法运算、减法运算)而决定的新的阈值(j_thresh±stepα)应用在合成处理中。
另外，预先设定的基准阈值(中心阈值)j_thresh例如以能改写的方式被写入到作为存储部的寄存器(reg)。
信号处理部710例如具有加权处理部，其根据多个读出信号当中设为基准的读出信号(例如高增益信号hcg)和对应的阈值(j_thresh、j_thresh±stepα)的比较结果对合成对象的多个读出信号(高增益信号hcg以及低增益信号lcg)进行加权处理。
加权处理部在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将加权平均值作为该区域的合成信号来输出。
另外，信号处理部710的加权处理部包含对多个读出信号进行相加取平均的相加取平均处理功能。
相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
以下在说明能生成低增益信号lcg和高增益信号hcg的像素pxl的结构例后，说明dsp部70的信号处理部710中的结构例以及低增益信号lcg和高增益信号hcg的具体的合成处理。
(像素阵列部40中的像素pxl的结构例)
图6是表示本第1实施方式所涉及的像素阵列部40中的能生成低增益信号lcg和高增益信号hcg的像素pxl的结构例的图。
图6的像素pxl具有光电二极管pd、与光电二极管pd的阴极侧连接的由寄生电容或附加电容形成的电容c11、和将光电二极管pd以及电容c11～c13重置的重置晶体管rst-tr。
光电二极管pd产生、积蓄与入射光量相应的量的信号电荷(在此为电子)。
以下说明信号电荷是电子且各晶体管是n型晶体管的情况，但也可以信号电荷是空穴，各晶体管是p型晶体管。
像素pxl具有与电容c11连接的作为传送开关的传送晶体管tg11-tr、积蓄从光电二极管pd以及电容c11传送的电荷的电容c12、作为选择开关的选择晶体管sel11-tr、以及栅极与电容c12连接的源极跟随器晶体管sf11-tr。
另外，像素pxl具有与电容c11连接的作为传送开关的传送晶体管tg12-tr、积蓄从光电二极管pd以及电容c11传送的电荷的电容c13、作为选择开关的选择晶体管sel12-tr、以及栅极与电容c13连接的源极跟随器晶体管sf12-tr。
另外，对像素pxl的重置晶体管rst-tr、传送晶体管tg11-tr、tg12-tr、选择晶体管sel11-tr、sel12-tr的栅极分别提供由定时控制器30生成的控制脉冲s30，来进行接通、断开控制。
如此，图6的像素pxl构成为积蓄在光电二极管pd以及电容c11的电荷经由两个系统的输出系统out1、out2输出。
在图6的示例中，对输出系统out1输出低增益信号lcg，对输出系统out2输出高增益信号hcg。
并且，在图6的结构中，例如输出系统out1和输出系统out2被线或(wired-or)，在各列(column)中，两个系统的高增益信号hcg和低增益信号lcg以时分方式输出到公共的信号线(垂直信号线)lsgn。
接下来说明图6的像素pxl的动作。
光电二极管pd、由寄生电容或附加电容形成的电容c11的电位被重置晶体管rst-tr重置成重置电位vr(图6的示例中为vdd)。
若在积蓄期间光入射到光电二极管pd，则产生的光电荷积蓄在光电二极管pd以及电容c11。
在该状态下，通过将作为传送开关的传送晶体管tg11-tr或作为传送开关的传送晶体管tg12-tr接通，从而电容c12或电容c13的电位对应于产生的光电荷而变化。
在此，电容c12以及电容c13分别是源极跟随器晶体管sf11-tr、sf12-tr的栅极电极的寄生电容处于支配地位。
选择晶体管sel11-tr、sel12-tr是行选择开关，是用于选择二维阵列状排列的像素pxl的某行的开关。选择晶体管sel11-tr、sel12-tr与电源vdd连接。
输出系统out1和输出系统out2经由信号线lsgn与未图示的恒电流源连接，同源极跟随器晶体管sf11-tr、sf12-tr一起形成源极跟随器放大器。
选择晶体管sel11-tr、sel12-tr也与源极跟随器晶体管sf11-tr、sf12-tr同样地和恒电流源形成源极跟随器放大器，能通过选择晶体管tg11-tr和晶体管sel11-tr、或选择晶体管tg12-tr和晶体管sel12-tr来选择任意的源极跟随器放大器。
由此，两个系统的高增益信号hcg和低增益信号lcg以时分方式输出到公共的信号线(垂直信号线)lsgn。
根据场合选择读出的电容c12、c13的优点在于，能根据摄影条件选择动态范围(dr：d-range)。
(dsp部70中的低增益信号lcg与高增益信号hcg的具体的合成处理)
接下来，说明dsp部70的信号处理部710中的结构例以及低增益信号lcg与高增益信号hcg的具体的合成处理。
在以下的说明中，从包含光电变换元件的像素pxl读出的多个读出信号包含至少一组的低增益信号lcg、和与低增益信号lcg相比以较少入射光量饱和的高增益信号hcg。
图7是表示本发明的第1实施方式所涉及的信号处理部的结构例的图。
图7的信号处理部710具有合成信息判别部711、乘法运算器712、713、以及具有作为加权处理部的功能的合成处理部714。
合成信息判别部711在通过将高增益信号hcg和低增益信号lc合成(组合)来使动态范围提升时，为了减轻在组合处理中产生的、因直线性(linearity)的精度的劣化导致的问题，特别是为了抑制由于因色温的变化引起的与周边像素(附近像素)的相关性的变化而产生的伪色来使画质提升，具有以下的结构。
合成信息判别部711每当对来自一个所关注的像素(pixel)的读出信号进行合成时，就参考与一个像素的周边像素的合成相关的合成信息来决定与读出信号的合成相关的合成信息。
作为所关注的像素(pixel)的周边像素的合成信息，合成信息判别部711例如参考形成拜耳排列的最小单位unt的像素(pixel)的合成信息即表示是高增益信号hcg还是低增益信号lcg的信息。
另外，合成信息判别部711采用与所关注的像素同色的8像素作为所关注的像素的周边像素并参考它们的合成信息。
另外，作为周边像素，如前述那样，并不限于同色，能是包括同色在内参考周边的16像素的合成信息等各种方式。
在本实施方式中，合成信息判别部711具有多种读出信号的合成信息的决定方法，例如有第1、第2、第3方法这3种。在此，对第1方法mtd1、第2方法mtd2、以及第3方法mtd3与图8～图12建立关联来进行说明。
图8是用于说明本实施方式所涉及的读出信号的合成信息的决定的第1方法的图。
图9是用于说明本实施方式所涉及的读出信号的合成信息的决定的第2方法的图。
图10是用于说明本实施方式所涉及的读出信号的合成信息的决定的第3方法的图。
图11是表示采用本实施方式所涉及的读出信号的合成信息的决定方法的情况下的高动态范围信号的生成过程以及结果的图。
图12是表示不采用本实施方式所涉及的读出信号的合成信息的决定方法的情况下的高动态范围信号的生成过程以及结果的图。
(第1方法mtd1)
在第1方法mtd1中，如图8所示那样，合成信息判别部711判定拜耳排列的最小单位unt的四个像素的合成信息是否是按4比0的比例为低增益信号lcg或高增益信号hcg(步骤pr1)。
在合成信息判别部711在步骤pr1中判定为拜耳排列的最小单位unt的四个像素的合成信息是按4比0的比例为低增益信号lcg或高增益信号hcg的情况下，不修正所关注的像素的合成信息而保持原样(步骤pr2)。
在合成信息判别部711在步骤pr1中判定为拜耳排列的最小单位unt的四个像素的合成信息不是按4比0的比例为低增益信号lcg或高增益信号hcg的情况下，移转到步骤pr3的处理。
合成信息判别部711在步骤pr3中判定拜耳排列的最小单位unt的四个像素的合成信息是否是低增益信号lcg或高增益信号hcg的数量按3比1的比例处于多数。
在合成信息判别部711在步骤pr3中判定为拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg或高增益信号hcg的数量按3比1的比例处于多数的情况下，作为所关注的像素的合成信息而采用数量多的一方的合成信息(步骤pr4)。
在图11所示的示例中，所关注的像素是拜耳排列的最小单位unt的b像素pxl-b，周边像素是拜耳排列的最小单位unt的r像素pxl-r和g像素pxl-gr以及pxl-gb。
在图11的示例中，读出时的所关注的b像素pxl-b的合成信息是高增益信号hcg，周边像素r像素pxl-r和g像素pxl-gr以及pxl-gb是低增益信号lcg。
在该情况下，由于所关注的b像素pxl-b的周边像素r像素pxl-r和g像素pxl-gr以及pxl-gb这三个像素的合成信息都是低增益信号lcg，且对于最小单位unt的四个像素的合成信息来说，按3比1的比例，作为低增益信号lcg的像素处于多数，因此合成信息判别部711取代高增益信号hcg，将所关注的b像素pxl-b的合成信息决定(修正)为是低增益信号lcg。这时的所关注的b像素pxl-b的输出代码值若将hcg/lcg比设为16则成为800(50×16)。
通过采用该处理，合成信息判别部711在通过将高增益信号hcg和低增益信号lc合成(组合)来使动态范围提升时，减轻了在组合处理中产生的、因直线性(linearity)的精度的劣化导致的问题。特别是，抑制了由于因色温的变化引起的与周边像素(附近像素)的相关性的变化而产生的伪色，从而使画质提升。
另一方面，如图12所示那样，在未采用该处理的情况下，在通过将高增益信号hcg和低增益信号lc合成(组合)来使动态范围提升时，在组合处理中会产生因直线性(linearity)的精度的劣化导致的问题。特别是，由于因色温的变化引起的与周边像素(附近像素)的相关性的变化而产生伪色。
合成信息判别部711若在步骤pr3中判定为拜耳排列的最小单位unt的四个像素的合成信息不是低增益信号lcg或高增益信号hcg的数量按3比1的比例存在，则移转到步骤prr5的处理。
合成信息判别部711在步骤pr5中判定拜耳排列的最小单位unt的四个像素的合成信息是否是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等。
合成信息判别部711若在步骤pr5中判定为拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等，就在该第1方法mtd1中使所关注的像素的合成信息与g像素pxl-gr、pxl-gb的合成信息(低增益信号lcg或高增益信号hcg)一致(步骤pr6)。
合成信息判别部711若在步骤pr5中判定为拜耳排列的最小单位unt的四个像素的合成信息不是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等，则例如移转到步骤pr1的处理。
(第2方法mtd2)
在第2方法mtd2中，如图8以及图9所示那样，关于合成信息判别部711的处理，在步骤pr5中进行了肯定的判定的情况下的处理与第1方法mtd1不同。
合成信息判别部711若在步骤pr5中判定为拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等，则在该第2方法mtd2中，将所关注的像素的合成信息与周边同色像素进行比较(步骤pr7)，使其与周边同色像素的合成信息(低增益信号lcg或高增益信号hcg)一致(步骤pr8)。
(第3方法mtd3)
在第3方法mtd3中，如图8以及图10所示那样，关于合成信息判别部711的处理，在步骤pr5中进行了肯定的判定的情况下的处理与第1方法mtd1不同。
合成信息判别部711若在步骤pr5中判定为拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等，则在该第3方法mtd3中，将所关注的像素的合成信息与周边16像素进行比较(步骤pr9)，使其与周边16像素的合成信息(低增益信号lcg或高增益信号hcg)一致(步骤pr10)。
如此，本实施方式的合成信息判别部711在拜耳排列的最小单位unt的四个像素的合成信息是低增益信号lcg和高增益信号hcg的数量按2比2的比例相等的情况下，作为所关注的像素的合成信息而采用的合成信息的决定方法有多种，能采用该多种方法当中的一种。
本实施方式的合成信息判别部711如前述那样，能具有根据周边像素的合成信息的决定方法的采用数进行判断来选择最佳的合成信息的决定方法的功能。
另外，信号处理部710能具有将所关注的像素的合成信息和与所关注的像素的过滤色同色的周边像素的合成信息进行比较来选择最佳的合成信息的决定方法的功能。
另外，合成信息判别部711能具有每当选择最佳的合成信息的决定方法时就参考各色像素(pixel)的例如从边缘部分生成的亮度信号的电平的功能。
另外，合成信息判别部711能具有每当选择最佳的合成信息的决定方法时就参考所算出的色温信息的功能。
另外，合成信息判别部711能具有以来自要参考的各个像素(pixel)的读出信号的时间上的变化为基础来决定合成信息的决定方法的功能。
另外，合成信息判别部711能具有将1画面内分割成多个区域并以该分割区域为单位来限制要选择的合成信息的决定方法的功能。
在此回到图7的说明。
乘法运算器712为了使在饱和之前有直线性的低增益信号lcg的倾斜度与同样在饱和之前有直线性的高增益信号hcg的倾斜度相等，将所输入的低增益信号lcg与增益比k(＝hcg/lcg)相乘，将其结果提供给合成处理部714。
乘法运算器713为了对高增益信号hcg的倾斜度进行微调整而将所输入的高增益信号hcg与增益比1.0相乘，将其结果提供给合成处理部714。
另外，乘法运算器712为了微调整而配置，不一定是必需的，可以没有。
合成处理部714接收为了使倾斜度相等而进行了调整的低增益信号lcg和高增益信号hcg，在高增益信号hcg快要饱和之前的保持了直线性的非饱和区域ansat，通过合成处理将低增益信号lcg和高增益信号hcg合成。
合成处理部714作为加权处理部发挥功能，例如根据多个低增益信号lcg和高增益信号hcg当中设为基准的高增益信号hcg与对应的阈值(j_thresh、j_thresh±stepα)的比较结果来对合成对象的高增益信号hcg以及低增益信号lcg进行加权处理。
合成处理部714作为加权处理部具有如下功能：在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将加权平均值作为该区域的合成信号来输出。
另外，合成处理部714作为加权处理部，包含对低增益信号lcg和高增益信号hcg进行相加取平均的相加取平均处理功能。
相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
具有以上的结构的信号处理部710与像素阵列部40的矩阵排列的各列(column)对应地配置多个。
以上说明了本实施方式所涉及的信号处理部710的基本的方块构成。
接下来，更具体地图解说明由本实施方式所涉及的信号处理部710将两个特性不同的高增益信号hcg和低增益信号lcg合成来做出高动态范围信号的合成方法。
图13(a)～(c)是用于具体说明将高增益信号hcg和低增益信号lcg合成来做出高动态范围信号的合成方法的图。
图13(a)示出将高增益信号hcg和低增益信号lcg的倾斜度调整成相同的处理概要。
图13(b)示出在高增益信号hcg快要饱和之前的保持了直线性的非饱和区域ansat通过合成处理将高增益信号hcg和低增益信号lcg以4步分阶段地平滑地进行合成。
图13(c)示意地图解示出将高增益信号hcg和低增益信号lcg以4步分阶段地平滑地进行合成的情况下的中心阈值j_thresh、各结合位置(点)jp0～jp3、被动态设定的阈值(j_thresh-step2)、(j_thresh-step1)、(j_thresh+step1)、(j_thresh+step2)、加权值的关系。
图14示意地示出将高增益信号hcg和低增益信号lcg以4步分阶段地平滑地进行合成的情况下的信号电平、中心阈值j_thresh、各结合位置(点)jp0～jp3、被动态设定的阈值(j_thresh-step2)、(j_thresh-step1)、(j_thresh+step1)、(j_thresh+step2)、阈值间的区域的关系。
在图13中，高增益信号hcg和低增益信号lcg相当于前述的两个系统的信号。在此，如图6所示那样，高增益信号hcg和低增益信号lcg都是数字信号。
如前述那样，高增益信号hcg是来自光电变换元件部的高增益输出信号，与该程度的低增益信号lcg相比以较少的入射光量饱和。低增益信号lcg由于是低增益输出信号，因此在达到饱和的入射光量中有富余，与高增益信号hcg相比较大。
因此，在dsp部70的信号处理部710中，使低增益信号lcg和高增益信号hcg的倾斜度相等，并且在高增益信号hcg快要饱和之前即在保持了直线性的非饱和区域ansat，将这两个种类的信号合成，由此得到提高了动态范围(dr)的信号。
信号处理部710的合成处理部714例如能以高增益信号hcg为基准进行合成处理。
合成处理部714例如如图13(c)以及图14所示那样，在非饱和区域ansat的中心部位置jc(jointcenter)设定基准阈值来作为中心阈值j_thresh。
合成处理部714例如如图13(c)以及图14所示那样，从设定中心阈值j_thresh的中心部位置jc起，在应将合成信号与高增益信号hcg结合的高增益信号最端部侧结合位置jp(jointpoint)0之间，设定包含高增益信号最端部侧结合位置jp0在内的两个高增益侧结合位置jp0、jp1，并且设定从中心部位置jc向高增益信号最端部逐渐变大的、与所设定出的高增益侧结合位置jp1、jp0对应的高增益侧步值(-)step1、(-)step2(step2＞step1)。
合成处理部714例如如图13(c)以及图14所示那样，从设定中心阈值j_thresh的中心部位置jc起，在应将合成信号与低增益信号lcg结合的低增益信号最端部侧结合位置jp3之间，设定包含低增益信号最端部侧结合位置jp3在内的两个低增益侧结合位置jp3、jp2，并且设定从中心部位置jc向低增益信号最端部逐渐变大的、与所设定出的低增益侧结合位置jp2、jp3对应的低增益侧步值step1、step2(step2＞step1)。
并且，合成处理部714例如如图13(c)以及图14所示那样，从中心阈值j_thresh中减去所设定出的高增益侧步值step2、step1来设定为对应的高增益侧结合位置jp0、jp1的新的阈值(j_thresh-step2)、(j_thresh-step1)。合成处理部714应用新的阈值并根据高增益侧结合位置jp0、jp1处的阈值(j_thresh-step2)、(j_thresh-step1)与高增益信号hcg的比较结果来进行合成处理。
同样地，合成处理部714例如如图13(c)以及图14所示那样，在中心阈值j_thresh上加上所设定出的低增益侧步值step1、step2来设定为对应的低增益侧结合位置jp2、jp3的新的阈值(j_thresh+step1)、(j_thresh+step2)。合成处理部714应用新的阈值并根据低增益侧结合位置jp2、jp3处的阈值(j_thresh+step1)、(j_thresh+step2)与高增益信号hcg的比较结果来进行合成处理。
合成处理部714在合成处理所涉及的比较处理中，在被通过将高增益侧结合位置jp0、jp1的阈值(j_thresh-step2)、(j_thresh-step1)或低增益侧结合位置jp2、jp3的阈值(j_thresh+step1)、(j_thresh+step2)与高增益信号hcg的比较而选择出的值相夹的区域a01、a12、a23的信号电平中，按照分配给区域a01、a12、a23的加权值wv01、wv12、wv23来算出加权平均值avw01、avw12、avw23，将加权平均值avw01、avw12、avw23作为该区域的合成信号(合成数据)data_dhdr输出。
例如在被高增益侧结合位置jp0的阈值(j_thresh-step2)和相邻的高增益侧结合位置jp1的阈值(j_thresh-step1)相夹的区域a01中，分配对于低增益信号lcg是“1”且对于高增益信号hcg是“3”的加权值(lcg∶hcg＝1∶3)wv01。
在被高增益侧结合位置jp1的阈值(j_thresh-step1)和相邻的低增益侧结合位置jp2的阈值(j_thresh+step1)相夹的区域a12中，分配对于低增益信号lcg是“1”且对于高增益信号hcg是“1”的加权值(lcg∶hcg＝1∶1)wv12。
在被低增益侧结合位置jp2的阈值(j_thresh+step1)和相邻的低增益侧结合位置jp3的阈值(j_thresh+step2)相夹的区域a23中，分配对于低增益信号lcg是“3”且对于高增益信号hcg是“1”的加权值(lcg∶hcg＝3∶1)wv23。
在高增益信号最端部侧结合位置jp0的阈值(j_thresh-step2)与高增益信号hcg(data_hcg)的比较的结果是高增益信号hcg的电平小于阈值(j_thresh-step2)的情况下，合成处理部714将高增益信号hcg(data_hcg)作为合成信号(合成数据)data_dhdr来应用。
在低增益信号最端部侧结合位置jp3的阈值(j_thresh+step2)与高增益信号hcg(data_hcg)的比较的结果是高增益信号hcg的电平大于阈值(j_thresh+step2)的情况下，合成处理部714将低增益信号lcg(data_lcg)作为合成信号(合成数据)data_dhdr来应用。
以上说明了信号处理部710中的合成处理部714的结构以及功能。
在此说明合成处理部714中的高增益信号hcg与低增益信号lcg的具体的合成处理的一例。
图15是用于说明本实施方式所涉及的信号处理部710中的合成处理的一例的流程图。
现在若考虑以高增益信号hcg为基准进行合成的情况，则能如下述那样表现。
(数学式1)
data_hcg＝data_hcg_in+hcg_offset
低增益信号lcg为了与高增益信号hcg倾斜度相同而乘以数字增益进行变换的情况能如下那样表现。
(数学式2)
data_lcg＝(data_lcg_in+lcg_offset)×k
在此k表示hcg/lcg的增益比。
每当合成这两个信号时就按照如下的条件设定来进行运算。
(数学式3)
if(data_hcg＜(j_thresh-step2))
data_dhdr＝data_hcg；
if(data_hcg＜(j_thresh-step1))
data_dhdr＝(data_hcg×3+data_lcg)/4；
if(data_hcg＜(j_thresh+step1))
data_dhdr＝(data_hcg+data_lcg)/2；
if(data_hcg＜(j_thresh+step2))
data_dhdr＝(data_hcg+data_lcg×3)/4；
if(data_hcg＞(j_thresh+step2))
data_dhdr＝data_lcg；
对该合成处理部714的合成所涉及的运算处理与图15建立关联来进行说明。
合成处理部714例如首先对高增益信号最端部侧结合位置jp0的阈值(j_thresh-step2)和高增益信号hcg(data_hcg)进行比较(步骤pr11)，判定高增益信号hcg的电平是否小于阈值(j_thresh-step2)(步骤pr12)。
合成处理部714若在步骤pr12中判定为高增益信号hcg(data_hcg)的电平小于阈值(j_thresh-step2)，就将高增益信号hcg(data_hcg)作为合成信号(合成数据)data_dhdr来应用(步骤pr13)。
合成处理部714若在步骤pr12中判定为高增益信号hcg(data_hcg)的电平大于阈值(j_thresh-step2)，就对高增益侧结合位置jp1的阈值(j_thresh-step1)和高增益信号hcg(data_hcg)进行比较(步骤pr14)，判定高增益信号hcg(data_hcg)的电平是否小于阈值(j_thresh-step1)(步骤pr15)。
合成处理部714若在步骤pr15中判定为高增益信号hcg(data_hcg)的电平小于阈值(j_thresh-step1)，就进行如下的处理(步骤pr16、pr17)。
合成处理部714按照分配给被高增益侧结合位置jp0的阈值(j_thresh-step2)和相邻的高增益侧结合位置jp1的阈值(j_thresh-step1)相夹的区域a01的加权值(lcg∶hcg＝1∶3)wv01通过下式来算出高增益信号hcg与低增益信号lcg的加权平均值avw01(步骤pr16)，将加权平均值avw01作为该区域的合成信号(合成数据)data_dhdr来应用(步骤pr17)。
(数学式4)
avw01＝(data_hcg×3+data_lcg)/4
合成处理部714若在步骤pr15中判定为高增益信号hcg(data_hcg)的电平大于阈值(j_thresh-step1)，就对低增益侧结合位置jp2的阈值(j_thresh+step1)和高增益信号hcg(data_hcg)进行比较(步骤pr18)，判定高增益信号hcg(data_hcg)的电平是否小于阈值(j_thresh+step1)(步骤pr19)。
合成处理部714若在步骤pr19中判定为高增益信号hcg(data_hcg)的电平小于阈值(j_thresh+step1)，就进行如下的处理(步骤pr20、pr21)。
合成处理部714按照分配给被高增益侧结合位置jp1的阈值(j_thresh-step1)和相邻的低增益侧结合位置jp2的阈值(j_thresh+step1)相夹的区域a12的加权值(lcg∶hcg＝1∶1)wv12通过下式来算出高增益信号hcg与低增益信号lcg的加权平均值avw12(步骤pr20)，将加权平均值avw12作为该区域的合成信号(合成数据)data_dhdr来应用(步骤pr21)。
(数学式5)
avw12＝(data_hcg+data_lcg)/2
合成处理部714若在步骤pr19中判定为高增益信号hcg(data_hcg)的电平大于阈值(j_thresh+step1)，就对低增益信号最端部侧结合位置jp3的阈值(j_thresh+step2)和高增益信号hcg(data_hcg)进行比较(步骤pr22)，判定高增益信号hcg(data_hcg)的电平是否小于阈值(j_thresh+step2)(步骤pr23)。
合成处理部714若在步骤pr23中判定为高增益信号hcg(data_hcg)的电平小于阈值(j_thresh+step2)，就进行如下的处理(步骤pr24、pr25)。
合成处理部714按照分配给被低增益侧结合位置jp2的阈值(j_thresh+step1)和相邻的低增益侧结合位置jp3的阈值(j_thresh+step2)相夹的区域a23的加权值(lcg∶hcg＝3∶1)wv23通过下式来算出高增益信号hcg与低增益信号lcg的加权平均值avw23(步骤pr24)，将加权平均值avw23作为该区域的合成信号(合成数据)data_dhdr来应用(步骤pr25)。
(数学式6)
avw23＝(data_hcg+data_lcg×3)/4
合成处理部714若在步骤pr23中判定为高增益信号hcg(data_hcg)的电平不是小于而是大于阈值(j_thresh+step2)(步骤pr26)，就将低增益信号lcg(data_lcg)作为合成信号(合成数据)data_dhdr来应用(步骤pr27)。
如以上说明的那样，本第1实施方式的固体摄像装置10的信号处理部710构成为能将多个读出信号例如高增益信号hcg和低增益信号lcg合成来扩大动态范围。
信号处理部710使应合成的多个读出信号例如低增益信号lcg和高增益信号hcg的倾斜度相等。
信号处理部710在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号(高增益信号hcg、低增益信号lcg)与阈值(jointthresh)的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号。
另外，信号处理部710每当对来自一个所关注的像素(pixel)的读出信号进行合成时，就参考与一个像素的周边像素的合成相关的合成信息来决定与读出信号的合成相关的合成信息。
作为所关注的像素(pixel)的周边像素的合成信息，信号处理部710例如参考形成给定的色排列(本例中为拜耳排列)的最小单位unt的像素(pixel)的合成信息(本例中是表示是高增益信号hcg还是低增益信号lcg的信息)。
因此，根据本第1实施方式，在通过将多个读出信号例如将高增益信号hcg和低增益信号lc合成(组合)来使动态范围提升时，能减轻在组合处理中产生的、因直线性(1inearity)的精度的劣化导致的问题。特别地，能抑制由于因色温的变化引起的与周边像素(附近像素)的相关性的变化而产生的伪色，从而能使画质提升。
即，根据本第1实施方式，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制伪色的产生等图像劣化的同时实现高动态范围化，进而能实现高画质化。
另外，本第1实施方式的信号处理部710构成为能动态地变更阈值，作为阈值，将预先设定的基准阈值(中心阈值)j_thresh、和通过对基准阈值j_thresh和给定的步值stepα(α是自然数)进行比较运算(例如加法运算、减法运算)而决定的新的阈值(j_thresh±stepα)应用到合成处理中。
因此，根据本第1实施方式，在存在固体摄像装置的个体单位中的偏差、或一个个体中的像素(pixel)间的偏差等的情况下，也能进行要组合的(要合成的)多个信号的平滑的切换，能削减不连续点，进而能削减噪声，从而能生成噪声少的高品质且高动态的图像信号。
另外，由于能吸收个体偏差，因此能提升产品的成品率。
即，根据本第1实施方式，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。
另外，本第1实施方式的信号处理部710例如具有包含作为加权处理部的功能的合成处理部714，根据多个读出信号当中设为基准的读出信号(例如高增益信号hcg)与对应的阈值(j_thresh、j_thresh±stepα)的比较结果，对合成对象的多个读出信号(高增益信号hcg以及低增益信号lcg)进行加权处理。
包含加权处理部的合成处理部714在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，并将加权平均值作为该区域的合成信号来输出。
另外，加权处理部包含对多个读出信号进行相加取平均的相加取平均处理功能。
相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
因此，根据本第1实施方式，能进行要组合的(要合成的)多个信号的更平滑的切换，能确实地削减不连续点，进而能削减噪声，进一步地能生成噪声少的高品质且高动态的图像信号。
(第2实施方式)
图16是表示本发明的第2实施方式所涉及的信号处理部的结构例的图。
图17是表示图16的随机数产生部的具体的结构例的图。
本第2实施方式所涉及的图16的信号处理部710a与第1实施方式所涉及的图16的信号处理部710的不同点在于，设有随机数产生部715，合成处理部714a将随机数rnd(clk)与阈值j_thresh相加或相减来设定阈值。
在此，clk是与像素(pixel)数据的传送时钟相同的频率，随机数以像素(pixel)为单位进行变化。
合成处理部714a例如能将多个阈值的平均值设置为与基准阈值j_thresh相当的中心阈值，中心阈值将在初始的中心阈值j_thresh上加上由随机数产生部715产生的随机数rnd(clk)而新算出的值作为第2中心阈值(j_thresh+rnd(clk))，以第2中心阈值(j_thresh+rnd(clk))为基础来进行合成所需的信号的选择处理。
随机数产生部715例如如图17所示那样由包含异或栅极exor1～exor3的线性反馈移位寄存器lfsr形成。图17示出16比特的情况的一例。
每当由第2实施方式的合成处理部714a对与第1实施方式的数学式3对应的两个信号进行合成时，就按照以下的条件设定进行运算。
(数学式7)
if(data_hcg＜(j_thresh+rnd(clk)-step2))
data_dhdr＝data_hcg；
if(data_hcg＜(j_thresh+rnd(clk)-step1))
data_dhdr＝(data_hcg×3+data_lcg)/4；
if(data_hcg＜(j_thresh+rnd(clk)+step1))
data_dhdr＝(data_hcg+data_lcg)/2；
if(data_hcg＜(j_thresh+rnd(clk)+step2))
data_dhdr＝(data_hcg+data_lcg×3)/4；
if(data_hcg＞(j_thresh+rnd(clk)+step2))
data_dhdr＝data_lcg；
即，该运算处理除了将在初始的中心阈值j_thresh上加上由随机数产生部715产生的随机数rnd(clk)而新算出的值作为第2中心阈值(j_thresh+rnd(clk))来应用以外，进行与上述数学式3以及图15的处理同样的处理。
因此，这里省略详细的说明。
根据本第2实施方式，能得到与上述的第1实施方式同样的效果。
即，根据本第2实施方式，在存在固体摄像装置的个体单位中的偏差、或者一个个体中的像素间的偏差等的情况下，也能进行要组合的(要合成的)多个信号的平滑的切换，能削减不连续点，进而能削减噪声，从而能生成噪声少的高品质且高动态的图像信号。
另外，由于能吸收个体偏差，因此能提升产品的成品率。
另外，根据本第2实施方式，在通过对多个读出信号例如高增益信号hcg和低增益信号lc进行合成(组合)来使动态范围提升时，能减轻在组合处理中产生的、因直线性(linearity)的精度的劣化导致的问题。特别地，能抑制由于因色温的变化引起的与周边像素(附近像素)的相关性的变化而产生的伪色，从而能使画质提升。
(应用例)
在上述的实施方式中，作为多个读出信号的示例，说明了将两个高增益信号hcg和低增益信号lcg合成来扩大动态范围的情况，但本发明也可以应用在将三个或四个以上的特性不同的信号以倾斜度相等的方式进行合成的情况中。
图18是用于说明将高增益信号hcg、中增益信号mcg、和低增益信号lcg这三个信号以倾斜度相等的方式进行合成的处理的图。
图18的示例在合成对象中追加了高增益与低增益的中间的中增益信号mcg。
在该情况下，在高增益信号hcg快要饱和之前的保持了直线性的非饱和区域ansat1，通过与前述的实施方式的合成处理同样的处理将中增益信号mcg和高增益信号hcg分阶段地平滑地合成。用于调整这时的倾斜度的增益比是hcg/mcg。
在非饱和区域ansat1中的合成处理中，中增益信号mcg被作为与前述的实施方式的合成处理的低增益信号同样的信号来对待。
同样地，在中增益信号mcg快要饱和之前的保持了直线性的非饱和区域ansat2，通过与前述的实施方式的合成处理同样的处理将中增益信号mcg和低增益信号lcg分阶段地平滑地合成。用于调整这时的倾斜度的增益比是mcg/lcg。
在非饱和区域ansat2中的合成处理中，中增益信号mcg被作为与前述的实施方式的合成处理的高增益信号同样地信号来对待。
在该情况下也能得到与上述的第1以及第2实施方式同样的效果。
(变形例)
图19是表示分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术的一例的图。
在上述的实施方式中，在像素pxl的结构本身设置两个系统的选择晶体管sel-tr以及源极跟随器晶体管sf-tr，生成多个读出信号即两个高增益信号hcg和低增益信号lcg，说明了如此构成的情况的示例，但本发明并不限定于这样的结构。
例如在像素pxl的结构本身仅设置一个系统的选择晶体管sel-tr以及源极跟随器晶体管sf-tr，如图19所示那样，采用分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术。
在像素(pixe1)的读出动作中，在定时控制器等的控制下，如图19所示那样进行快门扫描sscn，之后进行读出扫描rscn，图19的示例是，进行快门扫描sscn，之后设置两个到进行读出扫描rscn为止的曝光期间tint0、tint1，使得在时间上具有差。
在该情况下也能得到与上述的第1以及第2实施方式同样的效果。
图20是用于说明以帧为单位提高动态范围的示例的图。
另外，在上述的实施方式中说明了以像素为单位提高动态范围的示例，但本发明还能如图20所示那样应用到以帧为单位提高动态范围的情况中。
在该情况下也能得到与上述的第1以及第2实施方式同样的效果。
以上说明的固体摄像装置10能作为摄像器件应用于数字摄像机、视频摄像机、便携终端或者监视用摄像机、医疗用内窥镜用摄像机等电子设备中。
图21是表示搭载了应用本发明的实施方式所涉及的固体摄像装置的摄像机系统的电子设备的构成的一例的图。
本电子设备100如图21所示那样具有本实施方式所涉及的固体摄像装置10能应用的cmos图像传感器110。
进而，电子设备100具有将入射光引导到该cmos图像传感器110的像素区域(成像被摄体像)的光学系统(镜头等)120。
电子设备100具有对cmos图像传感器110的输出信号进行处理的信号处理电路(prc)130。
信号处理电路130对cmos图像传感器110的输出信号实施给定的信号处理。
由信号处理电路130处理过的图像信号作为动态图像在由液晶显示器等构成的监视器上映出，或者还能输出到打印机，另外还能直接记录于存储卡等记录介质等，能实现如这样的各种方式。
如上述那样，通过作为cmos图像传感器110而搭载前述的固体摄像装置10，能提供高性能、小型、低成本的摄像机系统。
并且，能实现在摄像机的设置要件中存在安装尺寸、能连接线缆根数、线缆长度、设置高度等制约的用途中使用的例如监视用摄像机、医疗用内窥镜用摄像机等电子设备。