摄像设备及摄像设备的控制方法与流程

本发明特别涉及使用对可见光和近红外光具有灵敏度的固态摄像元件的摄像设备、摄像设备的控制方法和记录介质。

背景技术：

近年来，已经提出了一种摄像设备，其通过使用不仅对可见光而且对近红外光具有灵敏度的固态摄像元件来获取利用近红外光拍摄的图像。通常，具有较长波长的近红外光与可见光相比产生的由大气烟雾引起的色散更小。因此，仅利用近红外光而不是仅利用可见光，可以更清楚地拍摄长距离处的被摄体。

例如，日本特开2000-59798讨论了使用对可见光和近红外光具有灵敏度的固态摄像元件的技术。此外，在固态摄像元件的光入射侧设置可见光截止滤波器，以获取仅利用近红外光拍摄的图像。

上述技术使得可以获取仅利用近红外光拍摄的图像。然而，对仅利用近红外光拍摄的图像的图像质量的改善的需求不断增长，并且需要一种用于进一步改善图像质量的技术。

技术实现要素：

根据本发明的至少一个方面，一种摄像设备，包括：固态摄像元件，其包括第一像素和第二像素，其中在可见光的第一波长范围内，所述第一像素的灵敏度高于所述第二像素的灵敏度，在可见光的第二波长范围内，所述第二像素的灵敏度高于所述第一像素的灵敏度，以及在近红外光的波长范围内，所述第一像素的灵敏度高于所述第二像素的灵敏度；第一截止滤波器，其设置在所述固态摄像元件的光入射侧，并被配置为将可见光截止；以及计算单元，其被配置为根据所述固态摄像元件所获取到的像素信号来生成图像，其中，所述计算单元根据被摄体的亮度来确定生成所述图像所要使用的像素信号。

根据本发明的至少另一方面，一种摄像设备，包括：固态摄像元件，其包括第一像素、第二像素和第三像素，其中在可见光的第一波长范围内，所述第一像素的灵敏度高于所述第二像素和所述第三像素各自的灵敏度，在可见光的第二波长范围内，所述第二像素的灵敏度高于所述第一像素和所述第三像素各自的灵敏度，在所述第一波长范围和所述第二波长范围之间的第三波长范围内，所述第三像素的灵敏度高于所述第一像素和所述第二像素各自的灵敏度，以及在近红外光的波长范围内，所述第一像素的灵敏度高于所述第三像素的灵敏度并且所述第三像素的灵敏度高于所述第二像素的灵敏度；第一截止滤波器，其设置在所述固态摄像元件的光入射侧，并被配置为将可见光截止；以及计算单元，其被配置为根据所述固态摄像元件所获取到的像素信号来生成图像，其中，所述计算单元根据被摄体的亮度来确定生成所述图像所要使用的像素信号。

根据本发明的至少另一方面，一种摄像设备的控制方法，所述摄像设备具有：固态摄像元件，其包括第一像素和第二像素，其中在可见光的第一波长范围内，所述第一像素的灵敏度高于所述第二像素的灵敏度，在可见光的第二波长范围内，所述第二像素的灵敏度高于所述第一像素的灵敏度，以及在近红外光的波长范围内，所述第一像素的灵敏度高于所述第二像素的灵敏度；以及第一截止滤波器，其设置在所述固态摄像元件的光入射侧，并被配置为将可见光截止，所述控制方法包括：进行用于根据所述固态摄像元件所获取到的像素信号来生成图像的计算，其中，进行所述计算以根据被摄体的亮度来确定生成所述图像所要使用的像素信号。

根据本发明的至少又一方面，一种摄像设备的控制方法，所述摄像设备具有：固态摄像元件，其包括第一像素、第二像素和第三像素，其中在可见光的第一波长范围内，所述第一像素的灵敏度高于所述第二像素和所述第三像素各自的灵敏度，在可见光的第二波长范围内，所述第二像素的灵敏度高于所述第一像素和所述第三像素各自的灵敏度，在所述第一波长范围和所述第二波长范围之间的第三波长范围内，所述第三像素的灵敏度高于所述第一像素和所述第二像素各自的灵敏度，以及在近红外光的波长范围内，所述第一像素的灵敏度高于所述第三像素的灵敏度并且所述第三像素的灵敏度高于所述第二像素的灵敏度；以及第一截止滤波器，其设置在所述固态摄像元件的光入射侧，并被配置为将可见光截止，所述控制方法包括：进行用于根据所述固态摄像元件所获取到的像素信号来生成图像的计算，其中，进行所述计算以根据被摄体的亮度来确定生成所述图像所要使用的像素信号。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1a和1b是各自示出根据典型实施例的摄像设备的内部结构示例的图。

图2a、2b和2c是示出根据第一典型实施例的固态摄像元件的结构的图。

图3a和3b是示出在从可见光到近红外光的波长范围内的波长与各像素之间的关系的图。

图4a和4b是示出用于控制近红外光的波长范围内的透过率的方式的图。

图5是示出用于扩大动态范围的方法的图。

图6a、6b和6c是示出近红外光的波长范围内的透过率在x方向上与红色像素相邻的绿色像素和x方向上与蓝色像素相邻的绿色像素之间变化的示例的图。

图7a、7b、7c和7d是示出采用两种类型的滤色器的情况的图。

图8a、8b和8c是各自示出拜尔阵列中的颜色的像素位置的图。

图9是示出通过去马赛克处理来扩大动态范围的图。

图10a和10b是示出拜尔阵列中的各颜色的像素位置的图。

图11是示出根据第四典型实施例的固态摄像元件的结构示例的图。

图12a和12b是各自示出根据第五典型实施例的固态摄像元件的部分电路的图。

具体实施方式

图1a和1b是各自示出根据第一典型实施例的摄像设备100的内部结构示例的图。

在图1a和1b中，摄像设备100包括成像光学系统101、滤波器切换单元102、固态摄像元件103和控制单元104。固态摄像元件103设置在成像光学系统101的光轴上，并且成像光学系统101在固态摄像元件103上形成被摄体图像。控制单元104包括中央处理单元(cpu)105、传送电路106、计算单元107和元件驱动电路108。

cpu105是用于控制传送电路106、计算单元107和元件驱动电路108的电路。元件驱动电路108是用于响应于来自cpu105的信号驱动固态摄像元件103的电路。传送电路106存储从固态摄像元件103读出的信号，并将该信号传送到计算单元107。计算单元107对经由传送电路106获取到的信号进行图像处理。

摄像设备100具有可见光截止滤波器109和近红外光截止滤波器110。摄像设备100被配置为能够通过使用滤波器切换单元102而切换到要使用的滤波器。具体地，在第一摄像模式中，摄像设备100通过图1a所示的结构来获取仅利用近红外光的拍摄图像。在第二摄像模式中，摄像设备100通过图1b所示的结构来获取仅利用可见光的拍摄图像。在第一摄像模式中，摄像设备100通过使用滤波器切换单元102安装可见光截止滤波器109。在第二摄像模式中，摄像设备100通过使用滤波器切换单元102安装近红外光截止滤波器110。

<固件摄像元件>

图2a至2c是示出固态摄像元件103的结构的图。如图2a所示，固态摄像元件103包括用于检测红色光的像素信号的像素111r、用于检测绿色光的像素信号的像素111g以及用于检测蓝色光的像素信号的像素111b。尽管在图2a的示例中，示出了像素数是6×6的情况，但是像素数可以改变。此外，在图2a的示例中，尽管像素111r、111g和111b以所谓的拜尔阵列布置，但是不一定需要是该布置。在下面的描述中，在用于红色的像素111r、用于绿色的像素111g或用于蓝色的像素111b的组件具有相应的元件结构的情况下，各元件分别由r、g或b的字符区分。另一方面，在用于红色的像素111r、用于绿色的像素111g或用于蓝色的像素111b具有共通的元件结构的情况下，省略r、g或b的字符。

图2b是由图2a中交替的长虚线和短虚线包围的两个像素111r和111g的主要部分的截面图。图2c是由图2a中的交替的长虚线和两短虚线包围的两个像素111g和111b的主要部分的截面图。各像素111具有从光入射侧起布置的微透镜112、滤色器113和基板114。微透镜112在可见光和近红外光下是透明的，并且由诸如二氧化硅(sio2)或氮化硅(sin)等的无机材料或诸如树脂等的有机材料形成。基板114由用于吸收可见光的至少一部分和近红外光的至少一部分的诸如si等的无机半导体、诸如氧化铟镓锌(ingazno)等的氧化物半导体或有机半导体等的材料形成。这里，“吸收”意味着在期望的波长范围内消光系数等于1×10^-3或更大。

这里，可见光是指波长为380nm或更长且短于750nm的光，近红外光是指波长为750nm或更长且2500nm或更短的光。在使用硅作为基板114的材料的情况下，该材料吸收可见光的整个波长范围的光以及近红外光中波长为750nm或更长且1100nm或更短的光，这是因为硅具有1100nm的吸收边缘。

在各像素111的基板114中，形成通过离子注入而掺杂有杂质的光电转换单元115。光入射至各像素，并且光在基板114内被光电转换。在光电转换单元115内收集电荷。首先，光到达基板114并在基板114内被光电转换，并且电荷被收集在光电转换单元115中。这里，将该处理的效率定义为“光电收集率”。通过由诸如al或cu等的金属形成的配线116读出光电转换单元115中收集的电荷，然后将电荷传送到传送电路106。在图2a、2b和2c中，示出配线116设置在基板114的光入射侧的示例。然而，配线116可以设置在基板114的相对于光入射侧的另一侧。

<可见光频带内的滤色器特性>

像素111r设置有用于在可见光的波长范围内选择性地使红色光透过的滤色器113r。类似地，像素111g设置有用于选择性地使绿色光透过的滤色器113g，并且像素111b设置有用于选择性地使蓝色光透过的滤色器113b。

图3a和3b示出各像素的灵敏度118。在图3a和3b中，横轴表示波长(单位：nm)，以及纵轴表示灵敏度。灵敏度118与滤色器113的透过率和光电转换单元115的光电收集率的乘积成比例。

如图3a所示，用于红色的像素111r对具有600nm或更长的波长的红色光具有高灵敏度(118r)。此外，用于绿色的像素111g对波长为500nm或更长且600nm或更短的绿色光具有高灵敏度(118g)，以及用于蓝色的像素111b对具有500nm或更短的波长的蓝色光具有高灵敏度(118b)。以这种方式，像素111r、111g和111b设置有在可见光的波长范围内使透过光谱不同的相应的滤色器113。因此，可以在第二摄像模式中获取到被摄体的颜色信息。

<近红外光频带内的滤色器特性>

此外，在本典型实施例中使用的滤色器113r、113g和113b在近红外光的波长范围内的透过率也不同。具体地，在近红外光的波长范围内，滤色器113的透过率满足r>g>b的大小关系。如上所述，像素的灵敏度与滤色器的透过率和光电转换单元的光电收集率的乘积成比例。因此，如图3b所示，灵敏度118在近红外光的波长范围内满足r>g>b的大小关系。换句话说，可以使用本典型实施例的结构在第一摄像模式中获取到灵敏度不同的多种类型的像素信号。通过获取各个灵敏度的多种类型的像素信号，可以扩大在第一摄像模式中获取到的拍摄图像的动态范围。下面将描述用于扩大动态范围的具体方法。

灵敏度118可以不在近红外光的所有波长范围内满足r>g>b的大小关系。可以仅针对近红外光的波长范围内的灵敏度118的积分值满足r>g>b的大小关系。灵敏度118的积分范围是穿过可见光截止滤波器109的光的波长范围。

<滤色器在近红外光频带内的特性控制方法>

对于用于控制各滤色器在近红外光的波长范围内的透过率的方式，可以从以下方式中选择一种方式，或者可以从以下方式组合多种方式。期望采用仅控制近红外光的波长范围内的透过率的方法，同时减小对可见光的波长范围内的透过率施加的影响。原因在于：如果改变滤色器在可见光的波长范围内的透过率，则这可能导致在第二摄像模式中获取拍摄图像时被摄体的再现性下降。

<包含色素>

第一种方式是用于使各滤色器包含具有近红外光的波长范围内的吸收特性的吸收材料、并且针对各滤色器改变吸收材料的浓度的方式。具体地，滤色器113b中的吸收材料的浓度可以高于滤色器113g中的吸收材料的浓度，并且滤色器113g中的吸收材料的浓度可以高于滤色器113r中的吸收材料的浓度。对于吸收材料，可以使用诸如基于二亚铵或酞菁的色素等的材料。这些材料在近红外光的波长范围内具有吸收特性，并且在可见光的波长范围内具有高透过率。图2a、2b和2c所示的固态摄像元件103具有采用第一方式的结构。

<双层结构>

第二种方式是用于如图4a所示设置具有双层结构的滤色器的方法。具体地，这是用于针对各像素设置在可见光的波长范围内仅允许特定颜色的光穿过的滤色器113以及用于吸收或反射近红外光的滤波器层117的方法。可以通过针对各像素改变滤波器层117的结构来控制近红外光的波长范围内的透过率。

滤波器层117可由基于二亚铵或酞菁的上述色素形成。近红外光的波长范围内的透过率可以基于滤波器层117中的色素的浓度来控制，或者可以基于滤波器层117的厚度来控制。在基于色素的浓度来进行控制的情况下，滤波器层117b中的色素的浓度可以高于滤波器层117g中的色素的浓度，以及滤波器层117g中的色素的浓度可以是高于滤波器层117r中的色素的浓度。在基于滤波器的厚度来进行控制的情况下，滤波器层117b的厚度可以大于滤波器层117g的厚度，以及滤波器层117g的厚度可以大于滤波器层117r的厚度。这里，浓度和厚度可以包括零的情况。换句话说，可以不设置滤波器层117r。

代替基于滤波器层117的材料的特性来控制透过率，可以基于滤波器层117中所设置的结构来控制透过率。具体地，可以使用诸如多层膜或光子晶体等的周期性结构。可选地，可以使用诸如微小颗粒或开口环谐振器等的金属微细结构。通过控制周期性结构的周期或金属微细结构的尺寸，可以控制近红外光的波长范围内的透过率，同时维持可见光的波长范围内的高水平的透过率。

<使用可见光截止滤波器的控制>

第三种方式是用于基于可见光截止滤波器109的特性来进行控制的方法。如图4b所示，将描述灵敏度118之间的大小关系在近红外光的波长范围内变化的情况。在这种情况下，通过控制穿过可见光截止滤波器109的光的波长范围，可以控制灵敏度的积分值之间的大小关系。例如，在穿过可见光截止滤波器109的光的波长范围与图4b中的透过范围a一致的情况下，r、g和b的灵敏度118的积分值之间的差小。另一方面，在穿过可见光截止滤波器109的光的波长范围与图4b中的透过范围b一致的情况下，r、g和b的灵敏度118的积分值之间的差大。以这种方式，还可以通过控制穿过可见光截止滤波器109的光的波长范围来控制像素111r、111g和111b的灵敏度118。

<动态范围的扩大方法>

这里，将参考图5来描述通过使用灵敏度不同的多种类型的像素信号来扩大拍摄图像的动态范围的方法。图5是示出在第一摄像模式中被摄体的亮度水平以及分别通过像素111r、111g和111b获取到的像素信号120r、120g和120b各自的强度的图。在拍摄相同亮度的被摄体的图像的情况下，由于近红外光的波长范围内的灵敏度之间的差异，因此像素信号的强度之间的大小关系是r>g>b。因此，通过基于被摄体的亮度而切换到要使用的像素信号，计算单元107可以扩大拍摄图像的动态范围。

具体地，可以进行以下操作。在像素信号120r的强度小于预定阈值121的情况下，计算单元107使用像素信号120r。在像素信号120r的强度等于或大于预定阈值121的情况下，计算单元107使用像素信号120b。这里，预定阈值121是小于像素信号120饱和时的信号强度的值。

因此，在基于被摄体的亮度来进行向要使用的像素信号的切换的情况下，拍摄图像的动态范围在图5中的范围122内。另一方面，在仅使用像素信号120r、120g或120b的情况下，动态范围分别在范围123r、123g或123b内。以这种方式，基于被摄体的亮度来进行向要使用的像素信号的切换，由此扩大拍摄图像的动态范围。

<使用三种类型以上的像素信号>

对于用于扩大拍摄图像的动态范围的方法，可以使用三种类型以上的像素信号。具体地，在像素信号120r的强度小于预定阈值121的情况下，计算单元107使用像素信号120r。在像素信号120r的强度等于或大于预定阈值121并且像素信号120g的强度小于预定阈值121的情况下，计算单元107使用像素信号120g。在像素信号120g的强度等于或大于预定阈值121的情况下，计算单元107使用像素信号120b。以这种方式，可以使用三种类型的像素信号。在所使用的像素信号的类型的数量更大的情况下，抑制了在将要使用的像素信号切换到阈值水平附近时的信噪比(sn)的下降，因此是期望的。因此，期望更大数量的像素信号类型。通常，如果要切换的像素信号之间的强度比超过100，则sn比下降得更明显。因此，在像素信号120r和像素信号120b之间的信号强度比超过100的情况下，期望使用具有中间灵敏度的信号作为像素信号120g。

<灵敏度的中间范围>

在使用像素信号120g作为具有中间灵敏度范围的信号的情况下，期望像素信号120r和像素信号120g之间的灵敏度比以及像素信号120g和像素信号120b之间的灵敏度比尽可能相等。这抑制了切换像素信号时的sn比的下降。具体地，期望在灵敏度118r、118g和118b之间满足以下关系。

0.1≤118r×118b÷118g²≤10...(1)

换言之，期望灵敏度118r和灵敏度118b的乘积与灵敏度118g的平方的比为0.1以上且10以下。

<概要>

在根据本典型实施例的摄像设备中，用于在可见光的波长范围内获取被摄体的颜色信息的滤色器的透过率也与在近红外光的波长范围内的其它滤色器的透过率不同。设置这样的结构使得在用于仅利用近红外光获取拍摄图像的摄像模式中能够获取到灵敏度不同的多种类型的像素信号。此外，通过基于被摄体的亮度而切换到要使用的像素信号，可以扩大仅利用近红外光的拍摄图像的动态范围。可以根据场角或帧来进行向要使用的像素信号的切换。

此外，在第一摄像模式和第二摄像模式中要获取的拍摄图像的波长是不同的。因此，可以获得最适合于第一摄像模式的滤色器的透过率和最适合于第二摄像模式的滤色器的透过率。换句话说，在根据本典型实施例的摄像设备中，可以在不会降低仅利用可见光的拍摄图像的质量的情况下，提高仅利用近红外光的拍摄图像的质量。

<在越接近近红外光的波长处，透过率越高>

虽然在图3b所示的示例中近红外光的波长范围内的灵敏度118之间的大小关系是r>g>b的顺序，但是大小关系可以是不同的。然而，在可见光的波长范围内的透过波长和近红外光的波长彼此接近的情况下，难以在不降低可见光的波长范围内的透过率的情况下降低近红外光的波长范围内的透过率。因此，如图3a和3b所示，期望采用如下结构：在可见光的波长范围内的透过波长越接近近红外光的波长，灵敏度118越高。

<近红外光范围的透过率在gr和gb之间不同>

图2a、2b和2c示出在固态摄像元件103中设置具有红色、绿色和蓝色三种类型的滤色器的三种类型的像素的情况。然而，像素类型的数量可以是两个以上。

如上所述，在灵敏度不同的像素信号的数量越大的情况下，将要使用的像素信号切换到阈值周围时的sn比的下降越被抑制。因此，在可见光的波长范围内具有相同透过率特性的滤色器在近红外光的波长范围内可以具有不同的透过率。

图6a、6b和6c是示出近红外光的波长范围内的透过率在用于绿色的像素111gr和用于绿色的像素111gb之间不同的示例的图，其中用于绿色的像素111gr在x方向上与用于红色的像素111r相邻，用于绿色的像素111gb在x方向上与用于蓝色的像素111b相邻。图6a示出该示例中的像素布置。图6b和图6c分别示出可见光的波长范围内的灵敏度和近红外光的波长范围内的灵敏度。设置这样的结构使得能够在第一摄像模式中抑制像素信号切换时的sn比的下降，同时在第二摄像模式中通过使用布置在拜尔阵列中的像素信号来获取被摄体的颜色信息。因此，期望设置这样的结构。图6c示出在近红外光的波长范围内用于绿色的像素111gr的灵敏度高于用于绿色的像素111gb的灵敏度的情况。然而，可以使用于绿色的像素111gr和111gb各自的灵敏度之间的大小关系反转。

图7a、7b、7c和7d是示出采用两种类型的滤色器作为最简单的结构的情况的图。图7a和图7b示出该示例中的固态摄像元件的结构。图7c和图7d分别示出各像素在可见光的波长范围内的灵敏度，以及各像素在近红外光的波长范围内的灵敏度。

在图7a至7d所示的示例中，根据本典型实施例的摄像设备100的结构如下。固态摄像元件103具有两种类型的像素，即第一像素111h和第二像素111l。第一像素111h和第二像素111l分别包括113h和滤色器滤色器113l。入射至第一像素111h的光和入射至第二像素111l的光分别在光电转换单元115h和光电转换单元115l中被收集。

此外，如图7c和图7d所示，第一像素111h在第一波长范围124h内的灵敏度118h高于第一像素111h在第二波长范围124l内的灵敏度118h。此外，第二像素111l在第二波长范围124l内的灵敏度118l高于第二像素111l在第一波长范围124h内的灵敏度118l。此外，在第三波长范围125内，第一像素111h的灵敏度118h高于第二像素111l的灵敏度118l。

在第一摄像模式中，吸收第一波长范围和第二波长范围内的光的第三滤色器(可见光截止滤波器109)安装在固态摄像元件的光入射侧。在第一摄像模式中，在由第一像素111h获取到的像素信号的强度小于预定阈值的情况下，使用由第一像素111h获取到的像素信号。在由第一像素111h获取到的像素信号的强度等于或高于预定阈值的情况下，使用由第二像素111l获取到的像素信号。因此，通过合成这些像素信号，可以扩大仅利用近红外光的拍摄图像的动态范围。

在近红外光的波长范围内第一像素111h的灵敏度与第二像素111l的灵敏度的比越大的情况下，可以将仅利用近红外光的拍摄图像的动态范围扩大得更多。期望灵敏度比为2以上，并且更期望灵敏度比为10以上。

下面将描述本发明的第二典型实施例。根据本典型实施例的摄像设备具有用于在第一摄像模式中获取到的拍摄图像的图像处理方法的特性。在本典型实施例中，固态摄像元件具有与图2a所示的拜尔阵列相同的像素阵列。本典型实施例在近红外光的波长范围内的灵敏度具有与图3a和3b所示的大小关系相同的大小关系r>g>b的情况下特别有效。

图8a、8b和8c是示出在第一摄像模式中获取到的像素信号120r、120g和120b的采样位置的图。图8a示出由像素111r获取到的具有高灵敏度的像素信号120r。图8b示出由像素111g获取到的具有中间灵敏度的像素信号120g。图8c示出由像素111b获取到的具有低灵敏度的像素信号120b。如图8a至8c所示，具有中间灵敏度的像素信号120g的采样间距小于具有高灵敏度的像素信号120r和具有低灵敏度的像素信号120b各自的采样间距，从而反映拜尔阵列。

图9是示出在本典型实施例的图像处理方法的图。首先，从基于具有高灵敏度和大采样间距的像素信号120r的图像130r，通过插值处理来生成具有小采样间距的图像131r。此时，使用采样间距小于图像130r的采样间距的图像130g作为引导图像来进行去马赛克处理。同样地，使用具有大采样间距的图像130b作为基础图像以及具有小采样间距的图像130g作为引导图像，通过去马赛克处理来生成具有小采样间距的图像131b。

之后，在具有小采样间距的图像131r的各位置处的像素信号的强度小于预定阈值的情况下，使用图像131r的像素信号120r。在该强度等于或大于阈值的情况下，使用图像131b的像素信号120b。因此，生成具有扩大的动态范围的图像。在第二典型实施例中，在生成具有小采样间距的图像131r和131b之后选择要使用的像素信号。因此，可以在扩大动态范围的同时获取到高分辨率图像。

具体地，进行以下处理。首先，通过仅使用像素信号120r(120b)，利用诸如双线性方法或双三次方法的典型方式的插值来计算图像130r(130b)的空位置的临时像素值。然后，将用于图像130r(130b)的空位置的像素信号120g除以周围(例如，15×15像素)像素信号的平均值，并且计算标准化信号。接着，使用上述周围像素信号和标准化信号的平均值来校正临时像素值，并且通过以下公式来计算用于图像130r(130b)的空位置的最终像素信号。

(r的最终像素信号)＝(r的临时像素值)×c×(g的标准化信号)......(2)

(b的最终像素信号)＝(b的临时像素值)×c×(g的标准化信号)......(3)

这里，c是0以上且小于1的校正系数，并且可以基于像素信号120r、120g和120b各自的值而被设置为适当的值。例如，在像素信号120r、120g或120b与标准化信号的周围像素信号的平均值之间的差大的情况下，可以使校正系数c小以降低校正效果。

这样，在本典型实施例中，在从具有大采样间距的图像130r(130b)生成具有小采样间距的图像131r(131b)的情况下，使用具有小采样间距的图像130g的信息。因此，与仅使用图像130r(130b)进行插值处理的情况相比，去马赛克处理的精度提高更多。然后，可以获取到具有高精度的去马赛克图像(图像131r和131b)。因此，不仅可以实现在第一摄像模式中获取到的图像的动态范围的扩大，而且可以实现分辨率的提高。

在上述示例中，通过除以周围像素信号的平均值来计算标准化信号。然而，标准化信号可以通过除以周围像素信号的中值来计算，或者可以通过将周围像素信号的强度分布利用函数进行拟合来计算。

下面将描述本发明的第三典型实施例。根据本典型实施例的摄像设备具有像素111r、111g和111b在近红外光的波长范围内的灵敏度的特性。在本典型实施例中采用的结构在固态摄像元件具有与图2a至2c所示的拜尔阵列相同的像素阵列的情况下特别有效。

在根据本典型实施例的固态摄像元件103中，像素111r的灵敏度和像素111b的灵敏度在近红外光的波长范围内大致相等。这里，“大致相等”包括像素111r的灵敏度和像素111b的灵敏度在灵敏度差异不可见的程度上不同的情况。具体地，像素111r的灵敏度与像素111b的灵敏度的比可以是1/2^1/2以上且2^1/2以下。如上所述，像素111b的灵敏度不一定在近红外光的波长范围内的所有波长中都等于像素111r的灵敏度，并且可以仅使穿过可见光截止滤波器109的光的波长范围内的灵敏度的积分值相等。

上述这样的结构减小在第一摄像模式中获取到的灵敏度不同的各图像的采样间距(图10a和10b)。结果，可以通过简单的图像处理来在扩大动态范围的同时生成高分辨率的图像。具体地，如果利用诸如双线性方法或双三次方法等的方法对由像素信号120r和像素信号120b形成的图像和由像素信号120g形成的图像独立地进行插值处理，则可以获得高分辨率图像。此外，如果如在第二典型实施例中那样使用具有中间灵敏度的图像作为引导图像，则错误信号不太可能包括在去马赛克后图像中，因此图像质量提高。然而，采用本典型实施例的结构使得去马赛克处理更容易。

像素111r(111b)在近红外光的波长范围内的灵敏度可以高于或者可以低于像素111g的灵敏度。然而，如上所述，在可见光的波长范围内的透过波长和近红外光的波长彼此接近的情况下，难以在不降低可见光的波长范围内的透过率的情况下降低近红外光的波长范围内的透过率。因此，期望像素111r和像素111b各自的灵敏度高于像素111g的灵敏度。此外，为了控制像素的灵敏度，如上所述，可以改变各滤色器113中包含的色素的浓度，或者可以针对滤波器设置双层结构。可选地，可以控制可见光截止滤波器109的透过波长范围。

下面将描述本发明的第四典型实施例。本典型实施例的固态摄像元件103通过改变像素111r、111g和111b中的光电转换单元115的结构来控制光电转换单元115的光电收集率。如上所述，像素的灵敏度由各像素的滤色器的透过率和光电转换单元的光电收集率的乘积来确定。因此，通过改变像素中的光电转换单元的结构，可以控制像素在近红外光的波长范围内的灵敏度。

图11示出本典型实施例的固态摄像元件103中的像素111r、111g和111b的结构示例。如图11所示，对于像素111r中的光电转换单元115r、像素111g中的光电转换单元115g和像素111b中的光电转换单元115b，光电转换单元115的厚度满足r>g>b的大小关系。

<光电转换单元的厚度>

在光电转换单元115较厚时，在基板114的深位置处被光电转换的光电子也可以被收集。因此，如果厚度越大，则光电转换单元的光电子收集率越高。因此，设置图11所示的结构使得灵敏度118能够在近红外光的波长范围内满足r>g>b的大小关系。为了控制光电转换单元115的厚度，可以控制形成光电转换单元115中的离子注入的条件(具体为加速电压)。

<波长之间的大小关系>

如上所述，灵敏度118r、灵敏度118g和灵敏度118b之间的大小关系可能不一定满足r>g>b的大小关系。然而，在光电转换单元115的厚度满足r>g>b的大小关系的情况下，还可以提高在第二摄像模式中要获取的仅利用可见光的拍摄图像的图像质量。因此，这种情况是期望的。其原因将在下面描述。

通常，诸如用于形成固态摄像元件的基板的硅等的半导体材料对于越短波长具有越大的光吸收系数。因此，具有相对短波长的蓝色光的大部分在基板的浅位置处被光电转换。相反，具有相对长波长的红色光的一部分在到达基板的深位置处时被光电转换。因此，在用于蓝色的像素111b中，仅在基板的浅位置处被光电转换的电荷可以被收集在光电转换单元115b中，因此光电转换单元115b可以是薄的。另一方面，在用于红色的像素111r中，期望光电转换单元115r是厚的，使得还可以有效地收集在基板的深位置处被光电转换的电荷。其原因如下。在入射至用于红色的像素111r之后，一些电荷在基板的深位置处被光电转换，但是没有被收集在光电转换单元115r中。该电荷扩散以到达相邻的像素，由此引起串扰。换句话说，通过使得光电转换单元115的厚度具有r>g>b的大小关系，可以提高在第二摄像模式中要获取的仅利用可见光的图像的颜色再现性。

另外，此时，更期望滤色器113r、113g和113b在近红外光的波长范围内的透过率也具有r>g>b的关系。其原因将在下面描述。

在滤色器的透过率越高的情况下，入射至像素中的光电转换单元的光量越大。在入射至光电转换单元的光量大的情况下，如果光电转换单元的光电收集率低，则未被收集在光电转换单元中的电荷扩散到相邻的像素。特别地，在入射至相邻像素的光电转换单元的光量小的情况下，串扰的影响强。因此，在与接收入射至光电转换单元的光量小的像素相邻且接收入射至光电转换单元的光量大的像素中，期望光电转换单元的光电收集率高。另一方面，在入射至光电转换单元的光量小的情况下，即使光电转换单元的光电收集率低，扩散到相邻像素的电荷量也小。特别地，在入射至相邻像素的光电转换单元的光量较大的情况下，串扰的影响小。因此，在与入射至光电转换单元的光量大的像素相邻且入射至光电转换单元的光量小的像素中，可以使光电转换单元的光电收集率低。

如上所述，根据第四典型实施例，期望设置如下结构：入射至光电转换单元的光量越大，光电转换单元的光电收集率越高。换句话说，最期望滤色器113的近红外光的波长范围内的透过率具有r>g>b的大小关系，并且光电转换单元115的厚度具有r>g>b的大小关系。

下面将描述本发明的第五典型实施例。本典型实施例的固态摄像元件103具有用于在第一摄像模式中读出像素信号的方法的特性。本典型实施例的用于读出信号的方法在固态摄像元件具有与图2a所示的拜尔阵列相同的像素阵列并且在近红外光的波长范围内的灵敏度118具有与图3a和3b所示的大小关系相同的大小关系r>g>b的情况下特别有效。

图12a和12b各自示出第五典型实施例的固态摄像元件103的部分电路图。图12a示出用于红色的像素111r和用于绿色的像素111gb彼此相邻的部分的电路图。图12b示出用于绿色的像素111gr和用于蓝色的像素111b彼此相邻的部分的电路图。图12a和12b各自所示的固态摄像元件具有在y方向上彼此相邻的两个像素共用读出电路的结构。换句话说，设置了如下结构：可以将累积在用于红色的像素111r中的电荷和累积在用于绿色的像素111gb中的电荷这两者传送到像素内存储器143。同样地，可以将累积在用于绿色的像素111gr中的电荷和累积在用于蓝色的像素111b中的电荷这两者传送到像素内存储器144。传送到像素内存储器143的电荷和传送到像素内存储器144的电荷分别由源极跟随器145和源极跟随器146转换成电压信号，然后读出到周边电路。以这种方式，多个像素共用读出电路，由此可以减少每个像素所需的晶体管的数量。结果，可以增加光电转换单元的开口率，这提高了灵敏度，因此是期望的。

<相加读出>

在本典型实施例的摄像设备100中，在第一摄像模式中，当从固态摄像元件读出像素信号时，控制单元104通过使用共用的像素内存储器来进行相加读出。进行相加读出可以省略光电转换单元的电荷复位和读出操作一次，由此使得能够快速获取拍摄图像，因此是期望的。

具体地，进行以下读出。首先，控制单元104接通传送晶体管141gb(141b)，由此将具有相对低灵敏度的像素的光电转换单元115gb(115b)中累积的电荷传送到像素内存储器143(144)。然后，控制单元104通过使用源跟随器145(146)，来读出基于光电转换单元115gb(115b)中累积的电荷的第一像素信号。

接着，控制单元104在保持像素内存储器143(144)中的电荷的同时接通传送晶体管141r(141gr)，由此将具有相对高灵敏度的像素的光电转换单元115r(115gr)中累积的电荷传送到像素内存储器143(144)。然后，控制单元104通过使用源跟随器145(146)，来读出基于光电转换单元115gb(115b)中累积的电荷和光电转换单元115r(115gr)中累积的电荷之和的第二像素信号。最后，控制单元104从第二像素信号中减去第一像素信号，由此确定第三像素信号，该第三像素信号与基于在具有相对高灵敏度的像素的光电转换单元115r(115gr)中累积的电荷的信号相对应。

在该处理中，可以进行诸如相关双采样等的公知降噪操作以去除在复位像素内存储器143和144各自时产生的ktc噪声。更具体地，在传送光电转换单元115中累积的电荷之前，可以从源极跟随器145和146各自输出复位电平信号，然后存储复位电平信号。在随后的操作中，可以通过从读出信号中减去复位电平来确定各像素信号。

<相加读出的效果>

这里，将描述在固态摄像元件的像素信号中产生的噪声。除了通过相关双采样(cds)可去除的固定模式噪声之外，主要噪声还包括光射(lightshot)噪声ns和读出噪声nr。光射噪声ns在光电转换期间产生，并且该噪声的大小取决于信号的大小。光射噪声ns是信号量的平方根(ns＝s^1/2)，其中s是像素信号中的信号分量。另一方面，读出噪声nr在从源极跟随器读出信号时产生，并且该噪声的大小取恒定值而不依赖于信号的大小。由于光射噪声和读出噪声是独立事件，因此噪声的组合值是平方和值的平方根。换句话说，通过下面的公式(4)来计算第一像素信号的sn比。

sn1＝s1/(s1+nr²)^1/2......(4)

同样地，通过下面的公式(5)来计算第二像素信号的sn比。

sn2＝s2/(s2+nr²)^1/2......(5)

通过从第二像素信号中减去第一像素信号来确定第三像素信号。第三像素信号中的信号分量是第二像素信号中的信号分量与第一像素信号中的信号分量之间的差。读出噪声在输出第一像素信号时和输出第二像素信号中的每一个时独立产生，因此是平方和值的平方根。另一方面，第二像素信号中的光射噪声分量通过将传送到像素内存储器的信号电荷的光射噪声分量与第一像素信号中的光射噪声分量相加来确定。因此，第三像素信号中的光射噪声分量是第二像素信号中的信号分量与第一像素信号中的信号分量之差的平方根。鉴于上述情况，通过下面的公式(6)来计算第三像素信号的sn比。

sn3＝(s2-s1)/(s2-s1+2nr²)^1/2...(6)

在将公式(4)和(6)相互比较的情况下，显而易见的是，与稍后将电荷传送到像素内存储器的光电转换单元相比，更早地将电荷传送到像素内存储器的光电转换单元可以输出具有改善的sn比的像素信号。在电荷量足够大的情况下，相对于读出噪声，光射噪声占主导(s>>nr²)。因此，第一像素信号的sn比与第三像素信号的sn比之间的差小。然而，在电荷量小的情况下，读出噪声的影响相对较大(s<nr²)，因此导致信号质量的显著降低。当使用稍后读出的像素信号时，信号质量的下降导致拍摄图像的质量下降。

在本典型实施例中，与基于具有相对高的灵敏度的像素中的光电转换单元115r(115gr)中累积的电荷的像素信号相比，基于具有相对低灵敏度的像素中的光电转换单元115gb(115b)中累积的电荷的像素信号被更早地读出。因此，可以实现拍摄图像的快速获取，同时抑制由于相加读出引起的信号质量的下降。

<用于可见光的拍摄图像获取模式中的读出>

在用于获取利用可见光的拍摄图像的第二摄像模式中，期望在不使用相加读出的情况下独立地读出各像素信号。这是因为，在获取利用可见光的拍摄图像的情况下，入射至各像素中的光电转换单元的光量根据被摄体的颜色而变化，因此难以在不依赖于被摄体的情况下较早地读出电荷量小的信号。

此外，在第二摄像模式中进行相加读出的情况下，拍摄图像的颜色再现性可能由于以下原因而下降。共用像素内存储器143(144)的光电转换单元115r(115gr)和光电转换单元115gb(115b)获取不同颜色的像素信号。因此，如果由于晶体管的制造差异而导致电荷传送发生故障，则即使故障不严重，也会混合不同颜色的像素信号。

如上所述，在第一摄像模式中较早地读出具有相对低灵敏度的像素的像素信号，并且在第二摄像模式中独立地读出各像素信号。这种结构是最期望的。在独立地读出各像素信号的情况下，在光电转换单元的电荷被传送到像素内存储器、然后由源跟随器读出之后，像素内存储器被复位一次。之后，可以将另一像素的光电转换单元的电荷传送到像素内存储器、然后读出该电荷。

图12a和12b所示的示例采用在y方向上彼此相邻的两个像素共用读出电路的结构。然而，在x方向上彼此相邻的两个像素可以共用读出电路，或者在x和y方向上彼此相邻的四个像素可以共用读出电路。在x方向上彼此相邻的两个像素共用读出电路的情况下，在第一摄像模式中，用于绿色的像素111gr和用于蓝色的像素111b的像素信号被较早地传送。稍后传送用于红色的像素111r和用于绿色的像素111gb的像素信号。之后可以进行相加读出。在x和y方向上彼此相邻的四个像素共用读出电路的情况下，在第一摄像模式中，首先传送用于蓝色的像素111b的像素信号，随后传送用于绿色的像素111gr和111gb的像素信号。最后传送用于红色的像素111r的信号。之后，可以进行相加读出。

<相邻像素的共用>

彼此不相邻的像素可以共用读出电路。然而，与相邻像素共用读出电路简化了配线布局，因此是期望的。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。