专利名称：彩色摄像元件和彩色信号处理电路的制作方法
技术领域：
本发明涉及彩色摄像元件和彩色摄像装置，特别涉及在红外区域具有 灵敏度的彩色摄像元件和彩色摄像装置。
背景技术：
摄像机安装的CCD(Charge Coupled Device:电荷耦合元件)和C-MOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等 摄像元件包括二维排列的用于将光变换成电信号的光电变换元件。由于光 电变换元件自身没有颜色识别能力，为了进行彩色摄像，用颜色过滤器等 将入射光色分离，并对分离的每种颜色光进行光电变换。入射光的色分离 一般通过在光电变换元件上设置的基色(RGB)系或者补色(YMC)系的 三基色颜色过滤器层进行。
相对于人眼所见光的波长是380nm 780nm大小，通常的光电变换元 件在所检测的波长范围为380nm 1100nm大小，在比人可见区域更长波 长一侧的红外区域上也具有高的灵敏度。按照使入射光进行颜色分离的各 种颜色的强度来输出信号的光电变换元件，如果输出了人眼不可见的红外 区域光成分时不能够进行正确的颜色再现。因此，在摄像机的透镜和光电 变换元件之间设置了红外光截断过滤器，使得红外区域的光不入射到光电 变换元件上。
为了正确颜色再现而设置的红外光截断过滤器在截断红外区域波长 的光的同时也使可见区域的光被截断10% 20%。因此，存在入射到光电 变换元件之光接收面上的可见光强度减少、据此，输出信号的S/N比降低 以及产生画质恶化之类的问题。特别在欧洲等文化圈中，大多使用发光光
谱中红外线成分多的白炽灯间接照明，室内照度比较低。即使在这种低照
度下，为了进行S/N比高的摄像，也要求提高摄像元件的灵敏度。
因此，提出了黑白/彩色切换摄像机(例如参考专利文献l)，其监视 CCD的输出，当CCD输出电平大(白天光亮大)时，通过在透镜和CCD 之间插入红外光截断过滤器来进行彩色摄影，而当CCD输出电平小(夜 间光亮小)时，通过切换红外线截断过滤器而自动地插入虚拟玻璃(dummy glass)。
彩色摄像装置为了在各种照明光源下进行摄像， 一般要自动地调整R、 G、 B信号的增益，使得即使在任何光源下进行摄影也满足白平衡。
彩色摄像装置要求高的灵敏度使得即使在暗的环境中也能够进行鲜 明的彩色摄像。为了获得高的灵敏度，尽管具有降低帧速率、增大透镜光 圈、提高信号放大增益之类的方法，但会分别产生残余图像残留、被写体 深度变浅以及噪音增加之类的问题。
因此，尽管考虑通过除去如上述使可见光损失的红外光截断过滤器而 使入射光有效地引导到光电变换元件上，但仍然具有不能够进行正确的颜 色再现之类的问题。而且在彩色摄像元件中，从小型化低成本观点看也要 求除去红外光截断过滤器。
专利文献1:特开平11一239356号公报。
发明内容
本发明的目的在于提供一种彩色摄像元件和彩色摄像装置，其在没有 红外光截断过滤器的情况下仍能够进行正确的颜色再现。
本发明的彩色摄像元件，包括多件的颜色成分光电变换元件，在光 接收面分别设置有分别透过不同颜色成分的颜色过滤器，接收入射光，分
别选择输出与所述不同颜色成分强度对应的颜色信号；和红外光成分光电
变换元件，在光接收面设置透过红外光成分的红外光成分透射过滤器，选 择输出红外光信号，该红外光信号用来校正在所述多个颜色信号的至少一 个中所包含的红外光成分。
根据该彩色摄像元件，由于即使红外光成分包含在颜色成分光电变换 元件输出的颜色信号中也能够进行合适的颜色再现，因此在颜色成分光电
变换元件的光接收面上不必要安装红外光截断过滤器。因此，由于能够排 除在颜色成分光电元件的入射光中因红外光截断过滤器引起的可见光成 分的损失，提高了彩色摄像元件的灵敏度。而且由于颜色成分光电变换元 件的至少一个能够不仅从可见光成分还从红外光成分获得亮度信号，因此 彩色摄像元件的灵敏度飞跃上升。
在本发明另一方式中，所述不同颜色成分，分别是红/绿/蓝、黄色/蓝 绿色/深红色、黄色/蓝绿色/绿色以及黄色/蓝绿色/深红色/绿色之任何一个
组合中所包含的3色或者4色。
在本发明另一方式中，所述颜色过滤器的至少2种是透过红外光的颜 色过滤器；所述红外光成分透射过滤器，通过将所述颜色过滤器中透过红 外光的颜色过滤器重叠而构成。
根据该彩色摄像元件，由于不必要另外安装红外光透射过滤器，因此 能够低成本地实现高灵敏度的彩色摄像元件。
在本发明另一方式中，所述红外光成分透射过滤器通过将红色过滤器 和蓝色过滤器重叠而构成。
在本发明另一方式中，所述红外光成分透射过滤器通过将黄色过滤 器、蓝绿色过滤器和深红色过滤器重叠而构成。
在本发明另一方式中，所述颜色成分光电变换元件和红外光成分光电 变换元件按马赛克方式二维排列。
在本发明另一方式中，所述红外光成分光电变换元件被设置在由所述 颜色成分光电变换元件构成的颜色成分光接收面之摄像区域外缘的一部 分上。
根据该彩色摄像元件，由于能够致密排列将用来摄像的可见光成分和 红外光成分光电变换的颜色成分光电变换元件，因此能够进行高清晰度摄 像，并且由于能够检测被摄体的红外光成分，选择输出用于校正红外光成 分的红外光信号，因此能够进行贴切的颜色再现。
本发明的彩色信号处理电路，进行下述处理从所述彩色摄像元件中 取得所述颜色信号和红外光信号，基于所述红外光信号除去在所述颜色信 号的至少一个中所包含的红外光成分。
根据该彩色信号处理电路，通过除去颜色信号中包含的红外光成分，
能够迸行正确的颜色再现。
再有，本发明的彩色信号处理电路，取得由所述彩色摄像元件所输出 的所述颜色信号和红外光信号，基于所述红外光信号控制所述颜色信号内 的至少2个信号的增益，进行颜色信号的白平衡调整。
根据该彩色信号处理电路，能够基于检测的红外光信号获得合适的白 平衡。
根据本发明，由于能够有效地利用光电变换元件红外区域的灵敏度和 从可见光成分和红外光成分两者获得亮度信号，因此可以提高彩色摄像装
置的灵敏度。由此，当在暗环境中摄像时，输出信号S/N比提高并获得良 好的画质。
根据本发明，由于不使用红外光截断过滤器而能够进行正确的颜色再 现，因此能够使彩色摄像装置低成本化和小型化。
图1是表示有关本发明施形式的彩色摄像装置10的图像信号关系的 构成框图。
图2是表示有关本发明实施方式的彩色摄像元件12的构成模式图。
图3是表示一例红色过滤器36、绿色过滤器34及蓝色过滤器38的透 过率与一例电荷耦合元件的光接收灵敏度的波长之依赖关系的图。
图4是表示当将红色过滤器36、绿色过滤器34、以及蓝色过滤器38 与光电变换元件配置成如图2所示那样时的光电变换元件18、 20、 22、 24 之灵敏度的波长依赖关系的图。
图5是表示一例黄色Ye、深红色Mg和蓝绿色Cy过滤器的透过率与 一例电荷耦合元件光接收灵敏度的波长依赖关系的图。
图6是表示当黄色Ye、深红色Mg、蓝绿色Cy的过滤器分别配置成 光电变换元件时的光电变换元件灵敏度的波长依赖关系的图。
图7是表示有关本发明另一实施方式的彩色摄像元件的构成模式图。
图中10、 50 —彩色摄像装置；12 —彩色摄像元件；14一彩色信号处
理电路；16 —透镜；18、 20、 22、 24、 52—光电变换元件；26 —垂直寄存 器；28 —水平寄存器；30—电荷电压变换电路；32—放大器；34—绿色过
滤器；36 —红色过滤器；38 —蓝色过滤器。
具体实施例方式
下面，基于
用于实施本发明的最佳方式(以后称为实施方 式)。
图1是表示有关本发明实施方式的彩色摄像装置10的图像信号关系 的构成框图。彩色摄像装置10包括用于将入射光按颜色的强度变换成电 信号并且输出的彩色摄像元件12。彩色信号处理电路14根据彩色摄像元 件12输出的分色信号产生视频信号。透镜16是为了将图像成像到颜色摄 像元件12的光接收面而设置的。
图2是表示有关本发明实施方式的彩色摄像元件12的结构模式图。 在这里，作为彩色摄像元件12，以CCD (Charge Coupled Device:电荷耦 合元件)为例进行说明。彩色摄像元件12形成了由将光变换成电信号的4 个光电变换元件18、 20、 22、 24所构成的光电变换元件块多个按二维排 列，形成光接收面。光电变换元件例如由Si光电二极管构成。通过光电变 换元件所变换的电荷被传输到垂直寄存器26，接着被传输到水平寄存器 28。能够根据水平寄存器28传输的信号电荷通过电荷电压变换电路30被 变换成电压信号。该电压信号在由源极跟随器电路等构成的放大器32中 被电流放大并被输出到彩色信号处理电路14。
在由4个光电变换元件18、 20、 22、 24构成的光电变换元件块中， 为了颜色分离，在引导第一光电变换元件18之入射光的光接收面一侧设 置了红色过滤器36,在引导第二光电变换元件20之入射光的光接收面一 侧设置了绿色过滤器34，在引导第三光电变换元件22之入射光的光接收 面一侧设置了蓝色过滤器38。将设置了不同颜色过滤器的光电变换元件二 维配置成没有色偏离的阵列，称之为马赛克(mosaic)排列。
本发明的特征是在引导第四光电变换元件24之入射光的光接收面一 侧设置了红外光透射过滤器，第4光电变换元件24选择输出红外光信号， 其用于校正从上述第一到第三光电变换元件选择输出的色信号之至少一 个所包含的红外光成分。
在本实施方式中，通过红色过滤器和蓝色过滤器之间的重叠构成了红
外光透射过滤器。而且该红色过滤器是在引导第一光电变换元件18之入
射光的光接收面一侧上设置的红色过滤器36延长到第四光电变换元件24 的光接收面的过滤器，同样，该蓝色过滤器是在引导第三光电变换元件22 之入射光的光接收面一侧上设置的蓝色过滤器38延长到第四光电变换元 件24的光接收面的过滤器。根据该结构，能够通过红色过滤器和蓝色过 滤器形成红外光透射过滤器而不附加新的制造工序。
图2中，尽管假设红色过滤器36和蓝色过滤器38为对由4个光电变 换元件构成的光电变换元件块之每个所形成的形状，但如果红色过滤器36 和蓝色过滤器38分别与引导第一光电变换元件18和第四光电变换元件24 之入射光的光接收面相设置以及与引导第三光电变换元件22和第四光电 变换元件24之入射光的光接收面相设置，则形状为哪种形状都是可以的。 例如，红色过滤器36可以在二维排列的光电变换元件的一列上连续形成 为一体，而蓝色过滤器38可以在二维排列的光电变换元件的一行上连续 形成为一体。
图3表示红色过滤器36、绿色过滤器34及蓝色过滤器38的透过率之 波长分布的一个例子，还表示了光电变换元件光接收灵敏度的波长依赖关 系的一个例子。红色过滤器36不透过比550nm短的波长的光，但对于比 550nm长的波长的光具有高透过率。绿色过滤器34从比450nm长的波长 的光开始其透过性增加，在绿色即520nm处具有峰值，比650nm长的波 长的光的透过性变成几乎没有，但对于红外800nm或者以上之波长的光， 其再次具有高的透过率。蓝色过滤器38从比380nm长的波长的光开始其 透过性增加，在蓝色即460nm处具有峰值，比550nm长的波长的光的透 过性变成几乎没有，但对于红外750nm或者以上之波长的光，其再次具有 高的透过率。另一方面，光电变换元件在500nm具有最大灵敏度，在超过 可见光区的780nm、直到1100nm的红外区域仍具有灵敏度。
图4表示了当将具有上述透过波长分布的红色过滤器36、绿色过滤器 34、以及蓝色过滤器38与光电变换元件配置成如图2所示那样时的光电 变换元件18、 20、 22、 24之灵敏度的波长依赖关系。
第一光电变换元件18由于将红色过滤器36设置在引导入射光的光接 收面一侧而具有在红色600nm处为峰值的灵敏度分布，并且光电变换元件
18直到红外区域仍然有灵敏度。第二光电变换元件20由于将绿色过滤器 34设置在引导入射光的光接收面一侧而在可见光区具有在绿色520nm处 为峰值的灵敏度分布，并且由于绿色过滤器34透过红外区域的光，其在 红外区域也有灵敏度。第三光电变换元件22由于将蓝色过滤器38设置在 引导入射光的光接收面一侧而在可见光区具有在蓝色460nm处为峰值的 灵敏度分布，并且由于蓝色过滤器38透过红外区域的光，其在红外区域 也有灵敏度。第四光电变换元件24由于将红色过滤器36和蓝色过滤器38 重叠设置在引导入射光的光接收面一侧而在可见光区几乎没有灵敏度，但 在波长780nm或者以上的红外区域具有最高的灵敏度。
因此，第一光电变换元件18光电变换红色和红外区域的光并输出信 号R，第二光电变换元件20光电变换绿色和红外区域的光并输出信号G， 第三光电变换元件22光电变换蓝色和红外区域的光并输出信号B，第四 光电变换元件24光电变换红外区域的光并输出信号IR。
在有关本发明实施方式的彩色摄像元件12中，由于在将可见光区域 的三基色光电变换的第一、第二和第三光电变换元件18、 20、 22的光接 收面上没有介入使入射光在受到损失的红外光截断过滤器，因此能够有效 地光电变换来自被摄体的光。而且，由于第一、第二和第三光电变换元件 18、 20、 22光电变换可见光成分和红外光成分两者，能够从可见光成分和 红外光成分两者中获得亮度信号，因此与只接收可见光成分的现有技术彩 色摄像元件相比，提高了灵敏度。
由于第一、第二和第三光电变换元件18、 20、 22的输出信号R、 G、 B包含红外光成分，如果原样直接进行信号处理，将不能正确进行颜色再 现。因此，彩色信号处理电路14基于来自第四光电变换元件24的红外光 成分输出信号IR来进行信号处理，从来自第一、第二和第三光电变换元 件18、 20、 22的包含红外光成分的输出信号R、 G、 B中除去红外光成分。 作为除去了红外光成分的信号处理，例如，进行通过乘以第四光电变换元 件24的灵敏度对第一光电变换元件18红外区域的灵敏度之比而从输出信 号R中减去IR的运算。通过在包含红外光成分的信号上进行这种信号处 理，能够进行通过获得三基色信号的合适的颜色再现。
彩色信号处理电路14例如在色信号的白平衡调整中，优选为基于红
外信号IR，通过将绿色信号G的增益作为基准来控制红色信号R和蓝色 信号B的增益而进行彩色信号处理。对于色信号的白平衡调整，例如在红 外信号IR比规定信号量大时，进行使红外信号R的增益只比规定量小而 使蓝色信号B的增益只比规定量大的控制。相反，在红外信号IR比规定 信号量小时，进行使红外信号R的增益和蓝色信号B的增益变成相等的控 制。
上面作为彩色摄像元件12，虽然以CCD为例进行了说明，但只要是 CCD,电荷传输方法可以是任何方法，例如，可以是FT (Frame Transfer: 帧传输)方式、IT (Interline Transfer:行间传输)方式、FIT (Frame Interline Transfer:帧行间传输)方式。本发明的彩色摄像元件12不局限于CCD， 即使为CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化 物半导体)也能够同样构成。
在根据本发明实施方式的彩色摄像元件12中，尽管将色分离做成光 的三基色即红、绿、蓝，但也可以分离成补色之黄色Ye、深红色Mg、蓝 绿色Cy之组合的颜色，黄色Ye、蓝绿色Cy、绿色G之组合的颜色，或 者黄色Ye、蓝绿色Cy、深红色Mg、绿色G之组合的颜色。此时，代替 红色过滤器、蓝色过滤器和绿色过滤器，将黄色过滤器、深红色过滤器、 蓝绿色过滤器配置在光电变换元件的光接收面上。这种情况下，这些过滤 器的排列做成补色方格花纹色差顺序排列或者补色方格花纹排列以代替 基色贝叶(Bayer)排列。
图5表示补色系列过滤器组合的黄色Ye、深红色Mg、蓝绿色Cy过 滤器的透过率的波长分布的一个例子，还表示一例电荷耦合元件光接收灵 敏度的波长依赖关系。黄色Ye过滤器很好地透过比480nm长的波长的光， 而深红色Mg过滤器虽然很好地透过450nm以下和620nm以上的波长的 光，但几乎不透过从500nm到570nm波长的光，蓝绿色Cy过滤器虽然很 好地透过550nm以下和850nm以上的波长的光，但几乎不透过从600nm 到800nm波长的光。
图6表示了当具有上述透过波长分布的黄色Ye、深红色Mg、蓝绿色 Cy的过滤器分别配置成光电变换元件时的光电变换元件灵敏度的波长依 赖关系。设置了黄色Ye过滤器的光电变换元件具有在黄色520nm处具有 峰值的灵敏度分布，并且直到红外区域仍有灵敏度。设置了深红色Mg过 滤器的光电变换元件在420nrn处具有第一灵敏度峰值，从500nrn到570nm 几乎没有灵敏度，在650nm具有第二灵敏度峰值之后直到红外区域仍有灵 敏度。设置了蓝绿色Cy过滤器的光电变换元件在500nm处具有灵敏度峰 值，从600nm到800nm几乎没有灵敏度，但从800nm开始灵敏度上升， 在850nm有峰值，直到红外区域仍有灵敏度。
此时，在只光电变换红外区域光且选择输出信号IR的第四光电变换 元件24的光接收面上通过重叠黄色Ye、深红色Mg和蓝绿色Cy过滤器 来形成红外光透射过滤器。此时的第四光电变换元件24如图6所示在可 见光区几乎没有灵敏度，在波长800nm或者以上的红外区域具有最高灵敏 度。如上所述，在作为补色系列色分离的过滤器结构的情况下，也和有关 红色、绿色、蓝色之色分离的过滤器结构实施方式的彩色摄像元件12同 样，可以适用本发明。
图7是表示有关本发明另一实施方式的彩色摄像元件50的结构模式 图。彩色摄像元件50是IT方式CCD,其在包括现有技术基色贝叶排列的 片上颜色过滤器的光接收面外端即摄像面右端上，具有用于只光电变换红 外光的光电变换元件52。在第一光电变换元件18的光接收面一侧上设置 了引导入射光的红色过滤器36，在第2光电变换元件20和第四光电变换 元件24的光接收面一侧上设置了引导入射光的绿色过滤器34，在第三光 电变换元件22的光接收面一侧上设置了引导入射光的蓝色过滤器38。
在光电变换元件52的光接收面一侧上设置了引导入射光的红外透射 过滤器，只有红外光入射到光电变换元件52。红外透射过滤器例如通过红 色过滤器36和蓝色过滤器38的重叠构成。光电变换元件52选择输出用 于校正在第一、第二、第三和第四光电变换元件18、 20、 22和24之输出 信号R、 G、 B中包含的红外光成分的红外信号IR。
来自本实施方式彩色摄像元件50的输出信号在各个水平行信号的每 个周期上包含红外光信号IR。输入了来自彩色摄像元件50之输出信号的 彩色信号处理电路14例如在IR超过预定强度时，判断在摄像信号R、 G、 B上红外光成分多，并且从预定的色信号处理图形(pattern)中选择红外 光成分强的适用于被摄体的色信号图形(pattern)，并进行该选择图形的
色信号处理。
根据该彩色摄像元件50，由于能够致密排列检测可见光区域三基色的
第一、第二、第三和第四光电变换元件18、 20、 22、 24，因此能够进行高 清晰度摄像，由于在第一、第二、第三和第四光电变换元件18、 20、 22、 24的光接收面上没有接入使入射光受到损失的红外光截断过滤器，因此能 够有效地光电变换来自被摄体的光。而且，由于第一、第二、第三和第四 光电变换元件18、 20、 22、 24光电变换可见光成分和红外光成分两者， 能够从可见光成分和红外光成分两者中获得亮度信号，因此与只接收可见 光成分的现有技术彩色摄像象素相比，提高了灵敏度。由于能够检测和选 择输出红外光，通过在色信号的白平衡调整中，基于红外信号IR，将绿色 信号的增益作为基准来控制红色信号和蓝色信号的增益使得能够从包含 红外光成分的红色信号、绿色信号、蓝色信号中减少红外光成分影响而进 行彩色信号处理，从而能够进行合适的颜色再现。
权利要求
1、一种彩色信号处理电路，其特征在于，取得由彩色摄像元件所输出的颜色信号和红外光信号，基于所述红外光信号控制所述颜色信号内的至少2个信号的增益，进行颜色信号的白平衡调整，所述彩色摄像元件包括多个颜色成分光电变换元件，在光接收面分别设置有分别透过不同颜色成分的颜色过滤器，接收入射光，分别选择输出与所述不同颜色成分强度对应的颜色信号；和红外光成分光电变换元件，在光接收面设置透过红外光成分的红外光成分透射过滤器，选择输出红外光信号，该红外光信号用来校正在所述多个颜色信号的至少一个中所包含的红外光成分。
2、 根据权利要求1所述的彩色信号处理电路，其特征在于， 所述不同颜色成分分别是红/绿/蓝，使绿色信号(G)的增益成为基准，控制红色信号(R)和蓝色信号 (B)的增益。
3、 根据权利要求2所述的彩色信号处理电路，其特征在于，在所述 红外光信号比规定的信号量大的情况下，进行使所述红色信号的增益仅小 第一规定量、使蓝色信号的增益仅大第二规定量的控制。
4、 根据权利要求2所述的彩色信号处理电路，其特征在于，在所述 红外光信号比规定的信号量小的情况下，进行使所述红色信号的增益和所 述蓝色信号的增益变成相等的控制。
5、 根据权利要求1所述的彩色信号处理电路，其特征在于，所述不 同颜色成分分别是黄色/蓝绿色/深红色、黄色/蓝绿色/绿色以及黄色/蓝绿 色/深红色/绿色之任何一个组合中所包含的3色或者4色。
6、 一种彩色信号处理电路，其特征在于，取得由彩色摄像元件所输出的颜色信号和红外光信号，其中，所述彩 色摄像元件包括多个颜色成分光电变换元件，在光接收面分别设置有分别透过不同颜色成分的颜色过滤器，接收入射光，分别选择输出与所述不同颜色成分强度对应的颜色信号；和红外光成分光电变换元件，在光接收面设置透过红外光成分的红外光 成分透射过滤器，选择输出红外光信号，该红外光信号用来校正在所述多 个颜色信号的至少一个中所包含的红外光成分，通过从所述颜色信号的每一个中减去根据颜色过滤器的红外光成分 的灵敏度和所述红外光成分透射过滤器的红外光成分的灵敏度之比而对 所述红外光信号乘以系数所得的值，来补正红外光成分。
7、根据权利要求6所述的彩色信号处理电路，其特征在于，所述颜 色成分光电变换元件和红外光成分光电变换元件按马赛克方式二维排列。
全文摘要
提供一种彩色摄像元件(12)，包括引导入射光的红色过滤器(38)设置在光接收面上的用于选择输出红色信号的第一光电变换元件(22)；引导入射光的绿色过滤器(34)设置在光接收面上的用于选择输出绿色信号的第二光电变换元件(22)；引导入射光的蓝色过滤器(36)设置在光接收面上的用于选择输出蓝色信号的第三光电变换元件(18)；引导入射光的通过红色过滤器(38)和所述蓝色过滤器(36)重叠构成的红外光透射过滤器设置在光接收面上的、用于选择输出用来校正在所述第一～第三光电变换信号中包含的红外光成分的红外光信号的红外光成分光电变换元件(24)。这样，可以在高灵敏度下进行良好的颜色再现。
文档编号H04N9/73GK101188775SQ20071019949
公开日2008年5月28日 申请日期2004年12月10日 优先权日2003年12月22日
发明者东堤良仁 申请人:三洋电机株式会社