图像输入处理设备和方法

专利名称：图像输入处理设备和方法
技术领域：
本发明涉及图像输入处理设备和方法，其中成像(image)来自包含近红 夕卜光分量(near infrared light component)的景物的光(图4象)并且近纟工 外光分量与所获得的成像信号的图像数据是分离的。
背景技术：
人对颜色和亮度的敏感度的特征在于人在可见光区域中具有敏感度。 虽然可见光区域被不同地定义，但是可见光区域一^:是其上限位于700到 750nm附近(例如780nm)且其下限位于稍小于400nm (例如380nm)的电磁 波长区域。邻近可见光区域的红外区域被称为近红外光区域，所述近红外光 区域是从700到800nm的下限到1. 5到3 ju m (例如，2. 5 |i m )的上限的电磁 波长区域。
然而，人眼对于大约700nm的更长波长侧几乎没有敏感度。另外，由于 近红外光区域具有诸如退化彩色再现性之类的有害影响，所以一般在空中来 自图像感测装置中的景物的光(图像)的光学部件中提供红外拦截 (intercept)滤光片(红外截除滤光片)。
由于图像感测装置本身也对于红外光具有敏感度，所以在用于夜间照相 或监视的高敏感度照相机中，成像从可见光到红外光的宽波段光(图像)。
由于所包含的红外光的比率根据诸如荧光或电灯泡之类的照明(光源) 而不同，并且即使在日光的情况下也根据时间而不同，所以根据这样的拍摄 环境的改变来确定是否拦截红外光。
公知的技术实现了应付任意拍摄环境的照相机以满足上述要求，通过使 用旋转型波长分离光学系统作为输入光学系统来由相同的图像感测装置接收可见光和红外光(例如，见JP-A-9-166493 )。根据该项技术，例如，通过旋转机制等进行将红外截除滤光片插入到入 射光程上和从入射光程上取出红外截除滤光片之间的切换。当插入红外截除 滤光片时，输出不受近红外光或红外光影响的可见光彩色图像，而当取出红 外截除滤光片时，输出增加了可见光和近红外光的光强度的图像。增加了近红外光的图像尽管其彩色再现性很低，但适于目标识别，并且 通过组合能够获得该图像的机制和发射对于人眼不可见的红外光的机制，实 现了通过其即使在夜间也能获得清晰图像的监视照相机。在监视照相机中， 在白天期间从入射光程中取出红外截除滤光片。公知的彩色校正电路当入射近红外光时其提高所拍摄图像的彩色再现 性，而不使用红外截除滤光片(例如，见JP-A-2005-354457 )。根据在JP-A-2005-354457中描述的技术，在处理电路中提供的光谱壽文感 度校正装置改变图像信号的光语敏感度特性以执行IR分量分离，获得前一信 号和后一信号之差，并对其进行相加，由此取出IR分量。由于仅通过IR分 量的移除退化彩色再现性，所以为了提高彩色再现性，光谱敏感度校正装置 通过矩阵计算使用目标的彩色平衡(如正常色觉的人的颜色)来匹配已经经 历了 IR分离的红(R)、绿(G)和蓝(B)中每一种的颜色数据。为了寻找当 前颜色和目标之间的相似性，使用最小二乘Uast squares)法等。关于滤色镜(color filter)的颜色排列，在公知的四色排列的图像感 测装置中由四种颜色的〗象素组成颜色排列的重复单元(例如，见 JP-A-2005006066 )。JP-A-2005-006066公开了其最小重复单元(像素单元)由红(R )、绿(G ) 和蓝(B)三原色透射滤光片(transmitting filter)和在红外光区域具有 敏感度并透射红外光的红外透射滤光片组成的滤色镜。JP-A-2005-006066还 描述了红外透射滤光片可以是白色(W)的滤光片。发明内容在光的光谱特性中，可见光分量的波长区域和近红外光的波长区域在频 率上是连续的，由于这个原因，难于通过诸如低通滤光片之类的电路装置仅 移除近红外光分量而不改变可见光分量。在JP-A—2005—354457中,由"光谱敏感度校正装置"执行IR分量的移分量的量值，由此检测是否执行红外透射 拍摄。尽管由于频率是连续的上述原因，通过该方法检测到的IR分量的量值是 不准确的，但是对于红外透射拍摄的检测来说足够了 。照相机一般提供有检测器，其检测用于白平衡校正和曝光控制的图像平 面(image plane)的亮度。该检测器是将例如每一种颜色的输入像素信号的一个图像面相力口(累计) 的电路，并在亮度信号和颜色信号的分离之前或之后在预定处理电路中的位 置中提供。例如，在信号处理电路中，在黑电平校正部分后面提供所述检测 器。然后，通过使用从检测器输出的每一种颜色的一个图像平面的累计值来 执行白平衡校正，或通过一起使用所有颜色数据的 一个图像平面的累计值来 执行曝光补偿。然而，由于用于获得累计值的信号除了可见光分量之外还包含IR分量， 所以除非在累计值中发现IR分量的量值和比率，否则一般难以执行精确的白 平衡校正和曝光控制。在JP-A-2005-354457中描述的方法和装置可用作用于寻找IR分量的量值的装置。然而，尽管在JP-A-2005-354457中描述的方法和装置为了诸如发现红外 透射拍摄的存在或不存在之类的目的，对于粗略地检测IR分量的量值是有用 的，但是对于可能需要用于精确控制(如白平衡校正和曝光控制)的有关亮 度的数据的照相机控制处理的实际使用来说，它们是不够的，这是因为所获 得的IR分量的量值缺乏精度。不清楚JP-A-2005-354457中描述的"光谱敏感度校正装置，，如何移除 IR分量。然而， 一般使用透射可见光区域和近红外光区域之间的边界的更短 波长侧的光的滤光片，并且当使用该滤光片时，由于可见光区域和近红外光 区域是连续的，所以发生也移除了部分可见光或仍然存在一些IR分量的情 况。由此，IR分量的移除是不容易的。因此，难以获得IR分量的量值或比 率。由此，期望实现能够通过简单的计算精确并直接地从像素数据中分离IR 分量，并且能够根据是否必须精确地寻找IR分量的量值或已经从中移除了 IR分量的颜色分量的量值来适应性地检测累计值以精确地执行预定照相机控制处理的图像输入处理设备。根据本发明的实施例的图像输入处理设备被提供有光波段分离滤光片、 滤色镜、光学传感器部分、数据分离部分、红外分离部分、第一累计部分、 第二累计部分以及照相机控制处理部分。光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述 预定波长波段的更短和更长波长侧的波段。光学传感器部分从景物中成像已经通过光波段分离滤光片和滤色镜的光 (图像)，并产生成像信号。(重复基本单元)的滤色镜釆用四色排列，所述 四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色 之和等效于所述可见光区域中的一种或两种其他颜色的等效。数据分离部分将成像信号的与四色排列对应的像素数据分离成四种颜色 的像素数据块。红外分离部分在分离之后的四种颜色的像素数据块之中，基于四色排列， 通过使用可见光区域中的等效的减法，将由所述光波段分离滤光片分离的更 长波长侧波段中的近红外光分量从像素数据中分离。第 一 累计部分对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块。第二累计部分对于每一种颜 色，累计从所述红外分离部分输出的多个像素数据块。照相机控制处理部分，其将来自所述第 一 累计部分的每一种颜色的第一 累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基 于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小 量红外光分量的图像中的每一个的照相机控制处理。根据本发明的另一实施例，优选地，第一和第二累计部分均包括获得每 一种颜色的颜色累计值的颜色累计部分，并且第二累计部分包括获得每一种 颜色的颜色累计值的颜色累计部分以及获得由红外分离部分取出的近红外光分量的 累计值(IR累计值)的IR累计部分。根据本发明的另一实施例，优选地，照相机控制处理部分基于IR累计值， 计算涉及近红外光分量的量值或像素数据中所包含的近红外光分量的比率的 参数，并根据所述参数确定从所述第一和第二累计部分中的哪一个获得用于 照相机控制处理的颜色累计值。此时，照相机控制处理部分可以以与所述参 数对应的比率混合从第 一和第二累计部分获得的两种颜色累计值，并使用i贞色累计值的混合作为用于照相机控制处理的颜色累计值。在上述结构中，本发明的实施例的图像输入处理设备具有光波段分离滤 光片，并且光波段分离滤光片对于入射光拦截近红外光的预定波长波段，并 透射位于预定波长波段的更短或更长波长侧的波段。在从光学传感器部分输出的成像信号的颜色光谱特性中，正常情况下， 即使当位于出现近红外光的波长的更长波长侧的颜色不同时，敏感度特性也 是等效的。这归因于装置的半导体材料和滤光片材料的物理性质局限(例如， 饱和能力)。另一方面，即使在近红外光区域中，人眼对于不小于大约700nm几乎没 有任何敏感度。即使当颜色不同时敏感度特性也是等效的频率的下限是高于 700nm,并且在这两个之间的频率区域中，各颜色之间的敏感度是不同的。在本发明的实施例中，光波段分离滤光片将入射光分离成两个波段，例 如，通过拦截如上所述的人眼几乎没有任何敏感度并且各颜色之间的敏感度 不同的特定波长波段，并透射位于预定波长波段的更短和更长波长侧的波段。 通过良好地使用波段分离功能，在通过光波段分离滤光片之后，位于更长波 长侧波段的各颜色之间近红外光分量是等效的。将已经通过光波段分离滤光片的光入射到图像感测装置的滤色镜上。滤 色镜具有如上所述的四色排列。由光学传感器部分光电地转换已经通过滤色 镜的光，并输出成像信号。由数据分离部分将成像信号分离成四种颜色的像 素数据块，然后将其输入到红外分离部分。红外分离部分在四种颜色的像素数据块之间执行计算。此时，红外分离部分通过执行使用滤色镜的四色排列的特性(即，"两种颜色之和等效于可见 光区域中的一种其他颜色或三种颜色之和等效于可见光区域中的一种或两种 其他颜色的等效")和能够使近红外光分量在分离之后的两个波段的更长波长 侧等效的结构的减法，从像素数据中分离位于更长波长侧的近红外光分量。红外分离部分可以分离并输出近红外光分量，或者可以输出从中已经移 除了近红外光分量的三原色数据。通过在呈现上述等效的两种颜色组合(一种颜色和两种颜色以及一种颜 色和三种颜色的组合)之间执行减法来彼此偏移的等效可见光分量来提供近 红外光分量的分离。通过执行减法以便在一种颜色和两种或三种颜色之间彼 此偏移的可见光分量来提供已经从中移除了三原色数据。 ^由第二累计部分累计以这种方式通过计算从中精确地分离近红外光分量 的像素数据，并且从第二累计部分输出第二累计值。另一方面，由第一累计部分累计包含近红外光分量的、还没有经历红外分离的之前的像素数据，并且从第 一 累计部分输出第 一 累计值。将第一和第二累计值输入照相机控制处理部分，并对于每一种颜色将第一和第二累计值彼此比较(这里，可以对于至少一种颜色进行比较)。然后，照相机控制处理部分基于比较结果确定第一和第二累计值之一(或计算作为以预定比率的第 一和第二累计值的混合的新的累计值)，并基于所确定的(或所计算的)累计值执行预定照相机控制处理。在根据本发明的另一实施例的图像输入处理设备中，滤色镜是不具有上述等效的四补色族颜色(Ye、 Cy、 Mg、 G)的滤色镜。在这种情况下，红外分 离部分通过在分离之后的四种颜色的像素数据块之中执行减法，来从像素数 据中分离由光波段分离滤光片分离的、在更长波长侧波段的近红外光分量。 第 一和第二累计部分以及照相机控制处理部分的操作与上述的类似。根据本发明的实施例的图像输入处理方法包括步骤对于入射光拦截近 红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长侧的波 段；由四色排列的滤色镜选择入射光的颜色，所述四色排列具有两种颜色之 和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区 域中的一种或两种其他颜色的等效，并使用每一种颜色的像素，成像已经经 历了颜色选择的光；将通过成像获得的成像信号分离成各颜色的像素数据块； 对于每一种颜色，累计通过分离获得的各颜色的像素数据块；在各颜色的像 素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，分离 更长波长侧波段中的近红外光分量；对于每一种颜色，累计已经经历了红外 光分离的像素数据块；将通过累计通过分离获得的各颜色的像素数据块步骤 获得的第一累计值与通过累计已经经历了红外光分离的像素数据块步骤获得 的第二累计值进行比较；以及基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控 制处理。根据本发明的实施例，获得了优点根据是否有必要精确地寻找已经从 中移除了近红外光分量的颜色分量(或近红外光分量自身)的量值，通过适 应地4全测累计值，可以精确地执行预定照相机控制处理。


图1A和1B是根据本发明的实施例的、并入像素信号处理电路的照相机
的框图2A是示出包括白色(W)像素的原色族(primary color family) CCD 的光谱特性的图2B是示出包括白色(W)像素的补色族CCD的光谱特性的图3A和3B是分别示出作为光学部件和作为片上部件提供的光波段分离 滤光片的特性的示例的图4是在四色排列中分类颜色组合的表；
图5是示出涉及该实施例的图像输入处理方法的过程的流程图； 图6A是示出四色排列示例("Ye、 R、 G、 F，)的示意图； 图6B是示出通过"Ye、 R、 G、 W，，四色排列滤光片而获得的成像信号的
颜色光谱特性的图7是示出在红外分离计算之后三原色数据的颜色光谱特性的图8A是示出通过低色温(3000 K)的光源下成像而获得的成像信号的颜
色光谱特性的图8B是示出关于图8A中所示特性的成像信号执行数据分离并执行减法 之后的颜色光镨特性的图9A和9B是分别示出通过与图8A和8B对应的LED照明成像而获得的 成像信号的颜色光i普特性的图IOA和IOB是示出在以其他颜色组合的计算之前和之后的颜色光谱特 性的图1U和IIB是在为了从补色族数据中获得原色族数据的计算之前和之
后的颜色光谱特性的图12A1是示出在数据分离之后的光谱特性的图12A2是示出通过计算而获得的原色族数据的光谱特性的图12B是示出通过从图12A1中减去图12A2取出的等效IR分量(ir)的
光镨特性的图； <
图13A和13B分别是当光源色温是5000 K和2400K时的颜色光谱特性的
图；图13C是在红外分离的前一阶段提供的第一累计(integrate )部分的框
图14是示出第一累计部分61和第二累计部分62的排列和结构的视图； 图15是示意性地示出通过使用第 一和第二累计部分61和62执行的照相 机控制处理的优先确定方法的视图16A是示出用于高频分量检测的结构的视图； 图16B是示出滤光片系数示例的视图17A和17B是示出可见光图像和当其模糊时的高频检测图像的示例的
视图17C是示出雾出现或不出现与可见度计值以及可见度之间的关系的 表；以及
图18是示意性地示出包括高频检测的照相机控制处理的优先确定方法 的视图。
具体实施例方式
在下文中，将参照附图描述本发明的实施例。
首先，将描述本发明以之为基础的高精度红外分离。红外分离能够从输 入信号(图像信号)中移除近红外光分量(IR分量)，取出IR分量并将其以 及二者输出，即输出从中已经移除了 IR分量的信号和IR分量二者。
尽管将在后面描述细节，但是本发明的实施例的特性是在红外分离部分 的信号输入侧和输出侧中的每一个上提供累计部分。为了详细解释，首先， 将在以下描述通过红外分离能够执行彩色校正的照相机，然后将描述累计部 分到红外分离部分的连接和操作。
为了各种目的而执行红外分离。本发明的应用范围不限于仅用于彩色校 正的红外分离的规定。
具有红外分离功能的照相机
图1A和1B是根据本发明的实施例的、并入像素信号处理电路的照相机 的框图。
照相机与本发明的实施例的"图像输入处理设备"的模式对应。照相机 可以是主要用于拍摄运动图像的任意摄像机、用于拍摄静止图像的数字月菱相 机以及其他具有摄像机和数字照相机功能的电子设备。所图解的照相机被提供有光学部件1,包括镜头和光学滤光片(optical filter);图像感测装置2;模拟前端(AFE )电路3,处理模拟像素信号；AD 转换器(ADC) 5,将模拟像素信号A/D转换为数字信号，并将数字信号作为 数字视频信号输出到各种信号处理部分；信号处理部分4;混合电路(YC-MIX) 9;以及DA转换器(DAC) 12,将已经经历了各种信号处理的视频信号D/A转 换为模拟信号，并将模拟信号作为视频信号14输出。
光学部件1是其中在镜头镜筒中提供镜头、光圈(diaphragm)等的部分。 光学部件l能够进行调焦控制以及用于曝光控制的光圈控制。用于曝光控制
路也包括在光学部件l中。
图像感测装置2是CCD传感器或CMOS图像传感器。将图像感测装置2 固定在照相机机身中，以便其可以在其自身的成像平面上成像来自通过光学 部件1入射的景物的光(图像)。图像感测装置2具有像素阵列(其中光学传 感器的多个像素以矩阵排列)以及滤色镜2A或片上多层(on-chip and multilayer)滤光片2B (其是一组几个邻接传感器(像素单元)并且在像素 阵列的成像平面的入射光侧以预定排列形成)。
图1A和IB中所示的照相机包括光波,殳分离滤光片。
光波段分离滤光片具有拦截近红外光的预定波长波段并透射预定波长波 段的更短或更长波长侧的波段的波段光谱特性。
如图1A所示，光波段分离滤光片1A可以与图像感测装置2分离地提供， 例如，在光学部件l内部。在这种情况下，在图像感测装置2的光接收部分 的入射光侧形成滤色镜2A。
可替代地，如图1B所示，可以在形成于图像感测装置2的光接收部分的 入射光侧的片上多层滤色镜2B中整体地形成滤色镜和光波段分离滤波器。
图2A示出包括白色(W)像素的原色族CCD的光谱特性。图2B示出包括 白色(W)像素的补色族CCD的光谱特性。在这些图中，横轴表示入射光的波 长，而纵轴表示当输出的白色(W)像素的峰值是'T'时的相对透射率。
从图2A和2B中可以明显地看出，图像感测装置具有对红U)、绿(G)、 蓝(B)中的每一种的敏感度，并且白色(W)也在高于近红外光区域的下限 (700到800nm)的频率区域中。当近红外光区域的定义变化时，750到？80nm 附近以上的区域一般被看作是近红外光区域。在其光谱特性如图2A所示的原色族CCD中，对于红(R)、绿(G)、蓝(B) 和白色(W)的敏感度在频率变为略高于800nm (如820nm以上)的区域附近 的更长波长侧变为基本上相同。
相反，在其光i普特性如图2B所示的补色族CCD中,对于Ye(黄)、Cy(青)、 Mg (品红)、G (绿)和W (白)的敏感度在波长是S50nm的区域附近的更长 波长侧变为基本上相同。
虽然由于半导体的物理性质使得对于颜色的敏感度在如上所述的图像感 测装置中的更长波长侧变为相同，但是对于颜色的敏感度相同的区域的下限 波长根据装置是原色族装置还是补色族装置(如图所示)而不同或根据图像 感测装置的种类而不同。
一般将红外截除滤光片作为光学部件放置在图像感测装置的入射光侧。 为了将包括可见光区域和700nm附近以上(人眼几乎没有任何敏感度)的近 红外光区域之间的边界的波长范围的透射率削减为基本上接近于0,将红外 截除滤光片的截止波长设置在650nm附近。
本实施例不使用这样的红外截除滤光片，而是使用如图1A所示的光波段 分离滤光片1A等。
图3A示出作为光学部件与图像感测装置2分离地提供的光波段滤光片 1A (图1A)的光谱特性。图3B示出图像感测装置2的片上多层滤光片M中 所包括的光波段分离滤光片1B (图1B)的光谱特性。
在这些图中，横轴表示波长(nm)，而纵轴表示透射率(1表示100%透射)。
在光波段分离滤光片1A作为光学部件的情况下，如图3A所示，当将截 止波长限定在透射率是低于1的20-30%的位置处时，被拦截波段的波长范围 大约是650到820nm。被拦截波段的更短波长侧是可见光通过波段，而其更 长波长侧是近红外光通过波段。当实际上由图像感测装置2接收到已经通过 该光镨特性的光波段分离滤光片U的光时，例如从700nm附近到820腿附近 的被拦截波段的光被拦截。
该被拦截波段的波长范围与如图2A所示的、在原色族CCD的颜色之中敏 感度相同的长波长区域的下限(820nm)对应。
在片上多层滤光片的情况下，如图3B所示，由于多层膜的影响使得周期 性的波动很大，并且难于形成陡峭的被拦截波段。通常地，在片上多层滤光 片中，更长波长侧难于控制，并且如图中所示，更长波长侧的被拦截波段位于900nm附近。然而，当实际上由图像感测装置2接收到已经通过该光谱特 性的光波段分离滤光片1A的光时，例如从700nm附近到850nm附近的被拦截 波段的内侧的光被拦截。也就是说，被拦截波段的波长范围与如图2B所示的、 在补色族CCD的颜色之中敏感度相同的长波长区域的下限(850nm)对应。
图3A和3B的光谱特性根据所使用的图像感测装置而设计。也就是说， 通过注意事实在图2A和2B所示的图像感测装置的光诿特性中，在不小于 820nm附近或不小于850nm附近的更长波长侧，颜色之中的敏感度基本相同， 来设计滤光片光谱特性，使得不小于820nm附近或不小于850nm附近的近红 外光分量可以在实际的装置中通过。
图2A、 2B、 3A和3B中的每一个均是示例，并且当装置的光谱特性改变
面描述滤色镜的颜色排列的细节，但是当出现原色族像素和补色族像素两者 时，设计滤光片光谱特性，使得近红外光分量可以在不小于850nm (与补色 族像素对应，其对于颜色的敏感度相同的波长下限更高)附近通过。
当图像感测装置2是CCD传感器时，如图1A所示，定时发生器(TG)13 连接到图像感测装置2。可以从TG 13向图像感测装置2供给时钟信号、垂 直同步信号和水平同步信号。当图像感测装置2是CCD时，也从TG 13提供 与垂直同步信号和水平同步信号同步的传送脉冲。
TG 13是从受微计算机10控制的未示出系统时钟信号产生用于定时控制 的这些信号的电路。由用于定时控制的信号控制图像感测装置2的各种操作 (如传送操作和快门操作)。
当图像感测装置2是CM0S传感器时，TG 13的功能可以在图像感测装置 2中提供。
在滤色镜2A中，至少将四种颜色指定给每一个光学传感器(像素)。在 本发明的实施例中，作为像素阵列的重复基本单元的一组几个邻接的像素被 称为像素单元。在本实施例中，在一个像素单元中排列四种或更多种颜色。 虽然由于至少四种颜色对于下面描述的红外分离计算来说是必需的，从而使 得四种或更多种颜色的提供是必要条件，但是四色排列是期望的，这是因为 如果颜色的数目不必要地大，则像素单元的占用面积(footprint)很大并且
、
分辨率降低。以下描述以四色排列为前提。颜色组合以及如何使用颜色数据 (计算方法)将在后面详细地描述。从图像感测装置2向其提供像素信号(模拟信号)的AFE电路3执行要 对模拟信号执行的处理，如通过相关双采样去除复位噪声(CCD的情况下)、 去除其他噪声以及放大。ADC 5将经处理的模拟信号转换为预定位(如8或10位)的数字信号。 对于每一个像素，该数字信号包括具有预定位的灰度值(gradation value) 的像素信号阵列。例如，从ADC 5输出的数字信号包括交替排列A像素信号 和其他颜色的像素信号的像素信号阵列。信号处理部分4包括数据分离部分541和红外分离部分548作为处理来 自ADC 5的数字成像信号的部分。数据分离部分541是将与四色排列的数字成像信号对应的像素数据分离 成四种颜色的像素数据块的电路。红外分离部分548是基于所分离的四种颜色的像素数据之中的四色排 列，通过减法从像素数据中分离由光波段分离滤光片分离的更长波长侧波段 中的近红外光分量的电路。将在后面描述数据分离部分541和红外分离部分548的更详细功能的操作。例如，信号处理部分4可以组成作为半导体芯片的IC或者可以作为模块 或安装板(其中安装多个部分，并将其并入照相机)提供。信号处理部分4 连接在ADC 5和DAC 12之间，并执行除了数据分离和红外分离之外的各种信 号处理。各种信号处理的示例包括信号放大、降噪(NR)处理、分离亮度信 号和颜色信号、亮度信号处理和颜色信号处理。混合经处理的亮度和颜色信 号的混合电路9连接在信号处理部分4和DAC 12之间。信号处理部分4和混 合电路9可以集成到信号处理部分4中，或者可以组成IC或模块。接着，将描述四色排列的颜色组合以及由红外分离部分M8对于每一种 组合执行的计算。如以下所述，仅执行包括减法的简单计算的红外分离部分548可以通过 微计算机10和程序函数实现，或者可以是特定设计的电路。然而，不期望微 计算机10的处理负载增大，并且当由微计算机10执行处理时，所述处理是 难于同步的中断处理。因此，最好将红外分离部分548作为包括减法器等的 逻辑电路来实现。由于红外分离部分548的电路仅执行简单的(力口法禾;')减 法，所以将计算表达式替换为方框图，而在下面的描述中并未示出电路图。图4示出分类四色排列的颜色组合的表。图5是示出对于颜色分离的处 理过程的流程图。在图5中所示的步骤ST1，通过图1A的光波段分离滤光片1A或图1B的 片上多层滤光片2B中的光波段分离滤光片，将来自景物的光(图像)分离为 位于更低波长侧的可见光波段和位于更长波长侧的近红外光波段(见图3A和 3B)。然后，在图5中所示的步骤ST2，由四色排列的滤色镜2A (图1A)或片 上多层滤光片2B中的四色排列的滤色镜执行用于颜色分离的滤色，并由图像 感测装置2的光接收部分执行成像。通过成像，从图像感测装置2输出包含以与四色排列对应的顺序的像素 数据块的成像信号。然后，成像信号在图1A所示的AFE电路3经历预定模拟信号处理，由 ADC 5转换为数字成像信号(表示预定位的灰度值的串行码(series code)), 并输入到信号处理部分4。在信号处理部分4经历了必要的处理之后，在图5中所示的步骤ST3， 由数据分离部分541 (图1A)将数字成像信号分离成各种颜色的像素数据块。 也就是说，在四色排列中，从数据分离部分541并行地输出四种颜色的像素 数据块。在图5中所示的步骤ST4，通过在四种颜色的像素数据块之中执行预定 计算来执行红外分离。这里引用的"红外分离"的意思包括从像素数据中取 出近红外光分量(IR分量)以及以下三种操作"仅输出IR分量"；"仅输出 已经移除了 IR分量的颜色数据，，；以及"输出两者"。所述意思中包括三种操 作中的哪一个视使用已经经历了红外分离的数据而进行的处理的内容而定。 例如，当执行红外分离以寻找IR分量的量值时，仅输出IR分量。另一方面， 例如，当移除IR分量以执行彩色校正时，仅输出已经移除了 IR分量的颜色 数据。此外，例如，当使用IR分量用于除了彩色校正之外的另一目的时，分 离地输出IR分量和已经移除了 IR分量的颜色数据。在上述处理方法中，在步骤ST2执行的滤色中考虑如图4所示的各种颜 色组合。这里，可以认为在像素信号中包含的IR分量(严格来讲，各个J资色之中 是不同的)与由上述光波段分离滤光片分离的近红外光波段中的包含的IR分量基本上相同(等效)，并且在像素信号中包含的该等效IR分量由"(ir)" 表示。补色指示任意的Ye、 Cy和Mg。在图4所示的颜色组合中，几乎补色族"Ye、 Cy、 Mg和G"满足定义"两 种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于可见 光区域中的一种或两种(once or twice)其他颜色"的等效。图4中所列出 的颜色组合和等效，以及在红外分离中执行的用于颜色组合的计算将顺次描 述。〈一种补色、两种原色和白色>一种补色、两种原色和一种白色(W)组成四色排列。特别地，如图4 所示，该组合包括下面三种模式"Ye、 R、 G、 W"、 "Cy、 B、 G、 W，，和"Mg、 B、 R、 W'，。例如，由于数据分离之后的(R+ (Ir))数据和(G+ (ir))数据的组和 (Ye OR+G) + (ir))数据"满足两种颜色之和等效于可见光区域中的一种 其他颜色的要求"，所以模式"Ye、 R、 G、 W"满足上述等效。同样地，其他两种模式满足该要求并满足等效。图6A示出图像感测装置2的"一种补色、两种原色和白色"的四色排列示例("Ye、 R、 G、 W，，)。在此要紧的是颜色组合，而以最大量排列哪一种颜色分量是不重要的。 这里，由于白色(W)数据等效于三原色数据(=R+G+B)之和，并且例如在边 缘检测和亮度信号产生中作为高敏感度像素信号是有效的，所以白色(W)数 据在信息量中是最大的。因此，期望以更大的量排列最高敏感度的像素的颜 色。为了提高敏感度，期望将白色(W)像素数据提交到下一处理，而不从其 中移除等效IR分量(ir)。图6B示出来自图像感测装置2 (图1B)的成像信号的光谱特性，在图像 感测装置2中将"Ye、 R、 G、 W"的滤色镜提供在片上多层滤光片2B中。所图解的光谱特性的成像信号通过成像(光电地转换)具有经过光波段 分离滤光片和滤色镜的光来获得。然而，在片上多层膜2B的光谱特性中，由 于可以在图像感测装置2上分层的膜的材料和厚度以及分层方法的限制，所 以在如图3B所示的被拦截波段(650到850nm的波长)中不能获得完全的拦 截特性。因此，如图6B所示，在成像信号的颜色光镨特性中，在700到800nm 的波长附近对G (绿)的敏感度与对其他颜色的敏感度略有不同。然而，在不小于800nm附近的波长处，通过增大如图3B所示的透射率实现了基本上消 除了各颜色之中敏感度不一致的特性，使得出色地反映了如图2A和2B所示 各颜色之中敏感度是一致的图像感测装置的特性。在本实施例中，通过关注于此，在像素数据块之中以如下方式删去了 IR 光分量。在如图1A所示的数据分离部分541将来自图像感测装置2的成像信号分 离成各颜色的像素数据块之后，红外分离部分548执行由如下表达式(1-1) 到(1-3)所示的减法[表达式1](Ye + (ir)) - (G + (ir)) = R ( l-l )(Ye + (ir)) - (R + (ir)) = G (l-2 )(W + ( ir )) - (Ye + ( ir)) = B ( l-3 )从这些表达式中很明显地看出，仅通过两种颜色之间的减法删去等效IR 分量(ir)。另一方面，当想要取出等效IR分量(ir)时，从像素数据(R + ( ir )) 中减去通过表达式(1-l)获得的R数据。可替代地，从像素数据(G+( ir)) 中减去通过表达式(1-2 )获得的G数据。图7示出在红外分离计算之后三原色数据的颜色光谱特性。从图7中看出，特别地，在不小于800nm的波长处，基本上完全删去了 IR光分量，并且在700到800nm的边界区域中，充分地抑制了颜色不一致性。 人眼在边界区域中几乎没有任何色彩敏感度，并且不能直接识别颜色不一致。 由于基本上删去了 IR光分量，所以做出颜色校正，其中有效地防止颜色偏移 使得整个部分发白。其特性如图2B所示的片上多层滤光片2B (图1B) —般根据生产批次 (production lot )、图像感测装置2在半导体衬底上的位置、像素在图像感 测装置2中的位置等而变化是公知的。此外，所获得的成像信号的特性有点 根据图像感测装置2 (其中形成片上多层滤光片2B)的特性和像素特性而变 化。然而，在一个晶片上形成的一个图像感测装置2中的邻接像素之间的不 一致小得可以忽略。因此，由表达式(1-1)到U-3)所示的计算一般在像 素单元中四色排列的像素之间的数据块之间是有效的。图8A示出通过在低色温(3000 K)的光源下成像而获得的成像信号的颜色光谱特性。图8B示出关于图8A所示的特性的成像信号执行数据分离并且 执行表达式(1-1)到(1-3)的减法之后像素数据的颜色光谱特性。图9A示出通过由LED照明成像而获得的成像信号的颜色光谱特性。图 9B示出在关于图9A所示的特性的成像信号执行数据分离并且执行表达式 (1-1)到(1-3)的减法之后像素数据的颜色光语特性。从图8A、 8B、 9A和9B中很明显，当可见光的敏感度根据光源种类而大 大地不同并且敏感度级别也在近红外光的情况下不同时(如图中虚线椭圆所 示)，不论光源如何都可以删去不小于约800nm的IR分量。这样的一种应用是可能的在图8A和8B的光源下成像时，通过使用图 9A和9B所示的辅助照明来照明景物以提高可见光中的敏感度，提高信号敏 感度。在这种情况下，从图8A、 8B、 9A和9B中可以容易地推断，IR分量的 删去有效地起作用。虽然以上是作为图4的表中"一种补色、两种原色和白色"的第一组合 的示例的用于模式"Ye、 R、 G、 W，，的处理的描述及其效果，但是尽管计算表 达式不同，IR分量的删去的基本处理和原因与其他颜色组合相同。此外，不 论什么颜色组合，都可以不考虑光源地删去IR分量以及即使当执行LED辅助 照明时IR分量的删去也可以有效地起作用是类似的。因此，在下文中，关于 图4的其他颜色组合，主要列出了颜色组合满足等效的事实和计算表达式， 并且对于一些颜色组合，将示出在计算之前和之后的特性图。<两种补色、 一种原色和白色〉两种补色、 一种原色和白色(W)组成四色排列。具体地，如图4所示， 该组合包括以下六种模式"Ye、 Cy、 R、 W"、 "Ye、 Cy、 B、 F，、 "Ye、 Mg、 G、 W"、 "Ye、 Mg、 B、 W"、 "Cy、 Mg、 R、 W，，和"Cy、 Mg、 G、 W"。例如，在模式"Ye、 Cy、 R、 W"中，像素数据分离之后的(Cy (=B+G ) + (ir))数据和(R+ (ir))数据的组以及(W ( =R+G+B ) + (ir))数据满足上 述等效，这是因为它们"满足两种颜色之和等效于可见光区域中的一种其他 颜色的要求"。同样地，其他五种模式满足该要求并满足所述等效。如所述计算表达式那样，使用以下所示的表达式(2-1 )到(2-3 )，并且 当在该计算过程中获得三原色数据时删去等效IR分量(ir)。当通过使用所 获得的原色数据来获得等效IR分量(ir )时，使用以下表达式(2-4 V而当 从开始获得等效IR分量(ir )而没有获得原色数据时，使用以下表达式(2-5 ),表达式(2-5)使用所述等效:[表达式2](W + (ir)) - (Cr + (ir)) (Cy + (ir)) - (R + (ir)) (W + (ir)) - (Ye + (ir)) (R + ( ir)) - R = ( ir)(2-1) (2-2) (2-3)(2-4){ (Cy + (ir)) + (R + (ir)) } - (W + (ir)) = (ir) (2-5) 〈三补色和白色〉三补色和一种白色(W)组成四色排列。具体地，如图4所示，该组合包 括以下一种模式"Ye、 Cy、 Mg、 W，，。在模式"Ye、 Cy、 Mg、 W，'中，像素数据分离之后的(Ye ( =R+G ) + ( ir )) 数据、(Cy (=B+G) + (ir))数据和(Mg ( =B+R ) + (ir))数据的组以及(W (=R+G+B) + Ur))数据满足以上等效，这是因为它们"满足三种颜色之和 等效于可见光区域中的一种或两种其他颜色的要求"。使用以下表达式(3-1)到(3-3)作为计算表达式，并且当获得三原色 数据时删去等效IR分量(ir )。当从开始获得等效IR分量(ir )而没有获得 原色数据时，使用以下表达式(3-4)，表达式(3-4)使用所述等效[表达式3](W + (ir)) — (Cy + (ir)) = R (3-1) (W + (ir)) - (Mg + (ir)) = G (3—2) (W + (ir)) - (Ye + (ir)) = B (3-3)[{(Ye+(ir)) + (Cy+(ir)) + (Mg+(ir))}-(W+(ir))]/2= ( ir )〈三原色和白色>三原色和一种白色(W)组成四色排列。具体地，如图4所示，该组合包 括以下一种模式"R、 G、 B、 W"。在模式"R、 G、 B、 W"中，像素数据分离之后的(R+ (ir))数据、(G+ (ir ))数据和(B+ ( ir ))数据的组以及(W ( =R+G+B ) + ( ir ))数据满足上 述等效，这是因为它们"满足三种颜色之和等效于可见光区域中的一种其他 颜色的要求"。 -。对于该颜色组合，可以采用以下方法第一种方法，其中首先获得等效IR分量，然后删去等效IR分量Ur );以及第二种方法，其中通过将三原色 数据转换成补色族数据(三补色和绿)然后从正常补色族中获得原色信号来 获得三原色数据(其中删去了等效IR分量(ir))。由于将在以后描述的第二 实施例中描述第 一种方法，所以通过合适地参照特性图在此描述第二种方法。在第二种方法中，首先获得补色族数据，并且此时以下所示的表达式 (4-1)到(4-3)用于三补色数据(Ye、 Cy、 Mg )。从这些表达式中，可以容 易地发现从所获得的三补色数据(Ye、 Cy、 Mg)中删去等效IR分量(ir)。 [表达式4](W + (ir)) - (B + (ir)) = Ye (4-1) (W + (ir)) - (R + (ir)) = Cy (4-2) (W + (ir)) — (G + (ir)) = Mg (4—3)然后，由通过使用不包括等效IR分量(ir)的三补色数据(Ye、 Cy、 Mg ) 的以下表达式(5)来获得补色族数据的残留绿(G)。 [表达式5](Ye+Cy-Mg) /2=G (5)图IOA和IOB示出在由表达式(4-1)到(4-3)和(5)的计算之前和之 后像素数据的颜色光谱特性。这里，在获得这些特性时的入射光是来自作为 光学部件放置的光波段分离滤光片1A的光。也就是说，作为波段分离特性， 使用图3A中所示的一个。从这些图中，很明显，反映了出色的波段分离特性，透射率基本上等于 O并且在不小于大约700mn附近删去了等效IR分量(ir)。然后，通过以下表达式(6-1)到(6-3)的计算从所获得的四块补色族 数据中获得三原色数据[表达式6](Ye + (ir)) - (G + (ir)) = R (6-1) (Cy + (ir)) - (G + (ir)) = B (6-2) (Ye + "r)) - R = G (6-3)如从这些表达式中很明显的那样，通过在两种颜色之间的减法删去等效 IR分量(ir )。另一方面，当想要取出等效IR分量Ur)时，从像素数据(G+ f'ir)) 中减去通过表达式(6-3)获得的G数据。图IIA和IIB示出在由表达式(6-1)到(6-3)的计算之前和之后像素 数据的颜色光谱特性。此时，作为波段分离特性，使用图3A所示的一个。从这些图中，很明显，反映了出色的波段分离特性，透射率基本上等于 0并且在不小于700nm附近删去了等效IR分量(ir )。为了通过使用所获得的三原色数据来取出等效IR分量(ir)，从数据分 离之后的汉+ (ir)、 G+ (ir)、 B+ (ir) }数据(如图12 (Al)所示)中减去 通过表达式(6-1)到(6-3)获得的至少一个块(R、 G、 B)数据(如图12 (A2)所示)。由此，如图12B所示，可以仅取出等效IR分量(ir )。以上是在四色排列中包括白色(W)的优选情况的描述。接着，将简要地描述图4所示的不包括白色(W)的其他颜色组合。<一种补色和三种原色〉该颜色组合包括图4所示的三种模式。例如，在模式"Ye、 R、 G、 B"中， (R+ (ir))数据和(G+ (ir))数据的组以及(Ye ( =R+G ) + (ir))数据满 足上述等效，这是因为它们"满足两种颜色之和等效于可见光区域中的一种 其他颜色的要求"。在计算中，例如，通过之前所示的表达式(1-1 )和(I-2 )获得R和G, 从{ (R+ Ur ) + (G+ ( ir ))数据和(Ye+ ( ir))数据之差获得(ir ),并且 将其从(B+ ( ir))数据中减去，由此获得B数据。<两种补色和两种原色>该颜色组合包括，例如如图4所示的"Ye、 Cy、 G、 R"，并且在该示例中， (R+ ( ir ))数据和(G+ ( ir))数据的组以及(Ye ( =R+G ) + ( ir))数据满 足上述等效，这是因为它们"满足两种颜色之和等效于可见光区域中的一种 其他颜色的要求"。计算的示例包括方法，其中从表达式((G+(ir)) + (B+(ir)))-(Cy+ (ir))获得(ir);以及方法，其中在首先获得G数据和R数据之后，如< 一种补色和三种原色〉的情况那样取出(ir )。 <补色族>这可以通过表达式(6-1 )到(6-3 )获得，并且可以类似地取出等效IR 分量(ir)。然而，当滤色镜从开始就是补色族滤光片时，不满足上述等效。 在本实施例中，从图2A和2B所示的图像感测装置的光i普特性中，当执行用以获得原色数据R、 G和B的计算时，通过使用事实不小于预定波长的 光谱曲线是对于每一种颜色分量的光谱的后续等效分布结构，可以删去近红 外泄漏光分量。此时，通过联合使用光波段分离滤光片(其拦截在近红外光 区域中滤色镜的敏感度不等效的波长区域(例如，650-850nm)并透射在其更 短波长侧的波段)和保持上述等效的四色排列的滤色镜，通过极其简单的计 算就可以输出从中有效并精确地移除了等效IR分量的三原色数据。此外，根据本实施例，可以提供照相机，其中通过从包含IR分量的成像 信号中减去在上述红外分离处理中取出的可见光分量，可以获得仅包含IR分 量的图像，并且可以使用一台图像感测装置分离并获得"可见光，，和"IR图 像"。 .尽管没有具体地示出，但是例如在图1A所示的照相机的信号处理部分4 中提供了用于检测有关对于预定照相机控制处理的成像平面的亮度的信息的 装置。预定照相机控制处理的示例包括在通过红外分离的经彩色校正的原色 数据R、 G和B之中执行的白平衡校正以及由光学部件1的光圈和用于其的控 制电路执行的曝光控制。在下文中，将描述通过检测成像平面的亮度以及通过微计算机10控制来 累计例如每一种颜色的像素数据值的一个成像平面而获得的累计值。 《数据分离部分之后的颜色分量检测》图13C示出检测图1A所示的数据分离部分541和红外分离部分548之间 的像素数据并对于每一种颜色分量对其累计的结构。图13A和13B是每一个 示出像素数据中IR分量的比率不同的情况的颜色光谱特性的图，用于当光源 的色温是5000 K时和当其是2400 K时之间的比较。参照图13A和13B,将描述当数据累计部分的数是1时的检测及其麻烦。 为了这个目的，假定如图13C所示，滤色镜结构(颜色排列)是"R、 Gl、 G2、 B"。尽管在本实施例中滤色镜采用如图4所示的四色排列，但是为了方便起 见，颜色排列"R、 Gl、 G2、 B"仅用于描述数据累计部分的描述。图13C所示的累计部分(第一累计部分)61包括用于每一种颜色的累计 部分(在该示例中4个累计部分)，并由对应的累计部分来累计例如由数据分 离部分541分离的每一种颜色的像素数据的一个成像平面。输入到每一个累 计部分的像素数据包含IR分量，这是因为其还没有经历红外分离。将来自第 一累计部分61的每一种颜色的累计值(第一累计值)输入到未示出的照相机控制处理部分，并将其提交到有关的处理(例如，曝光控制或白平衡校正)。 输入到每一个累计部分的像素数据包含IR分量，这是因为其还没有经历 红外分离，并且IR分量的比率根据所拍摄图像的景物或图像拍摄环境(特别 地，光源的色温)而大大地变化。具体地说，在图13A所示的具有5000 K色温的光源下，IR分量的比率 低达大约25%，而在图13B所示的具有2400 K色温的光源下，IR分量的比率 高达大约73%。尽管图13A和13B中由图U所示的光波段分离滤光片1A等 截除波段，但是由于第一累计部分61计算所有波长处的累计值，所以即使使 用类似的累计值，IR分量的比率有时也根据环境而大大地不同。当照相机控制处理是曝光控制时，由光圈等控制照相机的曝光，以便到 图像感测装置2的输入图像的亮度(光量)是给定的合适的值。那时，例如， 使用四个累计值的复合值(compound value)作为输入图像面的亮度。因此，如果仅基于来自第一累计部分61的累计值执行曝光控制，则当可 见光和IR光在其后由红外分离部分548 (图1A)分离时，如果在光源包含大 量IR光(例如，当与此对应，色温低时)的条件下执行图像拍摄，则可见光 分量大大地小于合适的值，使得显示屏幕变黑。照相机一般具有当图像面很黑时调整增益的功能。当该增益调节起作用 时，将相对小量的可见光分量乘以高放大因子(增益)以便将输出信号电平 增大到合适的电平。这导致极低的S/N比。另一方面，当照相机控制处理是白平衡校正时，对于每一种颜色的增益 放大器控制量(颜色增益值)必须对于白平衡确定。例如，基于图13C所示 的第一累计部分61中所包括的对于颜色的累计部分的输出之中的比率，通过 微计算机10确定颜色增益值。然而，由于通过第一累计部分61获得的累计值包含IR分量作为预定偏 移，所以各颜色的累计值之中的比率与合适的比率不同。使用具体的示例解释该情况，例如，当光源的色温是5000 K (图13A) 时，根据可见光分量，参照G与蓝(B)和红(R)像素数据块相乘的颜色增 益值分别是1. 33 (B)和1. 25 (R)。然而，如果从包含IR分量的像素数据的累计值中获得颜色增益，则颜色 增益值实际上是1.22 (B)和1.13 (R)，其从合适的增益值有所偏移。由此， 存在即使进行白平衡校正，要成为白色的图像部分也不是无色的白色的麻烦。此外，如果IR分量的量很大，则光学传感器部分尤其在输出中的信息量 很大的特定颜色的像素处容易饱和。如果发生颜色饱和，则通过仅使用包含 IR分量的像素数据的亮度检测(累计值的获取)，由于没有获得正确的累计 值，所以照相机控制处理不再能够精确地执行。为了防止上述麻烦，在本实施例的照相机中，除了第 一 累计部分61之外， 在信号处理部分4中的红外分离部分548的输出侧提供第二累计部分62。图14示出两个累计部分(第一累计部分61和第二累计部分62)的结构 以及与红外分离部分548的连接关系。在红外分离部分548的前一级提供第一累计部分61,并且第一累计部分 61具有累计Rl数据的颜色累计部分58R、累计Gl数据的颜色累计部分58G、 累计Bl数据的颜色累计部分58B以及累计W数据的颜色累计部分58W。这里， 如图所示，输入数据是从(R、 G、 B、 W)四色排列的图像感测装置2输出的 四块数据Ul、 Gl、 Bl、 W),其已经经历了预定处理，并且由图1A的分离部 分541分离。由于到第一累计部分61的输入是还没有经历IR分量和可见光分量分离 的数据，所以检测包含IR分量和可见光分量的所有波长的光接收分量的量 值，并输出累计值SR1、 SG1、 SB1和SW (在下文中，将这些称为第一累 计值)。在红外分离部分548的后一级提供第二累计部分62,并且第二累计部分 62具有累计通过关于Rl数据执行红外分离而获得的R2数据的颜色累计部分 58R、累计通过关于Gl数据执行红外分离而获得的G2数据的颜色累计部分 58G、累计通过关于Bl数据执行红外分离而获得的B2数据的颜色累计部分 58B、累计通过红外分离而获得的IR数据的IR累计部分58IR。这里，如图 所示，输入数据是基于(R、 G、 B、 W)和IR数据从中已经移除了 IR分量的 三原色的(R2、 G2、 B2)数据。第二累计部分62在分离之后检测IR分量或可见光分量的量值，并输出 累计值SR2、 SG2、 SB2和i:iR (在下文中，将这些称为第二累计值)。图15示意性地示出通过使用第 一 累计部分61和第二累计部分62而执行 的照相机控制处理的优先确定方法。照相机控制处理部分中的微计算机1Q通过使用计算出的第 一和第二累 计值来计算参量K。参量K是涉及IR分量的量值或可见光分量的量值的变量，并且可以被任意地定义，只要其基于当IR分量的比率增大时变化以便增大或减小的关系表达式即可。这里，将参量K定义为在其中iR分量是iooy。的仅 有IR分量的情况下取"1"，而在仅有可见光分量的情况下取"0"。在图15中，横轴表示参量K,而纵轴表示指示通过优先使用第一累计部 分61和第二累计部分62的输出中的哪一个的索引。这里，该索引被称为"后 续检测器优先"。当其值为"1"时，使用来自第二累计部分62的第二累计值 进行控制，而当其为"0"时，使用来自第一累计部分61的第一累计值进行 控制。如从该图中显而易见的那样，在很多情况下，使用赋予可见光的优先执 行(曝光等)控制。也就是说，通过使用来自第一累计部分61的第一累计值 执行照相机控制。当参量K高于有些低的值"kl"时，关于作为主要IR分量的输入光，执 行其中将优先赋予IR的曝光等控制。具体地说，执行使用IR数据的曝光控制，或执行使用被看作是等效于IR分量的输入像素数据的曝光等控制。例如，当计算由第一累计部分61获得的值(输入)与由第二累计部分62获得的值之间的比率(IR分量比率)并且输入与IR分量之间的比率接近于'T，时，由于这意味着要拍摄的对象仅包含IR分量，所以执行IR优先曝光控制以便拍摄IR图像。当参量K小于"k2(〈kl)"时，将控制返回到可见光优先控制。例如，相反，当IR分量关于输入很低时，由于可以假定成像其中不包含红外光并且可见光充足的景物，所以期望执行曝光控制，以便在IR和可见光分离处理之后可见光分量的亮度变为合适的。在控制中提供如上所述的滞后的原因是为了防止控制模式频繁切换。 《高频分量检测》除了上述结构之外，在本实施例中，可以修改第二累计部分62,以便可 以执行高频分量检测。在模糊或烟雾弥漫的环境中拍摄时，由用户操作切换拍摄模式(例如， AE程序模式)是常见的做法。即使当由于被雾或烟拦截的光而使得通过"可见光"不能看到景物后面 的对象(如风景或街道)时，使用大量"IR光，，或有意地应用红外光可以通 过雾或烟容易地看到景物后面的对象。当看到对象(如风景或街道)时，由于包括更大数量的边缘，所以高频 分量的量相对大，而当看不到它们时，高频分量的量很小。如果使用该特性，则以下是可能的对于可见光分量和IR分量中的每一 个获得高频分量的比率，并且当其之间存在差别时，也就是说，当在IR数据 中的高频分量高于在可见光数据中的高频分量时，假定环境是模糊的或烟雾 弥漫的，则将控制自动切换到IR优先控制。该修改涉及用于自动切换控制的结构和操作。图16A示出用于高频分量检测的结构。在该图中，与图14中相同的元件 由相同的附图标记表示。对于每一种颜色和IR,作为检测器的一个高通滤光片(HPF)63连接在 第二累计部分62和红外分离部分548之间。由于这个原因，颜色累计部分 58R、 58G和58B以及在第二累计部分62中包括的IR累计部分58IR中的每 一个累计，例如输入lt据的高频分量的一个图^f象面，并输出结果作为第二累 计值。将第二累计值发送到微计算机IO (未示出)，并且微计算机10确定是 否切换模式。HPF 63可以由，例如，Laplacian滤光片形成，并且在那种情况下设置 的滤光片系数的示例如图16B所示。图17A示出当模糊时由车载照相机监^L的可见光图像的示例。图17B示 出当关于相同的可见光图像执行高频检测时的监视图像的示例。图17C示出 用于在当模糊环境中可见度计值是20m和50m时与当其不模糊时之间的对比 的可见光、近红外光和远红外光的情况下的可见度(可视距离)。如图17C所示，当模糊时，在近红外光的情况下的可见度是可见光情况 下的稍小于两倍到稍大于三倍。这是因为当模糊时，尽管由于通过可见光的 可见度很低而使得高频分量的量很小，但是由于即使在模糊中红外光的透射 率;f艮高并且可以由红外照相机看到，所以当应用具有红外分量的HPF时输出 图像。图18示出控制的示例。横轴表示高频分量对可见光的IR光分量比率，而纵轴表示可见光和IR 光的累计值的使用的优先。可以将使用优先看作是拍摄模式的不同。这里获得IR的高频分量和可见光的高频分量之间的比率。当在所述比率 中IR分量的量很大而可见光分量的量很小时，确定在模糊环境中执行拍摄，并做出到IR拍摄(使用IR分量的亮度确定)的切换。然而，由于当在夜间 提供IR照明时发生这样的类似状态，所以如果需要的话，条件可以是"尽管 可见光明亮，但其不包含高频分量而IR包含大量高频分量"。
通过上述结构，在正确的曝光处可以成像可见光和IR光的必要一个。 本领域的技术人员应该理解，视设计要求和其他因素而定，可以出现各 种修改、组合、子组合以及变更，只要其在所附权利要求或其等价物的范围 内即可。
权利要求
1.一种图像输入处理设备，包括光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长波长侧的波段；四色排列的滤色镜，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效；光学传感器部分，其对于每一种颜色以像素为单元接收已经通过所述光波段分离滤光片和所述滤色镜经历了波长波段分离和颜色选择的光，并产生成像信号；数据分离部分，其将成像信号的与四色排列对应的像素数据分离成四种颜色的像素数据块；红外分离部分，其在分离之后的四种颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，将由所述光波段分离滤光片分离的更长波长侧波段中的近红外光分量从像素数据中分离；第一累计部分，其对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块；第二累计部分，其对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块；以及照相机控制处理部分，其将来自所述第一累计部分的每一种颜色的第一累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
2. 根据权利要求1所述的图像输入处理设备，其中所述第 一和第二累计部分中均包括获得每一种颜色的颜色累计值的 颜色累计部分，以及所述第二累计部分包括获得每一种颜色的颜色累计值的颜色累计部分以 及获得由所述红外分离部分取出的近红外光分量的累计值(IR累计值)的IR 累计部分。
3. 根据权利要求1所述的图像输入处理设备，其中所述第 一和第二累计部分均包括获得每一种颜色的颜色累计值的颜 色累计部分，以及所述照相机控制处理部分对于预定颜色，从所述第 一 累计值和所述第二 累计值之差计算近红外光分量的累计值。
4. 根据权利要求2或3所述的图像输入处理设备，其中所述照相机控制处理部分基于IR累计值，计算涉及近红外光分量的 量值或像素数据中所包含的近红外光分量的比率的参数，并根据所述参数确 定从所述第一和第二累计部分中的哪一个获得用于照相机控制处理的颜色累 计值。
5. 根据权利要求2或3所述的图像输入处理设备， 其中所述照相机控制处理部分基于IR累计值，计算涉及近红外光分量的量值或像素数据中所包含的近红外光分量的参数，以与所述参数对应的比率 混合从第 一和第二累计部分获得的两种颜色累计值，并使用颜色累计值的混合作为用于照相机控制处理的颜色累计值。
6. 根据权利要求1所述的图像输入处理设备，其中在所述第二累计部分的对于各颜色的每一个颜色累计部分与所述红 外分离部分之间提供所述高频分量取出部分，并且由所述颜色累计部分对每 一种颜色累计已经从中移除近红外光分量的像素数据的高频分量。
7. 根据权利要求1所述的图像输入处理设备，其中在所述第二累计部分对于各颜色的每一个颜色累计部分与所述红外 分离部分之间，以及所述IR累计部分和所述红外分离部分之间提供高频分量 取出部分，由所述颜色累计部分对每一种颜色累计已经从中移除近红外光分 量的像素数据的高频分量，并由所述IR累计部分累计近红外光分量。
8. 根据权利要求4所述的图像输入处理设备，其中所述照相机控制处理部分监视来自所述颜色累计部分的颜色累计值 和来自所述IR累计部分的IR累计值，并且当所述IR累计值超过预定水平或 对所有累计值的预定比率时，确定从所述第二累计部分获得用于照相机控制 处理的颜色累计值，而不管所述参数。
9. 根据权利要求5所述的图像输入处理设备，其中所述照相机控制处理部分监视来自所述颜色累计部分的颜色累计值 和来自所述IR累计部分的IR累计值，并确定在所述混合的累计值中的比率，以便当所述IR累计值超过预定水平或对所有累计值的预定比率时，仅从所述 第二累计部分获得用于照相机控制处理的颜色累计值，而不管所述参数。
10. —种图像输入处理设备，包括光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述 预定波长波段的更短和更长波长侧的波段；四补色族颜色(Ye、 Cy、 Mg、 G)的滤色镜；光学传感器部分，其对于每一种颜色以像素为单元接收已经通过所述光 波段分离滤光片和所述滤色镜经历了波长波段分离和颜色选择的光，并产生 成像信号；数据分离部分,其对于每一种颜色，将成像信号的与四色排列对应的像 素数据进行分离；红外分离部分，其在分离之后的四种颜色的像素数据块之中，通过执行 减法，将由所述光波段分离滤光片分离的更长波长侧波段中的近红外光分量 从像素数据中分离；第一累计部分，其对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块；第二累计部分，其对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块；以及照相机控制处理部分，其将来自所述第 一累计部分的每一种颜色的第一 累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基 于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小 量红外光分量的图像中的每一个的照相机控制处理。
11. 一种图像输入处理方法，包括步骤对于入射光，拦截近红外光的预定波长波段，并透射位于所述预定波长 波段的更短和更长侧的波段；由四色排列的滤色镜选择入射光的颜色，所述四色排列具有两种颜色之 和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区 域中的一种或两种其他颜色的等效，并使用每一种颜色的像素，成像已经经 历了颜色选择的光；将通过成像获得的成像信号分离成各颜色的像素数据块；对于每一种颜色，累计通过分离获得的各颜色的像素数据块；在各颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，分离更长波长侧波段中的近红外光分量；对于每一种颜色，累计已经经历了红外光分离的像素数据块； 将通过累计通过分离获得的各颜色的像素数据块步骤获得的第 一 累计值与通过累计已经经历了红外光分离的像素数据块步骤获得的第二累计值进行比專交；以及基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含 相对小量红外光分量的图像中的每一 个的照相机控制处理。 12.—种电子设备，包括光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述 预定波长波段的更短和更长波长啦'j的波段；四色排列的滤色镜，所述四色排列具有两种颜色之和等效于可见光区域 中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其 他颜色的等效；光学传感器部分，其对于每一种颜色以像素为单元接收已经通过所述光 波段分离滤光片和所述滤色镜经历了波长波段分离和颜色选择的光，并产生 成像信号；数据分离部分，其将成像信号的与四色排列对应的像素数据分离成四种 颜色的像素数据块；红外分离部分，其在分离之后的四种颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，将由所述光波段分离滤光片分 离的更长波长侧波段中的近红外光分量从像素数据中分离；第一累计部分，其对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块；第二累计部分，其对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块；以及控制处理部分，其将来自所述第 一累计部分的每一种颜色的第一累计值 与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基于所述 比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外 光分量的图像中的每一个的照相机控制处理。
全文摘要
提供图像输入处理设备，包括光波段分离滤光片；四色排列的滤色镜，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效；光学传感器部分，其产生成像信号；数据分离部分，其将成像信号的像素数据分离成四种颜色的像素数据块；红外分离部分，其在分离之后的四种颜色的像素数据块之中，通过使用等效的减法执行红外分离；第一和第二累计部分；照相机控制处理部分，其确定使用来自第一和第二累计部分的累计值中的哪一个。
文档编号H04N9/04GK101309428SQ20081009715
公开日2008年11月19日 申请日期2008年5月19日 优先权日2007年5月18日
发明者沼田肇 申请人:索尼株式会社