摄像处理装置以及摄像处理方法与流程

本发明涉及一种进行基于可见光的拍摄和基于红外光的拍摄这两种拍摄的摄像处理装置以及摄像处理方法。

背景技术

以往，在昼夜连续进行拍摄的监视摄像头等摄像处理装置中，夜间检测红外光来进行拍摄。作为ccd传感器、cmos传感器的摄像传感器的受光部的光电二极管能够接受直至1300nm左右的近红外的波段的光，因此若为使用这些摄像传感器的摄像处理装置，则原理上能够拍摄直至红外波段。

另外，人的视觉灵敏度高的光的波段为400nm～700nm，因此当通过摄像传感器检测出近红外光时，通过人的眼睛观察时影像的红色增加。因此，在白天或室内明亮的场所进行拍摄时，为了使摄像传感器的灵敏度与人类的视觉灵敏度一致，希望在摄像传感器的前面设置用于遮断红外波段的光的红外截止滤波器，来去除波长700nm以上的光。另一方面，在夜间或较暗的场所进行拍摄时，需要不设置红外截止滤波器地进行拍摄。

作为这样的摄像处理装置，目前已知手动进行红外截止滤波器的安装/卸载的摄像处理装置、自动插拔红外截止滤波器的摄像处理装置。并且，在专利文件1中公开了不需要进行上述的红外截止滤波器的插拔的摄像处理装置。

因此，提出了具有如下光学滤光片：在可见光波段具有透过特性，在与可见光波段的长波长侧相邻的第1波段具有遮断特性，在上述第1波段内的一部分即第2波段具有透过特性(例如，参照专利文献1)。根据该滤光片，在可见光波段和可见光波段的长波长侧即红外侧，离开可见光波段的第2波段这双方，光能够透过。例如是如下的光学滤光片：第2波段与红外照明的波段重叠，能够进行可见光拍摄和使用红外光照明的夜间的红外光拍摄这两者。以下，将如上述那样使可见光波段和红外侧的第2波段的光透过，遮断其他波段的光的光学滤光片称作dbpf(双频带通滤波器)。

现有技术文献

专利文献

专利文献1：日本专利第5009395号公报

技术实现要素：

发明要解决的课题

然而，在对比文件1的dbpf中，包含在红外(近红外)波段中的第2波段的光(包含在红外波段中的比较狭窄的波段)始终不被遮断而使光透过。即，与使用切除(cut)使相对于可见光波段的长波长侧的红外截止滤波器的情况不同，在可见光波段下的拍摄中，受到不少透过了第2波段的红外光的影响。

作为在可见光波段的拍摄，在进行彩色拍摄的摄像传感器中使用彩色滤光片。彩色滤光片与摄像传感器的各像素对应地以预定模式配置有红、绿、蓝各颜色的区域。在这些各颜色的区域中，基本上在各颜色的波段具有光的透过率的峰值，限制(遮断)其他颜色波段的光的透过。

但是，在相对于可见光波段的长波长侧，光透过率根据各颜色的区域和波长而不同，但基本上使光透过。因此，使用红外截止滤波器时，相对于可见光波段的长波长侧的光被切除因此不存在问题，但如上述的dbpf那样，当在红外侧的第2波段使红外光透过时，该红外光透过彩色滤光片后到达摄像传感器的光电二极管(受光元件)，从而光电二极管中的光电效应引起的电子的发生量变多。

在此，在进行可见光下的彩色拍摄和红外光照明下的拍摄这两者时，例如在以预定模式配置了红、绿、蓝各颜色的区域的彩色滤光片设置在上述的第2波段具有光透过率的峰值的红外光用区域(红外区域)。即，彩色滤光片的排列(模式)由红r、绿g、蓝b、红外ir这4个区域构成。在该情况下，红外光用区域遮断可见光波段的光，主要使第2波段的光透过，因此考虑利用从接受透过了彩色滤光片的红外光用区域的光的摄像传感器输出的红外光的图像信号，从红、绿、蓝各颜色的图像信号去除红外光分量的方法。

但是，在该情况下，在校正后的r信号、g信号、b信号中产生误差。例如，在来自摄像传感器的各像素的信号中存在超过动态范围的部分的情况下，产生成为高亮部的亮度下降等不自然的亮度电平、高亮部中带颜色即发生高亮部不成为白色而成为带有蓝色等颜色的状态等问题。

本发明是鉴于上述问题而提出的，其目的是提供一种在代替红外截止滤波器而使用dbpf的情况下，能够消除在可见光拍摄时产生的问题的摄像处理装置和摄像处理方法。

用于解决课题的手段

为了解决上述课题，本发明的摄像处理装置的特征在于具备：

摄像传感器，其对每个像素配置了受光元件；

滤光片，其以预定排列与上述摄像传感器的上述像素的配置对应地配置多种滤光区域，且各种上述滤光区域与可见光波段的波长对应的透过特性相互不同，并且各种上述滤光区域相互大致同样地在相对于上述可见光波段的长波长侧具备使光透过的红外光透过波段，并且在上述可见光波段与上述红外光透过波段之间具备遮断光的光遮断波段，使可见光的至少一部分和红外光的至少一部分这两部分透过；

光学系统，其具有在上述摄像传感器上成像的镜头；以及

信号处理装置，其对从上述摄像传感器输出的信号进行处理后能够输出可见图像信号和红外图像信号，

上述信号处理装置在从包含可见光分量和红外光分量的上述信号去除上述红外光分量后输出上述可见图像信号时，在上述信号达到上述摄像传感器的像素饱和电平的情况下，进行调整使从该信号去除的上述红外光分量的值下降。

本发明提供摄像处理装置的摄像处理方法的特征在于，该摄像处理装置具备：

摄像传感器，其对每个像素配置了受光元件；

滤光片，其以预定排列与上述摄像传感器的上述像素的配置对应地配置多种滤光区域，且各种上述滤光区域与可见光波段的波长对应的透过特性相互不同，并且各种上述滤光区域相互大致同样地在相对于上述可见光波段的长波长侧具备使光透过的红外光透过波段，并且在上述可见光波段与上述红外光透过波段之间具备遮断光的光遮断波段；

光学系统，其具有在上述摄像传感器上成像的镜头；以及

信号处理装置，其对从上述摄像传感器输出的信号进行处理后能够输出可见图像信号和红外图像信号，

上述信号处理装置在从包含可见光分量和红外光分量的上述信号去除上述红外光分量后输出上述可见图像信号时，在上述信号达到上述摄像传感器的像素饱和电平的情况下，进行调整使从该信号去除的上述红外光分量的值下降。

根据这些摄像处理装置和摄像处理方法，在包含红外光分量的各颜色信号超过动态范围而达到像素饱和电平，由此被削波(clip)的状态下，尚未超过动态范围而未被削波，在从各颜色信号减去输出电平有可能变高的红外信号的情况下，各颜色信号被削波后红外信号的输出电平变高，从而各颜色信号的输出电平下降。

由此，在高亮部的亮度下降的情况下，进行为了使从颜色信号减去的红外信号的值下而校正的控制，由此颜色信号如上述那样被削波时，能够防止红外信号变高，而导致减去红外信号后的颜色信号的亮度下降。

本发明的摄像处理装置优选上述滤光片具有：彩色滤光片，其以预定排列在上述摄像传感器的各像素配置使与上述可见光的多个颜色对应的各个波段的光透过的区域和使与上述红外光对应的波段的光透过的区域；以及光学滤光片，其在可见光波段具有透过特性，在与上述可见光波段的长波长侧相邻的第1波段具有遮断特性，在上述第1波段内的一部分即作为上述红外光透过波段的第2波段具有透过特性，

针对上述彩色滤光片的上述可见光的各颜色的上述区域透过相对于上述可见光波段的长波长侧的上述红外光，上述信号处理装置进行从各颜色信号减去红外信号的减法运算，并且，在进行上述减法运算时，在上述颜色信号达到像素饱和电平的情况下，进行为了降低作为从该颜色信号减去的上述红外信号的值而调整的控制，其中，各颜色信号是与上述可见光的各颜色的上述区域对应的基于从上述摄像传感器的上述像素输出的各信号的颜色信号，红外信号是与上述红外光的上述区域对应的基于从上述摄像传感器的上述像素输出的信号的红外信号。

本发明的摄像处理装置的摄像处理方法优选，在该摄像处理装置中，上述滤光片具有：彩色滤光片，其以预定排列在上述摄像传感器的各像素配置使与上述可见光的多个颜色对应的各个波段的光透过的区域和使与上述红外光对应的波段的光透过的区域；以及光学滤光片，其在可见光波段具有透过特性，在与上述可见光波段的长波长侧相邻的第1波段具有遮断特性，在上述第1波段内的一部分即作为上述红外光透过波段的第2波段具有透过特性，

针对上述彩色滤光片的上述可见光的各颜色的上述区域透过相对于上述可见光波段的长波长侧的上述红外光，上述信号处理装置进行从各颜色信号减去红外信号的减法运算，并且在进行上述减法运算时，在上述颜色信号达到像素饱和电平的情况下，进行为了使作为从该颜色信号减去的上述红外信号的值降低而调整的控制，其中，各颜色信号是与上述可见光的各颜色的上述区域对应的基于从上述摄像传感器的上述像素输出的各信号的颜色信号，红外信号是与上述红外光的上述区域对应的基于从上述摄像传感器的上述像素输出的信号的红外信号。

根据这样的结构，在rgb各颜色信号的输出电平和红外信号的输出电平变高时，在包含红外光分量的rgb各颜色信号的输出电平首先超过动态范围而被削波的状态下，大致由红外光分量构成的红外信号不超过动态范围而进一步变高，由此在从颜色信号减去了红外信号的状态情况下，如果未被削波，则在rgb各颜色信号的输出电平进一步变高的状态下，而rgb各颜色信号的输出电平反而下降，能够防止发白那样的高亮部的亮度下降。

优选在本发明的摄像处理装置中，作为降低上述红外信号的值的校正，上述信号处理装置控制上述红外信号的上述值不高于根据上述颜色信号决定的限制值。

优选在本发明的摄像处理方法中，作为降低上述红外信号的值的校正，上述信号处理装置控制上述红外信号的上述值不高于根据上述颜色信号决定的限制值。

根据以上那样的结构，以限制值限制要从颜色信号减去的红外信号的值，而成为以限制值被削波的状态，由此在各颜色信号达到饱和电平而被削波的状态下，即使不超过饱和电平的红外信号的值变高，要从颜色信号减去的值也基本上成为限制值，能够防止减去红外信号的颜色信号的输出电平降低。

优选在本发明的摄像处理装置中，上述信号处理装置根据通过白平衡处理得到的各颜色的增益，对每个上述颜色信号设定上述红外信号的上述限制值。

优选在本发明的摄像处理方法中，上述信号处理装置根据通过白平衡处理得到的各颜色的增益，对每个上述颜色信号决定上述红外信号的上述限制值。

根据以上那样的结构，在各颜色信号，例如rgb各信号中，能够分别减去以恰当的限制值被限制的红外信号。

优选在本发明的摄像处理装置中，上述信号处理装置控制与从上述颜色信号的上述像素饱和电平减去上述红外信号的上述限制值而得的值对应的信号饱和电平在各颜色中大致相同。

优选在本发明的摄像处理方法中，上述信号处理装置控制与从上述颜色信号的上述像素饱和电平减去上述红外信号的上述限制值而得的值对应的信号饱和电平在各颜色中大致相同。

根据这样的结构，在各颜色信号中，输出电平为最高的情况下，即成为信号饱和电平的情况下，各颜色信号的输出电平大致相同，由此成为略白，在高亮部不具有蓝色等颜色，使高亮部变白，由此能够维持自然的颜色再现性。信号饱和电平，是指在可见光的各颜色信号以像素饱和电平被削波的状态下，减去了以限制值被限制的红外信号时的值的电平。

优选在本发明的摄像处理装置中，上述滤光片具有：彩色滤光片，其以预定排列在上述摄像传感器的各像素配置使与上述可见光的多个颜色对应的各个波段的光透过的区域和使将与多个颜色对应的各个波段合并后的波段的光透过的区域；以及光学滤光片，其在可见光波段具有透过特性，在与上述可见光波段的长波长侧相邻的第1波段具有遮断特性，在上述第1波段内的一部分即作为上述红外光透过波段的第2波段具有透过特性，

针对使上述彩色滤光片的上述可见光的各颜色的上述区域透过相对于上述可见光波段的长波长侧的上述红外光，上述信号处理装置根据与上述区域对应的从上述摄像传感器的上述像素输出的各信号求出基于相对于上述可见光波段的长波长侧的红外光的红外信号，并且在从各颜色信号减去上述红外信号时，使将与多个上述颜色对应的各个波段合并后的波段的光透过的上述区域所对应的上述颜色信号达到上述像素饱和电平的情况下，进行为了降低作为从上述颜色信号减去的上述红外信号的值而调整的控制。

优选在本发明的摄像处理方法中，上述滤光片具有：彩色滤光片，其以预定排列在上述摄像传感器的各像素配置使与上述可见光的多个颜色对应的各个波段的光透过的区域和使与多个颜色对应的各个波段合并后的波段的光透过的区域；以及光学滤光片，其在可见光波段具有透过特性，在与上述可见光波段的长波长侧相邻的第1波段具有遮断特性，在上述第1波段内的一部分即作为上述红外光透过波段的第2波段具有透过特性，

针对使上述彩色滤光片的上述可见光的各颜色的上述区域透过相对于上述可见光波段的长波长侧的上述红外光，上述信号处理装置根据与上述区域对应的从上述摄像传感器的上述像素输出的各信号求出基于相对于上述可见光波段的长波长侧的红外光的红外信号，并且在从各颜色信号减去上述红外信号时，使将与多个上述颜色对应的各个波段合并后的波段的光透过的上述区域所对应的上述颜色信号达到上述像素饱和电平的情况下，进行为了降低作为从上述颜色信号减去的上述红外信号的值而调整的控制。

根据这样的结构，例如可以代替上述彩色滤光片的红外光区域，使用使合并了rgb的光透过的白平衡(w)，即，使可见光波段的大致全部波段透过的透明(c)的区域。在该情况下，例如，可以通过计算将可见光波段的光量设为0，来求出红外光的光量。

在该情况下，w(c)的信号电平接近合并了rgb而得的信号电平，从而容易达到像素饱和电平。此时，rgb的信号电平不会达到像素饱和电平，但如上所述通过计算求出红外光的情况下，红外光的信号电平变高，从rgb各信号除红外光信号的情况下，尽管rgb各信号的信号电平为上升的状态，然而有下降的可能性。因此，w信号电平达到饱和时，进行为了使红外光的信号电平下降而调整的控制，从而能够提高颜色再现性。

此外，在本发明的上述摄像处理装置中，上述摄像传感器具备上述信号处理装置，并且

上述摄像传感器具备：摄像传感器本体，其从各像素依次输出信号；以及上述信号处理装置，其输入从上述摄像传感器本体输出的上述信号。

发明效果

根据本发明，在能够同时输出可见图像信号和红外图像信号的摄像处理装置中，从包含红外光分量的可见光图像除去红外光分量，能够实现高画质，并且在图像信号达到像素饱和电平的情况下，能够防止产生亮度反而下降等问题。

附图说明

图1是表示本发明的第1实施方式的图，是表示摄像传感器的概要图。

图2是表示本发明的第1实施方式的上述摄像传感器的dbpf和彩色滤光片的光谱透过率的图表。

图3是表示本发明的第1实施方式的上述摄像传感器的dbpf、彩色滤光片的光谱透过率和红外照明的发光光谱的图表。

图4是表示本发明的第1实施方式的上述摄像传感器的dbpf、彩色滤光片的光谱透过率和红外照明的发光光谱的图表。

图5是用于说明本发明的第1实施方式的摄像传感器的彩色滤光片的排列的图，(a)是表示没有红外滤光部的以往的排列的图，(b)、(c)、(d)是表示具有红外滤光部的排列的图。

图6是表示本发明的第1实施方式的具有上述摄像传感器的摄像装置的概要图。

图7是用于说明本发明的第1实施方式的上述摄像装置的信号处理部的信号处理的框图。

图8是用于说明本发明的第1实施方式的上述摄像装置的信号处理中的内装处理的图。

图9是表示本发明的第2实施方式的摄像装置的概要图。

图10是用于说明本发明的第3实施方式的摄像传感器的彩色滤光片的排列的图。

图11是表示上述摄像传感器的dbpf和彩色滤光片的光谱透过率的图表。

图12是用于说明本发明的第3实施方式的摄像传感器的彩色滤光片的排列的图。

图13是用于说明本发明的第3实施方式的彩色滤光片的排列的图。

图14是用于说明本发明的第3实施方式的彩色滤光片的排列的图。

图15是用于说明本发明的第3实施方式的各彩色滤光片的特性的图。

图16是用于说明本发明的第3实施方式的摄像装置中的信号处理的框图。

图17是用于说明本发明的第4实施方式的彩色滤光片的排列的图。

图18是表示本发明的第4实施方式的上述摄像传感器的dbpf和彩色滤光片的蓝色b的光谱透过率的图表。

图19是表示本发明的第4实施方式的上述摄像传感器的dbpf和彩色滤光片的绿色g的光谱透过率的图表。

图20是表示本发明的第4实施方式的上述摄像传感器的dbpf和彩色滤光片的红色r的光谱透过率的图表。

图21是表示本发明的第4实施方式的上述摄像传感器的dbpf和彩色滤光片的透明(clear)c的光谱透过率的图表。

图22是表示本发明的第5实施方式的摄像传感器的框图。

图23是表示本发明的第5实施方式的摄像传感器的截面图。

图24是表示本发明的第5实施方式的摄像传感器的其他例子的截面图。

图25是用于说明本发明的第5实施方式的摄像传感器的2个系统的图像信号的输出的图。

图26是表示本发明的第6实施方式的摄像装置的框图。

图27是表示本发明的第6实施方式的摄像传感器的概要图。

图28是用于说明本发明的第6实施方式的具有红外区域的彩色滤光片的排列模式的图。

图29是表示本发明的第6实施方式的上述摄像传感器的dbpf和彩色滤光片的光谱透过率的图表。

图30是用于说明本发明的第6实施方式的在高亮部亮度下降的理由的r信号的图。

图31是用于说明本发明的第6实施方式的在高亮部亮度下降的理由的g信号的图。

图32是用于说明本发明的第6实施方式的在高亮部亮度下降的理由的b信号的图。

图33是用于说明本发明的第6实施方式的在高亮部亮度下降的理由的ir信号的图。

图34是表示本发明的第6实施方式的ir信号的与rgb各颜色信号对应的削波电平(cliplevel)的图。

图35是用于说明本发明的第6实施方式的从rgb的各颜色信号减去被削波的ir信号的图，(a)是表示r信号的情况的图，(b)表示g信号的情况的图，(c)是b信号的情况的图。

图36是用于说明本发明的第6实施方式的白平衡处理的图，(a)表示r-y信号和b-y信号的平面中设定为白色的区域，(b)是表示设定为白色的亮度电平的范围的图。

图37是用于说明本发明的第6实施方式的对ir信号被减去之后的rgb各信号的削波的输出电平一致的方法的图。

图38是表示本发明的第6实施方式的上述摄像处理装置的信号处理部的框图。

图39是表示本发明的第6实施方式的作为其他例子的信号处理部的框图。

图40是用于说明本发明的第7实施方式的rgbc的彩色滤光片的饱和电平的图。

图41是用于说明本发明的第7实施方式的通过计算求出的ir信号的信号电平比实际的ir信号高的情况的图。

图42是用于说明本发明的第7实施方式的在高亮部亮度下降的理由的rgbc信号的图。

图43是用于说明本发明的第7实施方式的分离装置的框图。

图44是用于说明本发明的第7实施方式的削波电平计算装置的框图。

图45是用于说明本发明的第7实施方式的rgbc信号的削波电平的图。

图46是用于说明本发明的第7实施方式的ir信号的削波电平的图。

图47是用于说明本发明的第7实施方式的rgbc信号的削波电平的图。

图48是用于说明本发明的第7实施方式的分离装置的框图。

图49是用于说明本发明的第7实施方式的rgbcy信号的削波处理的图。

图50是用于说明本发明的第8实施方式的ir信号的削波电平的图。

图51是用于说明本发明的第8实施方式的rgbcy信号的削波处理的图。

图52是用于说明本发明的第8实施方式的分离装置的框图。

图53是用于说明本发明的第8实施方式的ir信号生成装置的框图。

具体实施方式

以下，参照附图对本发明的第1实施方式进行说明。

如图1所示，本实施方式的摄像传感器(图像传感器)1例如具备：作为ccd(chargecoupleddevice：电荷耦合器件)图像传感器的传感器本体2；与传感器本体2的各像素对应，以预定排列配置了红(r)、绿(g)、蓝(b)、红外(ir)各区域(各颜色的滤光片)的彩色滤光片3；覆盖传感器本体2和彩色滤光片3的玻璃罩4；以及在玻璃罩4上形成的dbpf(dualbandpassfilter，双频带通滤波器)5。

传感器本体2为ccd图像传感器，针对各像素配置有作为受光元件的光电二极管。另外，传感器本体2也可以是cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)图像传感器来代替ccd图像传感器。

在传感器本体2上设有彩色滤光片3。彩色滤光片3对彩色滤光片3x增加了ir滤光片，该彩色滤光片3x具有以图5(a)所示的一般的拜耳阵列针对各像素排列的r、g、b这3个滤光片。另外，在拜耳阵列的滤光片中，基本模式由4行(横向)×4列(纵向)的16个各颜色的滤光部构成，例如，通过f、行数和列数表示各滤光部时，第1行为f11、f12、f13、f14，第2行为f21、f22、f23、f24，第3行为f31、f32、f33、f34，第4行为f41、f42、f43、f44。

在拜耳阵列中，将f12、f14、f21、f23、f32、f34、f41、f43这8个滤光部设为g，将f11、f13、f31、f33这4个滤光部设为r，将f22、f24、f42、f44这4个滤光部设为b。另外，将g滤光部的数量设为r、b滤光部的数量的2倍是基于人类的眼睛对绿色有高敏感性。另外，即使将敏感性低的一方设为高分辨率，通过人类的眼睛也有可能无法识别，但是若将敏感性高的一方设为高分辨率，则能够通过人类的眼睛识别的可能性高，识别为更高分辨率的图像。在拜耳阵列中，在行方向(水平方向)和列方向(垂直方向)分别隔着一个配置g滤光片而设为方格状，在剩余部分相互不相邻地配置r滤光部和b滤光部。

与此相对，作为本实施方式的彩色滤光片3，如图5(b)所示那样，将拜耳阵列中的8个g滤光部中的4个设为ir，从而包含r为4个、g为4个、b为4个、ir为4个的彩色滤光片3a。即，在4行4列的基本排列中，r、g、b、ir这4种滤光部分别被配置4个，并且相同种类的滤光部彼此以在行方向和列方向上相互不相邻的方式分离地被配置，在各列中分别配置1个r、g、b、ir滤光部，隔1行分别配置2个r、g、b、ir滤光部中的2种滤光部。

具体地，将f11、f13、f32、f34这4个滤光部设为r，将f12、f14、f31、f33这4个滤光部设为ir，将f21、f23、f42、f44这4个滤光部设为g，将f32、f34、f41、f42这4个滤光部设为b。

在该情况下，因g滤光部减少，有可能从人类的眼睛观察到分辨率变差，但均等地配置了包含ir的各颜色，从而插补(内插)处理变得容易。此外，在第1、2行和第3、4行，以各颜色的位置在横向上错开一列的方式被配置。换言之，在第1、2行和第3、4行，颜色的配置成为左右反转的配置。

通过这样设置，在4×4的配置中，在各列上各颜色被配置1个，隔一行各颜色被配置2个，因此与纵向(垂直方向)相比横向(水平方向)的分辨率变高，能够抑制因设置ir滤光部而导致的水平方向的分辨率的下降。另外，彩色滤光片3a中还包含将图5(b)所示的彩色滤光片3a的模式左右反转而得的彩色滤光片、将图5(b)所示的彩色滤光片3a的模式上下反转而得的彩色滤光片、使图5(b)所示的彩色滤光片3a的模式旋转180度而得的彩色滤光片。此外，也可以包含向顺时针方向旋转90度而得的彩色滤光片、向顺时针方向旋转270度而得的彩色滤光片。但是，旋转90度和270度而得的彩色滤光片的垂直方向的分辨率变得比水平方向的分辨率高。

此外，在彩色滤光片3中，如图5(c)所示的彩色滤光片3b那样，也可以不减少人类的敏感性高的g，而将上述拜耳阵列的彩色滤光片3x的模式的4个b中的2个设为ir。

该彩色滤光片3b在4行4列的基本排列中配置8个r、g、b、ir这4种滤光部中的g滤光部、4个r滤光部、2个b滤光部和2个ir滤光部，并且以相同种类的滤光部彼此在行方向和列方向上不相邻地方式分开配置。

具体地，在彩色滤光片3b中，将f12、f14、f21、f23、f32、f34、f41、f43这8个滤光部设为g，将f11、f13、f31、f33这4个滤光部设为r，将f22、f44这2个滤光部设为b，将f24、f42这2个滤光部设为ir。在该情况下，b的分辨率比拜耳阵列差，但g、r成为与拜耳阵列同样的分辨率。另外，彩色滤光片3b中还包含将图5(c)所示的彩色滤光片3b的模式左右反转而得的彩色滤光片、将图5(c)所示的彩色滤光片3b的模式上下反转而得的彩色滤光片、使图5(c)所示的彩色滤光片3b的模式旋转180度而得的彩色滤光片。此外，向顺时针方向旋转90度而得的彩色滤光片、向顺时针方向旋转270度而得的彩色滤光片成为与左右反转而得的彩色滤光片、上下反转而得的彩色滤光片相同的模式。

此外，为了提高ir的分辨率，也可以如图5(d)所示的彩色滤光片3c那样不减少g，而将上述拜耳阵列的彩色滤光片3x的模式的4个b中的2个设为ir，4个r中的2个设为ir。即，彩色滤光片3c在4行4列的基本排列中配置8个r、g、b、ir这4种滤光部中的g滤光部、4个ir滤光部、2个r滤光部和2个b滤光部，并且以相同种类的滤光部彼此在行方向和列方向上不相邻地方式分开配置。

具体地，如图5(d)所示那样，在彩色滤光片3c中，将f12、f14、f21、f23、f32、f34、f41、f43这8个滤光部设为g，将f11、f33这2个滤光部设为r，将f22、f44这2个滤光部设为b，将f13、f24、f31、f42这4个滤光部设为ir。在该情况下，r和b的分辨率比拜耳阵列下降，但能够维持g的分辨率，确保ir的分辨率。另外，彩色滤光片3c中还包含将图5(d)所示的彩色滤光片3b的模式左右反转而得的彩色滤光片、将图5(d)所示的彩色滤光片3b的模式上下反转而得的彩色滤光片、使图5(d)所示的彩色滤光片3b的模式旋转180度而得的彩色滤光片。此外，向顺时针方向旋转90度而得的彩色滤光片、向顺时针方向旋转270度而得的彩色滤光片成为与左右反转而得的彩色滤光片、上下反转而得的彩色滤光片相同的模式。

彩色滤光片3的r滤光部、g滤光部和b滤光部分别能够使用已知的滤光片。本实施方式中的r滤光部、g滤光部和b滤光部的光谱透过率如图2、图3和图4的图表所示。在图2、图3和图4中示出了彩色滤光片3的红(r)、绿(g)、蓝(b)、红外(ir)各滤光片的光谱透过率，纵轴表示透过率，横轴表示波长。图表中的波长的范围包括可见光波段和近红外波段的一部分，因此，例如表示300nm～1100nm的波长范围。

例如，r滤光部如图表的r(二重线)所示那样，在波长600nm成为大致最大的透过率，在其长波长侧，即使超过1000nm也会成为透过率维持大致最大的状态。

g滤光部如图表的g(间隔宽的虚线)所示那样，在波长为540nm左右的部分具有透过率极大的峰值，在其长波长侧的620nm左右的部分具有透过率极小的部分。此外，在g滤光部中，与透过率极小的部分相比长波长侧为上升趋势，在850nm左右透过率成为大致最大。与其相比在长波长侧，即使超过1000nm也可以成为透过率大致最大的状态。b滤光部如图表的b(间隔窄的虚线)所示那样，在波长为460nm左右的部分具有透过率极大的峰值，在其长波长侧的630nm左右的部分具有透过率极小的部分。此外，与其相比长波长侧成为上升趋势，在860nm左右透过率成为大致最大，另外，与其相比在长波长侧，即使超过1000nm也可以成为透过率大致最大的状态。ir滤光部遮断780nm左右至短波长侧的光，遮断1020nm左右至长波长侧的光，820nm～920nm左右的部分的透过率成为大致最大。

r、g、b、ir各滤光部的光谱透过率并不限定于图2等所示的光谱透过率，目前，在一般使用的彩色滤光片3中，认为表示与此相近的光谱透过率。另外，表示透过率的横轴的1并不是表示光100％透过，而是在彩色滤光片3中，例如表示最大的透过率。

玻璃罩4覆盖并保护传感器本体2和彩色滤光片3。

在此，dbpf5为在玻璃罩4上成膜而成的光学滤光片。dbpf5是在可见光波段具有透过特性、在与可见光波段的长波长侧相邻的第1波段具有遮断特性、在上述第1波段内的一部分即第2波段具有透过特性的光学滤光片。

即，如图2的图表所示，如在图表中dbpf(实线)所示那样，dbpf5在由dbpf(vr)所示的可见光波段、相对于可见光波段的长波长侧的稍微远离的位置的由dbpf(ir)所示的红外波段(第2波段)这2个波段的透过率变高。此外，作为可见光波段的透过率较高的波段的dbpf(vr)例如为370nm～700nm左右的波段。此外，在红外侧作为透过率较高的第2波段的dbpf(ir)例如成为830nm～970nm左右的波段。

在本实施方式中，如以下那样规定上述彩色滤光片3的各滤光部的光谱透过率与dbpf5的光谱透过率的关系。

即，成为dbpf5的光谱透过率的透过红外光的第2波段的dbpf(ir)包含在r滤光部、g滤光部、b滤光部全部成为脸颊最大的透过率而在各滤光部中透过率大致相同的图2所示的波段a内，并且，包含在ir滤光部的以大致最大的透过率透过光的波段b内。

在此，将r、g、b各滤光部的透过率大致相同的波段a设为各滤光部的透过率的差是透过率10％以下的部分。

另外，在相对于该波段a的短波长侧，相对于透过率大致最大的r滤光部，g、b滤光部的透过率变低。在dbpf5中，该r、g、b各滤光部的透过率有差异的部分对应于大致遮断可见光波段的透过率高的部分即dbpf(vr)与红外光波段的第2波段的透过率高的部分即dbpf(ir)之间的dbpf5的光的透过率为极小的部分。即，在红外侧，r、g、b各滤光部的透过率的差异变大的部分的光的透过被切除，与其相比在长波长侧各滤光部的透过率大致最大而透过率变得大致相同的波长区域a，使光透过。

由此，在本实施方式中，在代替红外光截止滤波器而使用的dbpf5中，不仅在可见光波段，在红外光侧的第2波段中也存在使光透过的区域，因此在进行基于可见光的彩色拍摄时，会受到透过了第2波段的光的影响，但如上所述第2波段不会使在r、g、b各滤光部中透过率不同的部分的光透过，仅使各滤光部的透过率变得大致最大，成为大致相同的透过率的波段的光透过。

此外，在dbpf5的第2波段中，使在ir滤光部中透过率成为大致最大的部分的光透过。因此，假定在被照射大致相同的光的极其接近的4个像素上分别设置r、g、b、ir滤光片的情况下，在第2波段在r滤光部、g滤光部、b滤光部、ir滤光部中大致同样地使光透过，作为红外侧的光，通过包含ir的各滤光部大致相同光量的光到达摄像传感器本体的上述像素的光电二极管。即，从r、g、b各滤光片透过的光中的、在红外侧的第2波段透过的光的光量成为与从ir滤光部透过的光的光量相同。在如上述那样假定了的情况下，来自接受基本上透过r、g、b各滤光片的光的传感器本体2的如上述假定的像素的输出信号与来自接受透过了ir滤光片的光的传感器本体2的如上述假定的像素的输出信号的差值，成为在各r、g、b滤光部透过的切除了红外侧的光的r、g、b各个可见光部分的输出信号。

实际上，如彩色滤光片3(3a、3b、3c)的各模式所示的那样，在传感器本体2的各像素上配置r、g、b、ir中的任意1个滤光部，向各像素照射的各颜色的光的各自的光量成为不同的光量的可能性高，因此可以针对各像素例如使用公知的内插法(插补法)来求出各像素的各颜色的亮度，将该插补后的各像素的r、g、b的亮度与以相同的方法插补后的ir亮度的差值分别设为r、g、b的亮度。另外，从r、g、b各颜色的亮度去除红外光分量的图像处理方法并不限定于此，若最终能够从r、g、b各亮度去除在第2波段透过的光的影响的方法，则也可以使用任一种方法。在任一种方法中，dbpf5能够切除在红外侧r、g、b滤光部的透过率不同于10％的部分，即透过率不同于预定比例的部分，因此针对各像素去除红外光的影响的处理变得容易。

此外，作为该摄像传感器1的用途，在能够进行彩色拍摄和红外光拍摄这两者的摄像装置中，作为摄像传感器而使用。一般，考虑通过彩色拍摄进行通常的拍摄，在夜间不使用可见光的照明而使用人类难以识别的红外光的照明来进行红外拍摄。例如，在各种监视摄像头等中，优选在不需要夜间照明或不能进行夜间照明的场所夜间进行拍摄时，考虑使用红外光照明的基于红外光的夜间拍摄。此外，也可以在用于观察野生动物的白天拍摄和夜间拍摄等用途中使用。

将红外光拍摄用作夜间拍摄的情况下，即使红外光也与可见光同样地，在夜间光量不足，因此需要进行红外光照明。图3所示的dbpf5的光谱透过率是考虑r、g、b、ir各滤光部的光谱透过率、红外光照明用光例如照明用红外光led的发光光谱而决定的光谱透过率。在图3中除了与图2同样的各颜色滤光部的光谱透过率r、g、b、ir以及dbpf5的光谱透过率dbpf外，还示出了led照明的发光光谱ir-light。

图3所示的透过dbpf的红外光的部分即由dbpf(ir)所示的第2波段与图2所示的dbpf同样地，被包含在r滤光部、g滤光部、b滤光部这全部成为大致最大的透过率且在各滤光部中透过率大致相同的图2所示的波长波段a内，并且，被包含在ir滤光部的以最大的透过率透过光的波长区域b内。

除此之外，包含在上述波段a和波段b中的成为红外光照明的发光光谱的峰值的波段的大致全部被包含在dbpf(ir)的波段内。另外，不是在夜间的自然光下而是在红外光照明下进行红外光拍摄的情况下，由dbpf(ir)所示的第2波段不需要比红外光照明的光学光谱的峰值宽度宽，在红外光照明的光谱被包含于波段a和波段b中的情况下，也可以用与红外光照明的发光光谱的例如以860左右为顶点的峰值的峰值宽度大致相同的峰值宽度来设计由dbpf(ir)所示的dbpf5的透过率的峰值部分作为第2波段。

即，在图3中，由ir-light(ir-光)所示的红外光照明的发光光谱的峰值位于上述波段a和波段b的短波长侧，由dbpf(ir)所示的dbpf的第2波段与波段a和波段b的短波长侧部分的ir-light的发光光谱的峰值大致重叠。

此外，图4所示的图表也与图3所示的图表同样地，在图2所示的图表中增加红外光照明的发光光谱，并且使dbpf5的光谱透过率的红外侧的透过率高的部分即由dbpf(ir)所示的第2波段与由上述红外光照明ir-light所示的发光光谱的峰值一致。

在图4中，作为红外光照明使用与图3所示的情况相比发光光谱的峰值的波长较长的光，该峰值包含在上述波段a和波段b中，并且存在于波段a和波段b的长波长侧。与此对应，设计成dbpf5的由dbpf(ir)所示的第2波段在上述波段a和波段b内由红外照明ir-light所示的峰值大致成为伞状。

另外，dbpf5的第2波段既可以是由图2、图3、图4中的任一个所示的波段，第2波段只要被包含在上述波段a和波段b这两者中即可。此外，在决定了成为在夜间的红外光拍摄中使用的红外光照明的发光光谱的峰值的波段的情况下，优选设为该波段被包含在上述波段a和波段b这两个波段中，并且红外光照明的发光光谱的峰值与dbpf5的第2波段一致。

在这样的摄像传感器中，在dbpf5的红外侧使光透过的第2波段在r、g、b、ir各滤光部的红外侧各滤光部的透过率大致成为最大且各滤光部的透过率成为大致相同时被包含的波段a中，并且被包含在ir滤光部的透过率大致成为最大的波段b中。换言之，在相对于可见光波段的长波长侧，r、g、b各滤光片的透过率中仅r滤光部变得大致最大，g、b滤光部的透过率未变为大致最大，因此r、g、b各滤光部的透过率不会变得大致相同，不同部分的光被dbpf5切除。

即，在r、g、b、ir各滤光部中，在红外侧使第2波段的光透过，因此各滤光部中的红外侧的透过率全部大致相同，以相同的光量照射成为第2波段的光时，r、g、b、ir各滤光部中的透过光量相同。由此，如上述那样校正基于来自与r、g、b各滤光部对应的像素的输出信号的颜色，能够容易得到抑制了彩色拍摄时的颜色受到透过第2波段的红外光引起的影响的图像。

此外，通过使第2波段与包含在上述波段a和波段b中的红外光照明的发光光谱的峰值对应，有效地使用红外光照明的光，并且使第2波段的宽度变窄，从而在彩色拍摄时能够使透过第2波段的红外光的影响变小。

图6是表示使用本实施方式的摄像传感器1的摄像装置10的图。摄像装置10具备：拍摄用镜头11；具备dbpf5的摄像传感器1；以及信号处理部(信号处理装置)12，其对从摄像传感器1输出的输出信号13进行处理，并对图像信号进行上述的内装处理、去除彩色拍摄时的透过了第2波段的红外光的影响的图像处理、伽玛校正、白平衡、rgb矩阵校正等图像处理。能够从图像处理部输出可见的彩色图像的输出信号14和红外光图像的输出信号15。

镜头11是构成在摄像装置10的摄像传感器1上成像的光学系统的部件。镜头11例如由多个透镜构成。

图7以框图表示摄像装置10的信号处理部12中的信号处理。将r、g、b、ir各像素的输出信号发送给各内装处理模块21r、21g、21b、21ir。例如，如图8所示，为上述的彩色滤光片3b的情况下，在各内装处理模块21r、21g、21b、21ir中通过内插处理(插补处理)，在各帧的图像数据中分别对r、g、b、ir信号进行变换，以便将全部像素设为由红色r表示的图像数据20r、将全部像素设为由绿色g表示的图像数据20g、将全部像素设为由蓝色b表示的图像数据20b、将全部像素设为由红外ir表示的图像数据20ir。另外，内插处理方法可以使用公知的方法。

接着，在红外光去除信号生成模块22r、22g、22b、22ir中，为了去除从上述第2波段接收到的红外光的影响，根据ir信号生成要从r、g、b各颜色的信号减去的信号。从r、g、b各颜色的信号减去通过该红外光去除信号生成模块22r、22g、22b按r、g、b生成的信号。在该情况下，如上所述对于相同的像素，基本上从r、g、b各信号去除ir信号即可，因此处理变得容易。实际上，各颜色的每个像素的灵敏度根据各像素的滤光部的特性等而不同，因此按r、g、b各像素，根据ir信号生成要从r、g、b各信号减去的信号。

接着，r、关于g、b各信号，在图像处理模块23中进行如下的处理：使用行列式对r、g、b各信号进行变换并校正颜色的公知的rgb矩阵处理、在图像中成为白色的部分r、g、b各信号的输出值成为相同的值的公知的白平衡处理、用于向显示器等输出图像的校正即公知的伽玛校正。接着，在亮度矩阵模块24中，对r、g、b各颜色的信号乘上系数来生成亮度y的信号。此外，从蓝色b的信号和红色r的信号除以亮度y的信号，由此计算出r-y与b-y的色差信号，输出y、r-y、b-y信号。

此外，作为基本上黑白的渐变(graduation)图像而输出ir信号。

在这样的摄像装置10中，如在上述摄像传感器1中说明的那样，能够容易进行从彩色图像去除红外光影响的图像处理，得到颜色再现性优良的可见彩色图像。此外，能够降低这样的摄像装置的开发成本。

如上述那样，通过可见光拍摄中的图像处理消除透过了第2波段的红外光的影响时，r、g、b各滤光部相互间透过率变得较大不同的部分物理上被dbpf切除，在图像处理中，只要在r、g、b各滤光部的红外侧进行切除透过率大致成为最大的部分的ir光的处理即可。在该情况下，图像处理变得容易，能够得到具有与使用以往的红外光截止滤波器情况相同的颜色再现性的彩色图像数据。

例如，对于透过r、g、b各滤光部后到达光电二极管的光，在r、g、b各滤光部中成为与可见光区域的透过了各滤光部的可见光相同，并且，在ir滤光部中成为同样的透过了第2波段的红外光。因此，从摄像传感器1的r、g、b的内插处理后的各输出信号例如减去与基于各颜色滤光部的灵敏度特性对应地校正的内插处理后的ir输出信号，由此能够得到与使用红外截止滤波器的情况相近的颜色再现性。

另外，在使光透过的第2波段中包含r、g、b各滤光部中的透过率中存在大于10％的透过率差的波段时，实质上难以求出应从透过了各滤光部的光切除的红外光的量，难以通过图像处理得到具有与使用红外光截止滤波器的情况相同的颜色再现性的图像数据。

接着，对本发明的第2实施方式的摄像装置进行说明。

如图9所示，第2实施方式的摄像装置10a中，在镜头11上设置dpbf，而不是在摄像传感器1上设置dbpf5。

摄像装置10a具备：具备dbpf5的拍摄用镜头11；摄像传感器1；以及信号处理部12，其对从摄像传感器1输出的输出信号13进行处理，并对图像信号进行上述的内装处理、去除彩色拍摄时的透过了第2波段的红外光的影响的图像处理、伽玛校正、白平衡、rgb矩阵校正等图像处理。能够从图像处理部输出可见彩色图像的输出信号14和红外光图像的输出信号15。

dbpf5和彩色滤光片3与第1实施方式的dbpf5和彩色滤光片3相同，彩色滤光片3的r、g、b、ir各滤光部的透过率与dpbf5的第2波段dbpf(ir)的关系也与第1实施方式相同。因此，与第1实施方式不同，即使在镜头11上设有dbpf5，也能够实现与第1实施方式的摄像装置10相同的作用效果。另外，dbpf5被设在摄像装置10a的光学系统中，对于到达摄像传感器1的光，只要能够使可见光波段(dbpf(vr))和红外侧的第2波段(dbpf(ir))的光透过，只要在可见光波段的短波长侧、第2波段的长波长侧、可见光波段与第2波段之间的波段遮断光，dbpf5就可以被设在任意位置。

接着，对本发明的第3实施方式的摄像传感器和摄像装置进行说明。关于第3实施方式的摄像传感器1和摄像装置，彩色滤光片3的一部分的结构、去除来自rgb各信号的ir分量的方法不同，但其他结构与第1实施方式相同，以下，对彩色滤光片3和ir分量的去除方法进行说明。

在本实施方式中，彩色滤光片3e(rgbc的结构1)例如如图10所示那样，将上述拜耳阵列的彩色滤光片3x的模式的4个b中的2个b设为c，将4个r中的2个r设为c，将8个g中的4个g设为c。即，彩色滤光片3e在4行4列的基本排列中配置4个r、g、b、c这4种滤光部中的g滤光部、8个c滤光部、2个r滤光部和2个b滤光部，并且以相同种类的滤光部之间在行方向和列方向上不相邻地方式分开配置。因此，被配置了8个的c滤光部以方格状配置。在此，c表示作为透明的滤光部的透明状态，基本上成为在可见光波段至近红外波段具有透过特性，在此，在可见光波段设为c＝r+g+b。另外，成为透明的c因使rgb这3个颜色透过而能够被称为白色光，即白色(w)，成为c＝w＝r+g+b。因此，c对应于可见光波段的大致整个波段的光量。

在此，如表示图11的彩色滤光片3e和dbpf5的光谱透过率(分光透过特性)的图表所示那样，在r、g、b各滤光部中在可见光波段的长波长侧具有透过特性，即使在作为透明的滤光部的c滤光部中在可见光波段的长波长侧也使光透过。与此相对，通过使用dbpf5，与第1实施方式同样地，限制使透过相对于可见光波段的长波长侧的红外成为第2波段，由此透过r、g、b、c滤光部和dbpf5的光量在r、g、b、c各滤光部中大致相同(近似)，在可见光波段与r、g、b、c各滤光部的波长对应的透过特性不同。

另外，在第1和第2实施方式中，也限制使透过相对于可见光波段的长波长侧的红外成为第2波段，透过r、g、b、ir滤光部和dbpf5的光量在r、g、b、ir各滤光部中大致相同，在可见光波段与r、g、b、ir各滤光部的波长对应的透过特性不同。

由此，在第3实施方式中，也能够高精度地进行各像素的ir校正，能够生成颜色再现性高的可见图像。即，如第1实施方式那样在可见光波段的大致整个波长区域具有遮断特性，即使不具备在相对于可见光波段的长波长侧的红外具有透过特性的上述ir滤光部，通过具备c滤光部，也能够通过下述式计算出ir信号。

在以下的说明书中，c(w)、r、g、b、ir表示来自摄像传感器1的输出信号的电平，c(w)、r、g、b被设为表示可见光波段的电平，不包含红外分量。

在此，将彩色滤光片3e设计为c＝w≈r+g+b，将应从rgb各信号去除的ir信号设为ir’时，成为

ir’＝((r+ir)+(g+ir)+(b+ir)-(c+ir))/2＝ir+(r+g+b-c)/2

ir’≈ir。

另外，ir表示通过测量等求出的实际的值，ir’表示通过计算求出的值。通过从各滤光片减去ir’，能够进行ir校正。

即，成为

r滤光片(r+ir)：

r’＝(r+ir)-ir’＝r-(r+g+b-c)/2

g滤光片(g+ir)：

g’＝(g+ir)-ir’＝g-(r+g+b-c)/2

b滤光片(b+ir)：

b’＝(b+ir)-ir’＝b-(r+g+b-c)/2

c(＝w)滤光片(w+ir)：

w’＝(c+ir)-ir’＝c-(r+g+b-c)/2。

由此，在彩色滤光片3中，即使代替ir滤光部而使用透明的c滤光部，也能够通过dbpf5使各滤光部的ir透过率近似，如上所述求出ir分量，从各滤光部的信号去除ir分量，由此能够提高颜色再现性。

另外，这样的计算如上所述通过内插法，例如在各像素求出r+ir、g+ir、b+ir、c+ir，在各像素进行上述的计算。另外，设计成c＝w≈r+g+b，但并不一定必须大致准确地与该式一致，只要近似，则即使因误差或其他原因存在偏差也可以，即例如，也可以存在10％左右的偏差。

此外，对于c，成为r+g+b，从而像素的受光量多，易于饱和，因此在c滤光部中既可以降低可见光波段中的受光量，也可以在包含红外波段和可见光波段的波段中降低受光量，还可以在构成各像素中的像素的元件部中减少对受光量累积的电荷。此时，需要据此变更上述的式。

另外，图12表示r、g、b、c彩色滤光片的其他的排列，在2×2的排列中，均等地各配置1个r、g、b、c。

此外，在以往的r、g、b拜耳阵列的情况下，如图13所示，在2×2的排列中，分别配置1个r、b，并且配置2个g。

此外，将该以往的不包含c或ir的排列中的1个g变更为ir的r、g、b、ir彩色滤光片的2×2排列，如图14所示，成为分别配置了1个r、g、b、ir的排列。

作为这样的彩色滤光片，在图10所示的rgb-c的结构1、图12所示的rgb-c的结构2、图13所示的以往的rgb排列(拜耳阵列)、图14所示的rgb-ir排列的一例中，存在如图15所示那样的特性的差异。另外，c不包含rgb等颜色信息，但包含作为光量的亮度信息。

因此，rgb-c(结构1)传感器通过c的方格配置，亮度分辨率较高，但rgb像素稀疏，并且，成为非对称性配置，因此分辨率较低，容易生成莫尔纹。但是，颜色信号相对于亮度信号，所求出的分辨率为1/2以下较低，因此没有问题。此外，灵敏度高。

rgb-c(结构2)与以往的rgb传感器亮度分辨率、颜色分辨率相同，灵敏度比rgb传感器高。rgb-ir传感器设置有在可见光波段中不具有透过特性的ir，由此相比rgb传感器，灵敏度变低，亮度的分辨率也变低。

即，相比具有上述的第1实施方式和第2实施方式的ir的彩色滤光片，具有c的彩色滤光片在分辨率、灵敏度上有益的可能性较高。

图16以框图表示图9的信号处理部12中的信号处理。作为摄像传感器1，具备具有上述的rgb-c的彩色滤光片3e的rgb-c传感器1，并且具备构成光学系统的镜头11和dbpf5。

r+ir、g+ir、b+ir、c+ir信号从rgb-c传感器1进入到进行颜色分离、ir分离、ir校正的分离装置51，通过内插处理和ir校正等，在各像素求出r、g、b、w、ir各信号并输出。根据使用上述式的运算，进行该处理。

从分离装置51输出的r、g、b、w、ir信号中的r、g、b各信号被发送到颜色矩阵装置52，进行公知的rgb矩阵校正等，输出rgb信号。此外，来自分离装置51的r、g、b、w、ir信号被发送给亮度生成装置53，根据求出所设定的亮度的公式，根据各信号生成亮度信号。

从颜色矩阵装置输出的rgb信号被输入到伽马处理和色差生成装置54，被实施公知的伽马处理，并且作为色差信号例如生成b-y信号和r-y信号。此外，从分离装置51和rgb-c传感器1输出的信号经由bpf(带通滤波器)55，作为预定的波段的信号，通过降噪装置56被降低噪声后，与从亮度生成装置53输出的亮度信号一起通过增强处理装置57被放大，经过伽玛处理装置58中的伽马处理后作为亮度/色差信号的亮度信号(y信号)而输出。

此外，从分离装置51输出的ir信号经由增强处理装置59、伽玛处理装置60后作为ir信号而输出。另外，在图像信号的处理中，进行后述的削波处理，对于削波处理在后面进行叙述。

接着，对本发明的第4实施方式的摄像传感器和摄像装置进行说明。第4实施方式是将彩色滤光片的各颜色进行了一般化的方式，表示本发明的彩色滤光片并不限定于rgb-ir、rgb-c。以下，说明具备具有一般化后的4色滤光部的彩色滤光片的摄像传感器中的ir分量的去除方法。另外，4色(4种)滤光部基本上与可见光波段中的波长对应的透过特性不同，并且，在包含上述dbpf的第2波段的波段中具备与相对于可见光波段的长波长侧的其他滤光部的透过率的差成为10％以下的第3波段，在该第3波段中包含dbpf5的第2波段。由此，在使用彩色滤光片和dpbf5的情况下，在各颜色的滤光部中与可见光波段的红外侧的波长对应的透过特性近似。

并且，在4种像素的滤光片配置中，以下述条件设计彩色滤光片时，能够分离ir。

关于滤光片配置，优选在如图17所示那样的2×2的配置中，4种滤光部a、b、c、d各具有1个。

此外，优选以在可见波长区域中下述关系尽可能成立的方式设计a、b、c、d各滤光部。

即，在可见光波段中成为

kaa+kbb+kcc+kdd≈0。

另外，a、b、c、d表示来自滤光部的可见光波段的摄像传感器1的输出信号的电平。

将相对于可见光波段的长波长侧的ir区域设为ir透过率在a、b、c、d各滤光部的上述第3波段中大致固定。另外，在a、b、c、d各滤光部中ir透过率也可以成为某ir透过率的大致整倍数。这样设计时(在此，如上述那样设ir透过率固定)，

ka(a+ir)+kb(b+ir)+kc(c+ir)+kd(d+ir)≈ir(ka+kb+kc+kd)，

因此，ir信号可以通过

ir’＝(ka(a+ir)+kb(b+ir)+kc(c+ir)+kd(d+ir))/(ka+kb+kc+kd)

来算出。

通过下述的计算，能够校正a、b、c、d各像素所包含的ir分量。

a’＝(a+ir)-(ka(a+ir)+kb(b+ir)+kc(c+ir)+kd(d+ir))/(ka+kb+kc+kd)＝a-(kaa+kbb+kcc+kdd)/(ka+kb+kc+kd)

b’＝b+ir-(ka(a+ir)+kb(b+ir)+kc(c+ir)+kd(d+ir))/(ka+kb+kc+kd)＝b-(kaa+kbb+kcc+kdd)/(ka+kb+kc+kd)

c’＝c+ir-(ka(a+ir)+kb(b+ir)+kc(c+ir)+kd(d+ir))/(ka+kb+kc+kd)＝c-(kaa+kbb+kcc+kdd)/(ka+kb+kc+kd)

d’＝d+ir-(ka(a+ir)+kb(b+ir)+kc(c+ir)+kd(d+ir))/(ka+kb+kc+kd)＝d-(kaa+kbb+kcc+kdd)/(ka+kb+kc+kd)

在此，误差量为

(kaa+kbb+kcc+kdd)/(ka+kb+kc+kd)。

可以在rgb矩阵中，对该误差量进行校正。

实际上，针对各滤光部的ir分量的透过率多少不同，因此如下述那样以系数校正后的信号进行校正。

a’＝a+ir＊kira-kira(ka(a+ir＊kira)+kb(b+ir＊kirb)+kc(c+ir＊kirc)+kd(d+ir＊kird))/(ka＊kira+kb＊kirb+kc＊kirc+kd＊kird)

b’＝b+ir＊kirb-kirb(ka(a+ir＊kira)+kb(b+ir＊kirb)+kc(c+ir＊kirc)+kd(d+ir＊kird))/(ka＊kira+kb＊kirb+kc＊kirc+kd＊kird)

c’＝c+ir＊kirc-kirc(ka(a+ir＊kira)+kb(b+ir＊kirb)+kc(c+ir＊kirc)+kd(d+ir＊kird))/(ka＊kira+kb＊kirb+kc＊kirc+kd＊kird)

d’＝d+ir＊kird-kird(ka(a+ir＊kira)+kb(b+ir＊kirb)+kc(c+ir＊kirc)+kd(d+ir＊kird))/(ka＊kira+kb＊kirb+kc＊kirc+kd＊kird)

另外，使用dbpf时的各滤光片的分光透过特性如图11所示。另外，作为滤光部的例子，列举了使用成为r+ir、g+ir、b+ir、c+ir的4种滤光部的例子，但ir部分成为固定或相互整倍数的关系，只要以kaa+kbb+kcc+kdd≈0的方式设计彩色滤光片，各滤光部就并不限定于r+ir、g+ir、b+ir、c+ir。

图18表示使b滤光部和dbpf5合起来后的分光透过，图19表示使g滤光部和dbpf5合起来后的分光透过，图20表示使b滤光部和dbpf5合起来后的分光透过，图21表示使c(w)滤光部和dbpf5合起来后的分光透过。

各分光透过特性如上述的各式所示那样成为将可见r透过区域、可见g透过区域、可见b透过区域、ir透过区域这4个透过率合起来后的特性。因此，能够根据4种以上的滤光片的值计算各可见r透过区域、可见g透过区域、可见b透过区域、ir透过区域的信号值。另外，根据表示上述各a、b、c、d各分光透过特性的公式来决定分光透过特性，根据其中的2个滤光片的分光透过特性的组合决定6种分光透过特性。

接着，对本发明的第5实施方式进行说明。

将输出可见光波段的信号、相对于可见光波段的长波长侧的红外信号的摄像传感器1搭载于智能手机等的情况下，在智能手机侧，处理来自摄像传感器1的信号的电路位于作为主运算处理装置发挥功能的soc(systemonchip，系统芯片)上的情况下，从摄像传感器输出的rgb信号如上述那样包含ir分量，需要进行去除该ir分量的处理时，有可能不得不变更soc的设计。此外，除了soc以外，还需要在智能手机上设置进行上述ir校正的电路。在这些情况下，在向智能手机等机器导入能够输出可见光和红外这两个光的图像信号的摄像传感器时，即使摄像传感器以外的部分成本也会增加。

因此，在本实施方式中，在摄像传感器中组入使来自摄像传感器1的从可见光波段输出的图像信号成为与以往相同的信号的电路。如图22所示，摄像传感器101具备成为与上述摄像传感器1大致相同的结构的摄像部102、ir校正/分离电路103，从ir校正/分离电路103例如输出可见rgb信号和ir信号。另外，ir校正/分离电路103包括进行与后述的信号电平的削波相关的处理的电路。

在该情况下，为了输出rgb信号和ir信号，摄像传感器101的管脚数增加，但通过以csi-2等串行输出规格进行输出，能够抑制管脚数的增加。在此，将可见rgb信号作为rgbg拜耳阵列的摄像传感器的raw信号而输出，或作为yuyv(ycb、ycr)信号而输出。此外，将ir信号作为单色信号而输出，由此能够不变更智能手机、未来手机的soc，通过rgb-ir传感器、rgb-c传感器灵活地进行可见和近红外的同时摄像。

摄像传感器101的结构例如如图23所示那样成为层压型堆栈结构，例如，在1个基板110上搭载构成ir校正/分离电路103的集成电路的芯片，并且在其之上重叠地配置构成摄像部102的芯片。在摄像部102的上面配置有玻璃罩111。在基板110的底面配置有焊锡球115。

此外，如图24所示那样，摄像传感器101的结构也可以成为，上下隔着间隔上下重叠地配置2个基板110，在下面的基板110上配置ir校正/分离电路103的芯片，在上面的基板110上配置摄像部102的芯片，在其之上配置玻璃罩111。

目前，可以通过层压堆栈结构来实现小型的封装。即，能够通过如上那样地上下层压ir校正/分离电路103和摄像部102，而形成1个封装的传感器。通过该方法也能够实现通过1个封装内置ir校正/分离电路的摄像传感器101。这样，即使不内置校正分离电路，也能够实现小型可见/近红外光的同时拍摄，从而能够实现能够用于智能手机等的小型的传感器。在智能手机中，可以通过1个传感器来实现由ir传感器进行的彩虹认证等生物体认证、具有3d捕捉(capture)等功能且可见动画/静止画的拍摄。

即，在使用红外传感器进行生物体认证等的情况下，例如考虑分开设置红外传感器和摄像头，但认为在该情况下因追加新的红外传感器而导致成本上升、空间效率恶化等，但能够抑制这些问题。

图25表示通过ir校正+内插进行与rgb拜耳配置同样的信号输出的示意图。在水平垂直扫描中，按r、ir、r、ir、…/g、b、g、b、…线顺序输出r/ir和g/b，针对该信号进行ir校正/ir分离，此外，ir像素的位置由近旁的g信号内插而生成g’信号，按r、g’、r、g’、…/g、b、g、b、…线顺序输出可见r/g’和g/b信号、以及分离后的ir信号。可见r/g’和g/b信号与以往的rgb拜耳阵列的传感器的输出形式相同，因此在信号处理侧，能够通过与以往相同的信号处理电路进行处理。此外，ir信号保持单色信号，因此在信号处理部中仍可以通过通常的黑白信号的处理进行处理。

通过以上的结构，在以往的信号处理电路中，能够使处理电路的变更最少地处理rgb-ir传感器的输出，此外，在智能手机等中，能够不增加空间，而安装通过ir摄像进行的生物体认证、3d捕捉等新功能。

此外，以上对rgb-ir传感器进行了说明，但在使用rgb-c传感器的可见/近红外同时摄像中，通过构成为在传感器内内置ir校正分离电路为输出以往的rgb拜耳阵列的传感器的输出形式的可见信号和ir信号，能够得到同样的效果。

接着，对本发明的第6实施方式进行说明。

如图26所示那样，本实施方式的摄像装置10具备：作为摄像用光学系统的镜头11；具备dbpf5的摄像传感器1；以及信号处理部(信号处理装置：减法运算控制装置)12，其处理从摄像传感器1输出的输出信号13，对图像信号进行上述的内装处理、去除彩色拍摄时的通过第2波段的红外光的影响的图像处理、伽玛校正、白平衡、rgb矩阵校正等图像处理。可从信号处理部12输出可见彩色图像的输出信号14(可见图像信号)和红外光图像的输出信号15(红外图像信号)。

镜头11是构成在摄像装置10的摄像传感器1上成像的光学系统的部件。镜头11例如由多个透镜构成。

如图27所示，摄像传感器(图像传感器)1例如具备作为ccd(chargecoupleddevice：电荷耦合器件)图像传感器的传感器本体2、与传感器本体2的各像素对应地以预定排列配置了红(r)、绿(g)、蓝(b)、红外(ir)的各区域(各颜色的滤光片)的彩色滤光片3、覆盖在传感器本体2和彩色滤光片3上面的玻璃罩4、在玻璃罩4上形成的dbpf(dualbandpassfilter：双频带通滤波器)5。

传感器本体2为ccd图像传感器，针对各像素配置有作为受光元件的光电二极管。另外，传感器本体2也可以用cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)图像传感器来代替ccd图像传感器。

在传感器本体2上设有彩色滤光片3。在此，有红色r、绿色g、蓝色b各区域但没有红外ir区域的拜耳排列的彩色滤光片具有成为基本模式的纵4×横4的16个区域，将8个区域设为g区域，将4个区域设为r，将4个区域设为b。与此相对，作为本实施方式的彩色滤光片3，如图28所示那样，将拜耳阵列中的8个g区域中的4个设为ir区域，从而r为4个、g为4个、b为4个、ir为4个。另外，包含ir区域的彩色滤光片并不限定于图28所示的彩色滤光片3，可以使用各种排列的彩色滤光片。此外，rgb各区域为一般的rgb滤光片，但在各颜色的波长范围内具备透过率的峰值，并且在近红外的波长区域具备透过性，因此在图28中，将红色区域设为r+ir，将绿色区域设为g+ir，将蓝色区域设为b+ir。

本实施方式中的r区域、g区域和b区域的光谱透过率如图29的图表所示。即，示出了彩色滤光片3的红(r)、绿(g)、蓝(b)、红外(ir)的各滤光片的光谱透过率，纵轴表示透过率，横轴表示波长。图表中的波长的范围包括可见光波段和近红外波段的一部分，因此，例如表示300nm～1100nm的波长范围。

例如，r区域如图表的r(二重线)所示那样，在波长600nm成为大致最大的透过率，在其长波长侧，即使超过1000nm也会成为维持透过率大致最大的状态。g区域如图表的g(间隔宽的虚线)所示那样，在波长为540nm左右的部分具有透过率极大的峰值，在其长波长侧的620nm左右的部分具有透过率极小的部分。此外，在g区域中，与透过率极小的部分相比长波长侧成为上升趋势，在850nm左右透过率成为大致最大。与其相比在长波长侧，即使超过1000nm也可以成为透过率大致最大的状态。b区域如图表的b(间隔窄的虚线)所示那样，在波长为460nm左右的部分具有透过率极大的峰值，在其长波长侧的630nm左右的部分具有透过率极小的部分。此外，与其相比长波长侧成为上升趋势，在860nm左右透过率成为大致最大，与其相比在长波长侧，即使超过1000nm也可以成为透过率大致最大的状态。ir区域遮断780nm左右至短波长侧的光，遮断1020nm左右至长波长侧的光，820nm～920nm左右的部分的透过率成为大致最大。

r、g、b、ir各区域的光谱透过率并不限定于图29等所示的光谱透过率，目前，认为在一般使用的彩色滤光片3中，表示与此相近的光谱透过率。另外，表示透过率的纵轴的1并不是表示光100％透过，而是表示在彩色滤光片3中，例如最大的透过率。

玻璃罩4覆盖并保护传感器本体2和彩色滤光片3。

在此，dbpf5为在玻璃罩4上成膜而成的光学滤光片。dbpf5是在可见光波段具有透过特性、在与可见光波段的长波长侧相邻的第1波段具有遮断特性、在上述第1波段内的一部分即第2波段具有遮断特性的光学滤光片。另外，dbpf5的配置位置并不限定于玻璃罩4，也可以配置于摄像传感器1的其他位置。此外，dbpf5的配置位置并不限定于摄像传感器1，也可以配置于包含镜头11，使像成在摄像传感器1的光学系统中。

如图29的图表所示，如在图表中dbpf(实线)所示那样，dbpf5在由dbpf(vr)表示的可见光波段、和相对于可见光波段的长波长侧的稍微远离的位置的由dbpf(ir)表示的红外波段(第2波段)这2个频带的透过率变高。此外，作为可见光波段透过率较高的频带的dbpf(vr)例如成为370nm～700nm左右的波段。此外，在红外侧作为透过率较高的第2波段的dbpf(ir)例如成为830nm～970nm左右的频带。

在本实施方式中，如以下所示那样规定上述彩色滤光片3的各区域的光谱透过率与dbpf5的光谱透过率的关系。

即，成为dbpf5的光谱透过率的透过红外光的第2波段的dbpf(ir)包含在r区域、g区域、b区域全部成为脸颊最大的透过率且在各区域中透过率大致相同的图29所示的波段a内，并且，包含在以ir区域的大致最大的透过率透过光的波段b内。

在此，将r、g、b各区域的透过率大致相同的波段a设为各区域的透过率的差在透过率10％以下的部分。

另外，在相对于该波段a的短波长侧(波段c)，相对于透过率大致最大的r区域，g、b区域的透过率变低。在dbpf5中，该r、g、b各区域的透过率有差异的部分对应于成为大致遮断可见光区域的透过率高的部分即dbpf(vr)与红外光区域的第2波长区域的透过率高的部分即dbpf(ir)之间的dbpf5的光的透过率极小的部分。即，在红外侧，r、g、b各区域的透过率的差异变大的部分的光的透过被切除，与其相比在长波长侧各区域的透过率大致变大且透过率大致相同的波长区域a，使光透过。

因此，在本实施方式中，在代替红外光截止滤波器而使用的dbpf5中，不仅在可见光波段，在红外光侧的第2波段中也存在使光透过的区域，因此在进行基于可见光的彩色拍摄时，会受到透过了第2波段的光的影响，但如上所述第2波段不会使在r、g、b各区域中透过率不同的部分的光透过，仅使各区域的透过率变得大致最大，且成为大致相同的透过率的波段的光透过。

此外，在dbpf5的第2波段中，使在ir区域透过率成为大致最大的部分的光透过。因此，在假定在被照射大致相同的光的极其接近的4个像素中分别设置r、g、b、ir区域的情况下，在第2波段在r区域、g区域、b区域、ir区域中大致同样地使光透过，作为红外侧的光，在包含ir的各区域大致相同光量的光到达摄像传感器本体2的上述像素的光电二极管。即，透过r、g、b各滤光片的光中的、透过红外侧的第2波段的光的光量与透过ir区域的光的光量相同。在如上述那样假定的情况下，来自接受了基本上透过了r、g、b各滤光片的光的传感器本体2的如上述那样假定的像素的输出信号与来自接受了透过了ir滤光片的光的传感器本体2的如上述那样假定的像素的输出信号的差值，成为通过各r、g、b区域切除了透过了红外侧的光的r、g、b各个可见光部分的输出信号。

实际上，如彩色滤光片3(3a、3b、3c)的各模式所示的那样，在传感器本体2的每个像素上配置r、g、b、ir中的任意1个区域，向各像素照射的各颜色的光的各自的光量不同的可能性高，因此可以针对各像素例如使用公知的内插法(插补法)来求出各像素的各颜色的亮度，将该插补后的各像素的r、g、b的亮度与以相同的方法插补后的ir亮度的差值分别设为r、g、b的亮度。另外，从r、g、b各颜色的亮度去除红外光分量的图像处理方法并不限定于此，只要最终能够从r、g、b各亮度去除透过了第2波段的光的影响的方法，就可以使用任一种方法。在任一种方法中，dbpf5能够去掉在红外侧r、g、b区域的透过率不同于10％的部分，即透过率不同于预定比例的部分，因此针对各像素去除红外光的影响的处理变得容易。

此外，作为该摄像传感器1的用途，在能够进行彩色拍摄和红外光拍摄这两者的摄像装置中，作为摄像传感器而使用。一般，考虑通过彩色拍摄进行通常的拍摄，在夜间不使用可见光的照明而使用人类难以识别的红外光的照明来进行红外拍摄。例如，在各种监视摄像头等中，优选在不需要夜间照明或不进行夜间照明的场所进行夜间拍摄时，考虑使用红外光照明的基于红外光的夜间拍摄。此外，也可以在用于观察野生动物的白天拍摄和夜间拍摄等用途中使用。

将红外光拍摄用作夜间拍摄的情况下，即使红外光也与可见光同样，在夜间光量不足，因此需要进行红外光照明。考虑r、g、b、ir各区域的光谱透过率、红外光照明用光例如照明用红外光led的光谱透过率来决定图29所示的dbpf5的光谱透过率。

在这样的摄像传感器中，在dbpf5的红外侧使光透过的第2波段被包含在在r、g、b、ir各区域的红外侧各区域的透过率大致最大，且各区域的透过率大致相同的波段a中，并且，被包含在ir区域的透过率大致成为最大的波段b中。换言之，在相对于可见光波段长的波长侧，r、g、b各滤光片的透过率中仅r滤光部成为大致最大，g、b区域的透过率未变为大致最大，由此r、g、b各区域的透过率未成为大致相同，不同部分的光被dbpf5切除。

即，在r、g、b、ir各区域中，在红外侧使第2波段的光透过，因此各区域中的红外侧的透过率全部大致相同，以相同的光量照射成为第2波段的光时，r、g、b、ir各区域中的透过光量相同。由此，如上述那样校正基于来自与r、g、b各区域对应的像素的输出信号的颜色，能够容易得到抑制了彩色拍摄时的颜色受到透过第2波段的红外光引起的影响的图像。

此外，通过使第2波段与包含在上述波段a和波段b中的红外光照明的发光光谱的峰值对应，高效地使用红外光照明的光，并且使第2波段的宽度变窄，从而在彩色拍摄时能够使透过第2波段的红外光的影响变小。

即，通过使用dbpf5，从摄像传感器1的rgb各信号的值分别减去ir信号的值，从而能够进行高精度的校正。在此，在详细说明信号处理部12前，对摄像装置中的摄像处理方法进行说明。

例如，如以下所示那样，摄像传感器1的各颜色像素的受光分量成为对各颜色分量加上ir分量的状态。

r像素r+ir

g像素g+ir

b像素b+ir

ir像素ir

因此，如以下所示那样，进行去除ir像素的从rgb各像素的受光分量去除ir分量的ir校正。

r信号(r像素输出)-(ir像素输出)＝(r+ir)-ir＝r

g像素(r像素输出)-(ir像素输出)＝(g+ir)-ir＝g

b像素(r像素输出)-(ir像素输出)＝(b+ir)-ir＝b

由此，能够从彩色滤光片的ir以外的各颜色区域排除透过dbpf5且透过彩色滤光片ir分量。

但是，r像素、g像素、b像素针对各光源的灵敏度分别不同，摄像传感器1的各像素存在动态范围，不读取超过了动态范围的电荷，来自摄像传感器的输出被削波而成为顶级。即，当输入的光超过动态范围时，输出的信号被削波而成为被削平的状态。

其结果，如下述那样，存在如下问题：在校正后的r信号、g信号、b信号中产生误差、不自然的亮度电平(高亮部的亮度降低)、高亮中带有颜色等。

图30～图32是用于说明在超过了动态范围的状态下，从各颜色分量减去ir分量时的问题的图，图30表示r的情况，图31表示g的情况，图32表示b的情况。在图30～图32所示的图表中，纵轴表示来自摄像传感器1的各颜色像素的信号的输出电平，横轴表示摄像传感器1的1个像素的输出电平的时间经过，或者，表示像素在列上的位置(例如，y轴上的各像素的位置)。在此，例如将横轴设为y轴上的像素的位置。因此，图表表示各颜色的各像素的基于y轴上的位置的信号的输出电平的变化。图33是对图30～图32所示的各颜色表示ir信号的输出电平的图，与上述的各图表的rgb各像素的情况同样地表示y轴上的各像素的位置的输出电平。

图30～图32分别所示的上侧的图表表示随着y轴上的位置的差异超过动态范围的状态下的信号的输出电平，即随着y轴上的位置向右方向变化，各像素的信号的输出电平上升之后下降，在去除ir的rgb中，超过动态范围而成为被削波的状态。另外，在摄像传感器1的各像素中，仅能够读取电荷到像素饱和电平为止，在像素饱和电平以上无法读取电荷，而成为输出电平被削波的状态。此外，在rgb各像素的信号的输出电平中包含ir信号的输出电平，因此分别成为r+ir、g+ir、b+ir，rgb的输出电平与ir信号的输出电平相比分别高出不包含rgb的ir的单独的输出电平量。因此，容易发生在ir像素中不超过动态范围，而在rgb中超过动态范围的状态。

在图30～图32中，超过像素饱和电平并用虚线表示的图表表示未被削波的情况下的输出电平。图30～图32所示的下侧的图表表示从包含上侧的ir的输出电平减去了ir的输出电平的情况。在此，在上部成为凸部的部分表示从上述的由虚线所示的没有被削波的情况下的rgb各信号的输出电平减去了ir信号的输出电平的情况。但是，实际上，减去前的rgb各信号为被削波的状态，因此此时减去了输出电平随着位置的不同而成为山状的ir输出电平的情况成为从上部凸起的下侧的图表变成如箭头所示那样下侧凹陷的状态的下侧的图表。

如上所述原本应为一列的各像素的中央部的输出电平高的山状的输出电平，但如上所述原本的输出电平超过动态范围而被削波，以像素饱和电平而成为水平的输出电平减去未超过动态范围成为山状的ir的输出电平，因此原本输出电平最高的部分相反成为凹陷的状态。

在超过了像素饱和电平的情况下，各颜色像素的图像信号的输出电平成为削平状态，此时，ir依旧比像素饱和电平低，其他颜色超过像素饱和电平后亮度越变高，ir的输出电平越变高。即，即使亮度变得更高，rgb各像素的信号的输出电平被削波而不会变高，而从它们减去的ir输出信号变高。因此，从rgb各输出电平减去ir输出电平而得的输出电平在亮度变高时反而下降。由此，在输出电平应为最高的部分，输出电平反而下降，在高亮部亮度降低。此外，rgb各输出电平全部超过了像素饱和电平的部分应成为白色，但rgb分别在下部凸出时的输出电平中产生差异，高亮部不成为白色，而成为带有颜色的状态。

因此，从rgb各像素的信号的输出电平减去ir信号的输出电平时，由于rgb各像素的信号的输出电平超过动态范围，因此在以像素饱和电平被削波的状态下，降低要减去的ir的输出电平后进行减法运算。即，在从rgb各输出电平被减去的ir信号的输出电平的值中，如图33、图34所示那样，从rgb各像素的信号的输出电平被减去的ir信号的输出电平不超过动态范围，即使在像素饱和电平的下侧，也如输出电平被削波那样，与rgb各信号(各分量)对应地设定限制值，将成为该限制值以上的输出电平设为以所设定的限制值被削波(限制成削平)的状态。

这样，从rgb各信号减去以对每个rgb设置的限制值被削波的ir信号的情况下，与图30～32所示的情况不同，要减去的ir信号以限制值被削波，因此如图35(a)、(b)、(c)所示那样，不会出现亮度变高时而rgb各信号的输出电平反而变低的情形，而成为以减去后的信号饱和电平被削波的状态。该信号饱和电平是从rgb各信号的像素饱和电平减去ir信号的与rgb对应的各限制值而得的值。因此，不会发生高亮部亮度下降的现象。另外，rgb各信号的减去ir信号后产生的信号饱和电平在rgb各信号超过动态范围的情况下，从像素饱和电平减去ir信号的限制值，从而成为低于像素饱和电平的电平。此外，ir信号减去后的rgb各信号的信号饱和电平如后所述按颜色而不同。

另外，图34所示的ir信号的输出电平被削波的位置(ir信号的限制值)根据被减去的rgb的每个信号而不同，并且根据状况而变化。

即，进行各rgb信号的校正时的ir信号的输出电平的限制值(削波电平)与rgb各颜色对应地，根据摄像传感器1的分光灵敏度、光源的色温度、光源的种类，恰当的削波电平变化。难以通过计算一律地求出该电平，但通过对各光源(色温度)测定由传感器输出的各rgb信号的输出电平、ir信号的输出电平，能够决定该电平。另外，通过摄像传感器1决定摄像传感器1的分光灵敏度。此外，根据光源的种类大致决定色温度。因此，需要根据色温度求出上述ir的输出电平被削波的各rgb信号所对应的ir信号的值的限制值。

在摄像头中，根据光源的色温度的变化，各rgb信号的电平变化。例如，对于色温度低的光源，r信号增加，b信号减少。此外，对于色温度高的光源，b信号增加，r信号减少。其结果，在色温度低的情况下，成为略带红色的图像，在色温度高的情况下，成为略带蓝色的图像。因此，颜色的再现性根据光源的色温度变化而变化。为了使该颜色再现性稳定化，进行使rgb信号的电平一定的白平衡处理(wb)。

根据颜色信号测定光源的色温度，并调整rgb各颜色信号的增益来进行白平衡处理。当前，普遍采用根据图像信号进行白平衡检测，根据检测出的结果进行控制的方法。例如，由rgb增益调整电路(包含于图38的控制电路21中)和白平衡检测电路26(图38图示)构成反馈控制回路，通过白平衡检测电路26对r-y信号、b-y信号、或r、g、b信号进行积分。对r-y信号、b-y信号进行积分的情况下，控制成它们的积分值成为0，此外，对r、g、b信号进行积分的情况下，控制各rgb信号的增益使各积分值相同。

此时，能够根据各rgb信号的增益，求出r信号、g信号、b信号各自的比例，成为决定光源的色温度的信息。根据该信息，来决定ir校正时的ir信号相对于各rgb信号的限制值(削波电平)。

另外，影像信号的构成方式有将与三原色对应的rgb设为分量的rgb方式和使用从rgb变换为亮度信号和色差信号的亮度-色差的色差方式。已知的色差方式有使用y、cb、cr的方式、使用y、pb、pr的方式等。y为亮度，cb和pb为对(b(蓝色)-y(亮度))乘上系数而得的值，cr和pr为对(r(红色)-y(亮度))乘上系数而得的值，cb和pb为b-y信号，cr和pr为r-y信号。

例如，对于r、g、b，通过以下的式来表示y、cb、cr。

y＝0.299＊r+0.587＊g+0.114＊b

cb＝0.564＊(b-y)＝-0.169＊r-0.331＊g+0.500＊b

cr＝0.713＊(r-y)＝0.500＊r-0.419＊g-0.081＊b

色差方式是对表示明亮的分量(亮度)、以及表示2个颜色信号与亮度信号的差分的分量(色差)重构rgb信号的方式，因此即使颜色的分辨率变差人类的眼睛也不会注意到，因此例如在传输时将色差的信息量削减为1/2，从而与rgb相比成为2/3的处理量。

以下，使用例子说明该削波电平(限制值)的设定方法。

首先，说明在白平衡处理中求出rgb各信号的增益的处理。

设定认为是白色的区域，并且检测出所设定的白色区域，并在该区域中进行白平衡检测。即，在分别对认为是白色的区域的各像素的色差信号的b-y信号和r-y信号进行积分的情况下，调整b-y信号和r-y信号的增益使这些进行积分而得值成为0。或者，调整各r、g、b信号的增益使分别对rgb各信号进行积分而得的值彼此相等。

图36(a)、(b)表示白平衡检测中认为是白色的区域的一例。如图36(a)所示，在b-y、r-y平面上，在成为白色的点的基于色温度的移动轨迹的近旁设定白色检测区域。此外，如图36(b)所示那样，对亮度信号电平例如设定白色检测范围(例如，白色电平(level)的70％以上且不足105％)。在色差方式中，在白色检测区域有色差信号，并且，亮度信号位于白色检测范围内时，其像素在白色区域内，对该区域内的像素的r、g、b各信号或色差方式的b-y信号和r-y信号进行积分。

或者，调整各r、g、b信号的增益使r、g、b的积分值相等。

例如，调整了r、g、b信号的增益使r、g、b的积分值相等时的r、g、b的调整后的各增益成为表示色温度信息的信息。在白平衡处理中，通过将这样调整后的rgb的各增益分别乘以所对应的rgb各信号，能够得到白平衡处理后的rgb各信号。

即，白平衡后的rgb各信号成为

(wb后的r信号)＝(r信号的增益)×(wb前的r信号)

(wb后的g信号)＝(g信号的增益)×(wb前的g信号)

(wb后的b信号)＝(b信号的增益)×(wb前的b信号)。

接着，使用这样通过白平衡处理调整后的rgb各增益，说明求出作为要从r(r+ir)、g(g+ir)、b(b+ir)各信号减去的ir信号的值的校正值的限制值的方法。另外，要从r(r+ir)、g(g+ir)、b(b+ir)各信号减去的ir信号的限制值在r(r+ir)、g(g+ir)、b(b+ir)的各颜色信号超过像素饱和电平的状态而以像素饱和电平被削波的情况下，是从各颜色信号减去ir信号的值时的成为上限的值。

将像素的饱和电平设为lsat、在某色温度下对白色拍摄时，将r信号相对于ir信号的比设为kr、将r信号中的ir信号的限制值(削波电平)设为lclip-r时，通过下式来表示ir信号的与rgb各信号对应的限制值(削波电平)。

lsat＝lclip-r+kr＊lclip-r

lclip-r＝lsat/(1+kr)

同样地，将g信号相对于ir信号的比设为kg、b信号相对于ir信号的比设为kb，并且将g信号中的ir信号的限制值(削波电平)设为lclip-g、将b信号中的ir信号的限制值(削波电平)设为lclip-b时，成为

lclip-g＝lsat/(1+kg)

lclip-b＝lsat/(1+kb)。

当前，在对白色进行拍摄时，将g信号相对于r信号的比率设为kg/r、b信号相对于r信号的比率设为kb/r时，如上所述为

(wb后的r信号)＝(r信号的增益)×(wb前的r信号)

(wb后的g信号)＝(g信号的增益)×(wb前的g信号)

(wb后的b信号)＝(b信号的增益)×(wb前的b信号)

因此，成为

(wb前的r信号)＝(wb后的r信号)/(r信号的增益)

(wb前的g信号)＝(wb后的g信号)/(g信号的增益)

(wb前的b信号)＝(wb后的b信号)/(b信号的增益)。

此外，相对于白色，wb后的r信号、g信号、b信号相等。因此，

kg/r＝(r信号的增益)/(g信号的增益)

kb/r＝(r信号的增益)/(b信号的增益)

此外，

kg＝kr×kg/r

kb＝kr×kb/r

因此，成为

lclip-g＝lsat/(1+kr×kg/r)

lclip-b＝lsat/(1+kr×kb/r)。

能够求出ir信号的红色的削波电平lclip-r、绿色的削波电平lclip-g、蓝色的削波电平lclip-b。

此外，kb/r可以作为表示色温度的参数而使用。在各颜色温度中，测定针对kb/r的kr，预先存储在存储器等中，由此基于通过白平衡检测得到的增益和上述的式，根据kb/r和针对该kb/r的kr，能够决定各颜色校正用ir信号的削波电平。

此外，如上述那样进行了ir校正(计算ir信号的削波电平)的情况下，rgb各信号的高亮中的信号饱和电平(从达到像素饱和电平而被削波的rgb各信号减去校正后的ir信号(限制值：削波电平)时的各信号的电平)并不一定相同。这成为高亮带颜色的原因，成为画质劣化的原因。因此，如图37(a)、(b)、(c)所示那样，在白平衡后进行校正使rgb的高亮部分以相同电平(rgb削波电平)被削波。由此，消除高亮中带颜色、亮度的协调不自然。

在图37中，纵轴表示从rgb(r+ir、g+ir、b+ir)各信号减去了ir信号时的输出电平，横轴例如表示摄像传感器1上的y轴方向的像素的位置或1个像素的时间经过。在图37的各图表中，在rgb各信号达到了像素饱和电平的状态下，光源的色温度不变，且如上述那样求出的rgb各自的削波电平(限制值)固定的情况下，从像素饱和电平的rgb各信号减去了以限制值(削波电平)被限制(被削波)的ir信号的情况下，rgb各信号的像素饱和电平固定，且与rgb分别对应的ir信号的各限制值固定，因此减去后的rgb信号成为固定的状态，即以信号饱和电平被固定的状态。但是，如图37所示，信号饱和电平根据rgb而不同，到此为止，在高亮部rgbの信号的输出电平不同，因此不会成为白色。因此，在rgb各信号中，将信号饱和电平最低的r信号的信号饱和电平设为共同的rgb削波电平(r信号饱和电平)，使rgb各信号的信号饱和电平与共同的rgb削波电平一致。

即，如图37(a)所示，从r信号减去设有与r信号对应的削波电平(限制值)的ir信号，由此将在减去后的r信号中产生的信号饱和电平(削波电平)设为基准。减去ir信号后的rgb各信号的信号饱和电平中，r信号的信号饱和电平最低，因此如上述那样将r信号设为基准，使减去ir信号后的g信号的信号饱和电平和b信号的信号饱和电平如图37(b)和图37(c)所示那样与等于r信号的信号饱和电平的rgb削波电平一致地下降，由此使rgb各信号的减去ir信号后的信号饱和电平一致。由此，高亮部的各信号的高电平相同，能够防止高亮带颜色。

另外，在以上说明的结构中，设为对ir信号进行削波后从r信号、g信号、b信号减去的结构，但在ir信号成为上述的r信号、g信号、b信号饱和的电平(上述的ir信号的削波电平)以上时，也可以通过乘法器降低ir信号的增益后从r信号、g信号、b信号减去。这样，通过构成为控制减去量，也可以防止高亮部的r信号、g信号、b信号的亮度协调的不自然。此外，在根据rgb信号生成亮度信号并因rgb信号的信号饱和电平的不同而引起带颜色的部分以上的电平中，也可以通过使r-y信号、b-y信号的增益减少，消除颜色的处理，防止带颜色。

图38以框图表示摄像装置10(图26中图示)的信号处理部12(图26中图示)中的信号处理。来自摄像传感器1的r、g、b、ir各像素的输出信号(该信号处理中为来自摄像传感器1的输入信号)，通常若为raw输出，则以线顺序或点顺序输出r、g、b、ir，因此例如在来自摄像传感器1的raw信号的输入部设置各颜色信号的同步化电路(省略图示)。

在该情况下，在同步化电路中通过内插处理(插补处理)，在每个帧的图像数据中分别对r、g、b、ir信号进行变换，以便使全部像素成为由红色r表示的图像数据、使全部像素成为由绿色g表示的图像数据、使全部像素成为由蓝色b表示的图像数据、使全部像素成为由红外ir表示的图像数据。换言之，在全部像素中，成为输出r、g、b和ir信号的状态。另外，内插处理方法可以使用公知的方法。

即，信号处理部12具备未图示的用于进行r+ir、g+ir、b+ir和ir的传感器输出的同步化电路，图38的r+ir、g+ir、b+ir和ir各传感器输出为经过了同步化电路后的信号。

信号处理部12中设有：限幅器20r、20g、20b，其用于以对每个rgb决定的削波电平(限制值)对从rgb信号减去的ir信号进行削波；乘法器22r、22g、22b，其用于对从各限幅器20r、20g、20b输出的ir信号乘上校正值来进行校正；减法器23r、23g、23b，其从r+ir、g+ir、b+ir各信号减去从乘法器22r、22g、22b输出的被削波的ir信号；乘法器24r、24g、24b，其对减去ir信号后的rgb各信号乘上白平衡用的rgb各增益；以及限幅器25r、25g、25b，其用于使减去ir信号且进行白平衡后的rgb各信号中的信号饱和电平一致。

此外，信号处理部12具备计算rgb各信号的ir信号的削波电平(限制值)并将其输出到限幅器20r、20g、20b的控制电路21。此外，控制电路21向乘法器22r、22g、22b输出校正值，向乘法器24r、24g、24b输出为了白平衡而计算出的rgb的各增益，向限幅器25r、25g、25b输出用于使rgb各信号的信号饱和电平一致的rgb削波电平(r信号饱和电平)。此外，信号处理部具备用于根据来自信号处理部12的rgb的输出信号求出白平衡用增益的白平衡检测电路26。

作为ir传感器输出的ir信号，被分别发送到设置在信号处理部12上的r用限幅器20r、g用限幅器20g、b用限幅器20b，如上所述，以对每个颜色设定的ir信号用限制值(削波电平)被削波。

此时，通过控制电路21算出的ir信号的上述红色的削波电平lclip-r、绿色的削波电平lclip-g和蓝色的削波电平lclip-b分别被输出到对应的r用限幅器20r、g用限幅器20g、b用限幅器20b，分别成为r用限幅器20r、g用限幅器20g、b用限幅器20b的限幅值。由此，关于ir信号，通过各限幅器20r、20g、20b，以削波电平对超过削波电平(限制值)的输出电平进行削波。

此外，从r用限幅器20r、g用限幅器20g、b用限幅器20b输出的各值为要从rg各信号减去的ir信号，但通过乘法器22r、22g、22b对该ir各信号乘上从控制电路21输出的校正值。在本结构中，包含在r像素、g像素、b像素中的ir分量大致为与ir像素相同的电平，但由于r像素、g像素、b像素各个的开口差，或者，传感器内部的放大增益的波动等，有可能在信号电平中多少产生误差。即，从限幅器20r、20g、20b输出的值，例如有比必要的值稍微大的趋势，与rgb各信号对应地通过乘法器22r、22g、22b乘以校正值来进行校正。

减法器23r、23g、23b从r+ir、g+ir、b+ir各信号减去这样被削波并被校正后的与rgb对应的ir信号。各乘法器24r、24g、24b对从各减法器23r、23g、23b输出的信号乘上通过白平衡处理算出的rgb的各增益来进行白平衡。向各乘法器24r、24g、24b输入根据由白平衡检测电路26检测出的各rgb的信号通过控制电路21计算出的rgb各自的增益。此外，从各乘法器24r、24g、24b输出的rgb各信号减去被削波的ir信号而成为被削波的状态。

即，在rgb各信号以像素饱和电平被削波的状态下，如上述那样减去被以限制值限制的ir信号时，以从像素饱和电平减去限制值而得的值即信号饱和电平被削波。当这些rgb各信号的信号饱和电平不同时，在高亮部带有颜色，因此为了使rgb各信号饱和电平一致，限幅器25r、25g、25b设置限幅值以便在rgb各信号中成为相同的rgb削波电平。在此，以rgb削波电平为限幅值，使r信号的信号饱和电平与g信号和b信号的削波电平一致。

以r(r+ir)信号为例说明上述那样的信号处理。将从摄像传感器1输出的r信号设为通过同步化电路被内插而在摄像传感器1中作为图像而利用的全部像素中的每个像素的r信号。同样地，g信号、b信号、ir信号也通过同步化电路来处理，并被设为作为图像而利用的全部像素中的每个像素的g信号、b信号、ir信号。

将ir信号发送给限幅器20r。向限幅器20r输出通过控制电路21如上述那样算出的r信号用ir信号的限制值即lclip-r，其成为限幅器20r的限幅值。因此，通过了限幅器20r的ir信号通过限制值被削波以便成为削平。即，超过限制值的ir信号的输出电平成为限制值。

这样以限制值被削波的ir信号被发送到乘法器22r，乘上通过控制电路21算出的(或存储的)校正值而被校正后发送倒减法器23r。向减法器23r输入上述被同步化的r信号，并且输入如上述那样被限制且校正后的ir信号，从r信号减去ir信号的值。接着，减去ir信号后的r信号被发送到乘法器24r。向乘法器24r输入r信号和通过上述的白平衡检测电路26和控制电路21求出的r信号的增益，并对r信号乘上增益。

从乘法器24r输出进行白平衡处理后的r信号。将该r信号输入到限幅器25r。从控制电路21将上述的rgb削波电平发送给限幅器25r，将该rgb削波电平设为限幅值，超过rgb削波电平的r信号被削波。但是，在该信号处理部12中，rgb削波电平与r信号饱和电平相等，减去ir信号后的r信号已是以r信号饱和电平被削波的状态，因此关于r信号，限幅器25r的处理并不是必须的。另外，g信号和b信号在限幅器25g、25b中与r信号的饱和电平相等，将rgb削波电平作为限幅值。而以rgb削波电平被削波。

同样地，g信号、b信号被处理，处理后的rgb各信号如图1所示那样作为可见光的彩色图像的输出信号14而被输出。此外，ir信号经过同步化电路后，作为红外光图像的输出信号15而被输出。另外，作为红外图像信号而输出的ir信号不会以上述的限制值被限制。

图39所示的框图是图38所示的框图的变形例。图39所示的框图与图38所示的框图的区别在于，在图38所示的框图中，在白平衡用乘法器24r、24g、24b后配置有用于使减去ir信号后的各rgb信号的信号饱和电平一致的限幅器25r、25g、25b，与此相对，在图39中，在用于使减去ir信号后的各rgb信号的削波电平一致的限幅器25r、25g、25b后配置有白平衡用乘法器24r、24g、24b。

由此，在图38中，在进行白平衡后的rgb各信号中使信号饱和电平一致，与此相对，在图39中，使rgb各信号的信号饱和电平一致后进行白平衡处理。

根据这样的摄像处理系统和摄像处理方法，通过使用dbpf5不需要切换红外截止滤波器的使用、非使用，在能够进行可见光下的彩色拍摄和红外光下的拍摄的照相机(摄像装置)中，如上述那样，能够防止高亮部的亮度下降和高亮部不是白色而是成为带颜色的状态。

接着，对第7实施方式进行说明。在上述的第6实施方式中，说明了使用rgb-ir彩色滤光片时的削波电平(控制值)，但在本实施方式中，对rgb-c的削波电平进行说明。

在rfb-ir的摄像传感器1中，相对于在rgb各信号中包含ir分量，ir信号仅为ir分量，因此即使rgb各信号饱和ir信号也不饱和。在此，rgb信号饱和后去除电平变高的ir分量时，如上述那样rgb达到饱和后去除ir分量，由此下降至饱和电平以下，并且基本上ir光量越多，则rgb的饱和后的值越低。

与此相对，在rgb-c的摄像传感器1中，在可见光波段成为c＝r+g+b，因此使rgb与范围对应的情况下，如图40所示，c像素达到饱和电平。

在该情况下，c像素达到饱和电平时，在可见光波段成为c＜r+g+b。由此，在如上述那样通过计算求出ir’的情况下，成为ir’＝ir+(r+g+b-c)/2，因此在c达到饱和电平时，(r+g+b-c)大于0，因此如图41所示，通过计算求出的ir’＞实际的ir。

这样c达到饱和电平时，从r、g、b、c去除通过计算求出的ir’分量时，关于c，虽然以饱和电平信号电平成为削平，但ir分量在c达到饱和电平后有可能上升，并且，c饱和后，如图41所示那样成为ir’＞ir，因此将其从饱和的c去除时，如图42所示那样，实际光量水平变高时信号电平下降。此外，c以外的rgb的信号电平也在饱和后成为ir’＞ir，因此没有达到c那样的程度，但是，有可能随着实际光量水平变高，信号电平下降。

因此，在第7实施方式中，以各信号不成为预定值以上的方式进行削波，并且，从该rgb各信号分离ir信号。

首先，检测r/g/b/w/ir的信号电平。

接着，如下所示地求出r、g、b、w中的削波电平。

(w削波电平)＝(通过w像素(c像素)的饱和电平算出)

(r削波电平)＝(w削波电平)(r电平+ir电平)/(w电平+ir电平)

(g削波电平)＝(w削波电平)(g电平+ir电平)/(w电平+ir电平)

(b削波电平)＝(w削波电平)(b电平+ir电平)/(w电平+ir电平)

在检测w的信号电平时，该信号电平成为削平，根据其以下的饱和电平计算出w削波的电平。通过上述公式算出rgb各削波电平，通过w电平达到饱和电平来计算出削波电平。

在进行这样的削波处理的情况下，上述的分离装置51成为如图43所示那样的框图。在颜色分离装置61中通过内插法等，各像素的r、g、b、w的信号电平被分离后发送给电平检测/削波电平计算装置63和削波处理装置62。在电平检测/削波电平计算装置63中，根据上述的公式和检测出的r、g、b、w的电平，计算出r、g、b、w的各削波电平。将通过削波电平计算装置63计算出的r、g、b、w各自的削波电平发送给削波处理装置62，在输入到削波处理装置62的r、g、b、w的信号电平超过削波电平的情况下进行限幅的处理。将这样的从削波处理装置62输出的r、g、b、w的信号电平输入到ir校正/ir生成装置64中。在ir校正/ir生成装置64中，从r、g、b、w各信号去除ir信号，并且生成ir信号。

如图44所示那样，削波电平计算装置63根据通过颜色分离装置61分离后的r、g、b、w的各信号电平，通过ir矩阵装置66求出ir信号电平，向ir校正装置67输入ir信号和包含ir分量的r、g、b、w的各信号电平，进行从r、g、b、w的各信号电平去除ir信号电平的ir校正。

从ir矩阵装置66向电平检测装置68输入ir的信号电平，从ir校正装置67向电平检测装置68输入去除ir分量后的r、g、b、w的各信号电平。

通过电平检测装置68检测出的r、g、b、w、ir的各信号电平被输入到削波电平计算装置69，在削波电平计算装置69中如上述那样计算出r、g、b、w的各信号电平的削波电平。

根据这样求出的r、g、b、w的各削波电平，在削波处理装置62中，在r、g、b、w的各信号电平超过削波电平的情况下，如图45所示那样，以削波电平将各信号电平设为削平。

根据这样被削波的r、g、b、w的各信号，与上述的第3实施方式同样地，求出ir分量，并且从包含ir分量的r、g、b、w信号分离ir分量。此时，如图46所示那样通过计算求出的ir信号也以w成为饱和电平时的ir的信号电平被削波而成为削平状态。由此，如图47所示那样，从r、g、b、w各信号电平去除ir分量后，也成为以ir分量去除后的削波电平被削波的状态。

在该情况下，从r、g、b、w各信号电平求出的亮度信号也成为被削波的状态。因此，如图48所示那样，通过使用进行颜色分离、ir分离、ir校正的分离装置51的变形例，能够防止亮度电平被削波，w像素达到饱和电平后也能够使饱和电平保持协调。

在该分离装置51的变形例中，如图48所示那样，在颜色分离装置61中通过内插法等各像素的r、g、b、w的信号电平被分离后，被发送给电平检测/削波电平计算/ir信号生成装置63和削波处理装置62。在电平检测/削波电平计算装置63中，通过上述的公式和检测出的r、g、b、w的电平，计算出r、g、b、w的各削波电平。将通过削波电平计算装置63计算出的r、g、b、w各自的削波电平发送给削波处理装置62，在输入到削波处理装置62的r、g、b、w的信号电平超过削波电平的情况下进行削波的处理。将这样的从削波处理装置62输出的r、g、b、w的信号电平输入到第1ir校正/ir生成装置64中。在第1ir校正/ir生成装置64中，从被削波的r、g、b、w各信号去除ir信号，并且生成ir信号。将通过第1ir校正/ir生成装置64求出的rgb信号作为颜色信号，例如色差信号而使用。

此外，该变形例具有第2ir校正/ir生成装置65。从颜色分离装置61向第2ir校正/ir生成装置65输入没有被削波的r、g、b、w信号，进行ir生成和ir校正，输出去除ir分量后的rgb信号。在此，rgb信号与w信号相比成为难以达到饱和电平的信号，难以削平。通过在亮度的计算中使用该rgb信号，如图49所示那样，能够防止亮度电平被削波，即使在亮度高的状态下虽然亮度多少被削波，但是也能够保持协调。

接着，对第8实施方式进行说明。在第8实施方式中，与第7实施方式同样地决定r、g、b、w各信号的削波电平。在第8实施方式中，与第7实施方式同样地不决定r、g、b各信号的削波电平，而决定ir信号和w信号的削波电平，如图50所示那样，通过由限幅处理以控制值被削波的ir信号来进行ir校正。

根据w的饱和电平设定w的削波电平。

(w削波电平)＝(通过w像素(c像素)的饱和电平计算出)

根据以下的公式决定ir的削波电平。

(ir削波电平)＝(w削波电平)(ir电平)/(w电平+ir电平)

由此，如图50所示那样，w的信号相对于达到饱和电平的w的信号电平略饱和时，在上述那样去除被削波的ir信号电平的情况下，w的信号电平以低于饱和电平的信号电平被削波。

在进行从rgb各信号电平去除被削波的ir信号的校正的情况下，当设为rgb各信号电平在使用条件的范围内达不到饱和电平时，如图51所示那样，rgb各信号电平在去除ir信号的情况下，ir信号达到削波电平后，rgb的信号电平也可能上升，因此rgb各信号有可能不被削波而上升。

在第8实施方式的图52所示的分离装置51中，在颜色分离装置61中通过内插法等各像素的r、g、b、w的信号电平被分离后，向ir信号生成装置71和ir校正装置64输出分离后的r、g、b、w信号。在ir信号生成装置71中求出生成的ir信号的削波电平，将超过削波电平时被削波的ir信号输出到ir校正装置64。在ir校正装置64中，从r、g、b、w各信号电平去除ir信号。

如图53所示那样，在ir信号生成装置71中，从颜色分离装置61将r、g、b、w各信号发送给ir校正装置72和ir矩阵装置73，将通过ir矩阵装置73生成的ir信号输出到ir校正装置72和限幅处理装置74，在ir校正装置72中进行从r、g、b、w各信号电平去除ir信号的ir校正，将校正后的r、g、b、w信号和ir信号发送给电平检测装置75，将r、g、b、w信号和ir信号发送给限幅电平计算装置76，将ir信号的限幅电平(削波电平)输入到限幅处理装置74中。从ir矩阵装置73向限幅处理装置74输入ir信号电平，在ir信号电平超过限幅电平的情况下，成为被削波为限幅电平的状态。

在这样的第8实施方式中，与第7实施方式同样地，能够防止在r、g、b、w的信号电平上升的状态下反而下降的情况，并且即使在w的信号电平饱和的状态下，也能够使rgb各信号电平保持协调。此外，由此亮度信号也能够在w的信号电平饱和的状态下保持协调。

另外，可以将亮度信号的生成式设为

y＝(kr＊r+kg＊g+kb＊b+kw＊w)+kir＊ir。

通过改变ir的比率，能够控制灵敏度。另外，在夜间，在进行ir照明的情况下，没有可见信号，全部像素是ir信号。在该情况下，关闭ir校正，从全部像素的信号生成亮度信号，由此能够以高分辨率生成高灵敏度的亮度信号。在照相机内内置有ir照明的情况下，与此协作地切换信号处理。

此时的ir照明时的亮度生成式为

y＝kr＊r+kg＊g+kb＊b+kw＊w(关闭ir校正)。

另外，在各像素中，透过dbpf5的第2波段和各滤光片的红外照明的光的受光量变得比可见光波段的受光量多，基本上，各像素成为输出红外光的信号电平的状态。

符号说明

1摄像传感器、

2摄像传感器本体、

3彩色滤光片(滤光片)、

3a彩色滤光片(滤光片)、

3b彩色滤光片(滤光片)、

3c彩色滤光片(滤光片)、

5dbpf(光学滤光片：滤光片)、

a第3波段、

b第4波段、

ir第1波段、

dbpf(ir)第2波段、

dbpf(vr)可见光波段。