摄像装置和图像处理系统的制作方法

本发明涉及摄像装置和图像处理系统。特别地，本发明涉及适合用于捕获可见光图像和红外光图像的摄像装置和图像处理系统。

背景技术：

随着半导体处理工艺的进步，提出了如下一种摄像装置，该摄像装置被构造成使得拜耳阵列中的一个像素被划分为多个像素(例如，参见专利文献1的图14)。具有这种构造的摄像装置的优点在于，可以通过相加和读取相同颜色的像素来获得具有优异的s/n比的图像，可以通过执行全分辨率去马赛克处理(fullresolutiondemosaicprocessing)来获得高分辨率图像，并且通过针对与拜耳阵列中的一个像素相对应的多个像素设置不同的曝光条件，可以在不需要多次摄像的情况下获得高动态范围(hdr：hightdynamicrange)图像。

引用列表

专利文件

专利文献1：日本专利申请特开号2011-29379

技术实现要素：

本发明要解决的问题

近年来，提出了对图像信息进行测量处理等的感测处理，并使用诸如被摄体的尺寸或被摄体的重心的位置、到被摄体的距离以及被摄体的移动量之类的信息作为感测信息。

优选的是，可以在用于感测处理的图像信息和用于图像显示(观看)的图像信息之间不存在视差的状态下来获取这两种图像信息。因此，优选的是，从一个摄像装置获得用于感测处理等的红外光图像和用于观看处理等的可见光图像。然而，在将拜耳阵列中的一个像素划分为多个像素的构造中，不可能从一个摄像装置获得红外光图像和可见光图像。

本发明的目的是提供具有将拜耳阵列的一个像素划分为多个像素并且还可以获取红外光图像的构造的优点的摄像装置和使用该摄像装置的图像处理系统。

问题解决方案

用于实现上述目的的根据本发明的摄像装置包括：

像素阵列部，在像素阵列部中排列有多个像素组，每个像素组由以2×2矩阵布置的四个像素构成，

作为由四个像素构成的像素组，形成有：

第一像素组，其由三个接收红色光的像素和一个接收红外光的像素构成，

第二像素组，其由三个接收蓝色光的像素和一个接收红外光的像素构成，

第三像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

第四像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，并且

由第一像素组、第二像素组、第三像素组和第四像素组构成的四个像素组布置并形成一组的2×2个单元，其中，第一像素组和第二像素组对角地定位，并且第三像素组和第四像素组对角地定位。

根据本发明的用于实现上述目的的图像处理系统包括：

对被摄体进行摄像的摄像装置和处理来自摄像装置的信号的信号处理部，

其中，摄像装置包括像素阵列部，在像素阵列部中排列有多个像素组，每个像素组由以2×2矩阵排列的四个像素构成，

作为由四个像素构成的像素组，形成有

第一像素组，其由三个接收红色光的像素和一个接收红外光的像素构成，

第二像素组，其由三个接收蓝色光的像素和一个接收红外光的像素构成，

第三像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

第四像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

由第一像素组、第二像素组、第三像素组和第四像素组构成的四个像素组布置并形成一组的2×2个单元，其中，第一像素组和第二像素组对角地定位，并且第三像素组和第四像素组对角地定位。

附图说明

图1是使用根据第一实施例的摄像装置的图像处理系统的基本构造图。

图2是用于说明摄像装置的构造的示意性平面图。

图3是用于说明参考例的摄像装置中的像素阵列的示意性平面图。

图4是用于说明根据第一实施例的摄像装置中的像素阵列的示意性平面图。

图5是用于说明像素阵列与片上透镜阵列之间的关系的示意性平面图。

图6是摄像装置的示意性局部端视图。

图7是滤光片的光谱透射率的示意性图表。

图8是示出伴随全分辨率去马赛克处理(fullresolutiondemosaicprocessing)的图像处理的过程的示意性过程图。

图9a和9b是用于说明在全分辨率去马赛克处理中用于插值的像素的关系的示意图。

图10是示出伴随像素相加处理的图像处理的过程的示意性过程图。

图11是示出伴随hdr处理的图像处理的过程的示意性过程图。

图12a是用于说明具有不同曝光时间的像素的阵列的示意性平面图。图12b是用于说明连接至像素的扫描线与控制对象像素之间的关系的示意性平面图。

图13是用于说明双带通滤光片的光谱透射率的示意性图表。

图14是用于解释当双带通滤光片和彩色滤光片重叠时的光谱透射率的示意性图表。

图15是用于说明根据第二实施例的摄像装置中的像素阵列的示意性平面图。

图16是用于说明像素阵列和片上透镜阵列之间的关系的示意性平面图。

图17是在图16之后用于说明的像素阵列和片上透镜阵列之间的关系的示意性平面图。

图18是包括图17所示的片上透镜的摄像装置的示意性局部端视图。

图19是示出伴随全分辨率去马赛克处理的图像处理的过程的示意性过程图。

图20是示出伴随像素相加处理的图像处理的过程的示意性过程图。

图21是用于说明在滚动快门操作期间捕获红外光图像时环境红外光的影响的示意性操作图。

图22是在图21之后用于说明在滚动快门操作期间拍摄红外光图像时周围的红外光的影响的示意性操作图。

图23是示出伴随hdr处理的图像处理的过程的示意性过程图。

图24a是用于说明具有不同曝光时间的像素的阵列的示意性平面图。图24b是用于说明连接至像素的扫描线与控制对象像素之间的关系的示意性平面图。

图25是根据第三实施例的执行认证处理和观看处理的图像处理系统的基本构造图。

图26是示出伴随认证处理和观看处理的图像处理的示意性过程图。

图27是示出当使用根据第一实施例的摄像装置时伴随认证处理和观看处理的图像处理的过程的示意性过程图。

图28是摄像装置的示意性局部端视图，其用于说明能够减少红外光对接收可见光的像素的影响的滤光片构造。

图29是用于说明像素阵列的第一变形例的示意性平面图。

图30是用于说明像素阵列的第二变形例的示意性平面图。

图31是用于说明像素阵列的第三变形例的示意性平面图。

图32是用于说明像素阵列的第四变形例的示意性平面图。

图33是用于说明像素阵列的第五变形例的示意性平面图。

图34是用于说明像素阵列的第六变形例的示意性平面图。

图35是示出车辆控制系统的示意性构造的示例的框图。

图36是示出了车辆外部信息检测部和摄像部的安装位置的示例的说明图。

具体实施方式

在下文中，将基于参照附图的实施例说明本发明。本发明不限于这些实施例，并且实施例中的各种数值和材料是示例。在下面的说明中，相同的元件或具有相同功能的元件将由相同的附图标记表示，而无需重复说明。注意，将按照以下顺序给出说明。

1.本发明的摄像装置和图像处理系统的总体说明

2.第一实施例

3.第二实施例

4.第三实施例

5.各种变形例

6.应用示例

7.本发明的构造

[本发明的摄像装置和图像处理系统的总体说明]

如上所述，本发明的摄像装置和在本发明的图像处理系统中使用的摄像装置(在下文中，在某些情况下，这些摄像装置被统称为“本发明的摄像装置”)包括：

像素阵列部，在像素阵列部中排列有多个像素组，每个像素组由布置成2×2矩阵的四个像素构成。

作为由四个像素由的像素组，形成有：

第一像素组，其由三个接收红色光的像素和一个接收红外光的像素构成，

第二像素组，其由三个接收蓝色光的像素和一个接收红外光的像素构成，

第三像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

第四像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成。

由第一像素组、第二像素组、第三像素组和第四像素组构成的四个像素组布置并形成一组的2×2个单元，其中，第一像素组和第二像素组对角地定位，并且第三像素组和第四像素组对角地定位。

在本发明的摄像装置中，在每个像素组中，接收红外光的像素可以设置在相同位置。在这种情况下，可以在每个像素中布置片上透镜。

在本发明的具有上述各种优选构造的摄像装置中，红色滤光片、绿色滤光片和蓝色滤光片中的任何一者可以布置为对应于接收红色光、绿色光或蓝色光的像素，并且红外光透射滤光片可以布置为对应于接收红外光的像素。红外光透射滤光片可以通过层叠红色滤光片、绿色滤光片和蓝色滤光片中的至少两者来形成。更优选地，红外光透射滤光片优选地通过层叠红色滤光片和蓝色滤光片二者来形成。

或者，在本发明的摄像装置中，接收红外光的像素可以设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻像素组中，这些接收红外光的像素以2×2矩阵布置。

即使在这种情况下，也可以在每个像素中布置片上透镜。或者，可以在接收红色光、绿色光和蓝色光的像素中的每个像素中布置片上透镜，且可以在以2×2矩阵布置且接收红外光的像素中布置公共片上透镜。

在布置有公共片上透镜的构造中，通过以2×2矩阵布置并接收红外光的像素来检测像面相位差，从而可以在获得红外光图像的同时还获得距离信息。

此外，红色滤光片、绿色滤光片和蓝色滤光片中的任何一者可以布置为对应于接收红色光、绿色光或蓝色光的像素，并且可以在以2×2矩阵布置并且接收红外光的像素中布置公共红外光透射滤光片。在这种情况下，公共红外光透射滤光片可以通过层叠红色滤光片、绿色滤光片和蓝色滤光片中的至少两者来构造。

在本发明的包括上述各种优选构造的摄像装置中，可以针对每个像素生成具有红色分量、绿色分量和蓝色分量的图像数据。利用这种构造，可以提高图像的分辨率。

或者，可以使每个像素组中的相同颜色的像素的数据相加以生成图像数据。利用这种构造，可以通过相加相同颜色的像素来提高s/n比。在接收红外光的像素以2×2矩阵布置的情况下，可以将四个像素的数据相加以生成图像数据。特别地，如果像素阵列部被构造为相加和读取多个像素的累积电荷，则可以提高读取速度。

或者，每个像素组中的除接收红外光的像素之外的三个像素可以根据像素在不同的曝光条件下曝光。利用该构造，可以通过使用具有不同曝光条件的图像信息来获取高动态范围图像。

在这种情况下，

在每个像素组中，接收红外光的像素可以设置在相同位置，

在每个像素行中可以布置有一对扫描线，并且

每个图像行中的像素可以以一个像素为单位交替地连接到一条扫描线和另一条扫描线。

或者，在这种情况下，

接收红外光的像素可以设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻像素组中，这些接收红外光的像素以2×2矩阵布置，

可以在每个像素行中布置有一对扫描线，并且

每个图像行中的像素以两个像素为单位交替连接到一条扫描线和另一条扫描线。

使用本发明的具有上述各种优选构造的摄像装置的图像处理系统可以进一步包括向被摄体照射红外光的光源部。

此外，本发明的具有上述优选构造的图像处理系统还可以包括基于红外光图像执行认证处理的认证处理部。

在这种情况下，接收红外光的像素可以设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻像素组中，这些接收红外光的像素以2×2矩阵布置，

在以2×2矩阵布置并接收红外光的像素中可以布置公共片上透镜，并且

认证处理部可以被构造为通过使用红外光图像和基于接收红外光的像素的像面相位差而生成的深度图中的至少一者来执行认证处理。

本发明的包括上述优选形式和构造的摄像装置的示例可以包括cmos图像传感器等。摄像装置可以是正面照射型或背面照明型。然后，本发明的摄像装置和图像处理系统的示例可以包括智能电话、用于游戏的用户界面相机、生物特征认证相机等。包括本发明的摄像装置的各种装置可以获取没有视差的正常可见光图像和红外光图像，并且可以适当地执行图像处理。

在其上形摄像素阵列部的基板的示例可以包括半导体基板，特别是硅半导体基板。硅半导体基板除了吸收可见光之外还吸收具有约1μm的波长的光。因此，形成在硅基板上的诸如光电二极管或光电晶体管之类的光电转换元件除了对可见光执行光电转换之外还可以对红外光执行光电转换。

彩色滤光片和红外光透射滤光片的示例可以包括允许红色、绿色、蓝色等的特定波长透射的滤光片层。各种滤光片可以由例如使用诸如颜料和染料之类的有机化合物的基于有机材料的材料层构成。

除彩色滤光片和红外光透射滤光片之外，可以基于诸如各种化学气相沉积法(cvd法)、涂覆方法和各种物理气相沉积方法(pvd法)之类的已知方法来形成构成摄像装置的层间绝缘层、平坦化层等。此外，图案化方法的示例可以包括诸如光刻技术和蚀刻技术的组合以及剥离方法之类的已知方法。

在本发明的摄像装置中，可以在像素上方布置片上透镜(ocl)，以提高光收集效率。片上透镜优选地包括作为透明材料并且具有高折射率的材料。

在摄像装置中使用的层间绝缘层或平坦化层由透明材料构成的情况下，例如，不具有光吸收特性的绝缘材料，具体地，基于siox的材料(基于硅的氧化物膜的组成材料)、低介电常数绝缘材料(例如sin、sion、sioc、siof、sicn和有机sog)、基于聚酰亚胺的树脂、基于氟的树脂等可用作所述材料。基本上，片上透镜也类似。

本发明的图像处理系统可以包括光学部，该光学部包括对来自被摄体等的光进行聚焦的透镜、向被摄体照射红外光的光源部以及必要部件。光源部的构造没有特别限制，并且可以使用诸如红外线发光二极管之类的已知发光元件。

处理来自摄像装置的信号的信号处理部可以被构造为基于硬件的物理连接进行操作，或者可以被构造为基于程序进行操作。认证处理部、观看处理部和控制整个图像处理系统的控制部等也类似。此外，图像处理系统可以被集成为一个单元或者可以被构造为单独的主体。

在本说明书中说明的各种要求中，例如，允许存在由设计或制造引起的各种差异。此外，在以下说明中使用的附图是示意性的。例如，稍后说明的图6示出了摄像装置的端面结构，但是未示出宽度、高度、厚度等的比率。

[第一实施例]

第一实施例涉及根据本发明的摄像装置和使用该摄像装置的图像处理系统。

图1是使用根据第一实施例的摄像装置的图像处理系统的基本构造图。图2是用于说明摄像装置的构造的示意性平面图。

图1所示的图像处理系统1包括：

对被摄体摄像的摄像装置100和处理来自摄像装置100的信号的信号处理部200。此外，图像处理系统还包括：

聚焦来自被摄体的光的光学部(摄像透镜)300，以及

光源部400，其向被摄体照射红外光。

整个图像处理系统1的操作由控制部(未示出)等控制。

在图2所示的摄像装置100中，例如，在半导体基板上形成有像素阵列部102和用于驱动像素阵列部102的驱动部110，像素101以二维阵列排列在像素阵列部102中，例如，半导体基板使用硅(si)作为半导体材料。驱动部110包括列处理部111、水平驱动部112、垂直驱动部113等。摄像装置100是所谓的cmos图像传感器。

像素101包括例如使用光电二极管(pd)等的光电转换部、像素晶体管等。尽管取决于像素的构造，但像素晶体管例如包括各种晶体管，例如传输晶体管、选择晶体管、复位晶体管和放大晶体管。

接下来，将说明驱动部110的基本操作。

垂直驱动部113例如由移位寄存器构成，选择预定的扫描线104，并以行为单位驱动与所选择的扫描线104连接的像素101。垂直驱动部113在垂直方向上选择性地扫描像素阵列部102，并且通过信号线103将基于每个像素101根据接收的光量产生的信号电荷的像素信号提供给列处理部111。

列处理部111针对每个像素列布置。列处理部111对从像素101输出的一行信号进行处理，并进行相关双采样(cds)和a/d转换等的处理。

类似于垂直驱动部113，水平驱动部112也例如由移位寄存器构成。水平驱动部112顺序地选择布置在每个像素列中的每个列处理部111，并输出像素信号。

在上文中，对驱动部110的基本操作进行了说明。

注意，像素101可以被构造为使得可以取决于摄像装置100的操作模式来执行用于共同处理多个相邻像素的合并操作(binningoperation)。在合并操作的情况下，一些像素晶体管以被多个像素共用的方式操作。

此外，图2示出了在每一像素行和每一像素列中布置一条扫描线104和一条信号线103，但这仅是示例。例如，在通过一次摄像获取hdr图像的情况下，必须根据像素来控制曝光时间。在这种情况下，有必要在至少一些像素行中布置多条扫描线。

接下来，说明像素阵列部的像素布置。为了方便对本发明的理解，首先，说明参考示例的摄像装置的像素布置，并然后说明第一实施例。

图3是用于说明参考例的摄像装置中的像素阵列的示意性平面图。

在参考示例的像素阵列部902中，以将常规拜耳阵列中的一个像素替换为以2×2矩阵布置的四个像素的形式来排列像素。在附图中，附图标记r表示接收红色光的像素，附图标记g表示接收绿色光的像素，并且附图标记b表示接收蓝色光的像素。其他附图也类似。

该像素阵列的优点在于，可以通过相加和读取相同颜色的像素来获得具有优异的s/n比的图像，可以通过执行全分辨率去马赛克处理来获得高分辨率图像，并且可以通过为与拜耳阵列中的一个像素相对应的多个像素设置不同的曝光条件而在不需要多次摄像的情况下获得高动态范围。然而，不能从一个摄像装置获得红外光图像和可见光图像。

图4是用于说明根据第一实施例的摄像装置中的像素阵列的示意性平面图。

摄像装置100包括像素阵列部102，在像素阵列部102中排列有多个像素组，每个像素组由以2×2矩阵布置的四个像素构成。

具体地，作为由四个像素构成的像素组，形成有：

第一像素组gp1，其由三个接收红色光的像素和一个接收红外光的像素构成，

第二像素组gp2，其由三个接收蓝色光的像素和一个接收红外光的像素构成，

第三像素组gp3，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

第四像素组gp4，其由三个接收绿色光的像素和一个接收红外光的像素构成。

由第一像素组gp1、第二像素组gp2、第三像素组gp3和第四像素组gp4构成的四个像素组布置并形成一组的2×2个单元，其中，第一像素组gp1和第二像素组gp2对角地定位，并且第三像素组gp3和第四像素组gp4对角地定位。稍后说明的第二实施例也类似。注意，接收红外光的像素由附图标记ir表示。其他附图也类似。

在每个像素组中，接收红外光的像素设置在相同位置。图4示出了如下情况的示例：接收红外光的像素设置在每个像素组中的2×2行的右下侧。

在上文中，说明了像素阵列。接下来，将说明像素阵列与片上透镜阵列之间的关系以及各种组件之间的布置关系。

图5是用于说明像素阵列和片上透镜阵列之间的关系的示意性平面图。图6是摄像装置的示意性局部端视图。

如图5和6所示，在摄像装置100中，片上透镜41针对每个像素布置。此外，如图6所示，红色滤光片30r、绿色滤光片30g和蓝色滤光片30b中的任一者布置为对应于接收红色光、绿色光或蓝色光的像素。然后，红外光透射滤光片30ir布置为对应于接收红外光的像素。注意，在某些情况下，上述滤光片被统称为滤光片30。

在图6中，为了便于说明，将用于红色光、绿色光、蓝色光和红外光的组件示出为排列成行。滤光片30和片上透镜41布置为使得它们层叠在每个像素中包括的光电转换部11的光入射表面侧。

光电转换部11形成在例如包括硅的半导体基板10上。注意，未示出形成光电转换部11的光电二极管等以及与其连接的布线等。附图标记21表示布置并定位在彼此相邻的光电转换部11之间的遮光层，并且附图标记20表示覆盖遮光层21等的平坦化层。此外，在平坦化层上形成滤光片30。透明材料层40形成为覆盖滤光片30的整个表面。透明材料层40的表面形成为与每个光电转换部11相对应的透镜形状，并构成片上透镜41。

滤光片30以如下方式形成：通过使用具有光刻性能的材料来构成用于形成滤光片的材料层，并且通过曝光等来进行图案化。或者，滤光片还可以以如下方式形成：在材料层的上层上形成光致抗蚀剂，并通过光刻技术选择性地保留光致抗蚀剂，并且通过干法蚀刻等的处理来进行图案化。

图7是滤光片的光谱透射率的示意图。如图所示，在市场上分布的用于摄像装置的彩色滤光片通常在长于800nm的波长侧表现出接近100％的透射率。注意，如稍后说明的图28所示，可以通过层叠红色滤光片、绿色滤光片和蓝色滤光片中的至少两者来形成红外光透射滤光片。

如上所述，在摄像装置100中，每个像素组包括用于红色光的三个像素、用于绿色光的三个像素或用于蓝色光的三个像素，并且包括一个红外光像素。因此，可以获得其中将拜耳阵列中的一个像素划分为多个像素并获取红外光图像的构造的优点。

在图1所示的图像处理系统1中，可以通过针对每个像素生成具有红色分量、绿色分量和蓝色分量的图像数据来获得高分辨率图像。在下文中，参考图8给出说明。

图8是示出伴随全分辨率去马赛克处理的图像处理的过程的示意性过程图。为了便于说明，示意性地示出了用于包括第一像素组gp1、第二像素组gp2、第三像素组gp3和第四像素组gp4的4×4行中的总共16个像素的处理。稍后说明的其他附图也类似。

来自摄像装置100的像素信号被分离成用于红色光的像素、用于绿色光的像素和用于蓝色光的像素(在下文中，这些像素在某些情况下被称为可见光像素)的像素信号以及红外光像素的像素信号(步骤s11：ir/可见分离)。在此，将分离的信号称为rgb信息或ir信息。此外，为了便于说明，在某些情况下将像素的附图标记描述为表示像素的信息。稍后说明的其他附图也类似。

对rgb信息适当地进行插值处理以生成高分辨率信息(步骤s12：rgb信息插值)。接下来，执行拜耳化处理(步骤s14：拜耳化)。

如参考图7所述，除目标光之外，滤光片还对红外区域中的波长表现出透明性。在图8中，拜耳信息被示意性地表示为(r+ir，g+ir，b+ir)。在此，诸如“+ir”之类的说明表示除可见光分量之外还包括红外光分量。稍后说明的其他附图也类似。

对ir信息适当地进行插值处理，使得该信息对应于常规拜耳阵列(步骤s13：ir信息插值)。

步骤s12和s13中的插值处理没有特别限制，并且可以使用已知方法来执行。这里，将参考附图说明步骤s13中的插值处理的示例。

图9a和9b是用于解释在全分辨率去马赛克处理中用于插值的像素的关系的示意图。

在图9a中，例如，可以通过使用位于像素r14周围的红外光像素(附图标记ir2、ir3、ir4和ir23)的信息利用以下公式的计算来插值与由附图标记附图标记r14表示的像素相对应的ir信息(由附图标记ir14表示)

ir14＝(ir2+ir3+ir4+ir23)/4。

此外，在图9b中，例如，可以通过使用位于像素r14上方和下方的红外光像素(附图标记ir4和ir23)的信息经过计算来插值与由附图标记r24表示的像素相对应的ir信息(由附图标记ir24表示)

ir24＝(ir4+ir23)/2。

上文中，说明了插值处理。接下来，参考图8说明步骤s14和步骤s13之后的过程。

通过将插值后的ir信息从插值后的rgb信息分离来去除插值后的rgb信息中包含的红外光分量(步骤s15：ir分量去除)。更具体地，在如下状态下执行所述处理：根据摄像装置100等的规格，将插值之后的ir信息乘以预定系数。在图8中，将去除了红外光分量的信息示意性地表示为(r，g，b)。

步骤s15之后的rgb信息是正常拜耳阵列的信息，并且是其中红外光的影响也被减小的信息。基于此，可以通过执行常规的拜耳处理来获得高分辨率图像信息(步骤s16：拜耳处理)。

在上文中，说明了获得高分辨率图像的过程。

此外，在图1所示的图像处理系统1中，通过使每个像素组中的相同颜色的像素的数据相加以生成图像数据，可以获得具有优异的s/n的图像。在下文中，参考图10给出说明。

图10是示出伴随像素相加处理的图像处理的过程的示意性过程图。

将来自摄像装置100的像素信号分离为可见光像素的像素信号和红外光像素的像素信号(步骤s21：ir/可见分离)。该步骤类似于图8中说明的过程，因此省略了说明。

关于rgb信息，针对每个像素组执行使相同颜色的像素信息相加的处理(步骤s22：rgb信息相加)。通过使多个像素的信息相加，提高了s/n。

关于ir信息，执行使四个像素组中包括的所述信息相加的处理(步骤s23：ir信息相加)。

通过将相加后的ir信息从相加后的rgb信息分离来去除相加后的rgb信息中包含的红外光分量(步骤s24：ir分量去除)。更具体地，在如下状态下执行所述处理：根据摄像装置100等的规格，将相加后的ir信息乘以预定系数。

步骤s24之后的rgb信息是分辨率降低的常规拜耳阵列的信息，并且是红外光的影响也降低的信息。基于此，可以通过执行正常的拜耳处理来获得图像信息(步骤s25：拜耳处理)。

在上文中，说明了获得具有优异的s/n的图像的过程。

此外，在图1所示的图像处理系统1中，当每个像素组中的除接收红外光的像素之外的三个像素根据像素在不同的曝光条件下曝光时，可以获得动态范围优异的图像。在下文中，参考图11给出说明。

图11是示出伴随hdr处理的图像处理的过程的示意性过程图。

在摄像装置100中，2×2个像素组中的三个可见光像素在不同的曝光条件下曝光。在附图中，附图标记l表示长时间曝光的像素，附图标记m表示中等时间曝光的像素，并且附图标记s表示短时间曝光的像素。长时间曝光是比中等时间曝光更长时间的曝光。中等时间曝光是比短时间曝光更长时间的曝光。

图12a是用于说明具有不同曝光时间的像素的阵列的示意性平面图。图12b是用于说明与像素连接的扫描线与控制对象像素之间的关系的示意性平面图。

如图12a所示，在每个像素组中，接收红外光的像素设置在相同位置。然后，如图12b所示，在每个像素行中布置有一对扫描线。在每个图像行中的像素以一个像素为单位交替地连接到一条扫描线和另一条扫描线。具体地，第一扫描线通过接触点连接到短时间曝光的像素，第二扫描线通过接触点连接到中等时间曝光的像素，第三扫描线像素通过接触点连接到长时间曝光的像素，并且第四扫描线通过接触点连接到ir像素。在ir像素的曝光时间中，设定适合于ir像素的曝光时间。作为一个示例，将曝光时间设定为长于中等时间曝光的曝光时间并短于长时间曝光的曝光时间。注意，每条扫描线和每个接触点之间的关系不限于图12b的构造，并且仅需要通过接触点将相同的扫描线连接到具有相同曝光时间的像素的构造。

将来自摄像装置100的像素信号分离为可见光像素的像素信号和红外光像素的像素信号(步骤s31：ir/可见分离)。该步骤类似于图8中说明的过程，因此省略了说明。

关于rgb信息，基于具有不同曝光时间的像素信息，在每个像素组中合成具有扩大的动态范围的rgb信息(步骤s32：hdr信息合成)。

关于ir信息，执行使四个像素组中包括的信息相加的处理(步骤s33：ir信息相加)。

通过将相加后的ir信息从合成后的rgb信息分离来去除合成后的rgb信息中包含的红外光分量(步骤s34：ir分量去除)。更具体地，在如下状态下执行所述处理：根据摄像装置100等的规格，将相加之后的ir信息乘以预定系数。

步骤s34之后的rgb信息是分辨率降低的普通拜耳阵列的信息并且是动态范围扩大的rgb信息。基于此，可以通过执行常规的拜耳处理来获得具有扩大的动态范围的图像信息(步骤s35：拜耳处理)。

在上文中，说明了第一实施例。例如，在第一实施例的图像处理系统中，可以在低照度下使多个像素相加，并且可以在高照度下通过进行重新马赛克处理(re-mosaic)来生成全分辨率信号。或者，通过单独地控制ir像素和其他像素的曝光时间，可以防止由ir颜色混合导致s/n降低。此外，例如，在低照度摄像中，可以执行高图像质量处理，例如通过将ir像素的信号用作指导对可见光图像进行nr处理。

注意，在以上说明中，可见光像素被描述为用于拍摄包含红外光分量的图像。在一些情况下，可以使用具有在预定范围内的用于可见光和红外光的透射带的双带通滤光片，以减小红外光分量对可见光像素的影响。图13是用于说明双带通滤光片的光谱透射率的示意性图表。图14是用于说明当双带通滤光片和彩色滤光片重叠时的光谱透射率的示意性图表。

[第二实施例]

第二实施例也涉及根据本发明的摄像装置和使用该摄像装置的图像处理系统。

第二实施例具有与第一实施例中说明的构造类似的构造，但像素阵列部中的像素阵列和片上透镜阵列不同。在第二实施例的图像处理系统2的示意性构造图中，只要将图1中的摄像元件100替换为摄像元件100a并且将图像处理系统1替换为图像处理系统2就足够了。

图15是用于说明根据第二实施例的摄像装置中的像素阵列的示意性平面图。

摄像装置100a包括像素阵列部102a，在该像素阵列部102a中排列有多个像素组，每个像素组由以2×2矩阵布置的四个像素构成。

在第一实施例中，在每个像素组中，接收红外光的像素设置在相同位置。另一方面，在第二实施例中，接收红外光的像素设置成与在相邻像素组中接收红外光的像素相邻，使得在每四个相邻像素组中，接收红外光的像素以2×2矩阵布置。

在上文中，说明了像素阵列。接下来，说明像素阵列与片上透镜阵列之间的关系以及各种组件之间的布置关系。

在第二实施例中，类似于第一实施例，可以为每个像素布置片上透镜41。图16示出了该示例。

或者，与第二实施例不同，可以在接收红色光、绿色光和蓝色光的像素的每个像素中布置片上透镜，并且可以在以2×2矩阵布置并接收红外光的像素中布置公共片上透镜。图17示出了该示例，并且示出了常规片上透镜41和公共片上透镜41a之间的布置关系。图18是包括图17所示的片上透镜的摄像装置的示意性局部端视图。

布置有公共片上透镜的摄像装置的优点在于，除了拍摄红外光图像之外，还可以通过使用ir像素中的像面相位差来执行距离测量。在下文中，在说明书中，在以2×2矩阵布置并接收红外光的像素中布置公共片上透镜。通常，在形成彩色滤光片时，当颜色阵列在相邻像素之间不同时，存在如下可能性：彩色滤光片在不同颜色的相邻像素之间重叠，并且该部分阻挡光的透射并成为无效区域。在第二实施例中，四个ir像素彼此相邻地布置，并因而减小了不同彩色滤光片之间的边界。因此，减少了相邻像素之间的彩色滤光片的重叠，并且可以提高灵敏度。更优选地，如图18所示，通过单个彩色滤光片形成以2×2矩阵布置并接收红外光的像素，并且可以进一步提高灵敏度。

同样在根据第二实施例的图像处理系统2中，可以通过针对每个像素生成具有红色分量、绿色分量和蓝色分量的图像数据来获得高分辨率图像。

图19是示出伴随全分辨率去马赛克处理的图像处理的过程的示意性过程图。

在第一实施例中，参照图8说明了伴随全分辨率去马赛克处理的图像处理过程。除由于像素阵列的差异而使rgb信息的插值和ir信息的插值的计算公式等不同之外，图19中的过程基本类似。因此，省略了说明。

此外，同样在根据第二实施例的图像处理系统2中，可以通过使每个像素组中的相同颜色的像素的数据相加以生成图像数据来获得具有优异的s/n的图像。在下文中，参考图20给出说明。

图20是示出伴随像素相加处理的图像处理的过程的示意性过程图。

在第一实施例中，参照图10说明了伴随像素相加处理的图像处理过程。图20中的过程也基本类似，但不同之处在于，可以对红外光像素以及可见光像素执行像素阵列级合并操作。

即，在第一实施例中，ir像素离散地布置。因此，难以对ir像素执行用于集中处理多个相邻像素的像素阵列级合并操作。因此，需要单独提取ir像素信息并然后在外部使信息相加的操作，并且需要处理时间。

另一方面，在第二实施例中，可以对可见光像素和红外光像素执行像素阵列级合并操作。因此，可以提高操作速度。说明了通过提高操作速度而获得的优点。

图21是用于说明在卷帘快门操作期间拍摄红外光图像时环境红外光的影响的示意性操作图。

在卷帘快门操作中，曝光时段的开始和结束针对每个像素行改变。因此，即使在从前一帧的最后一行的快门开始到当前帧的读出开始主动地发射红外光以捕获图像的情况下，在根据读出的时段期间也仅发射环境光的状态下执行曝光。

图22是图21之后的用于说明在卷帘快门操作期间拍摄红外光图像时环境红外光的影响的示意性操作图。

图22示出了读取速度高于图21中的读取速度的情况。快门设定时段在图21和图22中相同。然而，其中仅发射和曝光环境光的时段的长度短于图21中的时段的长度。因此，通过提高操作速度，可以减少在拍摄红外光图像时环境红外光的影响。

在图21至图22的示例的说明中，从前一帧的最后一行的快门开始到当前帧的读出开始主动发射红外光。在图21和22中，如果即使仅将红外光主动发射到仅示出为环境光的部分，也可以减小环境红外光的影响。在这种情况下，可以通过提高操作速度来缩短红外光照射的时间，因此可以减少与红外光照射相关的功耗。

在上文中，说明了像素阵列级合并操作的优点。

此外，在图像处理系统2中，当每个像素组中的除接收红外光的像素之外的三个像素根据像素而在不同的曝光条件下曝光时，可以获得动态范围优异的图像。在下文中，参考图23给出说明。

图23是示出伴随hdr处理的图像处理的过程的示意性过程图。

在摄像装置100a中，2×2个像素组中的三个可见光像素在不同的曝光条件下曝光。在附图中，附图标记l表示长时间曝光的像素，附图标记m表示中等时间曝光的像素，且附图标记s表示短时间曝光的像素。

在第一实施例中，参照图11说明伴随hdr处理的图像处理过程。除了像素阵列等不同之外，图23中的过程基本类似。因此，省略了说明。

图24a是用于说明具有不同曝光时间的像素的阵列的示意性平面图。图24b是用于说明与像素连接的扫描线与控制对象像素之间的关系的示意性平面图。

如图24a所示，接收红外光的像素设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻像素组中，接收红外光的像素以2×2矩阵布置。接着，如图24b所示，在每个像素行中布置有一对扫描线。每个图像行中的像素以两个像素为单位交替连接到一条扫描线和另一条扫描线。具体地，第一扫描线通过接触点连接到中等时间曝光的像素，第二扫描线通过接触点连接到长时间曝光的像素，第三扫描线通过接触点连接到ir像素，并且第四条扫描线通过接触点连接到长时间曝光的像素。在ir像素的曝光时间中，设定适合于ir像素的曝光时间。作为一个示例，将该曝光时间设定为长于中等时间曝光的曝光时间并且短于长时间曝光的曝光时间。注意，每条扫描线和每个接触点之间的关系不限于图24b的构造，并且可以进行任意构造，只要相同的扫描线通过接触点连接到具有相同曝光时间的像素即可。

在上文中，说明了第二实施例。除了第一实施例的图像处理系统的效果之外，第二实施例的图像处理系统还具有获得容易的像素阵列级合并操作的效果。

[第三实施例]

第三实施例涉及使用根据本发明的摄像装置的图像处理系统。

在第二实施例的说明中，在针对ir像素布置公共片上透镜的构造中，除拍摄红外光图像之外，还可以使用ir像素中的像面相位差(imageplanephasedifference)执行距离测量。第三实施例是图像处理系统，该图像处理系统使用根据第二实施例的摄像装置并且执行认证处理和观看处理。

图25是执行根据第三实施例的认证处理和观看处理的图像处理系统的基本构造图。

图25所示的图像处理系统3包括对被摄体进行摄像的摄像装置100a、对来自摄像装置100a的信号进行处理的信号处理部200以及基于红外光图像进行认证处理的认证处理部210。图像处理系统3还包括执行观看处理的观看处理部220、聚焦来自被摄体的光的光学部(摄像透镜)300以及向被摄体照射红外光的光源部400。整个图像处理系统2的操作由控制部等(未示出)控制。

图26是示出伴随认证处理和观看处理的图像处理过程的示意性过程图。

将来自摄像装置100a的像素信号分离为可见光像素的像素信号和红外光像素的像素信号(步骤s51：ir/可见分离)。然后，基于分离的rgb信息执行观看过程(步骤s52：观看处理)。

将分离的ir信息用作红外光图像。此外，基于分离的ir信息来检测相位差，并且生成距离图像的信息(步骤s53：相位差检测)。然后，认证处理部210通过使用红外光图像和基于接收红外光的像素的像面相位差生成的深度图中的至少一者来执行认证处理。例如，可以基于红外光图像和距离图像的信息来执行诸如3d面部认证和虹膜认证之类的综合认证(步骤s54)。

注意，只要除了上述步骤之外还适当地执行参照图19、20和23说明的伴随全分辨率去马赛克处理的图像处理、利用像素相加的图像处理以及伴随hdr处理的图像处理就足够了。

在发射具有特定图案的红外光作为结构光以便获得距离图像的信息的系统中，难以令人满意地对虹膜摄像。即，在这种系统中，难以采用将虹膜信息用于认证的构造。

另一方面，图像处理系统3不需要发射具有特定图案的红外光以获得距离图像的信息。即，只要光源部向被摄体照射平面红外光照射就足够了，并因而可以令人满意地对虹膜摄像，并且虹膜信息可以用于认证。

在上文中，说明了第三实施例。在第三实施例的图像处理系统中，可以在平面红外光的照射下执行距离测量，并且使用红外光图像的诸如虹膜认证之类的感测处理、使用来自红外光图像的距离信息的3d面部认证以及手势识别可以在获取具有单眼构造的观看图像的同时执行。

在通过捕获可见光的面部检测和面部认证中，难以通过摄影等来确定假冒。在该应用中，可以在单眼构造中获取图像和深度图，因此可以通过摄影等来确定假冒，而无需另外添加ir传感器。

注意，在使用根据第二实施例的摄像装置的图像处理系统的情况下，虽然不能生成深度图，但是虹膜信息可以用于认证。图27是示出当使用根据第一实施例的摄像装置时伴随认证处理和观看处理的图像处理过程的示意性过程图。

[各种变形例]

接下来，说明各种变形例。

在以上说明中，由于彩色滤光片的特性，可见光像素受红外光影响。在一些情况下，可能会降低可见光像素受红外光影响的程度。

图28是摄像装置的示意性局部端视图，其用于说明能够减少红外光对接收可见光的像素的影响的滤光片构造。

在图28中，可见光像素的滤光片构造具有两层结构。更具体地说，该构造具有红外光吸收滤光片30ira和彩色滤光片的层叠结构。利用该构造，可以降低可见光像素受红外光影响的程度。

此外，在图28的示例中，红外光像素的滤光片通过层叠两种可见光滤光片构成。因此，没有必要与彩色滤光片分开地形成红外光透射滤光片。作为在红外光像素中使用的两种可见光层叠滤光片，可以使用r、g和b透射滤光片中的任意两种滤光片。任意组合中的最合适的组合是在图28的示例中所示的r透射滤光片和b透射滤光片的组合。原因在于，如图7中的光谱特性所示，r透射滤光片的透射区域和b透射滤光片的透射区域在可见光区域中具有最小的重叠。因此，通过组合r透射滤光片和b透射滤光片，可以更有效地阻挡可见光并透射红外光。注意，在红外光像素中使用的用于可见光的滤光片不限于两种类型的层叠滤光片，并且可以层叠三种或更多种用于可见光的滤光片。

接下来，将说明像素布置的变形例。

图29是用于说明像素阵列的第一变形例的示意性平面图。

图29是第一实施例的像素阵列的变形，其中在每个像素组中设置公共片上透镜。注意，尽管在附图中示出了8×8个像素，但仅示出了像素布置中的上部8×4个像素，并且在片上透镜布置与像素布置重叠的情况下示出了下部8×4个像素。稍后说明的图30、31、32、33和34也类似。

图30的构造的优点在于，可以在捕获可见光时检测像面相位差。因此，例如，使用可见光的距离信息和红外光的面部图像的3d面部认证是可能的。此外，类似地，虹膜认证也是可能的。

图30是用于说明像素阵列的第二变形例的示意性平面图。

图30是第一实施例的像素阵列的变形，其被构造为使得一个像素包括两个光电转换部。在每个像素中设置一个片上透镜。

图30的构造的优点在于，一个像素包括两个光电转换部，并且可以检测像面相位差。

图31是用于说明像素阵列的第三变形例的示意性平面图。

图31示出如下构造：布置了均具有相同颜色的2×2个像素的像素组，并且一部分像素组用于红外光。在每个像素中布置有片上透镜。

图32是用于说明像素阵列的第四变形例的示意性平面图。

图32还示出如下构造：布置了均具有相同颜色的2×2个像素的像素组，并且一部分像素组用于红外光。对于可见光像素，在每个像素中布置有片上透镜，而对于红外光像素，在2×2个像素中布有公共片上透镜。

图33是用于说明像素阵列的第五变形例的示意性平面图。

图33还示出了如下构造；布置了均具有相同颜色的2×2个像素的像素组，并且一部分像素组用于红外光。对于可见光像素和红外光像素，在2×2个像素中布置有公共片上透镜。

图34是用于说明像素阵列的第六变形例的示意性平面图。

图34还示出了如下构造：布置了均具有相同颜色的2×2个像素的像素组，并且一部分像素组用于红外光。对于可见光像素和红外光像素，在2×2个像素中布置有公共片上透镜。

如上所述的根据本发明的各种摄像装置的构造的优点在于，将拜耳阵列的一个像素划分为多个像素，例如，通过相加和读取相同颜色的像素来提高s/n比，并通过执行全分辨率去马赛克处理来提高分辨率。可以从一个摄像装置获得红外光图像的信息和可见光图像的信息。此外，根据使用根据本发明的摄像装置的图像处理系统，可以在单眼构造中与获取观看图像的同时执行感测处理。

[应用示例]

根据本发明的技术可以应用到各种产品。例如，根据本发明的技术可以实现为安装在任何类型的移动体上的装置，移动体例如是汽车、电动车、混合动力电动车、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机器和农业机器(拖拉机)。

图35是示出车辆控制系统7000的示意性构造示例的框图，该车辆控制系统是可以应用根据本发明的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图35所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。连接这些多个控制单元的通信网络7010可以例如是控制器局域网(can)、本地互连网络(lin)、局域网(lan)或者基于诸如flexray(注册商标)等任意标准的车载通信网络。

每个控制单元包括根据各种程序执行算术处理的微型计算机、存储被微型计算机执行的程序或用于各种算术运算的参数等的存储部以及驱动作为控制目标的各种装置的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元进行通信的网络i/f，并包括用于通过有线或无线通信与车辆内外的装置、传感器等进行通信的通信i/f。在图35中，微型计算机7610、通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车载装置i/f7660、音频图像输出部7670、车载网络i/f7680以及存储部7690被示例为集成控制单元7600的功能构造。类似地，其他控制单元也包括微型计算机、通信i/f、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作诸如内燃机或驱动马达等用于产生车辆驱动力的驱动力产生装置、将驱动力传递给车轮的驱动力传递机构、调节车辆转向角的转向机构以及产生车辆制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为防抱死制动系统(abs)、电子稳定控制(esc)等的控制装置的功能。

车辆状态检测部7110连接至驱动系统控制单元7100。车辆状态检测部7110例如包括检测车身的轴旋转运动的角速度的陀螺仪传感器、检测车辆加速度的加速度传感器或者检测油门踏板操作量、制动踏板动作量、方向盘转向角、发动机转速、车轮转速等的传感器中的至少一者。驱动系统控制单元7100通过使用从车辆状态检测部7110输入的信号执行算术处理，以控制内燃机、驱动马达、电动转向机构、制动装置等。

车身系统控制单元7200根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、刹车灯、方向灯或雾灯等各种灯的控制装置。在这种情况下，车身系统控制单元7200可以接收从替代钥匙的便携式装置发送的无线电波或者各种开关的信号。车身系统控制单元7200接收这些无线电波或者信号的输入，并且控制车辆的门锁装置、电动车窗装置、车灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，电池控制单元7300从包括二次电池7310的电池装置接收诸如电池温度、电池输出电压或者电池剩余容量等信息。电池控制单元7300通过使用这些信号执行算术处理，以控制二次电池7310、设置在电池装置中的冷却装置等的温度调节。

车外信息检测单元7400检测安装有车辆控制系统7000的车辆的外部的信息。例如，摄像部7410和车外信息检测部7420中的至少一者连接至车外信息检测单元7400。摄像部7410包括飞行时间(tof)照相机、立体照相机、单目照相机、红外照相机和其它照相机中的至少一者。车外信息检测部7420例如包括用于检测当前的天气或天气状况的环境传感器和用于检测配备有车辆控制系统7000的车辆的周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一者。

环境传感器可以例如是用于检测下雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测日照度的日照传感器和用于检测降雪的雪传感器中的至少一者。环境信息检测传感器可以是超声传感器、雷达装置或者光检测和测距或激光摄像测距(lidar)装置中的至少一者。摄像部7410和车外信息检测部7420可以作为独立的传感器或装置来设置，或者可以集成有多个传感器或装置的装置设置。

这里，图36示出了摄像部7410和车外信息检测部7420的安装位置的示例。摄像部7910、7912、7914、7916、7918例如设置在车辆7900的前鼻、后视镜、后保险杠、后门或车内挡风玻璃上部中的至少一者处。设置在前鼻处的摄像部7910和设置在车内挡风玻璃上部的摄像部7918主要获取车辆7900前方的图像。设置在后视镜处的摄像部7912和7914主要获取车辆7900两侧的图像。设置在后保险杠或后门处的摄像部7916主要获取车辆7900后方的图像。设置在车内挡风玻璃上部的摄像部7918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。

注意，图36示出了各个摄像部7910、7912、7914和7916的摄像范围的示例。摄像范围a表示设置在前鼻处的摄像部7910的摄像范围，摄像范围b和c分别表示设置在后视镜处的摄像部7912和7914的摄像范围，并且摄像范围d表示设置在后保险杠或后门处的摄像部7916的摄像范围。例如，可以通过叠加由摄像部7910、7912、7914和7916获得的图像数据来获得从上方观察的车辆7900的鸟瞰图像。

设置在车辆7900的前部、后部、两侧、角部和车内挡风玻璃上部处的车外信息检测部7920、7922、7924、7926、7928和7930例如可以是超声传感器或者雷达装置。设置在车辆7900的前鼻、后保险杠、后门和车内挡风玻璃上部处的车外信息检测部件7920、7926、7930例如可以是lidar装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

回到图35，将继续说明。车外信息检测单元7400使摄像部7410拍摄车外图像，并且接收所拍摄图像的数据。此外，车外信息检测单元7400从与其连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声传感器、雷达装置或者lidar装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并且接收有关接收的反射波的信息。车外信息检测单元7400可以基于所接收的信息对人、车辆、障碍物、标志、路面上的字符等进行被摄体检测处理或距离检测处理。车外信息检测单元7400可以基于所接收的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算距车外被摄体的距离。

此外，车外信息检测单元7400可以基于所接收的图像数据执行图像识别处理或者距离检测处理，以识别人、车辆、障碍物、标志、路面上的字符等。车外信息检测单元7400可以通过对接收到的图像数据执行诸如失真校正或位置调整之类的处理并且合成由不同摄像部7410拍摄的图像数据以生成鸟瞰图像或者全景图像。车外信息检测单元7400可以使用通过不同摄像部7410的拍摄获得的图像数据执行视点转换处理(viewpointconversionprocessing)。

车内信息检测单元7500检测车内信息。例如，检测驾驶员状态的驾驶员状态检测部7510连接至车内信息检测单元7500。驾驶员状态检测部7510可以包括拍摄驾驶员图像的照相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器设置在例如座椅表面、方向盘等上，并且检测坐在座椅上的乘客或者紧握方向盘的驾驶员的生物信息。车内信息检测单元7500可以基于从驾驶员状态检测部7510输入的检测信息来计算驾驶员的疲劳度或集中度，或者可以确定驾驶员是否睡着。车内信息检测单元7500可以对收集到的音频信号执行诸如噪声消除处理之类的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000的整体操作。输入部7800连接至集成控制单元7600。例如，输入部7800通过可由乘客输入和操作的装置来实现，例如触摸面板、按钮、麦克风、开关或者操纵杆。集成控制单元7600可以接收通过由麦克风输入的音频的音频识别获得的数据。输入部7800可以是例如使用红外线或者其它无线电波的遥控装置，或者可以是诸如移动电话或者个人掌上电脑(pda)之类的对应于车辆控制系统7000的操作的外部连接装置。输入部7800可以例如是照相机，在这种情况下，乘客可以通过手势输入信息。或者，可以输入通过检测乘客所穿戴的可穿戴装置的运动而获得的数据。此外，输入部7800可以包括例如输入控制电路，该输入控制电路使用上述输入部7800基于乘客等输入的信息生成输入信号，并且将输入信号输出到集成控制单元7600。通过操作输入部7800，乘客等向车辆控制系统7000输入各种数据或者给出用于处理操作的指令。

存储部7690可以包括存储被微型计算机执行的各种程序的只读存储器(rom)和存储各种参数、计算结果、传感器值等的随机存取存储器(ram)。此外，存储部7690可以由诸如硬盘驱动器(hdd)、半导体存储装置、光学存储装置、磁光学存储装置等之类的磁存储装置来实现。

通用通信i/f7620是一种通用通信i/f，其调解与在外部环境7750中存在的各种装置的通信。通用通信i/f7620可以实现蜂窝通信协议，例如全球移动通信系统(gsm)(注册商标)、wimax和lte或lte-advanced(lte-a)，或其他无线通信协议，例如无线局域网(也称为wi-fi(注册商标))和蓝牙(注册商标)。通用通信i/f7620可以经由例如基站或者接入点连接至存在于外部网络(例如，因特网、云网络或者特定运营商的网络)上的装置(例如，应用服务器或者控制服务器)。此外，通用通信i/f7620可以使用对等(p2p)技术连接至例如存在于车辆附近的终端(例如，驾驶员、行人或商店的终端，或者机器类型通信(mtc)终端)。

专用通信i/f7630是支持针对在车辆中的使用定义的通信协议的通信i/f。专用通信i/f7630可以例如实施诸如车辆环境中的无线接入(wave)之类的标准协议(其是下层ieee802.11p和上层ieee1609的组合)、专用近程通信(dsrc)或者蜂窝通信协议。专用通信i/f7630通常执行v2x通信，v2x通信是包括车对车通信、车对基础设施通信、车对家通信和车对行人通信中的一者或多者的概念。

例如，定位部7640通过接收来自全球导航卫星系统(gnss)卫星的gnss信号(例如来自全球定位系统(gps)卫星的gps信号)来执行定位，并且生成包括车辆的包括纬度、经度和高度的位置信息。注意，定位部7640可以通过与无线接入点交换信号来指定当前位置，或者可以从具有定位功能的终端(例如移动电话、phs或智能手机)获取位置信息。

信标接收部7650接收例如从安装在道路上的无线站等发送的无线电波或者电磁波，并且获取诸如当前位置、交通拥挤、交通暂停或者所需时间等信息。注意，信标接收部7650的功能可以被包括在上述专用通信i/f7630中。

车内装置i/f7660是调解微型计算机7610与存在于车内的各种车内装置7760之间的连接。车内装置i/f7660可以使用无线通信协议(例如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线usb(wusb))建立无线连接。此外，车内装置i/f7660可以通过(未示出的)连接终端(并且必要时通过电缆)建立诸如通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、移动高清链路(mhl)等有线连接。车内装置7760可以例如包括乘客拥有的移动装置或可穿戴装置，或者载于或附于车辆上的信息装置中的至少一者。此外，车内装置7760可以包括搜索到任意目的地的路线的导航装置。车载装置i/f7660与这些车载装置7760交换控制信号或者数据信号。

车载网络i/f7680是调解微型计算机7610和通信网络7010之间的通信的接口。车载网络i/f7680根据由通信网络7010支持的预定协议发送和接收信号等。

基于通过通用i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车载装置i/f7660或者车载网络i/f7680中的至少一者所获得的信息，集成控制单元7600的微型计算机7610根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于在车内外获取的信息来计算驱动力产生装置、转向机构或者制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(adas)功能的协同控制，adas功能包括车辆碰撞避免或车辆碰撞减震、基于跟随距离的跟随行驶、车辆速度维持行驶、车辆碰撞警告、车辆偏离车道警告等。此外，通过基于在车辆周围获取的信息控制驱动力产生装置、转向机构、制动装置等，微型计算机7610还可以执行旨在实现自动驾驶等的目的协同控制，该协同控制在不依赖于驾驶员的操作的情况下使车辆自主地行驶。

基于通过通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车载装置i/f7660或者车载网络i/f7680中的至少一者获得的信息，微型计算机7610可以生成车辆与诸如周围结构或人等被摄体之间的三维距离信息，并且创建包括车辆当前位置的周围信息的本地地图信息。此外，微型计算机7610可以根据所获得的信息来预测诸如车辆之间的碰撞、行人的接近或者进入封闭道路等危险，并且生成警告信号。警告信号可以例如是用于产生警告声音或者点亮警告灯的信号。

对于车辆内部或外部的乘客，音频图像输出部7670将音频或者图像中的至少一者的输出信号发送到能够在视觉或者听觉上通知信息的输出装置。在图35的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出装置。显示部7720可以包括例如车载显示器或者抬头显示器中的至少一者。显示部7720可以具有增强现实(ar)显示功能。输出装置可以是除诸如耳机等装置、乘客可佩戴的眼镜式显示器等可穿戴装置、投影仪或者照射灯之外的装置。在输出装置是显示装置的情况下，显示装置以各种格式(例如文本、图像、表格和图形)直观地显示通过由微型计算机7610执行的各种处理获得的结果或者从其它控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出装置将包括可再现的声音数据、声波数据等的音频信号转换成模拟信号，并且将其有声输出。

注意，在图35所示的示例中，经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。或者，每个控制单元可以通过多个控制单元构造。此外，车辆控制系统7000可以包括另外的控制单元(未示出)。此外，可以将上述说明中的任何控制单元执行的部分或全部功能给予其他控制单元。换句话说，如果通过通信网络7010发送和接收信息，则可以通过任何控制单元来执行预定的算术处理。类似地，连接到任何控制单元的传感器或者装置可以连接到其他控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测到的信息。

根据本发明的技术可以应用于例如上述构造中的车外信息检测单元的摄像部。

注意，本发明的技术还可以具有以下构造。

[a1]一种摄像装置，包括：

像素阵列部，在像素阵列部中排列有多个像素组，每个像素组由以2×2矩阵布置的四个像素构成，

其中，作为由四个像素构成的像素组，形成有：

第一像素组，其由三个接收红色光的像素和一个接收红外光的像素构成，

第二像素组，其由三个接收蓝色光的像素和一个接收红外光的像素构成，

第三像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

第四像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，并且

由第一像素组、第二像素组、第三像素组和第四像素组构成的四个像素组布置并形成一组的2×2个单元，其中，第一像素组和第二像素组对角地定位，并且第三像素组和第四像素组对角地定位。

[a2]根据[a1]的摄像装置，其中，

在每个像素组中，接收红外光的像素设置在相同位置。

[a3]根据[a2]的摄像装置，其中，

针对每个像素设置片上透镜。

[a4]根据[a1]或[a2]的摄像装置，其中，

红色滤光片、绿色滤光片和蓝色滤光片中的任一者布置为对应于接收红色光、绿色光或蓝色光的像素，并且

红外光透射滤光片布置为对应于接收红外光的像素。

[a5]根据[a4]的摄像装置，其中，

红外光透射滤光片是通过层叠红色滤光片、绿色滤光片和蓝色滤光片中的至少两者形成的。

[a6]根据[a5]的摄像装置，其中，

红外光透射滤光片是通过层叠红色滤光片和蓝色滤光片二者形成的。

[a7]根据[a1]的摄像装置，其中，

接收红外光的像素设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻的像素组中，这些接收红外光的像素以2×2矩阵布置。

[a8]根据[a7]的摄像装置，其中，

这对每个像素设置片上透镜。

[a9]根据[a7]的摄像装置，其中，

在接收红色光、绿色光和蓝色光的像素中的每个像素中布置有片上透镜，并且

在以2×2矩阵布置并接收红外光的像素中布置有公共的片上透镜。

[a10]根据[a7]至[a9]中任一项的摄像装置，其中，

红色滤光片、绿色滤光片和蓝色滤光片中的任一者布置为对应于接收红色光、绿色光或蓝色光的像素，并且

在以2×2矩阵布置并接收红外光的像素中布置有公共的红外光透射滤光片。

[a11]根据[a10]的摄像装置，其中，

公共的红外光透射滤光片是通过层叠红色滤光片、绿色滤光片和蓝色滤光片中的至少两者构成的。

[a12]根据[a1]至[a11]中任一项的摄像装置，其中，

针对每个像素生成具有红色分量、绿色分量和蓝色分量的图像数据。

[a13]根据[a1]至[a11]中任一项的摄像装置，其中，

使每个像素组中的相同颜色的像素的数据相加，以生成图像数据。

[a14]根据[a7]至[a11]中任一项的摄像装置，其中，

将以2×2矩阵布置并接收红外光的四个像素的数据相加，以生成图像数据。

[a15]根据[a1]的摄像装置，其中，

每个像素组中的除接收红外光的像素之外的三个像素根据像素而在不同的曝光条件下曝光。

[a16]根据[a15]的摄像装置，其中，

在每个像素组中，接收红外光的像素设置在相同位置，

在每个像素行中布置有一对扫描线，并且

每个图像行的像素以一个像素为单位交替地连接到一条扫描线和另一条扫描线。

[a17]根据[a15]的摄像装置，其中，

接收红外光的像素设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻的像素组中，这些接收红外光的像素以2×2矩阵布置，

在每个像素行中布置有一对扫描线，并且

每个图像行中的像素以两个像素为单位交替地连接到一条扫描线和另一条扫描线。

[b1]一种图像处理系统，包括：

对被摄体进行摄像的摄像装置和处理来自摄像装置的信号的信号处理部，

其中，摄像装置包括像素阵列部，在像素阵列部中排列有多个像素组，每个像素组由以2×2矩阵布置的四个像素构成，

作为由四个像素的像素组构成，形成有：

第一像素组，其由三个接收红色光的像素和一个接收红外光的像素构成，

第二像素组，其由三个接收蓝色光的像素和一个接收红外光的像素构成，

第三像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，以及

第四像素组，其由三个接收绿色光的像素和一个接收红外光的像素构成，并且

由第一像素组、第二像素组、第三像素组和第四像素组构成的四个像素组布置并形成一组的2×2个单元，在一组的2×2个单元中，第一像素组和第二像素组对角地定位，并且第三像素组和第四像素组对角地定位。

[b2]根据[b1]的图像处理系统，还包括：

光源部，其向被摄体照射红外光。

[b3]根据[b1]或[b2]的图像处理系统，还包括：

认证处理部，其基于红外光图像执行认证处理。

[b4]根据[b1]至[b3]中任一项的图像处理系统，其中，

接收红外光的像素设置为与相邻像素组中的接收红外光的像素相邻，使得在每四个相邻的像素组中，这些接收红外光的像素以2×2矩阵布置，

在以2×2矩阵布置并接收红外光的像素中布置有公共的片上透镜，且

认证处理部被构造为通过使用红外光图像和基于接收红外光的像素的像面相位差生成的深度图中的至少一者来执行认证处理。

附图标记列表

1、2、3图像处理系统

10半导体基板

11光电转换部

20平坦化层

21遮光层

30滤光片

30r红色滤光片

30g绿色滤光片

30b蓝色滤光片

30ir红外光透射滤光片

30ira红外光吸收(反射)滤光片

40透明材料层

41片上透镜

41a公共片上透镜

100、100a摄像装置

101像素

102、102a、102b、102c、102d、102e、102f、102g、902像素阵列部

10信号线

104扫描线

110驱动部

111列处理部

112水平驱动部

113垂直驱动部

200信号处理部

210认证处理部

220观看处理部

300光学部

400红外光的光源部