图像捕获设备的制作方法
【专利摘要】该图像捕获设备，包括：图像捕获单元(30)，其提供有第一图像捕获元件(41)、第二图像捕获元件(51)、第三图像捕获元件(61)和第四图像捕获元件(71)；以及图像处理单元(11)。第四图像捕获元件(71)的灵敏度小于第一图像捕获元件到第三图像捕获元件(41，51，61)的灵敏度。图像处理单元(11)基于来自第一图像捕获元件到第三图像捕获元件(41，51，61)的输出来生成高灵敏度图像数据，并且基于来自第四图像捕获元件(71)的输出来生成低灵敏度图像数据，此外，在基于低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中，图像处理单元11使用与低照度图像区域对应的高灵敏度图像数据以及与高照度图像区域对应的低灵敏度图像数据来生成组合图像。
【专利说明】图像捕获设备
【技术领域】
[0001]本公开涉及图像捕获设备，更具体地说，涉及用于通过高动态范围(HDR)成像来获得图像的图像捕获设备。
【背景技术】
[0002]在以二维矩阵形式来布置图像捕获元件的图像捕获设备中，用于通过多次执行图像捕获处理来获得多个图像数据并且组合所述多个图像数据的技术是公知的，如例如在JP2000-244797A中所指示的那样。可替代地，为了处理具有极大亮度差的图像捕获场景，通过以不同的曝光时间来执行静止画面的图像捕获处理N次而获得灵敏度不同的N个图像数据，并且通过组合这N个图像数据来获得HDR组合图像。然而，在用于获得这N个图像数据的方法中，获得N个图像数据耗费特定时间段，并且无法确保同时性，此外，由于N个图像数据的组合而产生伪影(artifact)，并且难以处理运动画面。
[0003]用于彼此邻近地布置不同灵敏度的图像捕获元件并且通过组合来自较高灵敏度的图像捕获元件的信号与来自较低灵敏度的图像捕获元件的信号而扩展动态范围的技术是公知的，如JP2006-270364A中指示的那样。在JP2006-253876A中所公开的技术中，通过执行控制而在一个图像数据内给出灵敏度的差异，从而通过控制快门速度而关于图像捕获单元的每个区域来改变每个图像捕获元件的电荷累积时间。
[0004]引文列表
[0005]专利文献
[0006]专利文献I JP2000-244797A
[0007]专利文献2 JP2006-270364A
[0008]专利文献3 JP2006-253876A
【发明内容】
[0009]本公开待解决的问题
[0010]在JP2006-270364A中，具有互补滤波器的小型图像捕获元件被布置在以蜂窝形式布置的图像捕获元件中，从而可以在单位帧中获得灵敏度不同的两个图像数据。然而，在该方法中，由于整个图像捕获元件的尺寸的减小，难以形成具有互补滤波器的小型图像捕获元件，并且彩色滤波器的布置是复杂的。此外，存在彩色滤波器材料以及工艺成本增加的问题。在JP2006-253876A中所公开的技术中对于每个区域的快门速度的控制增加了图像捕获设备的控制电路和控制算法的复杂度，因此，成本增加。此外，在上述这些专利公布中所公开的技术增加了图像捕获设备的结构复杂度，并且增加了图像处理(例如分辨率恢复、解决锯齿以及彩色噪声补偿)的成本。
[0011]因此，本公开的目的是提供一种图像捕获设备，具有能够通过高动态范围成像来获得图像并且此外能够容易地处理运动画面的图像捕获的简单配置和结构。
[0012]问题的解决方案[0013]用于实现上述目标的根据本公开第一方面的图像捕获设备是一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件，包括第一滤波器和第一光电转换元件，并且被配置为接收第一波长带中的光；第二图像捕获元件，包括第二滤波器和第二光电转换元件，并且被配置为接收具有比所述第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件，包括第三滤波器和第三光电转换元件，并且被配置为接收具有比所述第二波长带的峰值波长更长的峰值波长的第三波长带中的光；第四图像捕获元件，包括第四滤波器和第四光电转换元件，并且被配置为接收所述第一波长带、所述第二波长带和所述第三波长带中的光，其中，所述第四滤波器的光透射率小于所述第一滤波器的光透射率、所述第二滤波器的光透射率和所述第三滤波器的光透射率，其中，所述图像处理单元基于来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第四图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。通过根据本公开第一方面的图像捕获设备，可以获得所述组合图像，其中，所述图像的一部分是单色图像，而其余部分是彩色图像。
[0014]用于实现上述目标的根据本公开第二方面的图像捕获设备是一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件和第三图像捕获元件，包括第一光电转换元件，并且被配置为接收可见光范围中的光；第二图像捕获元件和第四图像捕获元件，包括中性灰度滤镜和第二光电转换元件，并且被配置为接收可见光范围中的光，其中，所述图像处理单元基于来自所述第一图像捕获元件和所述第三图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第二图像捕获元件和所述第四图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。通过根据本公开第二方面的图像捕获设备，可以获得单色图像。
[0015]用于实现上述目标的根据本公开第三方面的图像捕获设备是一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括四个图像捕获元件子单元，分别包括:第一图像捕获元件，包括第一滤波器和第一光电转换元件，并且被配置为接收第一波长带中的光；第二图像捕获元件，包括第二滤波器和第二光电转换元件，并且被配置为接收具有比所述第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件，包括第三滤波器和第三光电转换元件，并且被配置为接收具有比所述第二波长带的峰值波长更长的峰值波长的第三波长带中的光；第四图像捕获元件，包括第四滤波器和第四光电转换元件，并且被配置为接收所述第一波长带、所述第二波长带和所述第三波长带中的光，其中，所述第四滤波器的光透射率小于所述第一滤波器的光透射率、所述第二滤波器的光透射率和所述第三滤波器的光透射率，所述图像处理单元基于构成所述图像捕获元件单元的四个图像捕获元件子单元的所述第一图像捕获元件的输出总和、所述第二图像捕获元件的输出总和以及所述第三图像捕获元件的输出总和来生成高灵敏度图像数据，并且基于来自所述四个图像捕获元件子单元中的每一个的所述第四图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。通过根据本公开第三方面的图像捕获设备，可以获得所述组合图像，其中，所述图像的一部分是单色图像，而其余部分是彩色图像。
[0016]用于实现上述目标的根据本公开第四方面的图像捕获设备是一种图像捕获设备，其包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元被布置有图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件，包括第一光电转换元件，并且被配置为接收可见光范围中的光；第二图像捕获元件，包括中性灰度滤镜和第二光电转换元件，并且被配置为接收可见光范围中的光。所述图像处理单元基于来自所述第一图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第二图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。通过根据本公开第四方面的图像捕获设备，可以获得单色图像。
[0017]本公开的效果
[0018]取决于图像捕获设备的应用领域和使用领域，在存在极大亮度差的图像捕获场景的高照度部分中不一定需要色彩信息，在实际观点中，甚至没有所谓的消灭(blown out)高亮的灰度图像的图像获取将不产生任何问题。这些领域的示例包括监控摄像头以及车载摄像头，它们强烈需要“不损失任何信息”。根据本公开的图像捕获设备基本上在一个图像捕获处理中基于来自图像捕获单元的输出来生成低灵敏度图像数据和高灵敏度图像数据，图像处理单元使用低照度图像区域中的高灵敏度图像数据并且使用高照度图像区域中的低灵敏度图像数据来生成组合图像。因此，虽然图像捕获设备具有例如与具有传统拜尔布置的图像捕获设备等同的简单配置和结构，但图像捕获设备可以基于高动态范围成像容易地获得图像，并且可以容易地处理运动画面的图像捕获。为此，可以提供基于高动态范围成像方法的低成本图像捕获设备。
【专利附图】
【附图说明】
[0019]图1A和图1B分别是示出第一实施例的图像捕获设备的图像捕获单元的概念性示图和示意性示出第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的光接收特性的图。
[0020]图2A和图2B是用于解释第一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0021]图3A和图3B是用于解释第一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0022]图4是用于解释第一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0023]图5是用于解释第一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0024]图6是示意性示出第一实施例的图像捕获设备的图像捕获状态的图。
[0025]图7A和图7B分别是第一实施例的图像捕获设备的概念性示图和示出图像捕获元件的示意性局部截面图。
[0026]图8是示出在第二实施例的图像捕获设备中当沿着图7B的箭头B-B切割图像捕获元件时的光屏蔽层的示意性局部顶视图。
[0027]图9A和图9B分别是示出第三实施例的图像捕获设备的第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的灵敏度比例的图以及示出其第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的增益比例的图。
[0028]图1OA和图1OB分别是第三实施例的图像捕获设备的高灵敏度图像数据的最终输出比例以及示出低灵敏度图像数据的最终输出比例的图。
[0029]图1lA和图1lB分别是示意性示出根据时间的逝去的第四实施例的图像捕获设备的图像捕获状态(曝光时间)的图以及示意性示出第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的输出的图。
[0030]图12是示出具有用于基于光刻技术形成滤波器的转角衬线(corner serif)图案的曝光掩模的示意性局部顶视图。
[0031]图13A和图13B是用于解释根据第五实施例的用于形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的方法的滤波器的示意性局部顶视图。
[0032]图14A和图14B是上接图13B的、用于解释根据第五实施例的用于形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的方法的滤波器的示意性局部顶视图。
[0033]图15A和图15B是用于解释根据第五实施例的用于形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的另一方法的滤波器的示意性局部顶视图。
[0034]图16A是上接图15B的、用于解释根据第五实施例的用于形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的所述另一方法的滤波器的示意性局部顶视图，图16B是用于解释根据第五实施例的用于形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的又一方法的第二滤波器等的示意性局部顶视图。
[0035]图17A和图17B分别是示出第六实施例的图像捕获设备的图像捕获单元的概念性示图和示意性示出第一图像捕获元件和第三图像捕获元件以及第二图像捕获元件和第四图像捕获元件的光接收特性的图。
[0036]图18A和图18B是用于解释第六实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0037]图19A和图19B是用于解释第六实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0038]图20是用于解释第六实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0039]图21是用于解释第六实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0040]图22是示出在第七实施例的图像捕获设备中当沿着图7B的箭头B-B切割图像捕获元件时的光屏蔽层的示意性局部顶视图。
[0041]图23A和图23B分别是示出第七实施例的图像捕获设备的第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的灵敏度比例的图以及示出其第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的孔径尺寸的差所产生的增益比例的图。
[0042]图24A和图24B是示出根据第七实施例的图像捕获设备的高灵敏度图像数据的最终输出比例的图。
[0043]图25A和图25B是示出根据第七实施例的图像捕获设备的低灵敏度图像数据的最终输出比例的图。
[0044]图26是示出根据第十一实施例的图像捕获设备的图像捕获单元的概念性示图。
[0045]图27A和图27B是用于解释根据第十一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0046]图28A和图28B是用于解释根据第十一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
[0047]图29是用于解释根据第十一实施例的图像捕获设备的图像捕获单元的操作的概念性示图。
【具体实施方式】
[0048]将参照附图基于实施例来解释本公开，但本公开不限于实施例，实施例中的各个数值和材料仅为示例。将按以下顺序进行解释。
[0049]1.关于根据本公开第一方面至第四方面的图像捕获设备的通用解释
[0050]2.第一实施例(根据本公开第一方面的图像捕获设备)
[0051]3.第二实施例(第一实施例的修改)
[0052]4.第三实施例(第一实施例的另一修改)
[0053]5.第四实施例(第一实施例的又一修改)
[0054]6.第五实施例(第一实施例至第四实施例的修改)
[0055]7.第六实施例(根据本公开第二方面和第四方面的图像捕获设备)
[0056]8.第七实施例(第六实施例的修改)
[0057]9.第八实施例(第六实施例的另一修改)
[0058]10.第九实施例(第六实施例的又一修改)
[0059]11.第十实施例(第一实施例和第六实施例的修改)
[0060]12.第十一实施例(根据本公开第三方面的图像捕获设备)以及其它
[0061][关于根据本公开第一方面至第四方面的图像捕获设备的通用解释][0062]在根据本公开第一方面的图像捕获设备中，可以在第一滤波器与第一光电转换兀件之间形成第一孔径部分；可以在第二滤波器与第二光电转换元件之间形成第二孔径部分；可以在第三滤波器与第三光电转换元件之间形成第三孔径部分；以及可以在第四滤波器与第四光电转换元件之间形成第四孔径部分；其中，第四孔径部分可以小于第一孔径部分、第二孔径部分和第三孔径部分。通过这种配置，第四图像捕获元件所接收到的光量小于第一图像捕获元件、第二图像捕获元件和第三图像捕获元件所接收到的光量，因此，可以扩展动态范围。可以通过在滤波器与光电转换元件之间所形成的光屏蔽层中形成孔径部分来获得所述孔径部分。孔径部分的平面形状可以是圆形或规则多边形形状(例如，规则五边形、规则六边形、规则七边形和规则八边形)。应注意，所述规则多边形形状包括准规则多边形形状(曲线构成边的规则多边形形状和顶点为圆形的规则多边形形状)。这也可应用于随后解释的根据本公开第二方面的图像捕获设备。
[0063]在根据本公开第二方面的图像捕获设备中，可以在第一光电转换元件的光入射区域中形成第一孔径部分；可以在中性灰度滤镜(neutral density filter)与第二光电转换元件之间形成第二孔径部分；可以在第三光电转换元件的光入射区域中形成第三孔径部分；可以在中性灰度滤镜与第四光电转换元件之间形成第四孔径部分，其中，第三孔径部分可以小于第一孔径部分，第四孔径部分可以小于第二孔径部分。通过这种配置，第一图像捕获元件所接收到的光量小于第三图像捕获元件所接收到的光量。此外，第二图像捕获元件所接收到的光量小于第四图像捕获元件所接收到的光量。因此，可以扩展动态范围。可以通过在中性灰度滤镜与光电转换元件之间所形成的光屏蔽层中形成孔径部分来获得所述孔径部分。
[0064]在包括上述优选配置的根据本公开第一方面的图像捕获设备或根据本公开第三方面的图像捕获设备中，图像处理单元可以包括:第一增益调整单元，被配置为调整来自第一图像捕获元件、第二图像捕获元件和第三图像捕获元件的输出；以及第二增益调整单元，被配置为调整来自第四图像捕获元件的输出。在此情况下，在第一增益调整单元进行的、用于来自第一图像捕获元件、第二图像捕获元件和第三图像捕获元件的输出的调整系数表示为Gn1，而第二增益调整单元进行的、用于来自第四图像捕获元件的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2≥I是优选的。更具体地说，(Gn1Ain2)的值的示例包括2、4、8等。甚至通过这种配置，也可以扩展动态范围。Gn1Ain2的值在图像捕获场景中存在小程度的亮度差的情况下可以固定在“1”，而在图像捕获场景中存在极大亮度差的情况下，可以根据图像捕获场景中的低照度区域中的高灵敏度图像数据的亮度与图像捕获场景中的高照度区域中的低灵敏度图像数据的亮度之间的差来自动地或手动地改变Gn1Ain2的值。这也可应用于随后解释的根据本公开第二方面的图像捕获设备。第一增益调整单元进行的、来自第一图像捕获元件、第二图像捕获元件和第三图像捕获元件的输出的调整取决于情况可以是相同的，或可以是不同的。
[0065]在包括优选配置的根据本公开第二方面的图像捕获设备中，图像处理单元可以包括:第一增益调整单元，被配置为调整来自第一图像捕获元件和第三图像捕获元件的输出；以及第二增益调整单元，被配置为调整来自第二图像捕获元件和第四图像捕获元件的输出。在此情况下，在第一增益调整单元进行的、用于来自第一图像捕获元件和第三图像捕获元件的输出的调整系数表示为Gn1，而第二增益调整单元进行的、用于来自第二图像捕获元件和第四图像捕获元件的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2 ^ I是优选的。更具体地说，(Gn1ZGn2)的值的示例包括2、4、8等。甚至通过这种配置，也可以扩展动态范围。第一增益调整单元进行的来自第一图像捕获元件和第三图像捕获元件的输出的调整取决于情况可以是相同的，或可以是不同的。第二增益调整单元进行的来自第二图像捕获元件和第四图像捕获元件的输出的调整取决于情况可以是相同的，或可以是不同的。
[0066]在包括上述各种优选配置的根据本公开第一方面或第三方面的图像捕获设备中，图像处理单元可以生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，图像处理单元可以进一步将从低灵敏度图像数据或高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的区域到照度为最高的区域的2N级别的区域，而且可以使用范围从照度为最低的区域到照度为第N低的区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的区域到照度为最高的区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。在此情况下，N是2，并且可以存在这样的关系:用于获得第一组的高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组的高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。应注意，这种配置也可以扩展到N等于或大于3的情况。甚至通过这种配置，也可以扩展动态范围。此外，可以获得动态范围从N组图像数据扩展到2N级别的图像，并且易于处理运动画面的图像捕获。在传统技术中，如上所述，仅可以获得动态范围从N组图像数据扩展到N级别的图像。
[0067]在包括上述各种优选配置的根据本公开第二方面的图像捕获设备中，图像处理单元可以生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，图像处理单元可以进一步将从低灵敏度图像数据或高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的图像区域到照度为最高的图像区域的2N级别图像区域，而且可以使用范围从照度为最低的图像区域到照度为第N低的图像区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的图像区域到照度为最高的图像区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。在此情况下，N是2，并且可以存在这样的关系:用于获得第一组的高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组的高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。应注意，这种配置也可以扩展到N等于或大于3的情况。甚至通过这种配置，也可以扩展动态范围。此外，可以获得动态范围从N组图像数据扩展到2N级别的图像，并且易于处理运动画面的图像捕获。在传统技术中，如上所述，仅可以获得动态范围从N组图像数据扩展到N级别的图像。
[0068]在包括上述各种优选配置的根据本公开第一方面或第三方面的图像捕获设备中，在第一滤波器、第二滤波器、第三滤波器与第四滤波器之间可以不存在间隙。当使用光刻技术来形成第一滤波器、第二滤波器、第三滤波器和第四滤波器中的滤波器中的至少一个时，可以通过使用具有转角衬线图案的曝光掩模来容易地实现这种配置。
[0069]此外，在 包括上述各种优选配置的根据本公开第一方面或第三方面的图像捕获设备中，第四滤波器可以被配置为:具有三层堆叠层结构，包括以构成第一滤波器的第一材料制成的第一材料层、以构成第二滤波器的第二材料制成的第二材料层以及以构成第三滤波器的第三材料制成的第三材料层。或者，第四滤波器可以被配置为:以通过对构成第一滤波器的第一材料、构成第二滤波器的第二材料和构成第三滤波器的第三材料进行混合所制成的材料而得以制成。或者，第四滤波器可以被配置为:具有两层堆叠层结构，包括以构成第一滤波器的第一材料制成的第一材料层和以构成第三滤波器的第三材料制成的第三材料层。或者，第四滤波器可以被配置为:以通过对构成第一滤波器的第一材料和构成第三滤波器的第三材料进行混合所制成的材料而得以制成。在此情况下，第四滤波器的谱特性是例如比如洋红色的谱特性。或者，第四滤波器可以是遍布可见光范围具有几乎均匀谱透射率的、构成片上透镜的材料或具有适合于人类的谱视觉灵敏度特性的谱透射率特性的透明材料。
[0070]在包括上述各种优选配置的根据本公开第二方面的图像捕获设备中，中性灰度滤镜可以被配置为:具有与通过堆叠第一滤波器和第三滤波器所制成的滤波器的谱特性等同的谱特性。在根据本公开第四方面的图像捕获设备中，中性灰度滤镜可以被配置为:具有与谱特性等同的谱特性，中性灰度滤镜可以被配置为:具有三层堆叠层结构，包括以构成根据本公开第一方面或第三方面的图像捕获设备的第一滤波器的第一材料制成的第一材料层、以构成根据本公开第一方面或第三方面的图像捕获设备的第二滤波器的第二材料制成的第二材料层以及以构成根据本公开第一方面或第三方面的图像捕获设备的第三滤波器的第三材料制成的第三材料层。或者，中性灰度滤镜可以被配置为:以通过对构成根据本公开第一方面或第三方面的图像捕获设备的第一滤波器的第一材料、构成根据本公开第一方面或第三方面的图像捕获设备的第二滤波器的第二材料以及构成根据本公开第一方面或第三方面的图像捕获设备的第三滤波器的第三材料进行混合所制成的材料而得以制成。或者，作为第四滤波器，可以例示遍布可见光范围具有几乎均匀谱透射率的、构成片上透镜的材料或适合于人类的谱视觉灵敏度特性的透明材料。
[0071]在根据本公开第一方面或第三方面的图像捕获设备中，第一波长带可以是例如比如350nm至550nm的波长带(主要用于蓝色的波长带)，第一波长带的峰值波长带可以是例如430nm至480nm。第二波长带可以是例如比如450nm至650nm的波长带(主要用于绿色的波长带)，第二波长带的峰值波长带可以是例如500nm至550nm。第三波长带可以是例如比如550nm至750nm的波长带(主要用于红色的波长带)，第三波长带的峰值波长带可以是例如580nm至620nm。然而，实施例不限于此。在一些情况下，滤波器可以是用于使得特定波长(例如青色、洋红色和黄色)通过的彩色滤波器。
[0072]在根据本公开第一方面的图像捕获设备中，一个图像捕获元件单元中的四个图像捕获元件的布置可以是拜尔布置。更具体地说，以二维矩阵形式来布置图像捕获元件单元，并且在第一方向和与第一方向垂直的第二方向上布置图像捕获元件单元的情况下，例如，如下在任何给定图像捕获元件单元中布置图像捕获元件:第三图像捕获元件和第四图像捕获元件沿着第一方向被彼此邻近地布置，第一图像捕获元件和第二图像捕获元件沿着第一方向被彼此邻近地布置，第一图像捕获元件和第四图像捕获元件沿着第二方向被彼此邻近地布置，第二图像捕获元件和第三图像捕获元件沿着第二方向被彼此邻近地布置。在根据本公开第三方面的图像捕获设备中，一个图像捕获元件子单元中的四个图像捕获元件的布置可以是拜尔布置。更具体地说，例如，在一个图像捕获元件子单元中，第三图像捕获元件和第四图像捕获元件沿着第一方向被彼此邻近地布置，第一图像捕获元件和第二图像捕获元件沿着第一方向被彼此邻近地布置，第一图像捕获元件和第四图像捕获元件沿着第二方向被彼此邻近地布置，第二图像捕获元件和第三图像捕获元件沿着第二方向被彼此邻近地布置。此外，在根据本公开第二方面的图像捕获设备中，一个图像捕获元件单元中的四个图像捕获元件的布置可以是与拜尔布置相似的布置。更具体地说，例如，在任何给定图像捕获元件单元中，第三图像捕获元件和第四图像捕获元件沿着第一方向被彼此邻近地布置，第一图像捕获元件和第二图像捕获元件沿着第一方向被彼此邻近地布置，第一图像捕获元件和第四图像捕获元件沿着第二方向被彼此邻近地布置，第二图像捕获元件和第三图像捕获元件沿着第二方向被彼此邻近地布置。
[0073]在根据本公开第一方面或第三方面的图像捕获设备中，第四图像捕获元件可以接收第一波长带、第二波长带和第三波长带中的光。换句话说，这也可以被称为接收可见光范围中的光。
[0074]在根据本公开第一方面或第三方面的图像捕获设备中，第四滤波器的光透射率可以小于第一滤波器的光透射率、第二滤波器的光透射率和第三滤波器的光透射率，更具体地说，在第四滤波器的光透射率表示为T4,而第一滤波器的光透射率、第二滤波器的光透射率和第三滤波器的光透射率的平均值表示为T123的情况下，例如，第四滤波器的光透射率被配置为满足 0.01 ( VT123 ( 0.25。
[0075]在根据本公开第一方面或第三方面的图像捕获设备中，在图像捕获场景中的低照度区域中的高灵敏度图像数据的平均亮度与图像捕获场景中的高照度区域中的低灵敏度图像数据的平均亮度之间的差等于或大于预定值的情况下，可以使用从低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从低灵敏度图像数据或高灵敏度图像数据获得的高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像，另一方面，在高灵敏度图像数据的平均亮度与低灵敏度图像数据的平均亮度之间的差小于预定值的情况下，也可以仅使用与低照度图像区域对应的高灵敏度图像数据来获得图像。
[0076]在根据本公开第一方面的图像捕获设备中，可以假设第二图像捕获元件位于第四图像捕获元件所位于的区域中，可以认为由如上所假设的第二图像捕获元件(为了方便，这将被称为“所假设的第二图像捕获元件”)输出的输出从来自与所假设的第二图像捕获元件邻近的第二图像捕获元件的输出来内插，从而优选的是:获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件(一个红色图像捕获元件、两个绿色图像捕获元件和一个蓝色图像捕获元件)的输出等同的输出。这也可应用于以下情况。为了方便，这种内插处理将被称为“所假设的第二图像捕获元件的内插处理”。可以假设第四图像捕获元件位于第一图像捕获元件所位于的区域中，可以认为由如上所假设的第四图像捕获元件(为了方便，其将被称为“所假设的第一(第四)图像捕获元件”)输出的输出可以从与所假设的第一(第四)图像捕获元件邻近的第四图像捕获元件的输出来内插，可以假设第四图像捕获元件位于第二图像捕获元件所位于的区域中，可以认为由如上所假设的第四图像捕获元件(为了方便，其将被称为“所假设的第二(第四)图像捕获元件”)输出的输出可以从与所假设的第二(第四)图像捕获元件邻近的第四图像捕获元件的输出来内插，可以假设第四图像捕获元件位于第三图像捕获元件所位于的区域中，可以认为由如上所假设的第四图像捕获元件(为了方便，其将被称为“所假设的第三(第四)图像捕获元件”)输出的输出可以从与所假设的第三(第四)图像捕获元件邻近的第四图像捕获元件的输出来内插，从而优选的是，获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的基于第四图像捕获元件的输出。通过上述内插处理，在像素的初始数量不改变的同时，低灵敏度图像数据的数据配置和数据结构以及高灵敏度图像数据的数据配置和数据结构可以被配置为相同，因此，可以简化各种信号处理。
[0077]在根据本公开第二方面的图像捕获设备中，可以假设第四图像捕获元件位于第一图像捕获元件所位于的区域中，可以认为由如上所假设的第四图像捕获元件(为了方便，其将被称为“所假设的第一(第四)图像捕获元件”)输出的输出可以从与所假设的第一(第四)图像捕获元件邻近的第四图像捕获元件的输出来内插，可以假设第四图像捕获元件位于第二图像捕获元件所位于的区域中，可以认为由如上所假设的第四图像捕获元件(为了方便，其将被称为“所假设的第二(第四)图像捕获元件”)输出的输出可以从与所假设的第二(第四)图像捕获元件邻近的第四图像捕获元件的输出来内插，可以假设第四图像捕获元件位于第三图像捕获元件所位于的区域中，可以认为由如上所假设的第四图像捕获元件(为了方便，其将被称为“所假设的第三(第四)图像捕获元件”)输出的输出可以从与所假设的第三(第四)图像捕获元件邻近的第四图像捕获元件的输出来内插，从而优选地是，获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的、基于第四图像捕获元件的输出。类似地，可以假设第三图像捕获元件位于第一图像捕获元件所位于的区域中，可以认为由如上所假设的第三图像捕获元件(为了方便，其将被称为“所假设的第一(第三)图像捕获元件”)输出的输出可以从与所假设的第一(第三)图像捕获元件邻近的第三图像捕获元件的输出来内插，可以假设第三图像捕获元件位于第二图像捕获元件所位于的区域中，可以认为由如上所假设的第三图像捕获元件(为了方便，其将被称为“所假设的第二(第三)图像捕获元件”)输出的输出可以从与所假设的第二(第三)图像捕获元件邻近的第三图像捕获元件的输出来内插，可以假设第三图像捕获元件位于第四图像捕获元件所位于的区域中，可以认为由如上所假设的第三图像捕获元件(为了方便，其将被称为“所假设的第四(第三)图像捕获元件”)输出的输出可以从与所假设的第四(第三)图像捕获元件邻近的第三图像捕获元件的输出来内插，从而优选的是，获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的、基于第三图像捕获元件的输出。类似地，可以假设第二图像捕获元件位于第一图像捕获元件所位于的区域中，可以认为由如上所假设的第二图像捕获元件(为了方便，其将被称为“所假设的第一(第二)图像捕获元件”)输出的输出可以从与所假设的第一(第二)图像捕获元件邻近的第二图像捕获元件的输出来内插，可以假设第二图像捕获元件位于第三图像捕获元件所位于的区域中，可以认为由如上所假设的第二图像捕获元件(为了方便，其将被称为“所假设的第三(第二)图像捕获元件”)输出的输出可以从与所假设的第三(第二)图像捕获元件邻近的第二图像捕获元件的输出来内插，可以假设第二图像捕获元件位于第四图像捕获元件所位于的区域中，可以认为由如上所假设的第二图像捕获元件(为了方便，其将被称为“所假设的第四(第二)图像捕获元件”)输出的输出可以从与所假设的第四(第二)图像捕获元件邻近的第二图像捕获元件的输出来内插，从而优选的是，获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的、基于第二图像捕获元件的输出。类似地，可以假设第一图像捕获元件位于第二图像捕获元件所位于的区域中，可以认为由如上所假设的第一图像捕获元件(为了方便，其将被称为“所假设的第二 (第一)图像捕获元件”)输出的输出可以从与所假设的第二(第一)图像捕获元件邻近的第一图像捕获元件的输出来内插，可以假设第一图像捕获元件位于第三图像捕获元件所位于的区域中，可以认为由如上所假设的第一图像捕获元件(为了方便，其将被称为“所假设的第三(第一)图像捕获元件”)输出的输出可以从与所假设的第三(第一)图像捕获元件邻近的第一图像捕获元件的输出来内插，可以假设第一图像捕获元件位于第四图像捕获元件所位于的区域中，可以认为由如上所假设的第一图像捕获元件(为了方便，其将被称为“所假设的第四(第一)图像捕获元件”)输出的输出可以从与所假设的第四(第一)图像捕获元件邻近的第一图像捕获元件的输出来内插，从而优选的是，获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的、基于第一图像捕获元件的输出。通过上述内插处理，在像素的初始数量不改变的同时，低灵敏度图像数据的数据配置和数据结构以及高灵敏度图像数据的数据配置和数据结构可以被配置为相同，因此，可以简化各种信号处理。
[0078]在根据本公开第三方面的图像捕获设备中，在包括四个图像捕获元件子单元的四个第一图像捕获元件的簇的总输出被称为“第一图像捕获元件簇输出”，包括其四个第二图像捕获元件的簇的总输出被称为“第二图像捕获元件簇输出”，包括其四个第三图像捕获元件的簇的总输出被称为“第三图像捕获元件簇输出”的情况下，可以基于第一图像捕获元件簇输出、第二图像捕获元件簇输出和第三图像捕获元件簇输出来执行上述“所假设的第二图像捕获元件的内插处理”。相应地，可以从第一图像捕获元件簇输出、第二图像捕获元件簇输出和第三图像捕获元件簇输出获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件(一个红色图像捕获元件、两个绿色图像捕获元件和一个蓝色图像捕获元件)的输出等同的输出。可以获得与来自拜尔布置的普通图像捕获设备中的四个图像捕获元件的输出等同的输出，而无需执行基于构成第一图像捕获元件子单元的第四图像捕获元件、构成第二图像捕获元件子单元的第四图像捕获元件、构成第三图像捕获元件子单元的第四图像捕获元件以及构成第四图像捕获元件子单元的第四图像捕获元件的相加处理。相应地，从像素的初始数量的1/4获得的低灵敏度图像数据的数据配置和数据结构可以与高灵敏度图像数据的数据配置和数据结构相同，可以简化各种信号处理。高灵敏度图像数据经受四像素相加处理，但低灵敏度图像数据不经受相加处理。因此，优点是:灵敏度差可以增加到四倍。
[0079]在根据本公开第四方面的图像捕获设备中，可以假设第二图像捕获元件位于第一图像捕获元件所位于的区域中，可以认为由如上所假设的第二图像捕获元件(为了方便，其将被称为“所假设的第一图像捕获元件”)输出的输出可以从与所假设的第一图像捕获元件邻近的第二图像捕获元件的输出来内插，可以假设第一图像捕获元件位于第二图像捕获元件所位于的区域中，可以认为由如上所假设的第一图像捕获元件(为了方便，其将被称为“所假设的第一图像捕获元件”)输出的输出可以从与所假设的第一图像捕获元件邻近的第二图像捕获元件的输出来内插，从而可以获得低灵敏度图像数据和高灵敏度图像数据。
[0080]在根据本公开第一方面至第四方面的图像捕获设备中，从低灵敏度图像数据或高灵敏度图像数据获得低照度图像区域和高照度图像区域，在任何给定照度区域中的高灵敏度图像数据的亮度值饱和或接近饱和的情况下，将该区域确定为高照度区域，并且使用低灵敏度图像数据的亮度值。用于推导低照度图像区域和高照度图像区域的方法可以是公知的方法。
[0081]通过根据本公开第一方面或第三方面的图像捕获设备，也可以获得单色(灰度)图像。在此情况下，第一增益调整单元可以对来自第一图像捕获元件、第二图像捕获元件和第三图像捕获元件的输出执行增益调整，基于所述输出的谱特性优选地与第四图像捕获元件中所提供的第四滤波器的谱特性匹配。
[0082]光电转换元件的示例包括CXD元件、CMOS图像传感器、CIS(接触式图像传感器)、CMD(电荷调制器件)型信号放大图像传感器。图像捕获元件的示例包括前照式图像捕获元件和背照式图像捕获元件。此外，根据本公开的图像捕获设备可以构成例如数码相机、视频相机、摄像机、所谓的配备相机的蜂窝电话。图像捕获设备可以具有透镜系统。透镜系统可以是单聚焦透镜或所谓的变焦透镜。可以基于透镜系统所需的规格来确定透镜和透镜系统的配置和结构。
[0083][第一实施例]
[0084]第一实施例与根据本公开第一方面的图像捕获设备有关。图1A示出第一实施例的图像捕获设备的图像捕获单元的概念性示图。图2A、图2B、图3A、图3B、图4和图5示出用于解释图像捕获单元的操作的概念性示图。图7A示出图像捕获设备的概念性示图。图7B示出图像捕获元件的示意性局部截面图。图1B示意性示出第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的光接收特性。此外，图6示意性示出第一实施例的图像捕获设备的图像捕获状态。
[0085]第一实施例的图像捕获设备I是用于获得图像的一部分是单色图像并且其剩余部分是彩色图像的组合图像的图像捕获设备。在图7B中，第一实施例的图像捕获设备I包括图像捕获单元30和图像处理单元11，其中，图像捕获单元30包括以二维矩阵形式所布置的图像捕获元件单元31，图像捕获元件单元31中的每一个包括:第一图像捕获元件41，包括第一滤波器43和第一光电转换元件42，并且被配置为:接收第一波长带中的光；第二图像捕获元件51，包括第二滤波器53和第二光电转换元件52，并且被配置为:接收具有比第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件61，包括第三滤波器63和第三光电转换元件62，并且被配置为:接收具有比第二波长带的峰值波长更长的峰值波长的第三波长带中的光；以及第四图像捕获元件71，包括第四滤波器73和第四光电转换元件72，并且被配置为:接收第一波长带、第二波长带和第三波长带中的光。应注意，图像捕获单元30的像素的数量是例如VGA(640X480)，图像捕获单元30捕获运动画面。这可应用于以下实施例中的图像捕获设备。
[0086]在此情况下，虽然不限于以下配置，但第一波长带是350nm至550nm(主要蓝色波长带)，第一波长带的峰值波长是450nm，第一图像捕获元件41是蓝色图像捕获元件；第二波长带是450nm至650nm (主要绿色波长带)，第二波长带的峰值波长是530nm,第二图像捕获元件51是绿色图像捕获元件。此外，第三波长带是550nm至750nm(主要红色波长带)，第三波长带的峰值波长是600nm，第三图像捕获元件61是红色图像捕获元件。
[0087]运作为ND滤波器(中性灰度滤镜)的第四滤波器73的光透射率小于第一滤波器43的光透射率、第二滤波器53的光透射率和第三滤波器63的光透射率。或者，第四图像捕获元件71的灵敏度小于第一图像捕获元件41的灵敏度、第二图像捕获元件51的灵敏度和第三图像捕获元件61的灵敏度。图1B示意性示出第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的光接收特性。更具体地说，在第四滤波器73的光透射率表示为T4，而第一滤波器43的光透射率、第二滤波器53的光透射率和第三滤波器63的光透射率的平均值表示为T123的情况下，T4/T123?0.05成立，虽然光接收特性不限于此。以通过对构成第一滤波器43的基于色素的第一材料、构成第二滤波器53的基于色素的第二材料和构成第三滤波器63的基于色素的第三材料进行混合所获得的材料来制成第四滤波器73,或以通过对构成第一滤波器43的基于色素的第一材料和构成第三滤波器63的基于色素的第三材料进行混合所获得的材料来制成第四滤波器73。第四滤波器73的厚度大约是I μ m，可以通过紫外辐射基于普通光刻技术来形成第四滤波器73。第四图像捕获元件71是灰度图像捕获元件，来自第四图像捕获元件71的输出是没有任何色彩信息的灰度分级信息。
[0088]例如，图像捕获元件41、51、61、71具有如图7B的局部截面图所示的硅半导体衬底80上所提供的光电转换元件42、52、62、72，此外，第一平面化薄膜82、滤波器43、53、63、73、片上透镜84和第二平面化薄膜85堆叠在其上。应注意，附图标记86表示光屏蔽层，附图标记88表示布线层。
[0089]以例如CMOS图像传感器来制成光电转换元件42、52、62、72。此外，例如，第一实施例的图像捕获设备构成视频相机等。如图7A的概念性示图所示，图像捕获设备I具有透镜系统20。在透镜系统20中，图像捕获透镜21、光阑单元22和成像透镜23容纳于镜桶(barrel)中，并且运作为变焦透镜。图像捕获透镜21是用于对来自物体的入射光进行聚光的透镜。图像捕获透镜21包括例如用于聚焦的聚焦透镜以及用于放大物体的变焦透镜，一般地，通过组合用于校正色差等的多个透镜来实现图像捕获透镜21。光阑单元22具有用于调整所聚光的光量的窄化功能，一般地，通过组合类似板形的多个光阑叶片来构成光阑单元22。至少在光阑单元22的位置处，来自物体的任何给定点的光变为平行光。成像透镜23将光聚焦到图像捕获单元30上。在相机主体2的内部提供图像捕获单元30。相机主体2不仅包括图像捕获单元30，而且还包括例如图像处理单元11和图像存储单元12。然后，基于来自图像捕获单元30的输出(电信号)来形成图像数据。公知电路所构成的图像处理单元11将从图像捕获单元30输出的电信号转换为图像数据，并且将图像数据记录到公知的图像存储单元12。应注意，在图像捕获元件或图像捕获元件包封的密封玻璃表面之上或在镜桶中提供用于屏蔽除了可见光之外的光的带通滤波器(未示出)。
[0090]如图1A所示，在第一实施例的图像捕获设备I中，(图1A中的实线的正方形所指示的)任何给定图像捕获元件单元31的(图1A的实线和虚线的正方形所指示的)四个图像捕获元件41、51、61、71的布置是拜尔布置。更具体地说，以二维矩阵形式来布置图像捕获元件单元31，但在第一方向和与第一方向垂直的第二方向上布置图像捕获元件单元31，并且在任何给定图像捕获元件单元31中，如下布置图像捕获元件41、51、61、71:第三图像捕获元件61和第四图像捕获元件71沿着第一方向被彼此邻近地布置，第一图像捕获元件41和第二图像捕获元件51在第一方向上彼此邻近地布置，第一图像捕获元件41和第四图像捕获元件71在第二方向上被彼此邻近地布置，第二图像捕获元件51和第三图像捕获元件61在第二方向上被彼此邻近地布置。
[0091]然后，图像处理单元11从第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出生成高灵敏度图像数据，并且从第四图像捕获元件71的输出生成低灵敏度图像数据。
[0092]更具体地说，当捕获特定图像捕获场景时，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61分别输出信号值^”^‘匕^^如图2A所示。另一方面，第四图像捕获元件71输出信号值“Gy4”，如图2B所示。
[0093]为了方便，并且为了简化解释，构成第一图像捕获元件41的第一光电转换元件42、构成第二图像捕获元件51的第二光电转换元件52以及构成第三图像捕获元件61的第三光电转换元件62的光接收灵敏度等同地为“ I”。为了方便，构成第四图像捕获元件71的第四光电转换元件72的光接收灵敏度是“1/8”。这被看作也可应用于以下解释。更具体地说，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的平均累积电荷数量与第四图像捕获元件71的累积电荷数量之间的比例是8:1 (ISdB)。归因于ISdB的灵敏度差，获得用于三个级别的曝光的低灵敏度图像数据。这基本上也可应用于以下解释。
[0094]在图2A和图2B所示的状态下已经接收到光的每一个图像捕获元件将基于所接收到的光量的输出(电信号)发送到图像处理单元11。在图像处理单元11中，例如，基于以下方法来执行内插处理。
[0095]更具体地说，假设第二图像捕获元件51位于第四图像捕获元件71所位于的区域中，可以认为从已经假设的第二图像捕获元件51 (所假设的第二图像捕获元件51)输出的输出从与假设的第二图 像捕获元件51邻近的第二图像捕获元件51的输出来内插。例如，在图2A中，可以被看作从第(i+1，j+1)所假设的第二图像捕获元件51输出的输出被推导为来自四个图像捕获元件(即第(i+l，j)个第二图像捕获元件51，第(i+2，j)个第二图像捕获元件51，第(i+1，j+1)个第二图像捕获元件51和第(i+2，j+1)个第二图像捕获元件51)的输出的平均值“G’2”。具有附接于其的撇号“’”的附图标记基本上指示通过内插所获得的输出。以此方式，可以获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件(一个红色图像捕获元件、两个绿色图像捕获元件和一个蓝色图像捕获元件)的输出等同的输出(R，G1, G’ 2，B)(见图3A)，并且可以从整个所获得的输出获得高灵敏度图像数据。
[0096]另一方面，假设第四图像捕获元件71位于第一图像捕获元件41所位于的区域中，可以认为从已经假设的第四图像捕获元件71(所假设的第一(第四)图像捕获元件)输出的输出“Gy/’从与所假设的第一(第四)图像捕获元件邻近的第四图像捕获元件71的输出来内插。更具体地说，例如，从来自第(i+1，j+1)个第四图像捕获元件71和第(i+1，j+2)个第四图像捕获元件71的输出的平均值推导来自所假设的第一(第四)图像捕获元件的输出值“Gy’广。假设第四图像捕获元件71位于第二图像捕获元件51所位于的区域中，可以认为从已经假设的第四图像捕获元件71(所假设的第二(第四)图像捕获元件)输出的输出从与所假设的第二(第四)图像捕获元件邻近的第四图像捕获元件71的输出来内插。更具体地说，从来自第(i，j+1)个第四图像捕获元件71、第(i+1，j+1)个第四图像捕获元件71、第(i，j+2)个第四图像捕获元件71和第(i+l，j+2)个第四图像捕获元件71的输出的平均值推导第(i+1，j+1)个所假设的第二(第四)图像捕获元件的输出值“Gy’ 2”。此外，假设第四图像捕获元件71位于第三图像捕获元件61所位于的区域中，可以认为从已经假设的第四图像捕获元件71(所假设的第三(第四)图像捕获元件)输出的输出从与所假设的第三(第四)图像捕获元件邻近的第四图像捕获元件71的输出来内插。更具体地说，从来自第(i，j+Ι)个第四图像捕获元件71和第(i+1，j+Ι)个第四图像捕获元件71的输出的平均值推导第(i+1，j+1)个所假设的第三(第四)图像捕获元件的输出值“Gy’ 3”。以此方式，可以获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的、基于第四图像捕获元件71的输出(Gy’ 1;Gy’ 2，Gy’ 3，Gy4)(见图3B)，并且可以从整个所获得的输出获得低灵敏度图像数据。
[0097]应理解，以上所解释的内插方法(双线性方法)仅为示例，并且可以随着需要而改变。可以应用原样采用邻近第二图像捕获元件51所给定的输出作为所假设的第二图像捕获元件51的输出的方法(最近邻体方法)以及还有使用方向选择算法的更复杂的像素内插算法。可以通过整个系统的目标帧速率和图像处理成本来确定算法。这也可应用于以下解释。
[0098]通过这种处理，在像素的初始数量不改变的同时，低灵敏度图像数据的数据配置和数据结构以及高灵敏度图像数据的数据配置和数据结构可以被配置为相同的，因此，可以简化各种信号处理，并且可以生成以极其低的成本通过处理引擎通过HDR成像所组合的图像。由于最简单的周期性和对称性质随着图像处理而得以保持，因此当形成组合图像时，图像质量降级(例如错误色彩和锯齿)较不可能产生。
[0099]随后，图像处理单元11使用从低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从低灵敏度图像数据或高灵敏度图像数据获得的高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。更具体地说，例如，从高灵敏度图像数据提取低照度图像区域和高照度图像区域。更具体地说，在任何给定尺寸的区域中的高灵敏度图像数据的像素的亮度平均值等于或大于预先所定义的值的情况下(例如，在AD转换之后的亮度值饱和的情况下，或在亮度值关于饱和级别是90%或更高的情况下，等)，该区域可以被采用为高照度图像区域，而在照度平均值小于预先所定义的值的情况下，该区域可以被采用为低照度图像区域。例如，在图4中，具有阴影的双线所包围的区域被看作是高照度图像区域。
[0100]然后，使用低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。图5中示意性示出该状态。
[0101]如图6示意性示出的那样，考虑苹果和香蕉放置在黑暗房间中所布置的桌子上的图像捕获场景，并且在明亮的窗口的外部的户外存在树。在这种图像捕获场景中，当对于黑暗房间调整图像捕获条件(曝光和快门速度)时，房间中的图像捕获状态是适当的，但在窗口的外部的户外场景中，“高光溢出(blown out highlight) ”可能产生(见在图6的左手边的上侧的图)。另一方面，当对于明亮的户外调整图像捕获条件(曝光和增益)时，房屋内部的图像捕获状态变为“封闭(blocked up)阴影”(见图6的左手边的下侧的图)。
[0102]在第一实施例的图像捕获设备中，例如，调整快门速度，从而低灵敏度图像数据的高照度区域中的最大亮度值是AD转换完全范围的大约80 %输出。应注意，帧速率是固定的，其为例如30fps。通过这种处理，来自第四图像捕获元件71的输出在高照度图像区域中不饱和，并且虽然这是灰度标度的，但可以获得具有优选线性的亮度分布。在高照度图像区域中，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61中的至少一个饱和，一部分或所有色彩信息损失。另一方面，在低照度图像区域中，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61不饱和，因此，可以获得具有优选线性的亮度分布和色彩信息。
[0103]通过一个图像捕获处理获得低灵敏度图像数据和高灵敏度图像数据二者，而且对于黑暗房间(低照度图像区域)使用与黑暗房间(低照度图像区域)对应的高灵敏度图像数据并且对于明亮户外(高照度图像区域)使用与明亮户外(高照度图像区域)对应的低灵敏度图像数据来生成组合图像。图6的右手边处的图中示意性示出该状态。根据用于显示组合图像的显示装置或用于打印组合图像的打印机的动态范围(例如RGB8比特)，执行所谓的色调映射处理，以将图像中的亮度范围转换为适合于显示的范围，由此可以获得通过HDR成像所组合的图像。明亮户外(高照度图像区域)的图像是单色(黑白)图像，而黑暗房间(低照度图像区域)的图像是彩色图像。要求这种组合图像(通过HDR成像所获得的图像)具有需要高质量程度的设备(例如普通数码相机和摄像机)的整个屏幕上的色彩，因此，第一实施例的图像捕获设备难以应用于这些设备。然而，在强烈要求“不损失任何信息”的图像捕获设备(例如监控相机和车载相机)的使用领域，这在实践观点上将不产生任何问题。此外，易于支持运动画面。如上所述，虽然图像捕获设备具有例如与具有传统拜尔布置的图像捕获设备等同的简单配置和结构，但图像捕获设备可以容易地获得基于高动态范围成像的图像，并且这意味着可以通过使用廉价图像捕获设备来获得通过高动态范围成像的图像。
[0104]应注意，将每个图像捕获元件根据所接收到的光量所生成的输出(电荷)发送到列信号处理电路。例如，列信号处理电路是为图像捕获元件的每个列提供的，并且对于每个列，对作为来自图像捕获元件的一行的输出的输出执行信号处理(例如噪声消除)。更具体地说，列信号处理电路执行信号处理，例如用于消除对于图像捕获元件独特的固定模式噪声的相关双采样(CDS)、信号放大和模/数转换。水平驱动电路由例如移位寄存器构成，并且通过连续地输出水平扫描脉冲而按顺序选择列信号处理，因此使得列信号处理电路中的每一个输出信号。系统控制电路接收用于例如命令输入时钟和操作模式的数据，并且输出数据(例如关于图像捕获设备的内部信息)。更具体地说，系统控制电路基于垂直同步信号、水平同步信号以及主时钟来生成充当垂直驱动电路、列信号处理电路、水平驱动电路等的操作的基础的时钟信号和控制信号。然后，系统控制电路将这些信号输出到垂直驱动电路、列信号处理电路、水平驱动电路等。由外围电路(垂直驱动电路、列信号处理电路、水平驱动电路和系统控制电路)以及为图像捕获元件中的每一个提供的电路构成用于驱动每个图像捕获元件的驱动电路。
[0105]或者，例如，基于JP2005-323331A中所公开的第一实施例的电路来驱动图像捕获元件。
[0106][第二实施例]
[0107]通过增加第四滤波器73的薄膜厚度，可以增加光密度(OD)。然而，图像捕获元件41、51、61的滤波器43、53、63的薄膜厚度典型地比I μ m更薄。因此，鉴于图像捕获元件的光聚合性能，同一平面中所形成的第四图像捕获元件71的第四滤波器73的薄膜厚度也期望地是大致相同的。鉴于滤波器形成工艺，有时难以在等于或小于特定级别的变化的情况下形成薄膜厚度很厚的滤波器。根据第一实施例的薄膜厚度为I μ m的第四滤波器73的光透射率受限为大约5%，第四图像捕获元件71的输出是第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出的大约1/8，并且这确定整个图像捕获设备的动态范围。因此，实际上，为了支持仍然存在更大亮度差的图像捕获场景，在一些情况下，第四图像捕获元件71可以期望实现较低的灵敏度。
[0108]第二实施例是第一实施例的修改。在第二实施例的图像捕获设备中，图8示出当图像捕获元件被看作沿着图7B的箭头B-B被切割时的光屏蔽层86的示意性局部顶视图。如图8所不,在第一滤波器43与第一光电转换兀件42之间形成第一孔径部分47,在第二滤波器53与第二光电转换兀件52之间形成第二孔径部分57,在第三滤波器63与第三光电转换元件62之间形成第三孔径部分67，在第四滤波器73与第四光电转换元件72之间形成第四孔径部分77，其中，第四孔径部分77小于第一孔径部分47、第二孔径部分57和第三孔径部分67。
[0109]例如，当确定第一孔径部分47、第二孔径部分57、第三孔径部分67和第四孔径部分77的尺寸时，从而用于第四图像捕获元件71的光量衰减是用于第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的光量衰减的两倍。第四图像捕获元件71的灵敏度是第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的灵敏度的1/8(第一实施例)至l/16(24dB)。如上所述，第四图像捕获元件71所接收到的光量可以小于第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61所接收到的光量，因此，可以扩展动态范围，而不加厚第四滤波器73的薄膜厚度。
[0110][第三实施例]
[0111]第三实施例也是第一实施例的修改。在第一实施例中，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61与第四图像捕获元件71的灵敏度比例是1: l/8(18dB)，但当灵敏度比例为固定的时，可能难以处理各种图像捕获场景，并且动态范围(例如18dB)可能是不足的。
[0112]在第三实施例中，通过组合可以在第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61与第四图像捕获元件71之间独立地设置的增益来可变地控制最后级的输出，由此可以扩展通过HDR成像所组合的图像的动态范围，并且动态范围的可变控制成为可能，由此可以支持存在各种亮度差异的图像捕获场景。在图像捕获场景中，在很多情况下，亮度差需要等于或大于32dB。
[0113]更具体地说，在第三实施例中，图像处理单元11可以包括:第一增益调整单元，用于调整来自第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出；以及第二增益调整单元，用于调整来自第四图像捕获元件71的输出，并且在此情况下，在第一增益调整单元进行的用于来自第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出的调整系数表示为Gn1，而第二增益调整单元进行的用于来自第四图像捕获元件71的输出的调整系数表示为Gn2的情况下，Gn1Ain2 = 4可以成立，但本公开不限于此。更具体地说，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61与第四图像捕获元件71之间的增益差的范围高达12dB。
[0114]图9A示出第一图像捕获元件41、第二图像捕获元件51、第三图像捕获元件61和第四图像捕获元件71的灵敏度比例。图9B是第一图像捕获元件41、第二图像捕获元件51、第三图像捕获元件61和第四图像捕获元件71的增益比例。图1OA示出高灵敏度图像数据的最终输出比例(去往外部的输出的比例，这也可应用于以下情况)。图1OB示出低灵敏度图像数据的最终输出比例。在图9A或稍后解释的图23A中，圆括号“ O ”中的数字表示灵敏度比例。在图9B或稍后解释的图23B中，尖括号“O”中的数字表示增益值。在图10A、图1OB或稍后描述的图24A、图28B和图29中，方括号“[]”中的数字表示最终输出比例。第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61与第四图像捕获元件71的灵敏度比例是1: (1/8)，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61与第四图像捕获元件71的增益比例是4:1。因此，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61与第四图像捕获元件71的最终输出比例是1: (1/32)，其为30dB。
[0115]调整系数Gnp Gn2的值可以是固定值，或可以根据图像捕获场景以及高灵敏度图像数据中的平均亮度与低灵敏度图像数据中的平均亮度之间的差而可自动地或手动地改变，因此，可以根据各种明亮和黑暗场景通过优化动态范围来完成图像捕获。
[0116]应注意，可以组合第二实施例和第三实施例。
[0117][第四实施例]
[0118]第四实施例也与第一实施例的修改有关。在新近的图像捕获设备中，可以通过等于或大于普通帧速率的两倍的帧速率来捕获图像。在第四实施例中，使用能够通过这种高帧速率(HFR)来捕获图像的图像捕获设备，即能够通过帧速率(60fps)的两倍的HFR来捕获图像的图像捕获设备。
[0119]更具体地说，在第四实施例的图像捕获设备中，图像处理单元11生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，图像处理单元11进一步将从低灵敏度图像数据或高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的区域到照度为最高的区域的2N级别的区域，而且使用范围从照度为最低的区域到照度为第N低的区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的区域到照度为最高的区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。在第四实施例中，N是2，并且存在这样的关系:用于获得第一组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。
[0120]图1lA示意性示出根据时间的逝去的图像捕获状态(曝光时间)。图1lB示意性示出来自第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61以及第四图像捕获元件71的输出。在第四实施例中，在第一图像捕获处理中，图像处理单元11生成一组(在图1lB中，如“高灵敏度I”所指示的)高灵敏度图像数据和(在图1lB中，如“低灵敏度I”所指示的)低灵敏度图像数据，而在第二图像捕获处理中，图像处理单元11生成另一组的(在图1lB中，如“高灵敏度2”所指示的)高灵敏度图像数据和(在图1lB中，如“低灵敏度2”所指示的)低灵敏度图像数据。当在第一图像捕获处理中来自第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出是“I”时，在第二图像捕获处理中，来自第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出是“1/2”。在第一图像捕获处理中来自第四图像捕获元件71的输出是“1/8”，在第二图像捕获处理中来自第四图像捕获元件71的输出是“1/16”。然后，基于来自这些图像捕获元件的输出，生成两组高灵敏度图像数据和低灵敏度图像数据。
[0121]更具体地说，图像处理单元11将从低灵敏度图像数据或高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的区域到照度为最高的区域的4个级别的区域，而且使用范围从照度为最低的区域到照度为第二低的区域的两个级别的低照度图像区域中分别与两个级别的低照度图像区域对应的两组高灵敏度图像数据(即从“高灵敏度I”和“高灵敏度2”获得的高灵敏度图像数据)并且使用范围从照度为第三低的区域到照度为最高的第四区域的两个级别的高照度图像区域中分别与两个级别的高照度图像区域对应的两组低灵敏度图像数据(即从“低灵敏度I”和“低灵敏度2”获得的低灵敏度图像数据)来生成组合图像。
[0122]因此,通过HDR成像所组合的图像的动态范围是24dB。应注意,在图1lB所示的示例中，第一图像捕获处理中的高灵敏度图像数据饱和，另一方面，第二图像捕获处理中的高灵敏度图像数据不饱和。
[0123]根据第四实施例，可以获得色彩信息的范围比传统范围大两倍，灰度图像的检测的下限也扩展一半，因此，可以在较低照度空间区域中获得信息。因此，与从普通单位帧通过HDR成像所组合的图像相比，不仅动态范围得以扩展，而且关于中间照度的信息也增加，因此，高动态范围组合图像中的噪声减少，并且可以从两个单位帧形成通过高精度HDR成像得到的图像。
[0124]应注意，第二实施例的图像捕获设备的配置和结构可以应用于第四实施例的图像捕获设备，或第三实施例的图像捕获设备的配置和结构可以应用于第四实施例的图像捕获设备，或第二实施例和第三实施例的图像捕获设备的配置和结构可以应用于第四实施例的图像捕获设备。
[0125][第五实施例]
[0126]在独立地形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的情况下，更具体地说，在形成独立点图案的第一滤波器、第二滤波器、第三滤波器和第四滤波器的情况下，当抗蚀剂材料曝光时，在具有普通矩形开孔的曝光掩模中抽取抗蚀剂材料的转角部分的图案，为此，按曝光波长的顺序，虽然初始地期望形成矩形形状的滤波器，但滤波器的四个转角变为圆形。因此，在滤波器的转角部分与滤波器的转角部分之间形成间隙，并且产生这样的问题:色彩可能在各图像捕获元件之间混合，图像捕获元件的总体可靠性下降。
[0127]第五实施例与第一实施例至第四实施例的修改有关。在第五实施例的图像捕获设备中，在第一滤波器43、第二滤波器53、第三滤波器63与第四滤波器73之间不存在间隙。当使用光刻技术形成第一滤波器43、第二滤波器53、第三滤波器63和第四滤波器73之一时，可以通过使用图12示出示意性局部顶视图的具有转角衬线图案的曝光掩模来容易地实现这种配置。更具体地说，在曝光掩模中形成矩形开孔，并且在开孔的四个转角处，以突起方式形成小的矩形开孔。当形成第一滤波器、第二滤波器、第三滤波器和第四滤波器中的至少一个时，使用具有转角衬线图案的曝光掩模。在第五实施例中，考虑使用用于负型彩色滤波器的抗蚀剂材料。
[0128]更具体地说，基于公知方法，在硅半导体衬底80上形成光电转换元件42、52、62、72，随后，在其上形成第一平面化薄膜82和光屏蔽层86。随后，包括构成第三滤波器63的基于色素的第三材料的抗蚀剂材料施加到整个表面，使用如图12所示的曝光掩模对抗蚀剂材料进行曝光并且显影，从而可以获得四个转角膨胀的第三滤波器63，如图13A所示。随后，包括构成第二滤波器53的基于色素的第二材料的抗蚀剂材料施加到整个表面，使用如图12所示的曝光掩模对抗蚀剂材料进行曝光并且显影，从而可以获得四个转角膨胀的第二滤波器53，如图13B所示。随后，包括构成第一滤波器43的基于色素的第一材料的抗蚀剂材料施加到整个表面，使用如图12所示的曝光掩模对抗蚀剂材料进行曝光并且显影，从而可以获得四个转角膨胀的第一滤波器43，如图14A所示。随后，包括构成第四滤波器73的基于色素的第一材料、第二材料和第三材料(或基于色素的第一材料和第三材料)的抗蚀剂材料施加到整个表面，使用如图12所示的曝光掩模对抗蚀剂材料进行曝光并且显影，从而获得四个转角膨胀的第四滤波器73，如图14B所示。滤波器43、53、63、73中的每一个的四个转角膨胀，此外，滤波器43、53、63、73中的每一个的四个转角彼此交叠，因此，在滤波器43、53、63、73之间将不存在间隙。
[0129]用于形成滤波器43、53、63、73的方法不限于以上方法。例如，包括构成第二滤波器53的基于色素的第二材料的抗蚀剂材料施加到整个表面，使用如图12所示的曝光掩模对抗蚀剂材料进行曝光并且显影，从而可以获得四个转角膨胀的第二滤波器53，如图15A所示。随后，包括构成第三滤波器63的基于色素的第三材料的抗蚀剂材料施加到整个表面，并且使用具有带状开孔的曝光掩模来对抗蚀剂材料进行曝光并且显影，从而可以获得第三滤波器63，如图15B所示，此外，可以在随后将要形成第四滤波器73的区域中形成第三材料层。随后，包括构成第一滤波器43的基于色素的第一材料的抗蚀剂材料施加到整个表面，并且使用具有带状开孔的曝光掩模来对抗蚀剂材料进行曝光并且显影，从而可以获得第一滤波器43，如图16A所示，此外，可以在如图15B所示的随后将要在带状图案63上形成第四滤波器73的区域中形成第一材料层。因此，可以获得第四滤波器73，其具有两层堆叠结构，包括以构成第一滤波器43的第一材料制成的第一材料层和以构成第三滤波器63的第三材料制成的第三材料层。以此方式，通过堆叠第一滤波器和第三滤波器，可以基于构成第一滤波器的第一材料(其为类似洋红色的但为现有材料)和构成第三滤波器的第三材料来形成ND滤波器(第四滤波器73)。
[0130]或者，包括构成第二滤波器53的基于色素的第二材料的抗蚀剂材料施加到整个表面，并且使用曝光掩模来对抗蚀剂材料进行曝光并且显影，从而可以获得四个转角膨胀的第二滤波器53，如图16B所示，此外，可以在随后将要形成第四滤波器73的区域中形成以第二材料制成的层。此后，通过基于与图15B所示的相似的以带状的第三材料制成的层的形成来形成第三滤波器63并且与图16A所示的相似的以带状的第一材料制成的层的形成来形成第一滤波器43，可以获得第四滤波器73，其具有三层堆叠层结构，包括以构成第一滤波器43的第一材料制成的第一材料层、以构成第二滤波器53的第二材料制成的第二材料层以及以构成第三滤波器63的第三材料制成的第三材料层。
[0131]应注意，形成第一滤波器、第二滤波器、第三滤波器和第四滤波器的顺序仅为示例，并且可以随着需要而改变，在第四滤波器中堆叠第一材料层、第二材料层和第三材料层的顺序仅为示例，并且可以随着需要而改变。
[0132][第六实施例]
[0133]第六实施例与根据本公开第二方面和第四方面的图像捕获设备有关。图17A示出第六实施例的图像捕获设备的图像捕获单元的概念性示图。图18A、图18B、图19A、图19B、图20和图21示出用于解释图像捕获单元的操作的概念性示图。图17B示意性示出第一图像捕获元件、第二图像捕获元件、第三图像捕获元件和第四图像捕获元件的光接收特性。应注意，图像捕获设备的概念性示图以及图像捕获元件示意性局部截面图的示意性局部截面图与图7A和图7B所示的相似。
[0134]第六实施例的图像捕获设备2是用于获得单色图像的图像捕获设备。当根据本公开第二方面解释该情况时，第六实施例的图像捕获设备2是包括图像捕获单元130和图像处理单元11的图像捕获设备，其中，图像捕获单元130包括以二维矩阵形式所布置的图像捕获元件单元131,图像捕获元件单元131中的每一个包括:第一图像捕获元件141和第三图像捕获元件161，包括第一光电转换元件，并且被配置为:接收可见光范围中的光；第二图像捕获元件151和第四图像捕获元件171，包括中性灰度滤镜和第二光电转换元件，并且被配置为:接收可见光范围中的光。
[0135]于是，图像处理单元11基于来自第一图像捕获元件141和第三图像捕获元件161的输出来生成高灵敏度图像数据，并且基于来自第二图像捕获元件151和第四图像捕获元件171的输出来生成低灵敏度图像数据。此外，图像处理单元11使用从低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从低灵敏度图像数据或高灵敏度图像数据获得的高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。
[0136]第六实施例的图像捕获设备2是用于获得单色图像的图像捕获设备。当根据本公开第四方面来解释该情况时，第六实施例的图像捕获设备2是包括图像捕获单元和图像处理单元11的图像捕获设备，其中，图像捕获单元被布置有图像捕获元件单元，图像捕获元件单元中的每一个包括:第一图像捕获元件141、161，包括第一光电转换元件，并且被配置为:接收可见光范围中的光；第二图像捕获元件151、171，包括中性灰度滤镜和第二光电转换元件，并且被配置为:接收可见光范围中的光。虽然图中未示出，但根据第四方面的图像捕获设备被配置为:例如，沿着第一方向在图像捕获单元的行中布置图像捕获元件单元，或沿着第一方向在图像捕获单元的行中来布置图像捕获元件单元，在其之间具有间隔，此外，沿着第二方向每隔M(然而，M >2)行来布置图像捕获元件单元。第一图像捕获元件可以占据除了图像捕获元件单元之外的构成图像捕获单元的部分。
[0137]于是，图像处理单元11基于来自第一图像捕获元件141、161的输出来生成高灵敏度图像数据，并且基于来自第二图像捕获元件151、171的输出来生成低灵敏度图像数据。此外，图像处理单元11使用从低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从低灵敏度图像数据或高灵敏度图像数据获得的高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。
[0138]在此情况下，以通过对构成第一实施例的第一滤波器43的基于色素的第一材料、构成第一实施例的第二滤波器53的基于色素的第二材料以及构成第一实施例的第三滤波器63的基于色素的第三材料进行混合所获得的材料来制成中性灰度滤镜，或以包括以构成第一滤波器43的基于色素的第一材料制成的第一材料层、以构成第二滤波器53的基于色素的第二材料制成的第二材料层以及以构成第三滤波器63的基于色素的第三材料制成的第三材料层的三层结构来制成第四滤波器73。通过采用上述配置和结构以及每个材料层的薄膜厚度得以适当地设置的中性灰度滤镜，可以对于中性灰度滤镜给出与通过堆叠第一滤波器和第三滤波器所获得的滤波器的谱特性相同的谱特性。[0139]或者，以通过对构成根据第一实施例的第二滤波器53的基于色素的第二材料和洋红色材料进行混合所获得的材料来制成中性灰度滤镜，或可以通过包括以构成第二滤波器53的基于色素的第二材料制成的第二材料层和以洋红色材料制成的材料层的两层结构来构成中性灰度滤镜73。在这种配置中，也可以对每个材料滤波器的薄膜厚度得以适当地设置的中性灰度滤镜给出与通过堆叠第一滤波器和第三滤波器所获得的滤波器的谱特性相同的谱特性。
[0140]如图17A所示，在第六实施例的图像捕获设备2中，(图17A中实线的正方形所指示的)任何给定图像捕获元件单元131中(图17A中的实线和虚线的正方形所指示的)四个图像捕获元件141、151、161、171的布置是拜尔布置。更具体地说，以二维矩阵形式来布置图像捕获元件单元131，在第一方向和与第一方向垂直的第二方向上布置图像捕获元件单元131。在任何给定图像捕获元件单元131中，第三图像捕获元件161和第四图像捕获元件171沿着第一方向被彼此邻近地布置，第一图像捕获元件141和第二图像捕获元件151沿着第一方向被彼此邻近地布置，第一图像捕获元件141和第四图像捕获元件171沿着第二方向被彼此邻近地布置，第二图像捕获元件151和第三图像捕获元件161沿着第二方向被彼此邻近地布置。第二图像捕获元件151和第四图像捕获元件171的灵敏度小于第一图像捕获元件141和第三图像捕获元件161的灵敏度。
[0141]然后，图像处理单元11基于来自第一图像捕获元件141和第三图像捕获元件161的输出来生成高灵敏度图像数据，并且基于来自第二图像捕获元件151和第四图像捕获元件171的输出来生成低灵敏度图像数据。
[0142]更具体地说，当捕获特定图像捕获场景时，第一图像捕获元件141和第三图像捕获元件161以及第二图像捕获元件151和第四图像捕获元件171分别输出信号值“GY/’、“GY31”、“gy2”和 “gy4”，如图 18A 和图 18B 所示。
[0143]应注意，为了方便并且简化解释，构成第一图像捕获元件141的第一光电转换元件和构成第三图像捕获元件161的光电转换元件的光接收灵敏度都被配置为相同的“1”，为了方便，构成第二图像捕获元件151和第四图像捕获元件171的光电转换元件的光接收灵敏度是“1/8”。这被看作也可应用于以下解释。更具体地说，第一图像捕获元件141和第三图像捕获元件161的平均累积电荷量与第二图像捕获元件151和第四图像捕获元件171的累积电荷量之间的比例是8:1 (ISdB)。归因于ISdB的灵敏度差，获得用于三个级别的曝光的低灵敏度图像数据。这基本上也可应用于以下解释。
[0144]在图18A和图18B所示的状态下已经接收到光的每一个图像捕获元件将基于所接收到的光量的输出(电信号)发送到图像处理单元11。在图像处理单元11中，例如，基于以下方法来执行内插处理。
[0145]更具体地说，假设第一图像捕获元件141位于第四图像捕获元件171所位于的区域中，可以认为由如上所假设的第一图像捕获元件141 (所假设的第一图像捕获元件141)输出的输出从与所假设的第一图像捕获元件141邻近的第一图像捕获元件141的输出来内插。例如，在图19A中，可以认为由第(i+1，j+1)个所假设的第一图像捕获元件141输出的输出被推导为来自两个图像捕获元件(其为第(i+1，j)个第一图像捕获元件141和第(i+1，j+1)个第一图像捕获元件141)的输出的平均值“GY’ 4”。假设第三图像捕获元件161位于第二图像捕获元件151所位于的区域中，可以认为由如上所假设的第三图像捕获元件161 (所假设的第三图像捕获元件161)输出的输出从与所假设的第三图像捕获元件161邻近的第二图像捕获元件151的输出来内插。例如，在图19A中，可以认为由第(i+1，j+1)个所假设的第三图像捕获元件161输出的输出被推导为来自两个图像捕获元件(其为第(i+1，j+1)个第三图像捕获元件161和第(i+1，j+2)个第三图像捕获元件161)的输出的平均值“GY’ 2”。以此方式，可以获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件(一个红色图像捕获元件、两个绿色图像捕获元件和一个蓝色图像捕获元件)的输出相同的输出(GY。GY’ 2、GY3> GY’ 4)(见图19A)，可以从所有所获得的输出获得高灵敏度图像数据。
[0146]假设第四图像捕获元件171位于第一图像捕获元件141所位于的区域中，可以认为由如上所假设的第四图像捕获元件171 (所假设的第四图像捕获元件171)输出的输出从与所假设的第四图像捕获元件171邻近的第四图像捕获元件171的输出来内插。例如，在图19B中，可以认为由第(i+1，j+1)个所假设的第四图像捕获元件171输出的输出被推导为来自两个图像捕获元件(其为第(i+l，j+l)个第四图像捕获元件171和第(i+l，j+2)个第四图像捕获元件171)的输出的平均值“gy’广。假设第二图像捕获元件151位于第三图像捕获元件161所位于的区域中，可以认为由如上所假设的第二图像捕获元件151 (所假设的第二图像捕获元件151)输出的输出可以从与所假设的第二图像捕获元件151邻近的第三图像捕获元件161的输出来内插。例如，在图19B中，可以认为由第(i+l，j+l)个所假设的第二图像捕获元件151输出的输出被推导为来自两个图像捕获元件(其为第(i+l，j)个第二图像捕获元件151和第(i+l，j+l)个第二图像捕获元件151)的输出的平均值“gy’3”。以此方式，可以获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件(一个红色图像捕获元件、两个绿色图像捕获元件和一个蓝色图像捕获元件)的输出相同的输出(gy'、gy2、gy’ 3、gy4)(见图19B)，可以从所有获得的输出获得低灵敏度图像数据。
[0147]通过这种处理，在像素的初始数量不改变的同时，低灵敏度图像数据的数据配置和数据结构以及高灵敏度图像数据的数据配置和数据结构可以被配置为相同，因此，可以简化各种信号处理，并且可以以极其低的成本生成通过处理引擎通过HDR成像所组合的图像。由于最简单的周期性质和对称性质随着图像处理而得以保持，因此当形成组合图像时，图像质量降级(例如错误色彩和锯齿)较不可能产生。
[0148]随后，图像处理单元11使用从低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从低灵敏度图像数据或高灵敏度图像数据获得的高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。更具体地说，例如，从高灵敏度图像数据提取低照度图像区域和高照度图像区域。更具体地说，在任何给定尺寸的区域中的亮度平均值等于或大于预先所定义的值(例如，等于或大于最大照度)的情况下，该区域可以采用为高照度图像区域，而在照度平均值小于预先所定义的值的情况下，该区域可以采用为低照度图像区域。在图20中，具有阴影的双线所包围的区域被看作是高照度图像区域。然后，使用低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。图21中示意性示出该状态。
[0149][第七实施例]
[0150]第七实施例是第六实施例的修改，并且与和第二实施例相似的实施例有关。在第七实施例的图像捕获设备中，图22示出当图像捕获元件被看作沿着图7B的箭头B-B被切割时的光屏蔽层86的示意性局部顶视图。如图22所示，在第一光电转换元件的光入射区域中形成第一孔径部分147。在中性灰度滤镜与第二光电转换元件之间形成第二孔径部分157。在第三光电转换元件的光入射区域中形成第三孔径部分167。在中性灰度滤镜与第四光电转换元件之间形成第四孔径部分177。第三孔径部分167小于第一孔径部分147，第四孔径部分177小于第二孔径部分157。
[0151]例如，当确定第一孔径部分147、第二孔径部分157、第三孔径部分167和第四孔径部分177的尺寸从而用于第二图像捕获元件151和第四图像捕获元件171的光量衰减是用于第一图像捕获元件141和第三图像捕获元件161的光量衰减的两倍大时，第三图像捕获元件161的灵敏度是第一图像捕获元件141的灵敏度的(1/2)，第四图像捕获元件171的灵敏度是第二图像捕获元件151的灵敏度的1/8 (第六实施例)至l/16(24dB)(见图23A和图23B)。因此，可以获得基于来自第一图像捕获元件141的输出的高灵敏度图像数据[I]和基于来自第三图像捕获元件161的输出的高灵敏度图像数据[2]。然而，高灵敏度图像数据[I]对于高灵敏度图像数据[2]的最终输出比例是1:(1/2)(见图24A和图24B)。可以获得基于来自第二图像捕获元件151的输出的低灵敏度图像数据[I]和基于来自第四图像捕获元件171的输出的低灵敏度图像数据[2]。然而，低灵敏度图像数据[I]对于低灵敏度图像数据[2]的最终输出比例是(1/8):(1/16)(见图25A和图25B)。如上所述，在第七实施例中，一个图像捕获处理可以获得四个级别的信息。根据第七实施例，可以获得信息的范围变为两倍大，灰度图像的检测的下限得以极大地扩展，可以在较低照度空间区域中获得信息。
[0152][第八实施例]
[0153]第八实施例也是第六实施例的修改，并且与和第三实施例相似的实施例有关。在第八实施例的图像捕获设备中，图像处理单元11包括:第一增益调整单元，被配置为:调整来自第一图像捕获元件141和第三图像捕获元件161的输出；以及第二增益调整单元，被配置为:调整来自第二图像捕获元件151和第四图像捕获元件171的输出。在第一增益调整单元进行的用于来自第一图像捕获元件141和第三图像捕获元件161的输出的调整系数表示为Gn1，而第二增益调整单元进行的用于来自第二图像捕获元件151和第四图像捕获元件171的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2≥I，更具体地说，满足Gn1Ain2 =4，但本公开不限于此。第一图像捕获元件141和第三图像捕获元件161与第二图像捕获元件151和第四图像捕获元件171的增益差的范围高达12dB。第一图像捕获元件141和第三图像捕获元件161的灵敏度比例以及第二图像捕获元件151和第四图像捕获元件171的灵敏度比例是1: (1/8)。第一图像捕获元件141和第三图像捕获元件161与第二图像捕获元件151和第四图像捕获元件171的增益比例是4:1。因此，第一图像捕获元件141和第三图像捕获元件161与第二图像捕获元件151与第四图像捕获元件171的最终输出比例是1:(1/32)，即 30dB。
[0154]调整系数Gnp Gn2的值可以是固定值，或可以根据图像捕获场景以及高灵敏度图像数据中的平均亮度与低灵敏度图像数据中的平均亮度之间的差而可自动地或手动地改变，因此，可以根据各种明亮和黑暗场景通过优化动态范围来完成图像捕获。用于第一图像捕获元件141的增益值和用于第三图像捕获元件161的增益值可以被配置为不同(例如，用于第一图像捕获元件141的增益值的四倍以及用于第三图像捕获元件161的增益值的两倍)，用于第二图像捕获元件151的增益值和用于第四图像捕获元件171的增益值可以被配置为不同(例如用于第二图像捕获元件151的增益值的两倍以及用于第四图像捕获元件171的增益值的四倍)。
[0155]应注意，可以组合第七实施例和第八实施例。
[0156][第九实施例]
[0157]第九实施例也是第六实施例的修改，并且与和第四实施例相似的实施例有关。此夕卜，在第九实施例中，图像处理单元11可以生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，图像处理单元11可以进一步将从低灵敏度图像数据或高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的图像区域到照度为最高的图像区域的2N级别的图像区域，而且可以使用范围从照度为最低的图像区域到照度为第N低的图像区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的图像区域到照度为最高的图像区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。在第九实施例中，N是2，并且存在这样的关系:用于获得第一组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。
[0158]类似于第三实施例，图像处理单元11将从低灵敏度图像数据或高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的区域到照度为最高的区域的4个级别的区域，而且使用范围从照度为最低的区域到照度为第二低的区域的两个级别的低照度图像区域中分别与两个级别的低照度图像区域对应的两组高灵敏度图像数据(即从图11所示的“高灵敏度I”和“高灵敏度2”获得的高灵敏度图像数据)并且使用范围从照度为第三低的区域到照度为最高的第四区域的两个级别的高照度图像区域中分别与两个级别的高照度图像区域对应的两组低灵敏度图像数据(即从图11所示的“低灵敏度I”和“低灵敏度2”获得的低灵敏度图像数据)来生成组合图像。因此，通过HDR成像所组合的图像的动态范围是24dB。
[0159]此外，在第九实施例中，可以获得色彩信息的范围是传统范围两倍大，灰度图像的检测的下限也扩展一半，因此，可以在较低照度空间区域中获得信息。因此，与从普通单位帧通过HDR成像所组合的图像相比，不仅动态范围得以扩展，而且关于中间照度的信息也增加，因此，可以从两个单位帧形成高精度HDR成像所得到的图像。
[0160]应注意，第七实施例的图像捕获设备的配置和结构可以应用于第九实施例的图像捕获设备。第八实施例的图像捕获设备的配置和结构可以应用于第九实施例的图像捕获设备。第七实施例和第八实施例的图像捕获设备的配置和结构可以应用于第九实施例的图像捕获设备。
[0161][第十实施例]
[0162]第十实施例是第一实施例和第六实施例的修改。更具体地说，在第十实施例中，从第一实施例中所解释的图像捕获设备获得单色图像。在此情况下，图像处理单元11中所提供的第一增益调整单元调整来自第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的输出，从而基于所述输出的谱特性变为尽可能多地与第四图像捕获元件71的第四滤波器(中性灰度滤镜)73的谱特性相同。例如，当通过堆叠上述第一滤波器和第三滤波器来构成第四滤波器时，第一图像捕获元件41的输出可以乘以1.0，第二图像捕获元件51的输出可以乘以0.2，第三图像捕获元件61的输出可以乘以1.0。在此情况下，这些输出乘法因子仅是示例，并且可以适当地被配置为与第四滤波器的谱特性相似。如在第六实施例中解释的那样，以通过对第一材料、第二材料和第三材料进行混合所获得的材料来制成中性灰度滤镜，或可以通过包括第一材料层、第二材料层和第三材料层的三层结构来构成中性灰度滤镜，或可以用通过对第一材料和第三材料进行混合所获得的材料来制成中性灰度滤镜，或可以通过包括第一材料层和第三材料层的两层结构或通过对第二材料和洋红色材料进行混合所获得的材料来构成中性灰度滤镜，或可以通过包括第二材料层和以洋红色材料制成的材料层的两层结构来构成中性灰度滤镜。应注意，图17B示意性示出通过对第一材料和第三材料进行混合所获得的材料的谱特性。
[0163][第^^一实施例]
[0164]第十一实施例与根据本公开第三方面的图像捕获设备有关。图26示出根据第十一实施例的图像捕获设备的图像捕获单元的概念性示图。图27A、图27B、图28A、图28B和图29示出用于解释图像捕获单元的操作的概念性示图。
[0165 ]第十一实施例的图像捕获设备是用于获得图像的一部分是单色图像并且其剩余部分是彩色图像的组合图像的图像捕获设备。第十一实施例的图像捕获设备是包括图像捕获单元230和图像处理单元11的图像捕获设备，其中，图像捕获单元230包括以二维矩阵形式所布置的图像捕获元件单元231A，图像捕获元件单元231A中的每一个包括四个图像捕获元件子单元231B，其包括:第一图像捕获元件41，包括第一滤波器43和第一光电转换元件42，并且被配置为接收第一波长带中的光；第二图像捕获元件51，包括第二滤波器53和第二光电转换元件52，并且被配置为接收具有比第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件61，包括第三滤波器63和第三光电转换元件62，并且被配置为接收具有比第二波长带的峰值波长更长的峰值波长的第三波长带中的光；第四图像捕获元件71，包括第四滤波器73和第四光电转换元件72，并且被配置为接收第一波长带、第二波长带和第三波长带中的光。第十一实施例的第一图像捕获元件41、第二图像捕获元件51、第三图像捕获元件61和第四图像捕获元件71、光电转换元件、滤波器43、53、63,73等具有与第一实施例相同的配置和相同的结构。
[0166]类似于第一实施例，第十一实施例的图像捕获设备的第四滤波器73的光透射率小于第一滤波器43的光透射率、第二滤波器53的光透射率和第三滤波器63的光透射率。或者，第四图像捕获元件71的灵敏度小于第一图像捕获元件41的灵敏度、第二图像捕获元件51的灵敏度和第三图像捕获元件61的灵敏度。图像处理单元11基于构成图像捕获元件单元231A的四个图像捕获元件子单元231B的第一图像捕获元件41的输出总和、第二图像捕获元件51的输出总和以及第三图像捕获元件61的输出总和来生成高灵敏度图像数据，并且基于来自四个图像捕获元件子单元231B中的每一个的第四图像捕获元件71的输出来生成低灵敏度图像数据。更具体地说，第一图像捕获元件41的总输出、第二图像捕获元件51的总输出以及第三图像捕获元件61的总输出是第四图像捕获元件71中的每一个的输出的四倍，第一图像捕获元件41、第二图像捕获元件51和第三图像捕获元件61的灵敏度与第四图像捕获元件71的灵敏度的灵敏度比例是1: (1/8)，因此，高灵敏度图像数据与低灵敏度图像数据的最终输出比例是1: (1/32)。
[0167]此外，图像处理单元11使用从低灵敏度图像数据或高灵敏度图像数据获得的低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从低灵敏度图像数据或高灵敏度图像数据获得的高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。
[0168]应注意，任何给定图像捕获元件子单元231B的四个图像捕获元件41、51、61、71的布置是拜尔布置。在图26中，图像捕获元件单元231A被指示为由实线包围，图像捕获元件子单元231B被指示为由实线和虚线包围。更具体地说，例如，在任何给定图像捕获元件子单元231B中，第三图像捕获元件61和第四图像捕获元件71沿着第一方向被彼此邻近地布置，第一图像捕获元件41和第二图像捕获元件51沿着第一方向被彼此邻近地布置，第一图像捕获元件41和第四图像捕获元件71沿着第二方向被彼此邻近地布置，第二图像捕获元件51和第三图像捕获元件61沿着第二方向被彼此邻近地布置。
[0169]当捕获特定图像捕获场景时，任何给定图像捕获元件单元231A中的四个第一图像捕获元件41 输出信号值“BU’、“B2”、“B3”、“B4”，如图27A所示。任何给定图像捕获元件单元231A中的四个第二图像捕获元件51输出信号值“G/YG12YG13YG14'如图27A所示。此外，任何给定图像捕获元件单元231A中的四个第三图像捕获元件61输出信号值“R/”、
如图27A所示。另一方面，任何给定图像捕获元件单元231A中的四个第四图像捕获元件71输出信号值Iy41ViGy42” “Gy43” “Gy44”，如图27B所示。
[0170]在图27A和图27B所示的状态下已经接收光的每一个图像捕获元件将基于所接收到的光量的输出(电信号)发送到图像处理单元11。在图像处理单元11中，例如，基于以下方法来执行内插处理。
[0171]更具体地说，图像处理单元11推导四个图像捕获元件子单元231B的四个第一图像捕获元件41的簇(第一图像捕获元件簇)、四个第二图像捕获元件51的簇(第二图像捕获元件簇)和四个第三图像捕获元件61的簇(第三图像捕获元件簇)的输出总和BW'RH(见图28A)。此外，假设第二图像捕获元件簇位于第四图像捕获元件簇所位于的区域中，可以认为由如上所假设的第二图像捕获元件簇(所假设的第二图像捕获元件簇)输出的输出从与所假设的第二图像捕获元件簇邻近的第二图像捕获元件簇的输出来内插，从而获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相同的输出G’1~4(见图28B)。获得与来自拜尔布置的普通图像捕获设备中的图像捕获元件的输出相似的、基于第四图像捕获元件71的输出，而无需基于构成第一图像捕获元件子单元231Bi的第四图像捕获元件71、构成第二图像捕获元件子单元231B2的第四图像捕获元件71、构成第三图像捕获元件子单元231B3的第四图像捕获元件71以及构成第四图像捕获元件子单元23川4的第四图像捕获元件71来执行相加处理(见图29)。因此，可以获得高灵敏度图像数据(见图28B)和像素的数量为像素的初始数量的1/4的低灵敏度图像数据(见图29)，但低灵敏度图像数据的数据配置和数据结构以及高灵敏度图像数据的数据配置和数据结构可以被配置为相同，因此，可以简化各种信号处理。高灵敏度图像数据经受四像素相加处理，但低灵敏度图像数据不经受相加处理。因此，优点是:灵敏度差可以增加到四倍。
[0172]此后，通过基于高灵敏度图像数据和低灵敏度图像数据执行与第一实施例相同的处理，可以获得通过HDR成像所组合的图像。[0173]应注意，第二实施例中所解释的图像捕获设备的配置和结构也可以应用于第十一实施例，第三实施例中所解释的图像捕获设备的配置和结构也可以应用于第十一实施例，第四实施例中所解释的图像捕获设备的配置和结构也可以应用于第十一实施例，或其任何给定组合也可以应用于第十一实施例。
[0174]以上已经参照优选实施例解释了本公开，但本公开不限于这些实施例。实施例中所解释的图像捕获设备和图像捕获元件的配置和结构仅为示例，并且可以随着需要而改变。例如，图像捕获元件可以被配置为这样的:在硅半导体衬底上提供光电转换元件，然后在其上堆叠第一平面化薄膜、片上透镜、第二平面化薄膜和滤波器。图像捕获元件可以是前照式元件，而不是背照式元件。
[0175]应注意，本公开可以如下被配置。
[0176][1]〈〈图像捕获设备:第一方面》
[0177]一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，并且所述图像捕获元件单元中的每一个包括:第一图像捕获元件，包括第一滤波器和第一光电转换元件，并且被配置为接收第一波长带中的光；第二图像捕获元件，包括第二滤波器和第二光电转换元件，并且被配置为接收具有比所述第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件，包括第三滤波器和第三光电转换元件，并且被配置为接收具有比所述第二波长带的峰值波长更长的峰值波长的第三波长带中的光；以及第四图像捕获元件，包括第四滤波器和第四光电转换元件，并且被配置为接收所述第一波长带、所述第二波长带和所述第三波长带中的光，其中，所述第四滤波器的光透射率小于所述第一滤波器的光透射率、所述第二滤波器的光透射率和所述第三滤波器的光透射率，所述图像处理单元根据来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出而生成高灵敏度图像数据，并且根据来自所述第四图像捕获元件的输出而生成低灵敏度图像数据，所述图像处理单元进一步使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的低照度图像区域中与所述低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的高照度图像区域中与所述高照度图像区域对应的低灵敏度图像数据来生成组合图像。
[0178][2],如[I]所述的图像捕获设备，其中，在所述第一滤波器与所述第一光电转换元件之间形成第一孔径部分，在所述第二滤波器与所述第二光电转换元件之间形成第二孔径部分，在所述第三滤波器与所述第三光电转换元件之间形成第三孔径部分，在所述第四滤波器与所述第四光电转换元件之间形成第四孔径部分，其中，所述第四孔径部分小于所述第一孔径部分、所述第二孔径部分和所述第三孔径部分。
[0179][3],如[I]或[2]所述的图像捕获设备，其中，所述图像处理单元包括:第一增益调整单元，被配置为调整来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出；以及第二增益调整单元，被配置为调整来自所述第四图像捕获元件的输出。
[0180][4],如[3]所述的图像捕获设备，其中，在所述第一增益调整单元进行的用于来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出的调整系数表示为Gn1，而所述第二增益调整单元进行的用于来自所述第四图像捕获元件的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2≤I。
[0181][5],如[I]至[4]中的任一项所述的图像捕获设备，其中，所述图像处理单元生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，所述图像处理单元进一步将从所述低灵敏度图像数据或所述高灵敏度图像数据获得的图像的照度区域划分为范围从照度最低的区域到照度最高的区域的2N级别的区域，而且使用范围从照度为最低的区域到照度为第N低的区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的区域到照度为最高的区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。
[0182][6],如[5]所述的图像捕获设备，其中，N为2，并且存在这样的关系:用于获得第一组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。
[0183][7],如[I]至[6]中的任一项所述的图像捕获设备，其中，在所述第一滤波器、所述第二滤波器、所述第三滤波器与所述第四滤波器之间不存在间隙。
[0184][8],如[I]至[7]中的任一项所述的图像捕获设备，其中，所述第四滤波器具有三层堆叠层结构，包括以构成所述第一滤波器的第一材料制成的第一材料层、以构成所述第二滤波器的第二材料制成的第二材料层以及以构成所述第三滤波器的第三材料制成的第三材料层。
[0185][9],如[I]至[7]中的任一项所述的图像捕获设备，其中，以通过对构成所述第一滤波器的第一材料、构成所述第二滤波器的第二材料以及构成所述第三滤波器的第三材料进行混合所获得的材料来制成 所述第四滤波器。
[0186][10].如[I]至[7]中的任一项所述的图像捕获设备，其中，所述第四滤波器具有两层堆叠层结构，包括以构成所述第一滤波器的第一材料制成的第一材料层以及以构成所述第三滤波器的第三材料制成的第三材料层。
[0187][11].如[I]至[7]中的任一项所述的图像捕获设备，其中，以通过对构成所述第一滤波器的第一材料和构成所述第三滤波器的第三材料进行混合所获得的材料来制成所述第四滤波器。
[0188][12]?图像捕获设备:第二方面>>
[0189]一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件和第三图像捕获元件，包括第一光电转换元件，并且被配置为接收可见光范围中的光；第二图像捕获元件和第四图像捕获元件，包括中性灰度滤镜和第二光电转换元件，并且被配置为接收可见光范围中的光，其中，所述图像处理单元基于来自所述第一图像捕获元件和所述第三图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第二图像捕获元件和所述第四图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元进一步使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的低照度图像区域中与所述低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的高照度图像区域中与所述高照度图像区域对应的低灵敏度图像数据来生成组合图像。[0190][13].如[12]所述的图像捕获设备，其中，在所述第一光电转换元件的光入射区域中形成第一孔径部分，在所述中性灰度滤镜与所述第二光电转换元件之间形成第二孔径部分，在所述第三光电转换元件的光入射区域中形成第三孔径部分，在所述中性灰度滤镜与所述第四光电转换元件之间形成第四孔径部分，其中，所述第三孔径部分小于所述第一孔径部分，所述第四孔径部分小于所述第二孔径部分。
[0191][14].如[12]或[13]所述的图像捕获设备，其中，所述图像处理单元具有:第一增益调整单元，被配置为调整来自所述第一图像捕获元件和所述第三图像捕获元件的输出；以及第二增益调整单元，被配置为调整来自所述第二图像捕获元件和所述第四图像捕获元件的输出。
[0192][15].如[14]所述的图像捕获设备，其中，在所述第一增益调整单元进行的用于来自所述第一图像捕获元件和所述第三图像捕获元件的输出的调整系数表示为Gn1，而所述第二增益调整单元进行的用于来自所述第二图像捕获元件和所述第四图像捕获元件的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2≥I。
[0193][16].如[12]至[15]中的任一项所述的图像捕获设备，其中，所述图像处理单元生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，所述图像处理单元进一步将从所述低灵敏度图像数据或所述高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的图像区域到照度为最高的图像区域的2N级别的图像区域，而且使用范围从照度为最低的图像区域到照度为第N低的图像区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的图像区域到照度为最高的图像区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。
[0194][17].如[16]所述的图像捕获设备，其中，N为2，并且存在这样的关系:用于获得第一组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。
[0195][18].如[12]至[17]中的任一项所述的图像捕获设备，其中，所述中性灰度滤镜具有与通过堆叠所述第一滤波器和所述第三滤波器所制成的滤波器的谱特性相同的谱特性。
[0196][19]?图像捕获设备:第三方面>>
[0197]一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括:四个图像捕获元件子单元，其每一个包括:第一图像捕获元件，包括第一滤波器和第一光电转换元件，并且被配置为接收第一波长带中的光；第二图像捕获元件，包括第二滤波器和第二光电转换元件，并且被配置为接收具有比所述第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件，包括第三滤波器和第三光电转换元件，并且被配置为接收具有比所述第二波长带的峰值波长更长的峰值波长的第三波长带中的光；以及第四图像捕获元件，包括第四滤波器和第四光电转换元件，并且被配置为接收所述第一波长带、所述第二波长带和所述第三波长带中的光，其中，所述第四滤波器的光透射率小于所述第一滤波器的光透射率、所述第二滤波器的光透射率和所述第三滤波器的光透射率，所述图像处理单元基于构成所述图像捕获元件单元的四个图像捕获元件子单元的所述第一图像捕获元件的输出总和、所述第二图像捕获元件的输出总和以及所述第三图像捕获元件的输出总和来生成高灵敏度图像数据，并且基于来自所述四个图像捕获元件子单元中的每一个的所述第四图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。
[0198][20]?图像捕获设备:第四方面>>
[0199]一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元被布置有图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件，包括第一光电转换元件，并且被配置为接收可见光范围中的光；第二图像捕获元件，包括中性灰度滤镜和第二光电转换元件，并且被配置为接收可见光范围中的光，所述图像处理单元基于来自所述第一图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第二图像捕获元件的输出来生成低灵敏度图像数据，所述图像处理单元进一步使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的低照度图像区域中与所述低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的高照度图像区域中与所述高照度图像区域对应的低灵敏度图像数据来生成组合图像。 [0200]附图标记列表
[0201]1、2图像捕获设备
[0202]2相机主体
[0203]11图像处理单元
[0204]12图像存储单元
[0205]20透镜系统
[0206]21图像捕获透镜
[0207]22光阑单元
[0208]23成像透镜
[0209]30、130、230图像捕获单元
[0210]31、131、231A图像捕获元件单元
[0211]231B图像捕获元件子单元
[0212]41、141第一图像捕获元件
[0213]42第一光电转换元件
[0214]43第一滤波器
[0215]51、151第二图像捕获元件
[0216]52第二光电转换元件
[0217]53第二滤波器
[0218]61、161第三图像捕获元件
[0219]62第三光电转换元件
[0220]63第三滤波器[0221]71、171第四图像捕获元件
[0222]72第四光电转换元件
[0223]73第四滤波器
[0224]80硅半导体衬底
[0225]82第一平面化薄膜
[0226]84片上透镜
[0227]85第二平面化薄膜
【权利要求】
1.一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，并且所述图像捕获元件单元中的每一个包括:第一图像捕获元件，包括第一滤波器和第一光电转换元件，并且被配置为接收第一波长带中的光；第二图像捕获元件，包括第二滤波器和第二光电转换元件，并且被配置为接收具有比所述第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图像捕获元件，包括第三滤波器和第三光电转换元件，并且被配置为接收具有比所述第二波长带的峰值波长更长的峰值波长的第三波长带中的光；以及第四图像捕获元件，包括第四滤波器和第四光电转换元件，并且被配置为接收所述第一波长带、所述第二波长带和所述第三波长带中的光， 并且 其中，所述第四滤波器的光透射率小于所述第一滤波器的光透射率、所述第二滤波器的光透射率以及所述第三滤波器的光透射率，所述图像处理单元根据来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出而生成高灵敏度图像数据，并且根据来自所述第四图像捕获元件的输出而生成低灵敏度图像数据，并且 所述图像处理单元进一步使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的低照度图像区域中与所述低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的高照度图像区域中与所述高照度图像区域对应的低灵敏度图像数据来生成组合图像。
2.如权利要求1所述的图像捕获设备，其中，在所述第一滤波器与所述第一光电转换元件之间形成第一孔径部分，在所述第二滤波器与所述第二光电转换元件之间形成第二孔径部分，在所述第三滤波器与所述第三光电转换元件之间形成第三孔径部分，在所述第四滤波器与所述第四光电转换元件之间形成第四孔径部分，其中，所述第四孔径部分小于所述第一孔径部分、所述第二孔径部分和所述第三孔径部分。
3.如权利要求1所述的图像捕获设备，其中，所述图像处理单元包括:第一增益调整单元，被配置为调整来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出；以及第二增益调整单元，被配置为调整来自所述第四图像捕获元件的输出。
4.如权利要求3所述的图像捕获设备，其中，在所述第一增益调整单元进行的用于来自所述第一图像捕获元件、所述第二图像捕获元件和所述第三图像捕获元件的输出的调整系数表示为Gn1，而所述第二增益调整单元进行的用于来自所述第四图像捕获元件的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2≥1。
5.如权利要求1所述的图像捕获设备，其中，所述图像处理单元生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，并且 所述图像处理单元进一步将从所述低灵敏度图像数据或所述高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的区域到照度为最高的区域的2N级别的区域，而且使用范围从照度为最低的区域到照度为第N低的区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的区域到照度为最高的区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。
6.如权利要求5所述的图像捕获设备，其中，N为2，并且存在这样的关系:用于获得第一组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。
7.如权利要求1所述的图像捕获设备，其中，在所述第一滤波器、所述第二滤波器、所述第三滤波器与所述第四滤波器之间不存在间隙。
8.如权利要求1所述的图像捕获设备，其中，所述第四滤波器具有三层堆叠层结构，包括以构成所述第一滤波器的第一材料制成的第一材料层、以构成所述第二滤波器的第二材料制成的第二材料层以及以构成所述第三滤波器的第三材料制成的第三材料层。
9.如权利要求1所述的图像捕获设备，其中，以通过对构成所述第一滤波器的第一材料、构成所述第二滤波器的第二材料以及构成所述第三滤波器的第三材料进行混合所获得的材料来制成所述第四滤波器。
10.如权利要求1所述的图像捕获设备，其中，所述第四滤波器具有两层堆叠层结构，包括以构成所述第一滤波器的第一材料制成的第一材料层以及以构成所述第三滤波器的第三材料制成的第三材料层。
11.如权利要求1所述的图像捕获设备，其中，以通过对构成所述第一滤波器的第一材料和构成所述第三滤波器的第三材料进行混合所获得的材料来制成所述第四滤波器。
12.—种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件和第三图像捕获元件，包括第一光电转换元件，并且被配置为接收可见光范围中的光；第二图像捕获元件和第四图像捕获元件，包括中性灰度滤镜和第二光电转换元件，并且被配置为接收可见光范围中的光，其中， 所述图像处理单元基于来自所述第一图像捕获元件和所述第三图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第二图像捕获元件和所述第四图像捕获元件的输出来生成低灵敏度图像数据，并且 所述图像处理单元进一步使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的低照度图像区域中与所述低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的高照度图像区域中与所述高照度图像区域对应的低灵敏度图像数据来生成组合图像。
13.如权利要求12所述的图像捕获设备，其中， 在所述第一光电转换元件的光入射区域中形成第一孔径部分， 在所述中性灰度滤镜与所述第二光电转换元件之间形成第二孔径部分， 在所述第三光电转换元件的光入射区域中形成第三孔径部分，并且 在所述中性灰度滤镜与所述第四光电转换元件之间形成第四孔径部分，其中， 所述第三孔径部分小于所述第一孔径部分，并且所述第四孔径部分小于所述第二孔径部分。
14.如权利要求12所述的图像捕获设备，其中，所述图像处理单元具有:第一增益调整单元，被配置为调整来自所述第一图像捕获元件和所述第三图像捕获元件的输出；以及第二增益调整单元，被配置为调整来自所述第二图像捕获元件和所述第四图像捕获元件的输出。
15.如权利要求14所述的图像捕获设备，其中，在所述第一增益调整单元进行的用于来自所述第一图像捕获元件和所述第三图像捕获元件的输出的调整系数表示为Gn1，而所述第二增益调整单元进行的用于来自所述第二图像捕获元件和所述第四图像捕获元件的输出的调整系数表示为Gn2的情况下，满足Gn1Ain2≥I。
16.如权利要求12所述的图像捕获设备，其中，所述图像处理单元生成曝光时间不同的N组高灵敏度图像数据和低灵敏度图像数据，所述图像处理单元进一步将从所述低灵敏度图像数据或所述高灵敏度图像数据获得的图像的照度区域划分为范围从照度为最低的图像区域到照度为最高的图像区域的2N级别的图像区域，而且使用范围从照度为最低的图像区域到照度为第N低的图像区域的N级别的低照度图像区域中分别与N级别的低照度图像区域对应的N组高灵敏度图像数据并且使用范围从照度为第(N+1)低的图像区域到照度为最高的图像区域的N级别的高照度图像区域中分别与N级别的高照度图像区域对应的N组低灵敏度图像数据来生成组合图像。
17.如权利要求16所述的图像捕获设备，其中，N为2，并且存在这样的关系:用于获得第一组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间是用于获得第二组高灵敏度图像数据和低灵敏度图像数据的图像捕获时间的两倍。
18.如权利要求12所述的图像捕获设备，其中，所述中性灰度滤镜具有与通过堆叠所述第一滤波器和所述第三滤波器所制成的滤波器的谱特性相同的谱特性。
19.一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元包括以二维矩阵形式布置的图像捕获元件单元，所述图像捕获元件单元中的每一个包括四个图像捕获元件子单元，其每一个包括:第一图像捕获元件，包括第一滤波器和第一光电转换元件，并且被配置为接收第一波长带中的光；第二图像捕获元件，包括第二滤波器和第二光电转换元件，并且被配置为接收具有比所述第一波长带的峰值波长更长的峰值波长的第二波长带中的光；第三图 像捕获元件，包括第三滤波器和第三光电转换元件，并且被配置为接收具有比所述第二波长带的峰值波长更长的峰值波长的第三波长带中的光；以及第四图像捕获元件，包括第四滤波器和第四光电转换元件，并且被配置为接收所述第一波长带、所述第二波长带和所述第三波长带中的光， 其中，所述第四滤波器的光透射率小于所述第一滤波器的光透射率、所述第二滤波器的光透射率和所述第三滤波器的光透射率，所述图像处理单元基于构成所述图像捕获元件单元的所述四个图像捕获元件子单元的所述第一图像捕获元件的输出总和、所述第二图像捕获元件的输出总和以及所述第三图像捕获元件的输出总和来生成高灵敏度图像数据，并且基于来自所述四个图像捕获元件子单元中的每一个的第四图像捕获元件的输出来生成低灵敏度图像数据，并且 所述图像处理单元使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述低照度图像区域中与低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的所述高照度图像区域中与高照度图像区域对应的低灵敏度图像数据来生成组合图像。
20.一种图像捕获设备，包括:图像捕获单元；以及图像处理单元，其中，所述图像捕获单元被布置有图像捕获元件单元，所述图像捕获元件单元中的每一个包括:第一图像捕获元件，包括第一光电转换元件，并且被配置为接收可见光范围中的光；第二图像捕获元件，包括中性灰度滤镜和第二光电转换元件，并且被配置为接收可见光范围中的光，并且 所述图像处理单元基于来自所述第一图像捕获元件的输出来生成高灵敏度图像数据，并且基于来自所述第二图像捕获元件的输出来生成低灵敏度图像数据，并且 所述图像处理单元进一步使用从所述低灵敏度图像数据或所述高灵敏度图像数据获得的低照度图像区域中与所述低照度图像区域对应的高灵敏度图像数据并且使用从所述低灵敏度图像数据或所述高灵敏 度图像数据获得的高照度图像区域中与所述高照度图像区域对应的低灵敏度图像数据来生成组合图像。
【文档编号】H04N5/369GK103999458SQ201280060655
【公开日】2014年8月20日 申请日期:2012年12月7日 优先权日:2011年12月16日
【发明者】小泽谦, 岩崎正则, 茂木英昭 申请人:索尼公司