使用具有异构成像器的单片相机阵列的图像拍摄和图像处理的制作方法

使用具有异构成像器的单片相机阵列的图像拍摄和图像处理的制作方法
【专利摘要】本发明提供相机阵列、成像设备和/或使用制作于基底之上的多个成像器拍摄图像的方法。每个成像器包括多个像素。所述多个成像器包括具有第一成像特征的第一成像器和具有第二成像特征的第二成像器。处理由所述多个成像器生成的图像以获取相对于所述成像器拍摄的图像增强后的图像。每个成像器可与使用晶片级光学（WLO）技术制作的光学元件关联。
【专利说明】使用具有异构成像器的单片相机阵列的图像拍摄和图像处
理
[0001]本申请是 申请人:为派力肯成像公司，申请日为2009年5月20日，发明名称为“使用具有异构成像器的单片相机阵列的图像拍摄和图像处理”的中国专利申请200980117890.1 (国际申请号:PCT/US2009/044687)的分案申请。
[0002]相关申请
[0003]本申请要求于2008年5月20日提交的序列号为61/054，694的名称为“异构图像传感器的单片集成阵列”的美国专利申请的优先权，该专利申请全文在此通过引用并入本文。
【技术领域】
[0004]本申请涉及具有多个异构成像器的图像传感器，更具体而言，本申请涉及具有多个晶片级成像器的图像传感器，所述晶片级成像器具有不同配置的自定义滤镜、传感器和光学元件。
【背景技术】
[0005]图像传感器用于相机和其他成像设备以拍摄图像。在通常的成像设备中，光线通过成像设备一端的开ロ(光圏)进入并通过诸如透镜之类的光学元件导向图像传感器。在多数成像设备中，ー层或多层光学元件置于所述光圈和所述图像传感器之间以将光线聚焦于所述图像传感器。所述图像传感器由在通过所述光学元件接收光线之后产生信号的像素构成。通常使用的图像传感器包括CXD (电荷耦合器件)图像传感器和CMOS (互补型金属氧化物半导体)传感器。
[0006]在图像传感器中通常使用滤镜以选择性地传输特定波长的光线至像素。拜耳滤镜马赛克通常形成于所述图像传感器之上。所述拜耳滤镜是在每个颜色像素上布置RGB颜色滤镜之一的顔色滤镜阵列。所述拜耳滤镜布局包括50%緑色滤镜、25%红色滤镜和25%蓝色滤镜。由于每个像素产生代表光线中某一顔色成分強度的信号，而非代表全部范围的颜色，因此对每个图像像素执行去马赛克以内插ー组红色、緑色和蓝色的值。
[0007]图像传感器受各种性能约束的影响。所述图像传感器的性能约束包括动态范围、信噪比(SNR)、低感光度和其他ー些性能约束。所述动态范围定义为可被像素捕获的最大可能信号与总噪声信号的比。典型地，图像传感器的阱容量限制了可被所述图像传感器捕获的最大可能信号，所述最大可能信号继而依赖于入射照度和暴露持续时间(例如积分时间和快门时长)。所述动态范围可表述为如下式的分贝(dB)的无量纲量:
[0008]
全牌容量
RMSa^P公式(I )
[0009] 通常，所拍摄图像中的噪声水平影响动态范围的本底(floor)。因此，对于8位图像而言，假设RMS噪声水平是I位，那么最佳的情形将是48dB。然而实际上RMS噪声水平要高于I位，因此这进一步降低了动态范围。
[0010]拍摄图像的信噪比很大程度上是对图像质量的測量。总体而言，像素拍摄到的光线越多，信噪比越高。所拍摄图像的信噪比通常与所述像素的聚光能力有夫。
[0011]一般而言，拜耳滤镜传感器具有低的感光度。在弱光水平下，每个像素的聚光能力受入射到每个像素上的低信号水平的限制。此外，像素上方的顔色滤镜进一歩限制了到达所述像素的信号。IR(红外)滤镜同样降低了对载有重要信息的近红外信号的光响应。
[0012]图像传感器的这些性能约束在被设计用于移动系统的相机中被大幅度地扩大，这归因于设计约束的性质。移动设备中的相机的像素通常远小于数码相机(DSC)的像素。由于聚光能力的限制、降低的信噪比、动态范围的限制以及对弱光景象的感光度降低，移动设备中的相机显现出性能不佳。

【发明内容】

[0013]本发明的实施方式提供ー种相机阵列、ー种具有相机阵列的成像设备和/或ー种拍摄图像的方法，该方法使用制作在基底上的多个成像器，其中每个成像器具有多个传感器元件。所述多个成像器至少包括形成于所述基底上第一位置的第一成像器和形成于所述基底上第二位置的第二成像器。所述第一成像器和所述第二成像器可具有相同的成像特征或不同的成像特征。
[0014]在一种实施方式中，所述第一成像特征和所述第二成像特征具有不同的成像特征。所述成像特征可包括:成像器的尺寸、成像器中所含的像素种类、成像器的形状、与成像器关联的滤镜、成像器的曝光时间、与成像器相关的光圈尺寸、与成像器关联的光学元件的布置、成像器的増益、成像器的分辨率、成像器的运行时序以及其他ー些特征。
[0015]在一种实施方式中，所述第一成像器包括用于传输光谱的滤镜。所述第二成像器也包括与所述第一成像器相同的用于传输同种光谱的同种滤镜，但是所述第二成像器拍摄与所述第一成像器拍摄的图像具有子像素相移的图像。使用超分辨率处理将所述第一成像器和所述第二成像器所得图像结合以获取更高分辨率的图像。
[0016]在一种实施方式中，所述第一成像器包括用于传输第一光谱的第一滤镜，并且所述第二成像器包括用于传输第二光谱的第二滤镜。随后处理所述第一成像器和所述成像器所得图像以获取更高质量的图像。
[0017]在一种实施方式中，提供透镜元件将光导向所述成像器并聚焦于所述成像器。每个透镜元件都将光聚焦于ー个成像器。由于每个透镜元件都与一个成像器关联，每个透镜元件可设计并配置成用于窄光谱。此外，所述透镜元件的厚度可降低从而降低所述相机阵列的总体厚度。使用晶片级光学(WLO)技术制作所述透镜元件。
[0018]在一种实施方式中，所述多个成像器包括至少ー个近红外成像器用于接收近IR(红外)光谱。近红外成像器生成的图像可与具有顔色滤镜的其他成像器生成的图像融合以降低噪声并提升图像质量。
[0019]在一种实施方式中，所述多个成像器可与具有变焦能力的透镜元件相关联。不同的成像器可与具有不同焦距的透镜相关联以具有不同视野并提供不同级别的变焦能力。可提供ー种机构以提供从ー种变焦级别至另ー种变焦级别的平稳转换。
[0020]在一种或多种实施方式中，协调并运行所述多个成像器以获取高动态范围图像、全景图像、高光谱图像、物距和高帧速视频中至少ー种。
[0021]说明书中所描述的特征和益处并非涵盖所有特征和优点。尤其是，结合附图、说明书和权利要求书，许多其他特征和优点对于本领域普通技术人员显而易见。此外，应注意到说明书中所用的语言的选取主要基于可读性和指导性的目的，并非选取用来描述或限制发明主题。
【专利附图】

【附图说明】
[0022]附图1是根据一种实施方式的具有多个成像器的相机阵列的平面图。
[0023]图2A是根据一种实施方式的具有透镜元件的相机阵列的立体图。
[0024]图2B是根据一种实施方式的相机阵列的剖视图。
[0025]图3A和图3B是根据一种实施方式的截面图，该截面图显示了基于成像器尺寸的变化，透镜元件高度的变化。
[0026]图3C是显示了基于透镜元件的不同尺寸主视角变化的图。
[0027]图4是根据一种实施方式的成像设备的功能框图。
[0028]图5是根据一种实施方式的图像处理流水线模块的功能框图。
[0029]图6A至图6E是根据实施方式的具有不同布局的异构成像器的相机阵列的平面图。
[0030]图7是根据一种实施方式的显示了通过由多个成像器拍摄的较低分辨率图像生成的增强图像的过程的流程图。
【具体实施方式】
[0031]现在结合附图描述本发明的优选实施方式，其中相似附图标记指示相同元件或功能近似元件。并且，在附图中，每个附图标记的最左侧的数字对应于该附图标记第一次使用的附图。
[0032]实施方式涉及使用分布式方法以通过采用多个不同成像特征的成像器拍摄图像。每个成像器可在空间上以如下方式偏离另一成像器:成像器拍摄的图像相对于另一成像器拍摄的图像偏移子像素的量。每个成像器也可包括具有不同滤镜的独立的光学元件并以不同的运行參数(例如曝光时间)运行。处理由所述成像器生成的清晰图像以获取增强的图像。每个成像器可与由使用晶片级光学(WLO)技术制作的光学元件关联。
[0033]传感器元件或是像素指相机阵列中的单独的光感知元件。所述传感器元件或像素包括传统的CIS (CMOS图像传感器)、CXD (电荷耦合器件)、高动态范围像素、多光谱像素及其各种替代元件以及其他一些传感器元件。
[0034]成像器指ニ维像素阵列。每个成像器的传感器元件具有相似的物理性能并通过相同的光学组件接收光线。此外，每个成像器中的传感器元件可与相同的顔色滤镜相关联。
[0035]相机阵列指成像器的集合，该集合被设计作为单ー组件运行。所述相机阵列可在単一芯片上制作以用于装配或安装至各种设备。
[0036]一系列相机阵列指两个或多个相机阵列的集合。两个或多个相机阵列可联合运行以相对于单ー相机阵列提供扩展功能。
[0037]成像器的图像特征指与图像拍摄有关的任何特征或參数。所述图像特征除了别的以外可包括:成像器尺寸、成像器所含像素的种类、成像器的形状、与成像器关联的滤镜、成像器的曝光时间、与成像器相关的光圈尺寸、与成像器关联的光学元件的布局、成像器的增益、成像器的分辨率、成像器的运行时序。
[0038]相机阵列的结构
[0039]图1是根据一种实施方式的具有成像器IA至成像器匪的相机阵列100的平面图。相机阵列100制作于半导体芯片上以包括多个成像器IA至成像器NM。成像器IA至成像器NM的每ー个可包括多个像素(例如0.32百万像素)。在一种实施方式中，成像器IA至成像器匪布置成图1所显示的网格形式。在其他的实施方式中，所述成像器布置为非网格的形式。例如，所述成像器可布置为圆形布局、锯齿形布局或分散布局。
[0040]所述相机阵列可包括两种或多种异构成像器，每个成像器包括两个或多个传感器元件或像素。所述成像器中每ー个可具有不同的图像特征。或者，可有两种不同的或更多种不同的成像器，其中相同种类的成像器共有相同的图像特征。
[0041]在一种实施方式中，成像器IA至成像器匪中的每ー个都具有自己的滤镜和/或光学元件(例如透镜)。具体而言，成像器IA至成像器匪的每ー个或一组成像器可与光谱的顔色滤镜相关联以接收特定波长的光。示例的滤镜包括传统的在拜耳模式(R、G、B或他们的互补C、M、Y)中使用的滤镜、红外截止滤镜、近红外滤镜、偏振滤镜以及以满足超光谱成像需求的定制滤镜。一些成像器可不具有滤镜以接收整个可视光谱和提升成像器信噪比的近红外光谱。清晰滤镜的数目可与相机阵列中的成像器的数目同样多。此外，成像器IA至成像器匪中的每ー个或一组通过具有不同光学特征(例如焦距)或不同尺寸的光圈的透镜可接收光线。
[0042]在一种实施方式中，所述相机阵列包括其他相关电路。所述其他相关电路可包括控制成像參数和控制传感器感知物理參数的电路以及其他电路。控制电路可控制诸如曝光时间、増益和黑电平偏移之类的成像參数。所述传感器可包括暗像素以估算工作温度下的暗电流。所述暗电流可被测量以用于对基底可能遭受的任何热蠕变进行动态补偿。
[0043]在一种实施方式中，用于控制成像參数的电路可独立地或以同步的方式触发每个成像器。相机阵列中各种成像器的曝光时间的开始(类似于打开快门)可以交叠的方式错开，这样在使一些成像器同时暴露于光线时连续地采样景象。在传统摄像机中，以每秒N次曝光的速度采样景象，毎次采样的曝光时间限制在1/N秒。凭借多个成像器，对于每次采样的曝光时间则没有此类限制，因为可运行多个成像器以交错的方式拍摄图像。
[0044]可独立运行每个成像器。可个性化处理与每个独立的成像器相关的全部或多数运行。在一种实施方式中，编程主设置(master setting)，对每个成像器配置该主设置的偏差(即偏移或増益)。所述偏差可反映诸如高动态范围、増益设置、积分时间设置、数字处理设置或他们的组合之类的功能。对具体的相机阵列，这些偏差在低级别(例如増益偏差)或更高级别(例如ISO数的差，该ISO数的差继而自动地转化为增益増量、积分时间或以其他方式被环境/主控制寄存器(context/master control register)所具体化)下可具体化。通过设置主值和对该主值的偏差，可实现更高级别的控制抽象以利于实现对许多操作的更简单的编程模式。在一种实施方式中，成像器的參数是任意地固定以用于目标应用。在另一种实施方式中，所述參数被配置以允许高度的灵活性和可编程性。
[0045]在一种实施方式中，相机阵列设计为已有的用在手机和其他移动设备中的相机图像传感器的替换器件。因此，所述相机阵列可被设计成与具有近似相同分辨率的传统的图像传感器在物理上兼容，然而在许多拍摄场合所述相机阵列所达到的分辨率可超过传统的图像传感器。利用提升的性能的优势，该实施方式的相机阵列相比于传统的图像传感器可具有更少像素来获取同等或更佳质量图像。可选地，在获得类似结果的同时，所述成像器中像素的尺寸相比于传统图像传感器中的像素可减小。
[0046]为了在不扩大硅片面积的前提下匹配传统图像传感器的原始像素数，独立的成像器的逻辑开销优选地限制于硅片区域内。在一种实施方式中，大部分的像素控制逻辑是全部或大多数成像器所共有的功能的单个集合，所述成像器具有可应用于每ー个成像器的更小功能集。在这个实施方式中，因为所述成像器的输出数据并没有大幅増加，所以传统的外部接ロ可用于所述成像器。
[0047]在一种实施方式中，具有成像器的相机阵列替换M百万像素的传统图像传感器。所述相机阵列包括NXN个成像器，每个传感器具有M/N2个像素。相机阵列的每个成像器还具有与被替换的传统图像传感器相同的高宽比。表1列出根据本发明的替换传统图像传感器的相机阵列的示例配置。
[0048]表1
[0049]
【权利要求】
1.ー种相机阵列，所述相机阵列包括: 多个相机，其中每个相机具有独立的光学器件以及多个光感知元件，并且每个相机配置成独立拍摄景象图像； 其中每个相机的光学器件配置成使得每个相机具有相对于其他相机的视野偏移的视野，这样每个相机的视野相对于其他相机的视野的每个偏移配置成具有景象的偏移唯一子像素的景象视野； 其中所述相机阵列是单片集成模块，所述单片集成模块包括单个半导体基底和光学器件，在所述半导体基底上形成所有传感器元件，所述光学器件具有多个透镜元件，其中每个透镜元件形成所述相机之一的独立的光学器件的一部分； 其中每个所述相机包括多个不同种类滤镜之一；以及 其中具有相同种类滤镜的相机围绕所述相机阵列的几何中心分布。
2.如权利要求1所述的相机阵列，其中包括特定种类滤镜的至少ー个相机位于所述相机阵列的每个象限之中。
3.如权利要求2所述的相机阵列，其中包括特定种类滤镜的相机围绕所述相机阵列的几何中心对称分布。
4.如权利要求2所述的相机阵列，其中: 姆个相机具有蓝色滤镜、绿色滤镜或红色滤镜； 具有蓝色滤镜的至少ー个相机位于所述相机阵列的每个象限中； 具有緑色滤镜的至少ー个相机位于所述相机阵列的每个象限中；以及 具有红色滤镜的至少ー个相机位于所述相机阵列的每个象限中。
5.如权利要求2所述的相机阵列，其中: 姆个相机具有蓝色滤镜、绿色滤镜、红色滤镜或近红外滤镜； 具有蓝色滤镜的至少ー个相机位于所述相机阵列的每个象限中； 具有緑色滤镜的至少ー个相机位于所述相机阵列的每个象限中； 具有红色滤镜的至少ー个相机位于所述相机阵列的每个象限中；以及 具有近红外滤镜的至少ー个相机位于所述相机阵列的每个象限中。
6.如权利要求1所述的相机阵列，其中每个相机包括滤镜，所述滤镜选自:ー个或多个蓝色滤镜、ー个或多个绿色滤镜、ー个或多个红色滤镜、ー个或多个光谱迁移滤镜、ー个或多个近红外滤镜以及ー个或多个超光谱滤镜。
7.如权利要求1所述的相机阵列，其中具有不同种类滤镜的相机在具有至少ー个差别的运行參数下运行。
8.如权利要求7所述的相机阵列，其中运行參数中的所述至少一个差别包括曝光差别。
9.如权利要求1所述的相机阵列，其中每个相机具有控制电路，所述控制电路配置成使每个相机能独立运行。
10.如权利要求1所述的相机阵列，其中所述相机阵列是至少为4X4的相机阵列。
【文档编号】H01L27/146GK103501416SQ201310438869
【公开日】2014年1月8日 申请日期:2009年5月20日 优先权日:2008年5月20日
【发明者】卡尔蒂克·文卡塔拉曼, 阿曼丁·S·贾彼, 罗伯特·H·穆利斯 申请人:派力肯成像公司