高分辨率薄多孔径成像系统的制作方法

本申请系专利申请号为201380071426.x、申请日为2013年11月23、发明名称为“高分辨率薄多孔径成像系统”的中国发明专利申请的分案申请。该申请系国际申请号为pct/ib2013/060356的pct国际申请进入中国后的国家申请。相关申请的交叉引用本申请涉及美国临时专利申请no.61/730,570且要求该申请的优先权，该临时专利申请具有相同的标题且在2013年11月28日提交，其通过引用全部合并于此。本文公开的实施例总体上涉及多孔径成像(“mai”)系统(其中“多”涉及两个或更多孔径)，并且更特别地涉及具有高颜色分辨率和/或光学变焦的薄mai系统。
背景技术：
：集成到移动(蜂窝)电话、个人数字助理和音乐播放器中的小数字照相机正变得无处不在。每年，移动电话制造商将更多成像特征添加到其手持机，使得这些移动成像设备会聚于顾客从单机数字静态照相机所期望的特征集合和图像质量。同时，这些手持机的尺寸在收缩，使得在添加更多成像特征的同时相应地降低照相机的总尺寸成为必要。光学变焦是许多数字静态照相机的一个主要特征，但它是移动电话照相机通常缺乏的特征，这主要归因于移动成像设备中的照相机高度约束、成本和机械可靠性。机械变焦解决方案在数字静态照相机中是常见的，但是典型地对于大多数拍照电话而言太厚。此外，这样的系统中的f#(f数)典型地随着变焦倍数(zf)而增大，导致差的光灵敏度和较高的噪声(尤其是在低光方案中)。在移动照相机中，由于其图像传感器的小像素尺寸以及与f#关联的衍射极限光学器件的原因，这也导致分辨率损失。一种在移动照相机中实现变焦的方式是依照希望的zf对图像过采样并且对其裁剪和插值。尽管这种方法在机械上是可靠的，但是由于与其关联的大量像素的原因，它导致厚的光学器件和昂贵的图像传感器。举例而言，如果有人对实现具有x3zf的12兆像素照相机感兴趣，那么他需要108兆像素的传感器。另一种实现变焦以及增大输出分辨率的方式是使用双孔径成像(“dai”)系统。在其基本形式中，dai系统包括可以由一个或两个光学模块形成的两个光学孔径以及抓取一幅或多幅光学图像并且将数据转换到其中可以处理和存储该图像的电子域中的一个或两个图像传感器(例如cmos或ccd)。具有改进的分辨率的薄mai系统的设计要求仔细选择参数加上先进的信号处理算法以支持高质量图像的输出。已知的mai系统，尤其是具有短光路的mai系统，经常为了照相机模块高度而权衡功能和属性，例如变焦和颜色分辨率或者图像分辨率和质量。因此，需要并且有利的是具有这样的薄mai系统，所述薄mai系统产生具有高分辨率(且特别是高颜色分辨率)的图像连同具有变焦功能。而且，与现有的mai系统一起使用的已知的信号处理算法经常在组合来自不同孔径的信息时通过引入伪像而进一步降低输出图像质量。这些伪像的主要来源是图像配准过程，该过程必须找到通常由具有不同颜色滤波器阵列(cfa)的不同传感器捕获的不同图像之间的对应性。因此，需要且有利的是具有一种图像配准算法，该算法对于照相机使用的cfa类型更鲁棒并且可以产生多孔径系统捕获的图像之间的更好的对应性。技术实现要素：本文公开的实施例教导使用多孔径成像系统以实现薄照相机(具有小于大约9mm的短光路)和/或在这样的薄照相机中实现光学变焦系统。本文公开的实施例进一步教导了优化颜色信息的新颜色滤波器阵列，其可以在具有或者没有变焦的多孔径成像系统中实现。在各个不同的实施例中，本文公开的mai系统包括至少两个传感器或者划分成至少两个区域的单个传感器。在下文中，说明书提及“两个传感器”，理解为它们可以表示单个物理传感器的片段(成像器芯片)。示例性地，在双孔径成像系统中，左传感器(或者单个传感器的左侧)捕获来自第一孔径的图像，而右传感器(或者单个传感器的右侧)捕获来自第二孔径的图像。在本文公开的各个不同的实施例中，一个传感器是“wide(宽)”传感器，而另一个传感器是“tele(远摄)”传感器，参见例如图1a。wide传感器包括单个标准cfa或者两个不同的cfa：置于传感器的“重叠区域”中的具有较高颜色采样率的非标准cfa(参见下文对于图1b的描述)以及重叠区域周围的具有较低颜色采样率的标准cfa。当包括单个标准cfa时，该cfa可以覆盖整个wide传感器区域。“标准cfa”可以包括rgb(bayer)模式或者非bayer模式，例如rgbe、cyym、cygm、rgbw#1、rgbw#2或rgbw#3。因此，可以参考“标准bayer”或“标准非bayer”模式或滤波器。当在本文中使用时，“非标准cfa”指的是在其模式方面与上面列为“标准”的cfa不同的cfa。示例性非标准cfa模式可以包括：2x2微单元的重复，其中颜色滤波器顺序是rr-bb、rb-br或yc-cy，其中y＝黄色＝绿色+红色，c＝青色＝绿色+蓝色；3x3微单元的重复，其中颜色滤波器顺序是gbr-rgb-brg；以及6x6微单元的重复，其中颜色滤波器顺序是rbbrrb-rwrbwb-bbrbrr-rrbrbb-bwbrwr-brrbbr，或bbgrrg-rgrbgb-gbrgrb-rrgbbg-bgbrgr-grbgbr，或rbbrrb-rgrbgb-bbrbrr-rrbrbb-bgbrgr-brrbbr，或rbrbrb-bgbrgr-rbrbrb-brbrbr-rgrbgb-brbrbr。tele传感器可以是clear(清空)传感器(即没有颜色滤波器的传感器)或者标准cfa传感器。两个(或者超过两个)传感器以及两个(或者超过两个)wide和tele“子集照相机”(或者简称“子集”)的这种布置涉及两个wide和tele子集。除了其中两幅图像由单个传感器捕获(抓取)(上面的实例)的单个传感器的情况之外，每个传感器提供单独的图像(分别称为wide图像和tele图像)。在一些实施例中，变焦通过融合(fuse)这两幅图像而实现，导致较高的颜色分辨率，该分辨率接近高质量双孔径变焦照相机的颜色分辨率。本文公开的一些薄mai系统因此提供了变焦、超分辨率、高动态范围和增强的用户体验。在一些实施例中，为了达到光学变焦能力，相同场景的不同放大率图像由每个子集抓取，导致两个子集之间的视场(fov)重叠。在一些实施例中，两个子集具有相同的变焦(即相同的fov)。在一些实施例中，tele子集是较高变焦子集，并且wide子集是较低变焦子集。在mai系统抓取的两幅图像上应用后处理以便融合和输出一幅依照用户zf输入请求处理的融合(组合)输出变焦图像。在一些实施例中，融合图像的分辨率可以高于wide/tele传感器的分辨率。作为融合过程的部分，可以将上采样应用于wide图像以便将它扩展到tele图像。在一个实施例中，提供了一种多孔径成像系统，该系统包括：提供第一图像的第一照相机子集，该第一照相机子集具有第一传感器，该第一传感器具有至少部分地覆盖有非标准cfa的第一多个传感器像素，该非标准cfa用来相对于标准cfa中的相同颜色采样率增大特定颜色采样率；提供第二图像的第二照相机子集，该第二照相机子集具有第二传感器，该第二传感器具有或者clear或者覆盖有标准cfa的第二多个传感器像素；以及处理器，其被配置成将第一和第二图像处理成组合输出图像。在一些实施例中，第一和第二照相机子集具有相同的fov，并且非标准cfa可以覆盖包括第一传感器的所有像素的重叠区域，从而提供增大的颜色分辨率。在一些这样的实施例中，处理器进一步被配置成在将第一和第二图像处理成组合输出图像期间，对从第一和第二图像获得的各第一和第二亮度(luma)图像配准，配准的第一和第二亮度图像与颜色信息一起用来形成组合输出图像。在一个实施例中，配准包括对于第一亮度图像中的每个像素找到第二亮度图像中的相应像素，由此通过将来自第二图像的信息传递至第一图像而形成输出图像。在另一个实施例中，配准包括对于第二亮度图像中的每个像素找到第一亮度图像中的相应像素，由此通过将来自第一图像的信息传递至第二图像而形成输出图像。在一些实施例中，第一照相机子集具有第一fov，第二照相机子集具有比第一fov更小的第二fov，并且非标准cfa覆盖捕获第二fov的第一传感器上的重叠区域，从而提供光学变焦和增大的颜色分辨率二者。在一些这样的实施例中，处理器进一步被配置成在将第一和第二图像处理成组合输出图像期间且基于zf输入对从第一和第二图像获得的各第一和第二亮度图像配准，配准的第一和第二亮度图像与颜色信息一起用来形成组合输出图像。对于限定比第二fov更大的fov的zf输入而言，配准包括对于第一亮度图像中的每个像素找到第二亮度图像中的相应像素，并且所述处理包括通过将来自第二图像的信息传递至第一图像而形成输出图像。对于限定比第二fov更小或者与其相等的fov的zf输入而言，配准包括对于第二亮度图像中的每个像素找到第一亮度图像中的相应像素，并且所述处理包括通过将来自第一图像的信息传递至第二图像而形成输出图像。在一个实施例中，提供了一种多孔径成像系统，该系统包括：提供第一图像的第一照相机子集，该第一照相机子集具有第一传感器，该第一传感器具有至少部分地覆盖有标准cfa的第一多个传感器像素；提供第二图像的第二照相机子集，该第二照相机子集具有第二传感器，该第二传感器具有或者clear或者覆盖有标准cfa的第二多个传感器像素；以及处理器，其被配置成对分别从第一和第二图像获得的第一和第二亮度图像配准并且将配准的第一和第二亮度图像与颜色信息一起处理成组合输出图像。在一些实施例中，第一和第二照相机子集具有相同的第一和第二fov。在一些这样的实施例中，配准包括对于第一亮度图像中的每个像素找到第二亮度图像中的相应像素，并且所述处理包括通过将来自第二图像的信息传递至第一图像而形成输出图像。在其他这样的实施例中，配准包括对于第二亮度图像中的每个像素找到第一亮度图像中的相应像素，并且所述处理包括通过将来自第一图像的信息传递至第二图像而形成输出图像。在一些实施例中，第一照相机子集具有第一fov，第二照相机子集具有比第一fov更小的第二fov，并且处理器进一步被配置成基于zf输入对第一和第二亮度图像配准。对于限定比第二fov更大的fov的zf输入而言，配准包括对于第一亮度图像中的每个像素找到第二亮度图像中的相应像素，并且所述处理包括通过将来自第二图像的信息传递至第一图像而形成输出图像。对于限定比第二fov更小或者与其相等的fov的zf输入而言，配准包括对于第二亮度图像中的每个像素找到第一亮度图像中的相应像素，并且所述处理包括通过将来自第一图像的信息传递至第二图像而形成输出图像。附图说明本文公开的实施例的非限制性实例在下文中参照本段落之后列出的其附图进行描述。附图和描述意在说明和澄清本文公开的实施例，并且绝不应当被认为是限制性的。图1a示意性地示出了图示出本文公开的双孔径变焦成像系统的框图；图1b示出了wide传感器和tele传感器捕获的图像的实例，同时图示出wide传感器上的重叠区域；图2示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide传感器的一个实施例；图3示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的另一个实施例；图4示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的又一个实施例；图5示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的又一个实施例；图6示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的又一个实施例；图7示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的又一个实施例；图8示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的又一个实施例；图9示意性地示出了可以在本文公开的双孔径变焦成像系统中实现的wide照相机传感器的又一个实施例；图10在流程图中示意性地示出了本文公开的用于获取和输出变焦图像的方法的实施例；图11a示出了由本文公开的三孔径变焦成像系统捕获的示例性图像；图11b示意性地图示出图11a的三孔径成像系统的三个传感器。具体实施方式本文公开的实施例涉及多孔径成像系统，其包括至少一个具有单个cfa或者具有两个不同cfa的wide传感器以及至少一个tele传感器。本说明书以特别参照包括两个(wide和tele)具有各自传感器的子集的双孔径成像系统继续。三孔径成像系统在后面参照图11a-11b进行描述。wide传感器包括捕获telefov的重叠区域(参见图1b的描述)。重叠区域可以覆盖整个wide传感器或者仅仅覆盖该传感器的部分。重叠区域可以包括标准cfa或者非标准cfa。由于tele图像与wide图像相比经过光学放大，tele图像的有效采样率高于wide图像的采样率。因此，wide传感器中的有效颜色采样率远低于tele传感器中的clear采样率。此外，tele和wide图像融合过程(参见下文)要求对来自wide传感器的颜色数据升尺度。升尺度不会改进颜色分辨率。因此，在一些应用中，有利的是在wide重叠区域中使用非标准cfa，其对于其中tele传感器仅仅包括clear像素的情况而言增大颜色分辨率。在其中tele传感器包括bayercfa的一些实施例中，wide传感器可以在重叠区域中具有bayercfa。在这样的实施例中，颜色分辨率改进取决于在融合输出图像中使用来自tele传感器的颜色信息。图1a示意性地示出了图示出本文公开的双孔径变焦成像(“dazi”)系统100的框图。系统100包括具有wide子集104和tele子集106(每个子集具有各自的传感器)的双孔径照相机102以及依照用户限定的“应用”zf输入或请求将两幅图像，即利用wide子集获得的wide图像和利用tele子集获得的tele图像融合成单幅融合输出图像的处理器108。将zf输入到处理器108。wide传感器可以在图1b中的110所示的重叠区域中包括非标准cfa。重叠区域110被具有标准cfa(例如bayer模式)的非重叠区域112包围。图1b也示出了wide和tele传感器二者捕获的图像的实例。应当指出的是，“重叠”和“非重叠”区域涉及wide图像的部分以及wide传感器的cfa布置。重叠区域可以覆盖wide传感器的不同部分，例如半个传感器区域、三分之一传感器区域、四分之一传感器区域等等。一定数量的这样的wide传感器cfa布置参照图2-9进行了更详细的描述。非标准cfa模式增大dazi系统的颜色分辨率。tele传感器可以是clear的(提供相对于wide图像扩展的teleclear图像)，或者可以包括标准(bayer或非bayer)cfa。在后一情况下，希望的是基于应用的zf限定主要和辅助传感器。如果zf使得输出fov大于telefov，那么主要传感器是wide传感器并且辅助传感器是tele传感器。如果zf使得输出fov等于或小于telefov，主要传感器为tele传感器，并且辅助传感器为wide传感器。输出图像限定的视点是主传感器的视点。图2示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器200的一个实施例。传感器200具有：非重叠区域202，其具有bayercfa；以及重叠区域204，其由非标准cfa覆盖，具有4x4微单元的重复，其中颜色滤波器顺序是bbrr-rbbr-rrbb-brrb。在该图中以及在图3-9中，“宽度1”和“高度1”指的是整个wide传感器维度。“宽度2”和“高度2”指的是wide传感器重叠区域的维度。应当指出的是，在图2中(像在以下图3-5和图7、图8中那样)，重叠区域左边和顶部的空行列仅仅出于清楚的目的，并且传感器像素遵循非重叠区域的模式(如图6中所示)。在重叠区域204中，在对角线(左至右)方向上以2像素间隔以1/20.5奈奎斯特频率而不是标准bayer模式中的1/2奈奎斯特频率对r和b采样。图3示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器300的一个实施例。传感器300具有：非重叠区域302，其具有bayercfa；以及重叠区域304，其由非标准cfa覆盖，具有2x2微单元的重复，其中颜色滤波器顺序是br-rb。在重叠区域中，在两个对角线方向上以1/20.5奈奎斯特频率对r和b采样。图4示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器400的一个实施例。传感器400具有：非重叠区域402，其具有bayercfa；以及重叠区域404，其由非标准cfa覆盖，具有2x2微单元的重复，其中颜色滤波器顺序是yc-cy，其中y＝黄色＝绿色+红色，c＝青色＝绿色+蓝色。结果，在重叠区域中，在对角线方向上以1/20.5奈奎斯特频率对r和b采样。非标准cfa包括用于配准目的的绿色信息。这允许例如在其中目标是绿色的两幅图像之间配准，因为在两幅传感器图像中存在绿色信息。图5示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器500的一个实施例。传感器500具有：非重叠区域502，其具有bayercfa；以及重叠区域504，其由非标准cfa覆盖，具有6x6微单元的重复，其中颜色滤波器顺序是rbbrrb-rwrbwb-bbrbrr-rrbrbb-bwbrwr-brrbbr，其中“w”表示白色或者clear像素。在重叠区域中，以比标准cfa中更高的频率对r和b采样。例如，在bayer像素顺序中，红色平均采样率(“rs”)为0.25(对于每4个像素采样一次)。在重叠区域模式中，rs为0.44。图6示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器600的一个实施例。传感器600具有：非重叠区域602，其具有bayercfa；以及重叠区域604，其由非标准cfa覆盖，具有6x6微单元的重复，其中颜色滤波器顺序是bbgrrg-rgrbgb-gbrgrb-rrgbbg-bgbrgr-grbgbr。在重叠区域中，以比标准cfa中更高的频率对r和b采样。例如，在重叠区域模式中，与bayer像素顺序中的0.25相对，rs为0.33。图7示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器700的一个实施例。传感器700具有：非重叠区域702，其具有bayercfa；以及重叠区域704，其由非标准cfa覆盖，具有3x3微单元的重复，其中颜色滤波器顺序是gbr-rgb-brg。在重叠区域中，以比标准cfa中更高的频率对r和b采样。例如，在重叠区域模式中，与bayer像素顺序中的0.25相对，rs为0.33。图8示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器800的一个实施例。传感器800具有：非重叠区域802，其具有bayercfa；以及重叠区域804，其由非标准cfa覆盖，具有6x6微单元的重复，其中颜色滤波器顺序是rbbrrb-rgrbgb-bbrbrr-rrbrbb-bgbrgr-brrbbr。在重叠区域中，以比标准cfa中更高的频率对r和b采样。例如，在重叠区域模式中，与bayer像素顺序中的0.25相对，rs为0.44。图9示意性地示出了可以在诸如系统100之类的dazi系统中实现的wide传感器900的一个实施例。传感器900具有：非重叠区域902，其具有bayercfa；以及重叠区域904，其由非标准cfa覆盖，具有6x6微单元的重复，其中颜色滤波器顺序是rbrbrb-bgbrgr-rbrbrb-brbrbr-rgrbgb-brbrbr。在重叠区域中，以比标准cfa中更高的频率对r和b采样。例如，在重叠区域模式中，与bayer像素顺序中的0.25相对，rs为0.44。处理流程在使用中，图像利用成像系统100获取，并且依照图10所示的流程图中图示出的步骤进行处理。在步骤1000中，依照特定cfa模式对wide重叠区域像素(其称为tele图像fov)执行去马赛克。如果wide重叠区域中的cfa为标准cfa，那么可以向其应用标准去马赛克过程。如果wide重叠区域中的cfa为非标准cfa，那么重叠和非重叠像素子集可能需要不同的去马赛克过程。换言之，wide重叠区域可能需要非标准去马赛克过程并且wide非重叠区域可能需要标准去马赛克过程。对于图2-9中所示的每个wide传感器的重叠区域的示例性且非限制性非标准去马赛克插值在下文中详细地给出。去马赛克的目的是重建每个像素中缺失的颜色。如果tele传感器不是唯clear传感器，那么去马赛克也应用到tele传感器像素。这将导致wide子集彩色图像，其中(重叠区域中的)颜色保持比标准cfa模式更高的分辨率。在步骤1002中，tele图像配准(映射)到wide图像。该映射包括找到两幅图像中的像素之间的对应性。在步骤1002中，对从tele和wide照相机的像素信息计算的辉度(luminance)tele和wide图像(分别为lumatele和lumawide)执行实际配准。这些辉度图像是对每个照相机捕获的场景辉度的估计，并且不包括任何颜色信息。如果wide或tele传感器具有cfa，那么对各去马赛克图像执行辉度图像的计算。wide辉度图像的计算依照wide重叠区域中使用的非标准cfa的类型而改变。如果cfa允许计算完整rgb去马赛克图像，那么辉度图像计算是直截了当的。如果cfa使得它不允许计算完整rgb去马赛克图像，那么从可用颜色通道估计辉度图像。如果tele传感器为clear传感器，那么tele辉度图像正是像素信息。对辉度图像执行配准具有允许在由具有不同cfa的传感器捕获的图像之间或者在由标准cfa或者非标准cfa传感器和标准cfa或者clear传感器捕获的图像之间实现配准以及避免可能由错误配准引起的彩色伪像的优点。在步骤1004中，来自wide和tele图像的数据与来自步骤1002的配准信息一起被处理以便形成高质量输出变焦图像。在其中tele传感器是唯clear传感器的情况下，从tele传感器获取高分辨率辉度分量，并且从wide传感器获取颜色分辨率。在其中tele传感器包括cfa的情况下，从tele子集获取颜色和辉度数据二者以便形成高质量变焦图像。此外，从wide子集获取颜色和辉度数据。用于对变焦图像聚焦的示例性过程1.特殊去马赛克在该步骤中，对wide图像插值以便重建缺失的像素值。标准去马赛克应用于非重叠区域。如果重叠区域包括标准cfa，那么在那里也应用标准去马赛克。如果重叠区域包括非标准cfa，那么根据使用的cfa模式应用特殊的去马赛克算法。此外，在tele传感器具有cfa的情况下，应用标准去马赛克以便重建每个像素位置中缺失的像素值并且生成完整rgb彩色图像。2.配准准备-tele图像：从tele传感器像素计算辉度图像lumatele。如果tele子集具有clear传感器，那么lumatele只是传感器像素数据。如果tele子集具有标准cfa，那么从去马赛克tele图像计算lumatele。-wide图像：作为第一步骤，在wide重叠cfa允许估计图像的辉度分量的情况下，从去马赛克wide图像lumawide计算辉度分量。如果cfa是图4-9中描绘的那些cfa之一，那么首先计算辉度图像。如果cfa是图2或图3中描述的cfa之一，那么不计算辉度图像。相反地，在wide图像的去马赛克通道的加权平均值与lumatele之间执行以下配准步骤。为了方便起见，该加权平均图像也记为lumawide。例如，如果重叠区域中的wide传感器cfa如图2中所示，那么对去马赛克通道rwide和bwide平均以便依照lumawide＝(f1*rwide+f2*bwide)/(f1+f2)创建lumawide，其中f1可以为f1＝1并且f2可以为f2＝1。-对tele辉度图像应用低通滤波以便使其空间频率含量匹配lumawide图像的空间频率含量。这改进了配准性能，因为在低通滤波之后，辉度图像变得更相似。所述计算为lumatele→低通滤波→lumatelelp，其中“lp”表示低通滤波之后的图像。3.lumawide和lumatelelp的配准算法的这个步骤计算两幅辉度图像中的重叠区域之间的映射。该配准步骤不取决于使用的cfa的类型(或者其缺乏)，因为它应用在辉度图像上。因此，相同的配准步骤可以应用于由标准cfa传感器以及由本文公开的cfa或clear传感器像素的任意组合捕获的wide和tele图像上。配准过程将wide图像或者tele图像选择为主要图像。另一幅图像被限定为辅助图像。配准过程将主要图像看作基线图像，并且通过对于主要图像的重叠区域中的每个像素找到其在辅助图像中的相应像素而使辅助图像中的重叠区域与其配准。输出图像视点依照主要图像视点(照相机角度)确定。各种不同的对应性度量可以用于这个目的，其中有绝对差和以及相关性。在一个实施例中，将wide图像或者tele图像选为主要和辅助图像基于为输出图像选择的zf。如果选择的zf大于tele和wide照相机的焦距之比，那么将tele图像设置为主要图像并且将wide图像设置为辅助图像。如果选择的zf小于或等于tele和wide照相机的焦距之比，那么将wide图像设置为主要图像并且将tele图像设置为辅助图像。在与变焦倍数无关的另一个实施例中，wide图像总是主要图像，并且tele图像总是辅助图像。配准阶段的输出是将wide图像像素索引与匹配的tele图像像素索引关联的图。4.组合成高分辨率图像在该最终步骤中，主要和辅助图像用来产生高分辨率图像。可以区分若干情况：a.如果wide图像为主要图像，并且tele图像从clear传感器生成，那么计算lumawide并且在这两幅图像之间的重叠区域中用lumatele代替它或者依照配准图lumaout＝c1*lumawide+c2*lumatele对它平均以便创建匹配相应的像素的辉度输出图像。c1和c2的值可以在图像中的不同像素之间变化。于是，从lumaout以及rwide、gwide和bwide计算输出的rgb值。b.如果wide图像是主要图像并且tele图像从cfa传感器生成，那么计算lumatele并且依照4a中描述的流程在两幅图像之间的重叠区域中将它与lumawide组合。c.如果tele图像为从clear传感器生成的主要图像，那么从lumatele图像以及rwide、gwide和bwide计算输出的rgb值(依照配准图匹配像素)。d.如果tele图像为从cfa传感器生成的主要图像，通过仅仅使用tele图像数据或者通过也组合来自wide图像的数据计算输出的rgb值(依照配准图匹配像素)。该选择取决于变焦倍数。配准的wide和tele图像的某些部分用来基于输出图像的zf生成输出图像。在一个实施例中，如果输出图像的zf限定了比telefov更小的fov，那么将融合的高分辨率图像裁剪到需要的视场，并且应用数字插值以便将图像升尺度到需要的输出图像分辨率。用于重叠区域的示例性且非限制性像素插值规范图2b11b12r13r21b22b23r31r32b33为了重建缺失的r22像素，执行r22＝(r31+r13)/2。对于所有缺失的蓝色像素执行相同的操作。图3r11b12r13b21r22b23r31b32r33为了重建缺失的b22像素，执行b22＝(b12+b21+b32+b23)/4。对于所有缺失的红色像素执行相同的操作。图4y11c12y13c21y22c23y31c32y33为了重建缺失的c22像素，执行c22＝(c12+c21+c32+c23)/4。对于所有缺失的黄色像素执行相同的操作。图5情况1：w是中心像素r11b12b13r21w22r23b31b32r33为了重建缺失的22像素，执行以下计算：b22＝(b12+b32)/2r22＝(r21+r23)/2g22＝(w22-r22-b22)(假设w包括相同数量的r、g和b颜色)。情况2：r22是中心像素b11b12r13r14w21r22b23w24b31r32b33r34为了重建缺失的22像素，执行以下计算：b22＝(b11+r33)/2w22＝(2*w21+w24)/3g22＝(w22-r22-b22)(假设w包括相同数量的r、g和b颜色)。对于蓝色作为中心像素，执行相同的操作。图6b11b12g13r14r21g22r23b24g31b32r33g34r41r42g43b44为了重建缺失的22像素，执行以下计算：b22＝(b12+b32)/2r22＝(r21+r23)/2。为了重建缺失的32像素，执行以下计算：g32＝(2*g31+2*g22+g43)/5r32＝(r41+2*r42+2*r33+r23+r21)/7。图7g11b12r13g14r21g22b23r24b31r32g33b34g41b42r43g44为了重建缺失的22像素，执行以下计算：b22＝(2*b12+2*b23+b31)/5r22＝(2*r21+2*r32+r13)/5对于所有其他缺失的像素，类似地计算。图8r11b12b13r14r21g22r23b24b31b32r33b34r41r42b43r44b51g52b53r54为了重建缺失的22像素，执行以下计算：b22＝(2*b12+2*b32+b13)/5r22＝(2*r21+2*r23+r11)/5。为了重建缺失的32像素，执行以下计算：g32＝(2*g22+g52)/3r32＝(2*r33+2*r42+r41+r21+r23)/7。图9r11b12r13b14b21g22b23r24r31b32r33b34b41r42b43r44r51g52r53b54为了重建缺失的22像素，执行以下计算：b22＝(b12+b32+b23+b21)/4r22＝(r11+r13+r31+r33)/4。为了重建缺失的32像素，执行以下计算：g32＝(2*g22+g52)/3r32＝(r42+r31+r33)/3。具有改进的颜色分辨率的三孔径变焦成像系统如前面所提到的，本文公开的多孔径变焦或者非变焦成像系统可以包括超过两个孔径。图11a-11b中示出了三孔径成像系统的一个非限制性且示例性的实施例1100。系统1100包括第一wide子集照相机1102(示例性地具有x1)、第二wide子集照相机(示例性地具有x1.5且称为“wide-tele”子集)以及tele子集照相机(示例性地具有x2)。图11a示出了由成像系统1100捕获的示例性图像，而图11b示意性地图示出分别属于wide、wide-tele和tele子集的标记为1102、1104和1106的三个传感器。图11b也示出了每个传感器中的cfa布置：在其包括重叠区域和非重叠区域的意义上，传感器1102和1104类似于上面参照图2-9中任何一个描述的wide传感器。重叠区域包括非标准cfa。在这两个wide传感器中，非重叠区域可以具有clear模式或者标准cfa。因此，任一wide子集都不仅仅是clear通道照相机。tele传感器可以是clear的或者具有标准bayercfa或标准非bayercfa。在使用中，利用成像系统1100获取图像并且如下进行处理：依照每个重叠区域中的特定cfa模式对wide和wide-tele传感器的重叠区域像素执行去马赛克。这些传感器中的每一个中的重叠和非重叠像素子集可能需要不同的去马赛克。上面给出了用于图2-9中所示的wide传感器的重叠区域的示例性且非限制性去马赛克规范。目的在于重建每一个像素中的缺失的颜色。在其中tele子集传感器不仅仅是clear的情况下，也执行去马赛克。这种方式获取的wide和wide-tele子集彩色图像将具有保持比标准cfa模式的分辨率更高的分辨率的颜色(在重叠区域)。接着，将利用tele传感器获取的tele图像配准(映射)到对应的wide图像。接着，处理来自wide、wide-tele和tele图像的数据以便形成高质量变焦图像。在其中tele子集仅仅是clear的情况下，从tele传感器获取高亮度分辨率，并且从wide传感器获取颜色分辨率。在其中tele子集包括cfa的情况下，从tele子集获取颜色和亮度分辨率二者。此外，从wide传感器获取颜色分辨率。融合图像的分辨率可以高于这两个传感器的分辨率。尽管根据某些实施例以及大体关联的方法描述了本公开，但是这些实施例和方法的变动和置换对于本领域技术人员将是清楚明白的。例如，可以依照本文阐述的原理构建和使用具有超过两个wide或wide-tele子集(和传感器)或者具有超过一个tele子集(和传感器)的多孔径成像系统。类似地，可以依照本文阐述的原理构建和使用具有超过两个传感器的非变焦多孔径成像系统，所述传感器中的至少一个具有非标准cfa。本公开应当被理解为不受本文描述的具体实施例限制，而是仅仅由所附权利要求书的范围限制。当前第1页12