具有自动聚焦的纤薄多孔径成像系统及其使用方法
【专利摘要】本发明提供了具有自动聚焦(AF)的双孔径数字摄影机以及有关的方法，其用于获得对象或场景的聚焦的并且可选地经过光学稳定的彩色图像。双孔径摄影机包括：具有第一光学元件模块以及用于提供彩色图像的彩色图像传感器的第一子摄影机，具有第二光学元件模块以及用于提供辉度图像的透明图像传感器的第二子摄影机，其中第一和第二子摄影机具有基本上相同的视场；机械地耦合到至少第一光学元件模块的AF机制；以及耦合到AF机制并且耦合到两个图像传感器的摄影机控制器，其被配置成控制AF机制，计算彩色与辉度图像之间的由于AF机制所造成的缩放差异和锐度差异，并且利用所计算出的差异把彩色和辉度图像处理成融合彩色图像。
【专利说明】具有自动聚焦的纤薄多孔径成像系统及其使用方法
[0001]相关申请的交叉引用
[0002]本申请涉及2013年8月I日提交的具有相同标题的美国临时专利申请号61/861，185并且要求其优先权，该申请被全文合并在此以作参考。
技术领域
[0003]这里所公开的实施例总体上涉及数字摄影机，并且特别涉及具有自动聚焦的纤薄多孔径数字摄影机。
【背景技术】
[0004]近年来，例如蜂窝电话、平板器件和膝上型计算机之类的移动器件已经变得无所不在。这些器件当中的大多数包括一个或两个紧凑型摄影机一一即朝向后方的主要摄影机(即处于器件的背面的摄影机，其朝向离开用户的方向并且常常被用于随意的摄影)和朝向前方的次要摄影机(即位于器件的正面的摄影机，其常常被用于视频会议)。
[0005]虽然其性质是相对紧凑的，但是这些摄影机当中的大多数的设计仍然非常类似于数字静止摄影机的传统结构，也就是说其包括放置在图像传感器之上的光学组件(或者一串几个光学元件和主要孔径)。所述光学组件(其也被称作“光学元件(optics)”)对进入的光线进行折射，并且将其弯曲以在传感器上产生场景的图像。这些摄影机的规格在很大程度上由传感器的尺寸以及由光学元件的高度决定。这些因素通常通过透镜的焦距(“f”)及其视场(FOV)而关联在一起——必须把特定FOV成像在特定尺寸的传感器上的透镜具有特定的焦距。通过把FOV保持恒定，传感器的规格越大(例如在X-Y平面中)，焦距和光学元件高度就越大。
[0006]随着移动器件的规格缩小，紧凑型摄影机规格越来越成为限制器件厚度的关键因素。已经提出了几种方法来减小紧凑型摄影机厚度以便减轻这一约束。近来，为此目的已经提出了多孔径系统。在这样的系统中，取代具有一串光学元件的一个孔径，摄影机被划分成几个孔径，每一个孔径具有专用的光学元件，并且所有孔径共享类似的视场。后面把每一个这样的孔径连同光学元件以及在其上形成图像的传感器区域定义成一个“子摄影机”。通常来说，在多孔径摄影机设计中，与由参考单孔径摄影机产生的图像相比，每一个子摄影机在图像传感器上产生较小的图像。因此，每一个子摄影机的高度可以小于单孔径摄影机的高度，从而可以减小摄影机的总高度并且允许更加纤细的移动器件设计。
[0007]图1A和IB分别示出了传统摄影机和具有两个子摄影机的双孔径摄影机的示意性设计。图1A中的传统摄影机100’包括放置在基板104上的图像传感器102和透镜106。“摄影机高度”被定义成从基板104到透镜106的顶部的摄影机模块的高度。图1B中的双孔径摄影机100”包括两个子摄影机，即具有图像传感器112a和具有光轴118a的透镜116a的子摄影机I，以及具有图像传感器112b和具有光轴118b的透镜116b的子摄影机2。两个传感器分别被放置在基板114a和114b上。为了比较起见，假设参考单孔径摄影机和双孔径摄影机具有相同的视场(FOV)，并且其传感器具有相同的像素尺寸。但是图像传感器102与图像传感器112a或图像传感器112b相比具有更高的分辨率(像素数目)，因此尺寸也更大。可以认识到双孔径摄影机的摄影机高度方面的潜在优点(也就是从基板114a到透镜116a的顶部以及从基板114b到透镜116b的顶部的厚度)。
[0008]在多孔径摄影机设计中涉及几方面的重大挑战。首先，每一个子摄影机的传感器区域与单孔径摄影机的传感器区域相比更小。如果把每一个子摄影机传感器中的像素尺寸与单孔径摄影机传感器中的像素尺寸保持相同，则由每一个子摄影机捕获的图像的分辨率小于由单孔径摄影机捕获的分辨率。如果将把输出图像的分辨率保持相同，则需要把来自不同子摄影机的图像组合成更高分辨率的图像。这通常是通过专用算法在数字域内进行的。已经提出了用于组合较低分辨率图像以产生更高分辨率图像的几种方法。这样的方法中的一些算法需要低分辨率图像的集合之间的配准步骤，以便解决视差(其由于子摄影机之间的视点的偏移而存在于多孔径摄影机系统中)。在标题为“Dual aperture zoomdigital camera(双孔径变焦数字摄影机)”的共同转让的PCT专利申请PCT/IB2014/062180中描述了这样的一种算法，其被全文合并在此以作参考。
[0009]另一项挑战涉及要求摄影机对于较宽的物距范围(在紧凑型摄影机模块中通常是从几厘米到无限远)提供焦点对准的图像。为了满足这一要求，单孔径摄影机可以包括自动聚焦(AF)机制，其通过沿着光轴移动光学元件从而改变其在传感器上方的高度来控制光学元件的聚焦位置。在多孔径摄影机中，为了对于较宽的物距范围支持焦点对准图像，一种直接明了的方法将是在每一个子摄影机中提供专用的AF机制。这种方法存在几个缺陷，其中包括摄影机的尺寸和成本的增加、更高的操作功率以及更加复杂的控制，这是因为每一个子摄影机的AF机制需要被同步以便确保所有的子摄影机都被聚焦到相同的位置。
[0010]在多孔径摄影机中使用AF机制时可能出现的另一个难题与组合较低分辨率子摄影机图像以产生更高分辨率图像的算法有关。由于AF机制在传感器上方沿着光轴移动光学元件，因此其在某种程度上对形成在传感器上的图像进行缩放。每一个子摄影机中的不同AF机制的聚焦位置之间的微小差异可能导致不同的尺度被应用于较低分辨率子摄影机图像。这样的尺度差异可能会降低算法中的图像配准步骤的性能。由于所述尺度的动态性质，针对不同尺度的校正并非是轻而易举的一一被应用在图像上的尺度取决于光学元件的聚焦位置，而光学元件的聚焦位置又会随着物距改变。这意味着无法通过校准多孔径摄影机以及应用固定的校正来轻易地校正尺度，相反，必须在每一幅图像处估计正确的尺度。在有视差存在的情况下(其中不同的对象出现在作为其与摄影机的距离的函数的不同位置处)以及在一个孔径中存在对象的可能遮挡而在另一个孔径中不存在的情况下，从图像估计将要应用的正确尺度并非是轻而易举的。因此，需要一种可以在每幅图像的基础上准确地估计并且校正缩放差异的方法。
[0011]作为针对使用AF的一种替换方案，已经提出了完全不具有AF机制的多孔径摄影机设计。这样的设计依赖于每一个子摄影机的较小焦距来提供与支持更大传感器的相应的单孔径摄影机相比增大的聚焦深度(DOF)。由于更大的DOF意味着更宽的物距范围在焦点对准的情况下被成像到传感器上，因此可以去除AF机制。虽然这种方法在成本、尺寸和系统复杂度方面是有利的，但是从多孔径摄影机的较短焦距导致的更大DOF常常不足以对于其范围从几厘米到无限远的物距支持焦点对准的图像。在这些情况中，满足于具有固定聚焦光学元件的多孔径摄影机导致近物距处的较差成像性能。
[0012]在使用多个AF机制与仅使用固定聚焦光学元件之间，需要一种组合了AF机制的益处而不会对摄影机系统添加附加的复杂度和成本的多孔径摄影机系统。
【发明内容】
[0013]这里所公开的实施例提供了具有AF机制的多孔径摄影机的设计，描述了一种动态地校正子摄影机图像之间的尺度差异的算法，并且提出了一种与标准彩色滤光器阵列(CFA)相比在组合子摄影机图像时可以得到更高分辨率和灵敏度的CFA设计。
[0014]在各个实施例中，提供了具有自动聚焦(AF)以用于对对象或场景进行成像的双孔径数字摄影机，每一个这样的双孔径数字摄影机包括:包括第一光学元件模块以及具有第一像素数目的彩色图像传感器的第一子摄影机，第一摄影机适于提供对象或场景的彩色图像;包括第二光学元件模块以及具有第二像素数目的透明图像传感器的第二子摄影机，第二子摄影机适于提供对象或场景的辉度图像，其中第一和第二子摄影机具有基本上相同的视场;机械地耦合到至少第一光学元件模块的AF机制；以及耦合到AF机制并且耦合到两个图像传感器的摄影机控制器，其被配置成控制AF机制，计算彩色与辉度图像之间的由于AF机制所造成的缩放差异和锐度差异，并且利用所计算出的差异把彩色和辉度图像处理成融合彩色图像。
[0015]第一像素数目和第二像素数目可以是相等的或不同的。第一和第二图像传感器被形成在单个基板上。第一子摄影机可以包括阻止IR波长进入彩色图像传感器的红外(IR)滤光器，并且第二子摄影机可以被配置成允许至少一些IR波长进入透明图像传感器。在一些实施例中，所述彩色图像传感器可以包括非标准彩色滤光器阵列(CFA)。
[0016]在一个实施例中，AF机制可以机械地耦合到第一光学元件模块，并且第二光学元件模块可以具有固定的聚焦位置。在一个实施例中，所述固定聚焦位置可以使得第二子摄影机的DOF范围处于无限远与小于大约10cm之间。在一个实施例中，AF机制可以机械地親合到第一和第二光学元件模块，并且适于在对应的光学元件模块光轴的共同方向上将其一同移动。
[0017]在一个实施例中，所述摄影机还可以包括机械地耦合到第一和第二光学元件模块的光学图像稳定机制，且处在垂直于对应的光学元件模块光轴的方向上以便对AF融合彩色图像实施光学稳定。
[0018]在一个实施例中，提供了一种用于利用双孔径摄影机获得对象或场景的聚焦彩色图像的方法，其包括以下步骤:同时获得对象或场景的自动聚焦彩色图像和自动聚焦或固定聚焦辉度图像，其中彩色图像具有第一分辨率、第一有效分辨率和第一信噪比(SNR)，并且其中辉度图像具有第二分辨率、第二有效分辨率和第二 SNR;在考虑到由AF动作所导致的缩放和锐度差异的情况下，对所述两幅图像进行预处理，以便获得对应的经过矫正、规范化以及尺度调节的彩色和辉度图像;在所述经过矫正、规范化以及尺度调节的彩色和辉度图像之间实施局部配准，从而获得配准图像；以及将配准图像融合到聚焦融合彩色图像中。
[0019]在一个实施例中，所述用以获得经过尺度调节的彩色和辉度图像的预处理步骤包括计算彩色和辉度图像中的相应点的集合，从每一个相应点提取单个坐标，并且使用所述单个坐标来估计彩色与辉度图像之间的缩放因数S。所提取的坐标是Y，并且缩放因数S可以由S = (Y2 ’ *W*Y2)\Y2 ’ *W*Y1给出，其中Yl是从一幅图像取得的各点的Y坐标的矢量，Y2是从另一幅图像取得的各点的Y坐标的矢量，并且W是保持Y2的绝对值的对角矩阵。
[0020]在一个实施例中，一种方法还可以包括使用缩放因数S对其中一幅图像进行缩放以便匹配另一幅图像，从而获得配准图像。
[0021]在一个实施例中，一种方法还可以包括对所获得的彩色和辉度图像实施光学稳定。
【附图说明】
[0022]下面将参照在本段之后列出的附图来描述这里所公开的实施例的非限制性实例。附图及其描述意图说明和澄清这里所公开的实施例，而不应当被视为以任何方式作出限制。
[0023]图1A示意性地示出了传统数字摄影机的设计；
[0024]图1B示意性地示出了多孔径摄影机的设计；
[0025]图2在(a)—般等距视图和(b)剖面等距视图中示意性地示出了这里所公开的具有自动聚焦的双孔径成像系统的一个实施例；
[0026]图3示出了用于图2中的成像系统的图像传感器的一个实施例，其中一个子摄影机具有CFA传感器，另一个子摄影机则具有透明传感器；
[0027]图4A示意性地示出了这里所公开的方法的一个实施例的流程图；
[0028]图4B在流程图中示出了图4A所示的方法中的尺度调节步骤的细节；
[0029]图4C示出了具有相应点的两幅图像；
[0030]图5A在剖面等距视图中示意性地示出了这里所公开的具有单个自动聚焦机制的双孔径成像系统的另一个实施例；
[0031]图5B在流程图中示意性地示出了用于利用图5A中的成像系统进行自动聚焦成像的方法的一个实施例；
[0032]图6在剖面等距视图中示意性地示出了利用单个自动聚焦机制编号的双孔径成像系统的另一个实施例。
【具体实施方式】
[0033]图2在(a)—般等距视图和(b)剖面等距视图中示意性地示出了编号为200的这里所公开的具有自动聚焦的双孔径成像系统的一个实施例。在后面的描述中，“成像系统”和“摄影机”可以被互换使用。系统200包括被标记为202和204的两个子摄影机，每一个子摄影机具有其自身的光学元件。因此，子摄影机202包括具有孔径208的光学元件模块206和光学透镜模块210，以及传感器212。类似地，子摄影机204包括具有孔径216的光学元件模块214和光学透镜模块218，以及传感器220。所述传感器在后面也被称作“传感器I”(212)和“传感器2”(220)。应当提到的是，所述两个传感器可以被实施成相同基板上的两个不同的区域，而不一定被实施成两个独立的传感器。每一个光学透镜模块可以包括几个透镜元件以及红外(IR)滤光器222a、b。在一些实施例中，属于不同孔径的其中一些或所有透镜元件可以被形成在相同的基板上。所述两个子摄影机被彼此紧挨着放置，其中在两个孔径208与216之间有一条较小的基线224。每一个子摄影机还分别包括自动聚焦机制226和228。
[0034]在每一个子摄影机中使用的传感器可以具有不同的彩色滤光器阵列(CFA)。在一些实施例中，传感器I可以具有一种类型的CFA，传感器2则可以具有另一种类型的CFA。在一些实施例中，传感器I可以具有CFA，传感器2可以具有“白色”或“透明”滤光器阵列(由W标记)一一其中所有像素吸收例如400nm到700nm之间的相同的较宽波长范围(而不是每一个像素吸收光谱的一个较小部分)。具有彩色滤光器阵列的传感器在后面可以被称作“彩色图像传感器”，而具有透明或W滤光器阵列的传感器则被称作“透明图像传感器”。
[0035]图3示出了一个传感器实施例300，其中数字“I”代表传感器I (其具有CFA)，数字“2”代表传感器2(其具有透明“白色”滤光器阵列)。圆圈302a、302b标记由光学元件在传感器上形成的图像圆圈，白色区域304则标记传感器位于其上的基板。圆圈302a、302b可以大于在其上形成图像的传感器的对应尺寸。在某些情况下，可能会发生两个图像圆圈之间的重叠，并且可能需要机械挡光元件(例如壁板)以防止子摄影机之间的光学串扰。通过使用传感器I上的CFA，子摄影机I捕获关于场景的颜色信息，子摄影机2则捕获关于场景的辉度?目息O
[0036]传感器I的CFA可以是标准的或非标准的。这里所使用的“标准CFA”可以包括已知的CFA，比如Bayer、RGBE、CYYM、CYGM以及不同的RGBW滤光器，比如RGBW#l、RGBW#2和RGB響3。“非标准” CFA式样作为示例可以包括:2χ2微单元的重复，其中彩色滤光器顺序是RRBB、RBBR或YCCY，其中Y =黄色=绿色+红色，C =蓝绿色=绿色+蓝色;3x3微单元的重复，其中彩色滤光器顺序是GBRRGBBRG(比如图3A中的传感器I中那样)；以及6x6微单元的重复，其中彩色滤光器顺序是以下选项的其中之一:
[0037]1、第 I 行:RBBRRB。第 2行:RffRBffB。第3 行:BBRBRR。第4 行:RRBRBB。第5行:BffBRffR。第6行:BRRBBR。
[0038]2、第 I 行:BBGRRG。第 2行:RGRBGB。第3 行:GBRGRB。第4 行:RRGBBG。第5行:BGBRGR。第6行:GRBGBR。
[0039 ] 3、第 I 行:RBBRRB。第 2行:RGRBGB。第3 行:BBRBRR。第4 行:RRBRBB。第5行:BGBRGR。第6行:BRRBBR。
[0040]4、第 I 行:RBRBRB。第 2行:BGBRGR。第3 行:RBRBRB。第4 行:BRBRBR。第5行:RGRBGB。第6行:BRBRBR。
[0041]利用前面列出的其中一些非标准CFA的传感器I的CFA式样相对于标准Bayer式样的一个优点在于，其把红色、绿色和蓝色均匀地划分在传感器像素上。这样与标准Bayer式样相比就导致对于红色和蓝色的更加精细的采样，而绿色则受到更加粗略的采样。但是由于传感器2所捕获的图像被用来提取关于场景的辉度信息(而不是像在使用Bayer式样时的情况那样为此依赖于绿色通道)，因此绿色像素仅被用于颜色信息。
[0042]在传统的紧凑型摄影机设计中，允许可见范围内的光进入并且阻挡IR范围内的光的滤光器通常被放置在光径中，有时是作为保护传感器的覆盖玻璃的一部分。虽然对于IR光的阻挡会浪费光子，但是其允许更加准确地估计场景中的颜色，这是因为其减少了来自R、G和B彩色滤光器(其可能对于IR光敏感)的光谱响应的颜色串扰。在一个实施例中，使得透明传感器2对于IR光敏感，这是通过去除IR滤光器或者通过将其光谱响应重新设计成允许IR范围内的一些光进入。除了可见范围内的光之外，捕获IR光的动机是提高图像中的信噪比(SNR)，这是因为许多自然的和人工的光源也会在IR光谱中发出光子。与具有彩色CFA的传感器(即传感器I)不同，对于IR光的吸收不会在透明传感器2中引入颜色串扰(这是因为该传感器记录场景的全色图像)。
[0043]去除IR滤光器可能对图像质量有一些负面影响。举例来说，扩展由摄影机捕获的波长范围可能会导致纵向色差，这可能会降低点扩散函数(PSF)的质量从而导致模糊的图像。为了解决这一问题，在一个实施例中，在可见和IR范围全部二者上对子摄影机2的光学元件进行优化，以便减轻色差的影响，并且与使用IR滤光器的标准紧凑型摄影机光学元件相比得到更加紧凑的PSF。这与仅考虑可见范围内的波长的标准优化处理不同。
[0044]在使用中，两个子摄影机共享类似的F0V，并且具有基本上相等(仅受到制造容差的限制)的焦距。图像捕获处理被同步，从而使得两个子摄影机在特定时刻捕获场景的图像。由于子摄影机的两个孔径之间的较小的基线(其可以是仅仅几毫米，例如6.5mm或8.5mm)，根据场景中的物距，输出图像可能会表现出视差。数字图像处理算法在被称作“图像融合”的处理中把两幅图像组合成一幅图像。在后文中，实施该处理的算法被称作“图像融合算法”。与一幅子摄影机图像相比，所述算法所得到的图像可以具有更高的分辨率(在图像像素方面)和/或更高的“有效分辨率”(在解析场景中的空间频率的能力方面，更高的“有效分辨率”意味着解析更高空间分辨率的能力)和/或更高的SNR。
[0045]在分辨率方面并且作为示例，如果每一个子摄影机产生5兆像素(2592x1944像素)图像，则图像融合算法可以组合两幅图像以产生具有8兆像素(3264x2448像素)分辨率的一幅图像。在有效分辨率方面，假设所成像的对象或场景包括空间频率，则通过使用这里所公开的具有透明传感器和彩色传感器的双孔径摄影机导致有效分辨率的总体提高，这是因为与彩色传感器相比，透明传感器有能力解析场景的辉度分量的更高空间频率。在这里所公开的方法(参见后文)中实施的彩色和透明图像的融合在比彩色(例如Bayer)子摄影机所可能捕获的更高空间频率中增加了信息。
[0046]为了生成更高分辨率或更高有效分辨率的图像，所述图像融合算法把来自子摄影机I的颜色信息与来自子摄影机2的辉度信息相组合。由于透明传感器2与彩色传感器I中的任何颜色通道或其辉度相比在更高的有效空间采样率下对场景进行采样，因此与仅来自子摄影机I的输出图像相比，所述算法合成了包括更高空间频率处的信息的图像。所述算法的目标是达到类似于从具有更高像素数目的传感器的单孔径摄影机所获得的空间分辨率。继续前面的实例，所述算法可以组合两幅5兆像素图像(一幅彩色图像和一幅辉度图像)，从而产生具有类似于单孔径8兆像素彩色摄影机的信息内容的一幅8兆像素图像。
[0047]除了改进的空间分辨率之外，与来自相应的单孔径摄影机的图像相比，所述图像融合算法还使用来自透明传感器2的辉度信息生成具有提高的SNR的图像。传感器2的像素未被彩色滤光器覆盖的事实允许每一个像素在更宽的波长光谱中吸收光，从而与彩色CFA摄影机相比导致光效率的显著提高。在一个实施例中，透明图像信息与彩色图像信息的融合于是提供与单孔径数字摄影机相比的+3dB的SNR提高。
[0048]由于透明传感器2比彩色传感器I更加敏感，可能需要调节曝光时间或模拟增益以便匹配两个摄影机之间的数字信号水平。这可以通过对于全部两个传感器固定相同的曝光时间并且对于每一个传感器配置不同的模拟增益来实现，或者通过固定全部两个传感器中的模拟增益并且对于每一个传感器配置不同的曝光时间来实现。
[0049]图4A在流程图中示意性地示出了这里所公开的方法的一个实施例。图4B在流程图中示出了图4A所示的方法中的尺度调节步骤的细节。分别来自子摄影机I和2的两幅图像400a和400b充当输入。两幅图像分别在对应于传感器I的彩色图像的步骤402a和对应于传感器2的辉度图像的步骤402b中经历预处理。步骤402a包括ISP管线中的数字图像信号处理(ISP)t3ISP生成在每一个图像像素处具有R、G、B数值的全彩色图像。如果传感器I上的CFA式样是非标准的，则ISP包括非标准的去马赛克(demosaicing)，以便在每一个像素位置处内插缺失的颜色。除了去马赛克之外，可以在图像上应用本领域内已知的其他标准ISP管线算法，比如黑色水平校正、缺陷像素校正、噪声去除等等。此外还对来自子摄影机2的辉度图像进行预处理，以便校正缺陷、噪声、阴影分布、模糊以及其他光学、模拟和数字像差。随后在步骤404中在两幅图像上应用规范化、矫正和尺度调节。首先，对两幅图像进行规范化，以使其具有相同的均值信号强度和标准偏差(其是针对图像动态范围的度量)。这是通过在每一幅图像中从每一个像素减去均值并且将每一个像素除以标准偏差而实现的。随后通过应用两个射影矩阵对图像进行矫正，以便校正围绕x、y和z轴的不同旋转，校正两个摄影机的光学中心的x-y平移，并且修复透镜畸变。所述射影矩阵参数是从校准数据预先计算的，所述校准数据可以是通过在摄影机模块组装期间对于每一个摄影机模块所应用的校准步骤而获取的。所述数据可以被保存在摄影机模块中的一次可编程存储器或EEPROM中。在矫正步骤之后，在两个子摄影机被沿着X轴并排放置的情况下，全部两幅图像中的核线或多或少地平行于图像的水平轴，或者在两个子摄影机被沿着Y轴并排放置的情况下，则平行于图像的垂直轴。
[0050]现在将参照图4B更加详细地描述在矫正步骤之后进行的尺度调节。分别来自子摄影机I和2的经过预处理和矫正的图像418a和418b(其也在图4C中被示例性地示出)充当输入。在步骤420中，找到两幅图像之间的相应点。在一个实施例中，在整幅图像上计算相应点的集合。在另一个实施例中，对于每一幅图像中的特定感兴趣区段(ROI)找到相应点的集合。图4C示意性地示出了由具有一些视差的邻近摄影机(即由子摄影机I捕获的A以及由子摄影机2捕获的A’)捕获的相同场景的两幅图像A和B—一由于不同的视点，取决于其与摄影机的距离，对象被成像时与另一幅图像相比在一幅图像中具有一些位移。特征对a-a’、b-b’和c-c’代表两幅图像A和A’中的相同的“相应点”。使用一种算法来找到两幅图像之间的相应点。在两幅图像中找到一个显著点的集合(例如角落)，并且随后所述算法找到两幅图像中的点之间的匹配。这样的算法对于本领域技术人员是已知的。在步骤422中，仅提取Y坐标以便估计两幅图像之间的尺度。由于受到AF机制控制的光学元件的位置可能在两幅子摄影机图像之间引入不同的尺度，因此需要对于每一幅捕获的图像(也就是对于每一个聚焦位置)确定适当的尺度。假设两个子摄影机被沿着X轴彼此邻近放置，则一旦找到相应的点对，则在步骤422中从每一个点提取单个坐标。也就是说，所述算法仅考虑其Y坐标而不考虑其X坐标。发明人已经有利地认识到，X坐标可能会受到视差的影响，而Y坐标在矫正步骤之后则在很大程度上不受视差的影响，因此Y坐标可以被用来更加鲁棒地估计尺度。如果两个子摄影机被沿着Y轴邻近放置，则一旦找到相应的点对，则所述算法仅考虑其X坐标而不考虑其Y坐标。继续假设两个子摄影机沿着X轴邻近，相应点的Y坐标在步骤424中被用来估计图像之间的缩放因数S。在一个示例性实施例中，利用最小二乘法来实施缩放因数估计，在这种情况下S由下式给出:
[0051 ] S=(Y2’*W*Y2)\Y2’*W*Y1
[0052]其中Yl是从一幅图像取得的各点的Y坐标的矢量，Y2是从另一幅图像取得的各点的Y坐标的矢量，并且W是保持Y2的绝对值的对角矩阵。随后在步骤426中使用缩放因数S对一幅图像进行缩放，以便匹配两幅图像之间的尺度。在步骤426中，把每一幅图像中的点坐标乘以相同的缩放因数S。最后，在步骤428中，经过缩放的相应点对被用来对于每一个轴计算两幅图像之间的X和y轴中的偏移。在一个实施例中，只有位于特定ROI中的相应点的一个子集被用来计算X和y中的偏移。举例来说，所述ROI可以是被用来确定聚焦并且可以由用户或摄影机软件(SW)选择的区段。在其中一幅图像或全部两幅图像上应用所估计的偏移。图4B中(以及图4A的步骤404中)的尺度调节处理的结果是经过缩放的图像430。
[0053]现在参照图4A，在步骤406中对经过缩放的图像应用局部配准和视差校正以便估计视差图(disparity map)。局部配准使用在步骤404中找到的尺度和偏移参数。随后通过根据所述视差图组合来自全部两幅图像的信息，在步骤408中实施融合以便增强最终图像中的分辨率并且改进SNR。融合处理使用来自子摄影机I的图像作为基线。其输出是融合图像410。随后可以对融合图像应用后处理，比如色调映射、伽马校正、对比度增强以及颜色校正/增强。
[0054]自动聚焦
[0055]正如前面关于图2所提到的那样，这里所公开的摄影机系统包括控制光学元件的聚焦位置的AF机制。图2中示出的系统包括两个这样的AF机制。图5A在剖面等距视图中示意性地示出了具有单个自动聚焦机制的编号为500的双孔径成像系统的另一个实施例。除了常规的图像传感器和光学元件之外，系统500只包括位于彩色子摄影机I中的AF机制502。辉度子摄影机2不具有AF机制，而是固定聚焦摄影机，其焦点被固定到特定的物距。取决于焦距和光学元件设计，所述聚焦位置使得子摄影机2的DOF范围处于无限远与几十厘米之间。举例来说，DOF可以处于无限远与50cm之间，从而使得子摄影机2将对于处在距离摄影机的该范围内的物距产生清晰的图像。在系统500中，通过改变光学元件的聚焦位置，子摄影机I可以产生其中主要对象对于较宽的物距范围处于焦点对准的图像，从而使其在子摄影机I图像中看起来是清晰的。
[0056]图5B在流程图中示意性地示出了利用具有AF的成像系统500进行图像融合的方法的一个实施例。分别来自子摄影机I和2的两幅图像500a和500b充当输入。在步骤502中，对于子摄影机I选择聚焦位置。在步骤504中实施检查以便确定所成像的对象的距离是否处在子摄影机2的DOF内，正如本领域内已知的那样，这是通过计算子摄影机I和2的图像上的锐度量度而实现的。所述锐度量度的计算可以得到锐度差异。如果步骤504的检查中的回答为“是”，则所述对象在子摄影机2图像中看起来将是清晰的。在这种情况下，在步骤506中对由全部两个子摄影机获得的对象图像应用前面所描述的图像融合，以便获得更高的输出分辨率和更好的SNR。如果对于检查504的回答为“否”(也就是说对象的位置更靠近摄影机，并且处在子摄影机2的DOF范围之外)，则对象在子摄影机2图像中看起来将是模糊的(不清晰)。在这种情况下，来自子摄影机2的图像不被用来增强分辨率，而是仅被用来改进来自子摄影机I的图像的SNR。为此，在步骤508中应用类似于前面的融合算法(规程)的另一种算法(规程)。将来自子摄影机I的图像缩放到适当的输出尺寸，并且应用使用来自子摄影机2图像的信息的去噪声算法。由于在这种情况下在子摄影机2图像中丢失了高频率(由于散焦)，因此所述算法仅考虑来自子摄影机2的图像的低空间频率处的信息。为了确定物距，使用子摄影机I的AF机制的所选择的聚焦位置(在聚焦处理收敛之后)。
[0057]图6在剖面等距视图中示意性地示出了具有单个AF机制的编号为600的双孔径成像系统的另一个实施例。类似于系统500，系统600除了常规的图像传感器和光学元件之外只包括一个AF机制602。但是与AF机制502不同，AF机制602把子摄影机I的光学元件和子摄影机2的光学元件一同移动。各个光学元件被安放在透镜支架604上，所述透镜支架604具有用以固定两个透镜的专用螺纹并且由AF机制移动。由于子摄影机I和子摄影机2的光学元件具有非常类似的焦距，因此所述机械移动把来自子摄影机I和来自子摄影机2的图像同时带到聚焦。这种构造与只具有一个AF机制相比的优点在于，全部两个子摄影机都支持相同的物距范围，因此可以对于整个范围应用图像融合算法。在AF机制选择对应于透镜的最佳聚焦位置时，可以把来自全部两幅子摄影机图像的信息纳入考虑(以便例如帮助在低光情况下聚焦)。在低光中，由于图像中的较低SNR，AF锐度测量的噪声更多。通过使用两幅图像而不是一幅，可以帮助减少噪声并且改进AF处理(算法)的鲁棒性和准确性。
[0058]在一个实施例中，利用晶片级光学元件制造技术或者玻璃或塑料材料的喷射模塑，子摄影机I和子摄影机2的其中一些或所有光学元件被制作在相同的管芯上。在这种情况下，所述单个AF机制移动两个子摄影机的光学元件被制作在其上的光学管芯，从而使得两个光学堆叠一同移动。
[0059]在另一个实施例中，一种摄影机类似于摄影机500，并且包括被放置在子摄影机I(其具有彩色CFA)上的单个AF机制。子摄影机2不具有AF机制，而是使用具有提供扩展的聚焦深度的独特特性的固定聚焦光学元件，这是通过光学设计而实现的(例如通过采用具有更窄的孔径和更高F数的光学元件)。子摄影机2的光学元件的光学性能被设计成对于处在距离摄影机无限远与几cm之间的物距支持清晰的图像一一在这种情况下，与前面所描述的单AF实施例相比，可以应用融合算法以便对于更宽的物距范围增强输出分辨率。在摄影机的DOF与DOF范围上的最小可实现PSF尺寸之间通常存在折中。在应用融合算法以组合照片之前，可以使用一种算法来增强由子摄影机2捕获的图像的锐度。这样的算法在本领域内是已知的。
[0060]作为结论，这里所公开的双孔径摄影机以及此类摄影机的使用方法在摄影机高度、分辨率、有效分辨率和SNR方面具有优于单孔径摄影机的若干优点。在摄影机高度方面，在一个实例中，具有70度对角线FOV的标准8兆像素1/3”摄影机可以具有5.7mm的模块高度。与此相比，这里所公开的双孔径摄影机可以具有4.5mm的模块高度，其中所述双孔径摄影机具有两个5兆像素I/4”图像传感器(一个彩色图像传感器和一个透明图像传感器)，其分别具有70度对角线视场。在另一个实例中，具有76度对角线FOV的标准8兆像素1/3”摄影机可以具有5.2_的模块高度。与此相比，这里所公开的双孔径摄影机可以具有4.1mm的模块高度，其中所述双孔径摄影机具有两个5兆像素1/4”图像传感器(一个彩色图像传感器和一个透明图像传感器)，其分别具有76度对角线F0V。
[0061]虽然通过某些实施例和总体上相关联的方法描述了本公开内容，但是本领域技术人员将认识到所述实施例和方法的改动和置换。应当理解的是，本公开内容不受这里所描述的具体实施例的限制，而是仅由所附权利要求书的范围限制。此外，在本申请中对于任何参考文献的引述或标识应当被解释成承认这样的参考文献可用于作为本申请的现有技术。
【主权项】
1.一种具有自动聚焦(AF)以用于对对象或场景进行成像的双孔径数字摄影机，其包括: a)包括第一光学元件模块以及具有第一像素数目的彩色图像传感器的第一子摄影机，第一摄影机适于提供对象或场景的彩色图像； b)包括第二光学元件模块以及具有第二像素数目的透明图像传感器的第二子摄影机，第二子摄影机适于提供对象或场景的辉度图像，其中第一和第二子摄影机具有基本上相同的视场； c)机械地親合到至少第一光学元件模块的AF机制；以及 d)耦合到AF机制并且耦合到两个图像传感器的摄影机控制器，其被配置成控制AF机制，计算彩色与辉度图像之间的由于AF机制所造成的缩放差异和锐度差异，并且利用所计算出的差异把彩色和辉度图像处理成融合彩色图像。2.权利要求1的摄影机，其中，AF机制机械地耦合到第一光学元件模块，并且其中第二光学元件模块具有固定的聚焦位置。3.权利要求2的摄影机，其中，所述固定聚焦位置使得第二子摄影机的场深度范围处于无限远与小于大约10cm之间。4.权利要求1的摄影机，其中，AF机制机械地耦合到第一和第二光学元件模块，并且适于在对应的光学元件模块光轴的共同方向上将其一同移动。5.权利要求4的摄影机，其还包括机械地耦合到第一和第二光学元件模块的光学图像稳定机制，其适于在垂直于对应的光学元件模块光轴的方向上将其一同移动，以便对AF融合彩色图像实施光学稳定。6.权利要求1的摄影机，其中，第一像素数目和第二像素数目是相等的。7.权利要求1的摄影机，其中，第一像素数目和第二像素数目是不同的。8.权利要求1的摄影机，其中，第一和第二图像传感器被形成在单个基板上。9.权利要求1的摄影机，其中，第一子摄影机包括阻止IR波长进入彩色图像传感器的红外(IR)滤光器，并且其中第二子摄影机被配置成允许至少一些IR波长进入透明图像传感器。10.权利要求1的摄影机，其中，所述彩色图像传感器包括非标准彩色滤光器阵列(CFA)011.权利要求10的摄影机，其中，所述非标准CFA包括3x3微单元的重复，其中的彩色滤光器顺序为GBRRGBBRG。12.—种用于利用双孔径摄影机获得对象或场景的聚焦彩色图像的方法，其包括以下步骤: a)同时获得对象或场景的自动聚焦(AF)彩色图像和自动聚焦或固定聚焦(FF)辉度图像，其中彩色图像具有第一分辨率、第一有效分辨率和第一信噪比(SNR)，并且其中辉度图像具有第二分辨率、第二有效分辨率和第二 SNR; b)在考虑到由AF动作所导致的缩放和锐度差异的情况下，对所述两幅图像进行非标准预处理，以便获得对应的经过矫正、规范化以及尺度调节的彩色和辉度图像； c)在所述经过矫正、规范化以及尺度调节的彩色和辉度图像之间实施局部配准，从而获得配准图像；以及 d)将配准图像融合到聚焦融合彩色图像中。13.权利要求12的方法，其中，所述用以获得经过尺度调节的彩色和辉度图像的预处理步骤包括计算彩色和辉度图像中的相应点的集合，从每一个相应点提取单个坐标，并且使用所述单个坐标来估计彩色与辉度图像之间的缩放因数S。14.权利要求13的方法，其中，所提取的坐标是Y，并且其中缩放因数S由S= (Y2 ’Y2)\Y2 ’ *W*Y1给出，其中Yl是从一幅图像取得的各点的Y坐标的矢量，Y2是从另一幅图像取得的各点的Y坐标的矢量，并且W是保持Y2的绝对值的对角矩阵。15.权利要求14的方法，其还包括使用缩放因数S对其中一幅图像进行缩放以便匹配另一幅图像的步骤，从而获得配准图像。16.权利要求12的方法，其还包括对所获得的彩色和辉度图像实施光学稳定的步骤。
【文档编号】H04N5/238GK105917641SQ201480043316
【公开日】2016年8月31日
【申请日】2014年7月24日
【发明人】G·沙布岱, N·科恩, E·戈登堡, N·吉瓦, O·吉古因斯基
【申请人】核心光电有限公司