使用无视差及倾斜伪影的折叠式光学器件的多相机系统的制作方法

本发明涉及包含多相机阵列的成像系统及方法。特定来说，本发明涉及实现低轮廓成像系统及移动装置同时维持或改进图像质量的系统及方法。

背景技术：

许多移动装置(例如移动电话和平板计算装置)包含可由用户操作以捕获静止和/或视频图像的相机。因为移动装置通常被设计为相对较小，所以可能重要的是将相机或成像系统设计得尽可能薄以便保持低轮廓移动装置。折叠式光学图像传感器阵列(“阵列相机”)允许形成低轮廓图像捕获装置，而不缩短焦距或者降低图像在传感器阵列的视场上的分辨率。通过使用主要表面和次要表面将光朝向阵列中的每个传感器重定向，并且通过定位用于将入射光聚焦在主要表面和次要表面之间的透镜组合件，传感器阵列可以被定位在垂直于透镜组合件的平坦衬底上。较长的焦距使得可能实施例如光学变焦的特征并且结合需要比通常由传统移动相机提供的更多空间的更复杂的光学器件，例如添加更多的光学元件。

一些阵列相机采用具有多个刻面的中心反射镜或棱镜来将包括目标图像的入射光分裂成多个部分，以由阵列中的传感器捕获，其中每个刻面将来自目标图像的光的一部分引导朝向阵列中的传感器。分裂光的每一部分可以穿过透镜组合件并从位于传感器正上面或下面的表面反射开，使得每一传感器捕获图像的部分。传感器视场可以重叠以辅助于将所捕获的部分缝合在一起成为完整的图像。

技术实现要素：

本文中所描述的折叠式光学传感器阵列及图像捕获技术允许形成低轮廓图像捕获装置，而不缩短焦距或降低图像在传感器阵列的视场上的分辨率，其中所捕获的图像可无视差及倾斜伪影。现有阵列相机的挑战为如从阵列的不同相机看到的相同对象的不同视图之间的视差及/或倾斜所致的质量降级。视差阻碍将由每一相机捕获的图像无缝拼接成完全无伪影的最终图像。相机视图可部分重叠(例如，达大约20％)。取决于深度(例如，从透镜到对象的距离)，来自一个相机的图像可相对于来自另一相机的图像移位。所得的视差及倾斜可在将图像拼接或聚焦在一起时在对应于重叠视场的图像区域中造成“双重图像”重影。即使阵列经结构化使得在传感器视场中无重叠，但当图像中的不连续特征(例如，线及边缘)在传感器视场之间的边界上方交叉时在此些特征中造成视差。

除其它外，上文所描述的问题在一些实施例中通过无(或基本上无)如本文中所描述的视差及倾斜伪影的阵列相机得以解决。一些实施例可采用(例如，具有多个表面或刻面)的中央反射镜或棱镜来将包括目标图像的传入光分裂成多个部分以供由阵列中的传感器捕获。反射镜表面及周围相机可经配置以避免在所捕获的图像中造成视差及倾斜伪影。举例来说，由反射镜表面或棱镜刻面形成的平面可全交叉于共点(称作顶点)，所述顶点在一些实施例中可沿着阵列的垂直对称轴。相机可经定位使得每一相机的光轴与顶点对准或与其交叉。相机的光轴可与其透镜组合件的投射中心及顶点两者交叉。因此，合成孔径(阵列中的相机的所有视图的和)可具有穿过顶点的虚拟光轴。另外，每一相机可经定位使得相机光轴与虚拟光轴之间形成的角度为对应反射镜表面与虚拟光轴之间形成的角度的两倍。然而，这些角度在阵列中的所有相机未必相同。因此，在一些实施例中，顶点可不沿着阵列的垂直对称轴。此外，顶点与投射中心(位于对应于传感器的透镜内)之间的距离可针对阵列中的所有相机相同。因此，阵列中的相机的视图可无缝合并成无视差及倾斜伪影的单个图像。

可使分裂光的每一部分穿过透镜组合件且从直接定位于传感器上面或下面的任选额外反射表面反射开，使得每一传感器捕获图像的部分。在一些情况中，阵列中的每一传感器可捕获图像的部分，所述部分与由阵列中的邻近传感器捕获的部分稍微重叠，且这些部分可(例如)通过线性混合或其它图像拼接技术汇编成目标图像。在一些实例中，传感器可经定位成从其透镜组合件的光轴偏心以便捕获较宽视场。

一个方面涉及一种成像系统，其包括反射组件，所述反射组件包含多个主要光重定向表面，所述反射组件包括在由所述多个主要光重定向表面中的每一者形成的平面的交叉点的位置处的顶点；及多个相机，所述多个相机中的每一者具有光轴，所述多个相机经布置以各自接收从所述反射组件的所述主要光重定向表面中的一者重定向的光且使得所述多个相机中的每一者的光轴经对准以与反射组件的顶点交叉。

另一方面涉及制造基本上无视差及倾斜伪影的折叠式光学阵列相机的方法，所述方法包括：提供包含多个主要光重定向表面的反射组件，所述反射组件包括在由所述多个主要光重定向表面中的每一者形成的平面的交叉点的位置处的顶点；及针对围绕所述反射组件定位的多个相机中的每一相机，定位透镜组合件以接收表示来自多个主要光重定向表面中的一者的目标图像场景的光的部分，所述透镜组合件具有光轴，及定位所述透镜组合件使得所述光轴经对准以与顶点交叉。

另一方面涉及一种图像捕获设备，其包括用于将表示目标图像场景的光分裂成多个部分且将沿不同方向重定向多个部分中的每一者的装置；用于聚焦光的多个部分中的每一者的装置；及用于在聚焦之后捕获光的多个部分中的每一者的装置；用于分裂光的装置、用于聚焦的装置及用于捕获的装置根据预定空间关系定位以便减少或消除基于光的多个部分产生的图像之间的视差及倾斜伪影。

另一方面涉及一种形成基本上无视差及倾斜伪影的阵列相机的方法，所述方法包括：针对定位于具有垂直对称轴的阵列中的多个相机中的每一相机，选择用于图像传感器的第一位置；选择用于主要光引导表面的第二位置使得由主要光引导表面形成的平面与顶点交叉，第二位置经选择使得主要光引导表面将表示目标图像场景的光的部分引导朝向图像传感器；及选择用于定位于传感器与主要光引导表面之间的透镜组合件的投射中心的第三位置，第三位置经选择使得相机的光轴角与顶点交叉；所述方法由一或多个计算装置以编程方式执行。

附图说明

所揭示方面将在下文结合附图及附录进行描述，经提供以说明且并不限于所揭示方面，其中相同指定表示相同元件。

图1A说明折叠式光学阵列相机的实施例的横截面侧视图。

图1B说明折叠式光学阵列相机的另一实施例的横截面侧视图。

图2说明图像捕获装置的一个实施例的框图。

图3A到3C说明无视差及倾斜伪影的阵列相机的实施例。

图4说明阵列相机的一个传感器及反射镜的设计参数的实例。

图5A到5C说明无视差及倾斜伪影的阵列相机的实施例。

图6A到6C说明无视差及倾斜伪影的阵列相机的实施例。

图7A及7B说明阵列相机的一个传感器及反射镜的设计参数的实例。

图7C说明图7A及7B的阵列相机所捕获的一组视图。

图8A说明有缺陷的中央反射镜棱锥的实施例。

图8B说明有缺陷的中央反射镜棱锥的另一实施例。

图9A说明用理想中央反射镜棱锥捕获的图像与图8A的中央反射镜棱锥之间的差的绝对值的放大。

图9B说明用理想中央反射镜棱锥捕获的图像与图8B的中央反射镜棱锥之间的差的绝对值的放大。

图10说明折叠式光学图像捕获过程的实施例。

具体实施方式

I.导论

本文中所揭示的实施方案提供用于使用具有折叠式光学器件的阵列相机产生基本上无视差及倾斜伪影的图像的系统、方法及设备。本发明的方面涉及在所捕获的图像中展现几乎没有视差伪影的阵列相机。举例来说，阵列相机的中央反射镜棱锥或棱镜的平面可交叉于共点(称作“顶点”)处。顶点可用作阵列中的相机的光轴的交叉点，以及与虚拟光轴的交叉点。阵列中的每一相机使用中央反射棱镜的对应刻面“看见”图像场景的部分，且因此每一个别相机/反射镜对仅表示总阵列相机的子孔径。完整的阵列相机具有基于所有个别孔径光线的和(即，基于将由子孔径产生的图像拼接在一起)而产生的合成孔径。每一相机可包含传感器及透镜组合件，所述透镜组合件具有沿着相机光轴定位的投射中心，且可任选地包含在传感器与透镜组合件之间的次要光重定向表面。传感器可经定位从所述光轴偏心以从图像场景捕获更多光。

在以下描述中，给出具体细节以提供对实例的透彻理解。然而，可在无这些特定细节的情况下实践实例。

II.折叠式光学阵列相机的概述

现在参考图1A及1B，现在将更详细地描述适于与本文中所描述自动聚焦系统及技术一起使用的折叠式光学多传感器组合件100A、100B的实例。图1A说明折叠式光学器件阵列100A的实例的横截面侧视图，所述折叠式光学器件阵列包含可全被安装到衬底150的图像传感器105、125，反射次要光重定向表面110、135，透镜组合件115、130及中央反射表面120。图1B说明折叠式光学传感器阵列的实施例的横截面侧视图，所述折叠式光学传感器阵列包含用于主要光重定向表面122、124的中央棱镜141、146及形成次要光重定向表面135、110的额外棱镜。

参考图1A，在某些实施例中，图像传感器105、125可包含电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS)，或接收光且响应于所接收图像产生图像数据的任何其它图像感测装置。图像传感器105、125可能够获得静态照片的图像数据且也可提供关于所捕获视频流中的动作的信息。传感器105及125可为个别传感器或可表示传感器阵列，例如，3×1阵列。然而，如由所属领域的技术人员将理解，任何适合传感器阵列可用于所揭示实施方案中。

传感器105、125可被安装在衬底150上，如图1A中所展示。在一些实施例中，所有传感器可通过经安装到平坦衬底150而位于一个平面上。衬底150可为任何适合基本上平坦材料。中央反射表面120及透镜组合件115、130也可被安装在衬底150上。多个配置可用于安装一传感器阵列或多个阵列，多个透镜组合件及多个主要及次要反射或折射表面。

仍参考图1A，在一些实施例中，可使用中央反射表面120来将光从目标图像场景重定向朝向传感器105、125。中央反射表面120可为一反射镜或多个反射镜，且可为平坦的或视需要塑形以恰当地将传入光重定向到图像传感器105、125。举例来说，在一些实施例中，中央反射表面120可为经定大小且经塑形以将传入光线分别穿过透镜组合件115、130反射到传感器105、125的反射镜。中央反射表面120可将包括目标图像的光分裂成多个部分且将每一部分引导于不同传感器处。举例来说，中央反射表面120(在其它实施例可实施折射棱镜而非反射表面时，也被称作主要光重定向表面)的第一侧122可将对应于第一视场140的光的部分发送到左传感器105而第二侧124将对应于第二视场145的光的第二部分发送到右传感器125。应了解，图像传感器的视场140、145一起至少覆盖目标图像。

在其中接收传感器各自为多个传感器的阵列的一些实施例中，中央反射表面可由相对于彼此成角度以便将目标图像场景的不同部分发送到传感器中的每一者的多个反射表面制成。阵列中的每一传感器可具有基本上不同视场，且在一些实施例中，视场可重叠。中央反射表面的某些实施例可具有复杂非平面表面以增加设计透镜系统时的自由度。此外，尽管中央表面经论述为反射表面，但在其它实施例中，中央表面可为折射的。举例来说，中央表面可为配置有多个刻面的棱镜，其中每一刻面将包括场景的光的部分引导到传感器中的一者。

在从中央反射表面120反射开之后，光可传播穿过透镜组合件115、130，如图1A中所说明。一或多个透镜组合件115、130可被设置在中央反射表面120与传感器105、125及反射表面110、135之间。透镜组合件115、130可用于聚焦经引导到每一传感器的目标图像的部分。

在一些实施例中，每一透镜组合件可包括一或多个透镜及致动器，所述致动器用于通过壳体使透镜在多个不同透镜位置间移动。致动器可为音圈电机(VCM)、微电子机械系统(MEMS)，或形状记忆合金(SMA)。透镜组合件可进一步包括用于控制致动器的透镜驱动器。

传统自动聚焦技术可通过改变透镜115、130与每一相机的对应传感器105、125之间的焦距来实施。在一些实施例中，此可通过移动透镜镜筒来完成。其它实施例可通过将中央反射镜向上或向下移动或通过调整反射镜相对于透镜组合件的角度来调整焦点。某些实施例可通过将侧反射镜移动越过每一传感器来调整焦点。此些实施例可允许组合件个别地调整每一传感器的焦点。此外，一些实施例可能(例如)通过将如同液态透镜的透镜放置在整个组合件上方来立刻改变整个组合件的焦点。在一些实施方案中，可使用计算摄影学来改变相机阵列的焦点。

如图1A中所说明，可将多个侧反射表面(例如，反射表面110及135)设置在中央反射镜120周围与传感器相对。在穿过透镜组合件之后，侧反射表面110、135(在其它实施例可实施折射棱镜而非反射表面时，也被称作次要光重定向表面)可将光(如图1A中所描绘，定向为“向下”)反射到平坦传感器105、125上。如所描绘，传感器105可经定位在反射表面110下面且传感器125可经定位在反射表面135下方。然而，在其它实施例中，传感器可位于侧反射表面上面，且侧反射表面可经配置以向上反射光。侧反射表面及传感器的其它适合配置是可能的，其中来自每一透镜组合件的光经重定向朝向传感器。某些实施例可使侧反射表面110、135的移动能够改变相关联传感器的焦点或视场。

可通过与所述传感器相关联的中央反射镜120的表面将每一传感器的视场140、145引导到对象空间中。可采用机械方法来将反射镜倾斜及/或将棱镜在阵列中移动使得可将每一相机的视场操纵到对象场上的不同位置。举例来说，上述情形可用于实施高动态范围相机以增加相机系统的分辨率，或实施全光相机系统。可将每一传感器的(或每一3×1阵列的)视场投射到对象空间中，且每一传感器可根据所述传感器的视场捕获包括目标场景的部分图像。在一些实施例中，相对传感器阵列105、125的视场140、145可重叠特定量150。为减少重叠150且形成单个图像，可使用如下文所描述的拼接过程来组合来自两个相对传感器阵列105、125图像。拼接过程的某些实施例可采用重叠150来识别将部分图像拼接在一起的共用特征。在将重叠图像拼接在一起之后，可将经拼接图像裁剪到所要纵横比(例如，4:3或1:1)以形成最终图像。

图1B说明折叠式光学阵列相机100B的另一实施例的横截面侧视图。如图1B中所展示，传感器组合件100B包含各自经安装到衬底150的一对图像传感器105、125、分别对应于图像传感器105、125的透镜组合件115、130，及分别定位于图像传感器105、125的盖玻璃106、126上方的次要光重定向表面110、135。折射棱镜141的主要光重定向表面122将来自目标图像场景的光的部分沿着光轴121引导穿过透镜组合件115，从次要光重定向表面110重定向离开，穿过盖玻璃106，入射于传感器105上。折射棱镜146的主要光重定向表面124将来自目标图像场景的光的部分沿着光轴123引导穿过透镜组合件130，从次要光重定向表面135重定向离开，穿过盖玻璃126，且入射于传感器125上。折叠式光学阵列相机100B说明实施折射棱镜而非图1A的阵列相机100A的反射表面的一个阵列相机实施例。折射棱镜141、146中的每一者经设置于衬底150中的孔径中使得主要光引导表面122、124在由衬底形成的平面下面且接收表示目标图像场景的光。

传感器105、125可被安装在衬底150上，如图1B中所展示。在一些实施例中，所有传感器可通过经安装到平坦衬底150而位于一个平面上。衬底150可为任何适合基本上平坦材料。衬底150可包含如上文所描述的孔隙以允许传入光穿过衬底150到主要光重定向表面122、124。多个配置可用于将一传感器阵列或多个阵列，以及所说明的其它相机组件安装到衬底150。

仍参考图1B，主要光重定向表面122、124可为如所说明的棱镜表面，或可为一反射镜或多个反射镜，且可为平坦或经视需要塑形以将传入光恰当地重定向到图像传感器105、125。在一些实施例中，主要光重定向表面122、124可经形成为中央反射镜棱锥或棱镜，如图1A中所说明。中央反射镜棱锥、棱镜或其它光学组件可将表示目标图像的光分裂成多个部分且将每一部分引导于不同传感器处。举例来说，主要光重定向表面122可将对应于第一视场的光的部分发送到左传感器105，而主要光重定向表面124将对应于第二视场的光的部分发送到右传感器125。在其中接收传感器各自为多个传感器的阵列的一些实施例中，光重定向表面可由相对于彼此成角度以便将目标图像场景的不同部分发送到传感器中的每一者的多个反射表面制成。应了解，相机的视场一起至少覆盖目标图像，且可在捕获之后经对准及拼接在一起以形成由阵列的合成孔径所捕获的最终图像。

阵列中的每一传感器可具有基本上不同视场，且在一些实施例中，视场可重叠。如下文更详细描述，各种主要光重定向表面122、124，透镜组合件115、130及传感器105、125之间的空间关系可经预定以减少或消除不同视场之间发生的视差及倾斜伪影。

如由图1A及1B所说明，每一阵列相机具有总高度H。在一些实施例中，总高度H可为大约4.5mm或更少。在其它实施例中，总高度H可为大约4.0mm或更少。尽管为未说明，整个阵列相机100A、100B可经提供于具有大约4.5mm或更少或大约4.0mm或更少的对应内部高度的壳体中。

此些阵列相机100A、100B的此些配置可基于传感器及光重定向表面的相对位置而遭受视差及倾斜伪影，提出关于由于如从阵列的不同相机看到的相同对象的不同视图间的视差及倾斜而造成的质量降级的挑战。视差及倾斜阻碍将由每一相机捕获的图像无缝拼接成完全无伪影的最终图像。取决于深度(例如，从透镜到对象的距离)，来自一个相机的图像可在相对于来自另一相机的重叠图像的位置及角度移位。所得的视差及倾斜可在将图像拼接或聚焦在一起时在对应于重叠视场的图像区域中造成“双重图像”重影。即使阵列经结构化使得在传感器视场中无重叠，但当图像中的不连续特征(例如，线及边缘)在传感器视场之间的边界上方交叉时在此些特征中造成视差。

如本文中所使用，术语“相机”是指图像传感器，透镜系统，及若干个对应光重定向表面，例如，主要光重定向表面124、透镜组合件130、次要光重定向表面135及传感器125，如图1中所说明。折叠式光学多个传感器阵列(被称作“阵列”或“阵列相机”)可在各种配置中包含多个此些相机。阵列配置的一些实施例经揭示于在2013年3月15日提出申请的且标题为“使用折叠式光学器件的多相机系统(MULTI-CAMERA SYSTEM USING FOLDED OPTICS)”的美国申请公开案第2014/0111650号，所述美国申请公开案的揭示内容特此以引用的方式并入。将从用于减少或消除本文中所描述的视差伪影的几何关系获益的其它阵列相机配置是可能的。

图2描绘装置200的高级框图，所述装置具有包含链接到一或多个相机215a到215n的图像处理器220的一组组件。图像处理器220也与工作存储器205、存储器230及装置处理器250通信，所述装置处理器又与存储器210及电子显示器225通信。

装置200可为蜂窝式电话、数字相机、平板计算机、个人数字助理或其类似者。存在许多便携式计算装置，其中例如本文中所描述的减少厚度成像系统将提供优点。装置200也可为静止计算装置或其中薄成像系统将为有利的任何装置。多个应用可由装置200上的用户使用。这些应用可包含传统摄影学及视频应用，高动态范围成像、全景照片及视频，或立体成像(例如3D图像或3D视频)。

图像捕获装置200包含用于捕获外部图像的相机215a到215n。相机215a到215n可各自包括传感器、透镜组合件及用于将目标图像的部分重定向到每一传感器的主要及次要反射或折射表面，如上文关于图1所论述。一般来说，可使用N个相机215a到215n，其中N≥2。因此，可将目标图像分裂成N个部分，其中N个相机中的每一传感器根据传感器的视场捕获目标图像的一个部分。应理解，相机215a到215n可包括适于本文中所描述的折叠式光学成像装置的实施方案的任何数目个相机。可使传感器的数目增加以实现系统的较低z高度(如下文关于图4更详细所论述)，或满足其它用途的需要，例如具有类似于全光相机的视场的重叠视场，此可实现在后处理之后调整图像的焦点的能力。其它实施例可具有适于高动态范围相机的视场重叠配置，实现捕获两个同时图像且接着将其合并在一起的能力。相机215a到215n可经耦接到图像处理器220以将所捕获的图像传输到装置处理器250。

图像处理器220可经配置以对包括目标图像的N个部分的所接收图像数据执行各种处理操作以便输出高质量经拼接图像，如下文将更详细描述。图像处理器220可为通用处理单元或经特殊设计用于成像应用的处理器。图像处理操作的实例包含裁剪、比例调整(例如，比例调整成不同分辨率)、图像拼接、图像格式转换、颜色插值、颜色处理、图像滤波(例如，空间图像滤波)、透镜伪影或缺陷校正等。在一些实施例中，图像处理器220可包括多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器220可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。

如所展示，图像处理器220经连接到存储器230及工作存储器205。在所说明实施例中，存储器230存储捕获控制模块235、图像拼接模块240及操作系统245。这些模块包含配置装置处理器250的图像处理器220以执行各种图像处理及装置管理任务的指令。工作存储器205可由图像处理器220用于存储经包含在存储器230的模块中的工作处理器指令集。替代地，工作存储器205还可由图像处理器220用于存储在装置200的操作期间形成的动态数据。

如上文所提及，图像处理器220是由存储在存储器中的数个模块配置。捕获控制模块235可包含配置图像处理器220以调整相机215a到215n的焦点位置的指令。捕获控制模块235可进一步包含控制装置200的整个图像捕获功能的指令。举例来说，捕获控制模块235可包含调用子例程以配置图像处理器220以使用相机215a到215n捕获目标图像场景的原始图像数据的指令。捕获控制模块235可接着调用图像拼接模块240来对由相机215a到215n捕获的N个部分图像执行拼接技术并将经拼接及经裁剪目标图像输出到成像处理器220。捕获控制模块235还可调用图像拼接模块240以对原始图像数据执行拼接操作以便输出待捕获的场景的预览图像，且将以特定时间间隔或在原始图像数据中的场景改变时更新预览图像。

图像拼接模块240可包括配置图像处理器220以对所捕获的图像数据执行拼接及裁剪技术的指令。举例来说，N个传感器215a到215n中的每一者可根据每一传感器的视场捕获包括目标对象的部分的部分图像。视场可共享重叠区域，如上文及下文所描述。为了输出单个目标图像，图像拼接模块240可配置图像处理器220以组合多个N个部分图像以产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术来发生。图像拼接的实例可在美国专利申请案第11/623,050号中找到，所述美国专利申请案特此以全文引用的方式并入。

举例来说，图像拼接模块240可包含用以针对匹配特征而比较沿着N个部分图像的边缘的重叠区域以便判定N个部分图像相对于彼此的旋转及对准的指令。由于部分图像的旋转及/或每一传感器的视场的形状，组合图像可形成不规则形状。因此，在对准及组合N个部分图像之后，图像拼接模块240可调用子例程，所述子例程配置图像处理器220以将组合图像裁剪成所要形状及纵横比(例如，4:3矩形或1:1正方形)。可将经裁剪图像发送到装置处理器250以用于在显示器225上显示或用于保存在存储器210中。

操作系统模块245配置图像处理器220以管理工作存储器205及装置200的处理资源。举例来说，操作系统模块245可包含装置驱动器以管理硬件资源，例如相机215a到215n。因此，在一些实施例中，经包含在上文所论述的图像处理模块中的指令可不与这些硬件资源直接交互，但替代地通过标准子例程或位于操作系统组件270中的API交互。操作系统245内的指令可接着与这些硬件组件直接交互。操作系统模块245可进一步配置图像处理器220以与装置处理器250共享信息。

装置处理器250可经配置以控制显示器225向用户显示所捕获的图像，或所捕获的图像的预览。显示器225可在成像装置200外部或可为成像装置200的部分。显示器225还可经配置以提供寻像器(view finder)，所述寻像器在捕获图像之前向用户显示预览图像，或可经配置以显示存储于存储器中或最近由用户捕获的所捕获的图像。显示器225可包括LCD或LED屏幕，且可实施触敏技术。

装置处理器250可将数据写入到存储模块210，例如表示所捕获的图像的数据。虽然存储模块210以图形方式表示为传统磁盘装置，但所属领域的技术人员将理解存储模块210可经配置为任何存储媒体装置。举例来说，存储模块210可包含磁盘驱动，例如，软盘磁盘驱动、硬磁盘驱动、光学磁盘驱动或磁光盘驱动，或固态存储器，例如快闪(FLASH)存储器、RAM、ROM及/或EEPROM。存储模块210还可包含多个存储器单元，且存储器单元中的任一者可经配置以位于图像捕获装置200内，或可在图像捕获装置200外部。举例来说，存储模块210可包含ROM存储器，所述ROM存储器含有存储在图像捕获装置200内的系统程序指令。存储模块210还可包含经配置以存储可从相机移除的所捕获的图像的存储卡或高速存储器。

尽管图2描绘具有单独组件的装置以包含处理器、成像传感器及存储器，但所属领域的技术人员将认识到这些单独组件可以各种方式组合以实现特定设计目的。举例来说，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。在一些实施例中，装置可包含单个处理器，所述单个处理器可执行参考装置处理器250及图像处理器220所描述的功能性。

另外，尽管图2说明两个存储器组件，包含包括数个模块的存储器组件230及包括工作存储器的单独存储器205，所属领域的技术人员将认识到利用不同存储器架构的数个实施例。举例来说，设计可利用ROM或静态RAM存储器来存储实施含于存储器230中的模块的处理器指令。可将处理器指令加载到RAM中以促进由图像处理器220执行。举例来说，工作存储器205可包括RAM存储器，其中指令在由图像处理器220执行前经加载到工作存储器205。

III.无视差及倾斜伪影的折叠式光学阵列相机的概述

图3A及3B说明根据下文所定义的预定空间关系的各种组件的布置所致的无视差及倾斜伪影的阵列相机的实施例。如由图3A及3B所说明，两个反射镜表面330、335及两个对应传感器311A、311B可为基于预定义的空间关系而经配置以避免在所捕获的图像中造成视差及倾斜伪影。阵列的传感器及其对应透镜称作“相机”，且阵列中的所有相机的合作称作“虚拟相机”。尽管为说明，但每一相机可具有如上文所描述的次要光重定向表面以便将光重定向朝向未经定位成相对于相机的光轴成所说明角度的传感器。举例来说，在一些实施例中，所有传感器可经定位于共同平面中。在所说明实施例中，虚拟相机320包含虚拟传感器321及与虚拟传感器相关联的虚拟透镜322。如将理解，虚拟相机320经描绘以展示对应于通过拼接由物理传感器311A、311B捕获的图像而产生的整个阵列300的合成孔径(视场340)的虚拟传感器321及虚拟透镜322，且虚拟相机并非物理地存在于阵列的实际构造中。

每一相机310A、310B察看中心反射棱镜350的顶点A，每一相机310A、310B的光轴315A、315B穿过顶点A。与相机310A、310B中的每一者相关联的透镜312A、312B的透镜中心位于距顶点相同距离处，且每一相机310A、310B看到虚拟相机320的视场340的一半。每一相机310A、310B的光轴315A、315B相对于垂直轴325的角度可为由其对应反射镜330、335相对于垂直轴325所形成的平面的角度的两倍。在所说明实施例中，垂直轴325表示阵列300的垂直对称轴且也为虚拟光轴(例如，虚拟相机320的光轴由虚拟传感器321及虚拟透镜322表示)。

如所说明，由反射镜表面330、335形成的平面沿着阵列的虚拟光轴325交叉于共点(被称作顶且在图中标记为A点)处。相机310A、310B可经定位使得每一相机的光轴315A、315B与顶点A交叉。另外，每一相机310A、310B可经定位使得相机的光轴315A、315B与虚拟光轴325之间形成的角度(标记为角度2α)为对应反射镜表面330、335与虚拟光轴325之间形成的角度(经标记为角度α)的两倍。然而，这些角度并非针对阵列中的所有相机必须为相同的。顶点A与投射中心313B(位于对应于传感器311B的透镜312B内)的距离D可针对阵列中的所有相机为相同或基本上相同。阵列的所有相机310A、310B几乎合并到(理解为“用作”)沿着阵列300的虚拟光轴325向上查找的单一虚拟相机320。以此方式，每一个别相机/透镜/反射镜组合仅表示总阵列300的子孔径。虚拟相机320具有由所有个别孔径光线的和制成的合成孔径。

图3C说明上文所描述的关于阵列300中的一个相机310B的设计约束的实例。通过拼接来自阵列300中的所有相机310A、310B的图像所形成的虚拟相机320的视场340可基于系统的机械参数的最优化。然而，可基于无限小(点尺寸)个别相机310B的假设而获得粗略估计。虚拟相机320的最大可能视场(FOV)与图3C中的角度相关，其中：

FOV＝2β

β＝90-α

FOV＝180-2α

超过角度β，虚拟相机320“看到”的光线可被真实相机310B的物理结构阻挡。在阵列相机的一些实施例中，FOV可为更小的。

另外，在一些实施例中，阵列相机为合意地较薄(例如，高度为4mm或较少)，此约束角度α小于45°且大于特定值。其它实际要求可使得α>30°。在各种实施例中，焦距及角度α并非必须针对所有相机为相同

图4说明设计参数的实例及入射于对应于图3A到3C的阵列相机300的一个传感器311B及反射镜335的反射镜335上的光的各种角度的实例性光线踪迹，此可得出FOV＝60°(大约)。然而，此为实例且并非限制，且较宽角度实际上是可行的。假定具有真实透镜所期望的类似结果的理想透镜312B，相机310B的焦距为大约5mm，孔径为2.5mm，从A到透镜312B投射中心313B的距离大约为10.9mm，A处于距基部400大约4mm高度H处(但高度H可基于阵列的总厚度或高度而变化)，透镜投射中心313B处于距基部400大约2mm高度处，且α＝40°。FOV＝60°可从计算相关照度判定，且可受反射镜335大小及从透镜投射中心313B到反射镜335的距离约束。大约4mm的反射镜高度H的约束可不会由于阵列相机的形状因数限制而增加，而到反射镜335的距离可减少，但代价为物理相机阻碍一些光线。如所说明，相较在传感器311B常规经定位以光轴315B为中心的情况，传感器311B可经定位从光轴315B偏心以便收集由反射镜提供的视场的大部分的光。在其它实施例中，传感器可经定位于不同位置中且处于相对于光轴的不同角度处，且可包含次要光重定向表面以将光重定向到传感器中。举例来说，中央反射镜棱锥的基部400可经定位于衬底上(或插入到其中)，且传感器311B(及阵列300中的所有其它传感器)可经定位于衬底上(或插入到其中)。

图5A到5C说明展现几乎没有视差及倾斜伪影的阵列相机500的实施例，阵列相机包含四个子相机510A、510B、510C、510D及中央反射镜棱锥520。此处，相机用于指代传感器、透镜及对应于中央反射镜棱锥520的刻面的可能次要光重定向表面。四个相机510A、510B、510C、510D中的每一者具有与反射镜棱锥的顶点A交叉的光轴，每一相机的投射的透镜中心处于距顶点相同距离处，且每一相机看到虚拟相机的视场的大约1/4。在一些实施例中，每一相机510A、510B、510C、510D可具有与除顶点A外的共点交叉的光轴。在此些实施例中，所得图像可展现几乎没有视差伪影但可能展现倾斜伪影。

中央反射镜棱锥520可包含四个反射刻面或反射表面525A、525B、525C、525D，每一者将光引导朝向四个相机510A、510B、510C、510D中的一者且形成棱锥的顶点A。每一相机510A、510B、510C、510D可包含图像传感器及透镜组合件，且在一些实施方案中，次要光重定向表面在图中经表示为两个经接合的矩形框。每一相机510A、510B、510C、510D可具有穿过反射镜棱锥的顶点A的光轴515A、515B、515C、515D，且可使用对应的反射刻面525A、525B、525C、525D看到虚拟相机的整个视场的部分。相机510A、510B、510C、510D中的每一者、顶点A与反射刻面525A、525B、525C、525D中的对应者之间的空间关系可如上文定义以便减少或消除视差及倾斜伪影。尽管在本文中通常描述为反射镜棱锥，但在一些实施例中，反射刻面可(例如)通过以下操作而形成具有不同形状的反射组件：经定位成间隔一距离且因此不形成一体化结构，或经定位在一起以形成具有平坦上表面而非尖顶点的反射组件。如此，顶点A可并非物理点而是表示刻面的平面的交叉点的空间中的点。

其中光轴对准以实现视差减少的其它阵列相机设计也是可能的，例如，八相机设计除中央反射镜棱锥(或其它形状/结构的中央反射组件)外还使用四个反射镜或反射刻面。其它数目个相机及对应反射表面是可能的。另外，如上文关于图1所论述，在一些实施例中，第二反射表面可经定位于图像传感器上面或下面以将光从中央反射镜棱锥反射到传感器。因此，传感器可经安装在具有中央反射镜棱锥520的衬底上，且阵列相机设计可适应具有大于阵列相机的高度的长度的传感器。

图5C说明虚拟相机的在中央反射镜棱锥520上方经展示为圆形的视场530的实例。

图6A到6C说明无视差及倾斜伪影的阵列相机600的实施例。如同上文所描述的四相机设计500，八相机阵列设计600包含由相机610A到610H的阵列环绕的中央反射镜棱锥620。与上文所描述的四相机设计500相比，依据上文关于图3A到3C关于交叉于顶点A的平面所描述的空间关系的相同原理，此八相机设计600具有四个额外反射镜625E、625F、625G、625H及四个对应额外相机610E、610F、610G、610H，但与主要反射镜610A、610B、610C、610D的角度相比，额外反射镜625E、625F、625G、625H可经定位相对于阵列600的垂直轴成不同角度。四个额外反射表面625E、625F、625G、625H可通过将其可使用区域的切断部分而经塑形使得其不阻碍由原始四个相机捕获的光线的圆锥体。与四相机设计相比，额外反射镜及相机经以灰线展示。从透镜中心到顶点A的距离可针对所有八个相机610A到610H相同。此意欲说明阵列相机的一个实例，且具有不同数目个相机/反射镜的其它相机以及其它修改方案是可能的。

图6C说明虚拟相机的在中央反射镜棱锥620上方经展示为圆形的视场630的实例。与图5C相比，所说明圆形630展示与四相机阵列500相比八相机阵列600的FOV的增加。多于八相机设计可用于将视场进一步扩展，但系统的复杂性成比例地增加。一些实施例可经构造以实现大约100°的FOV。

IV.实例性所捕获的图像的概述

图7A说明四相机阵列相机的一个传感器710及反射镜720的设计参数的实例。假定具有真实透镜所期望的类似结果的理想透镜715，相机310B的焦距为大约5mm，孔径为2.5mm，从A到透镜715投射中心313B的距离大约为7mm，A处于距基部725大约4mm高度H处(但高度H可基于阵列的总厚度或高度而变化)，且α＝39.713°。在一些实施方案中，大约4mm的反射镜高度H的约束可不会由于阵列相机的形状因数限制而增加。如所说明，相较在传感器710常规经定位以光轴730为中心的情况，传感器710可经定位从光轴730偏心以便收集由反射镜提供的视场的大部分的光。在其它实施例中，传感器710可经定位于不同位置中且处于相对于光轴的不同角度处，且可包含次要光重定向表面以将光重定向到传感器中。举例来说，中央反射镜棱锥的基部725可经定位于衬底上(或插入到其中)，且传感器710(及阵列中的所有其它传感器)可经定位于衬底上(或插入到其中)。

图7B说明以各种角度入射于反射镜720上的光的例示性光线踪迹，其中线的数目对应于到达传感器710的每一角度下的光的相对量。如由各种角度的光线踪迹中的若干线所说明，与来自内角(例如，12度及24度)的光相比，较少来自外角(例如，-6度、0度、36度，及44度)的光到达传感器710。

图7C说明由具有图7A及图7B中所说明的设计参数的四相机阵列相机所捕获的一组视图。用四相机阵列捕获的图像的简单线性混合可产生无伪影的高质量结果。如果四相机视场之间的重叠最小化，那么总视场可达88°。在所说明的经模拟视图组中，对象距相机大约50mm，且相机经准确地聚焦于对象上。视场之间的重叠区域中几乎不存在视差，从而提供优于先前阵列相机设计的图像拼接的显著改进。

当所有图像对焦时，对焦对象应优选地位于(例如)一个平面中的一个距离处。恰当对准移除任何视差。当到不同对象的深度不同时，其可能既非全部对焦又非全部同时对准。即使一个对象在重叠视图中经对准，但不同深度处的某一其它对象可能未经对准。

在一些实例中，对焦对象将经恰当对准，然而，相同场景中的离焦对象的图像之间可存在不对准。Zemax中的广泛模拟已展示在此些对象情况下，在来自不同反射镜的重叠视图之间存在可见视差。然而，两个此些图像的混合为来自较大孔径的对象的真散焦视图。来自个别相机的视图展示部分(不完整)孔径成像。混合此些个别视图的结果为完整孔径成像。阵列相机从所有部分视图产生合成孔径图像。

在用四相机阵列进行的一个实验中，在对焦对象在50mm处且相机经聚焦在40mm处的情况下，实验揭示个别视图之间的重叠区中的轻微视差。然而，视图的线性混合仍在最终图像中产生清晰且不存在重影。

图8A说明有缺陷的中央反射镜棱锥800的实施例。阵列相机中所使用的真实反射镜可能在尖锐边缘处具有缺陷。图8A的反射镜表示用于调查将棱锥的边缘805阻挡0.25mm且将顶部810切掉0.5mm的影响的有缺陷的反射镜(被称作具有切口的反射镜棱锥)。关于图9A的实例图像论述经阻挡边缘805及经切割顶部810的影响。

图8B说明有缺陷的中央反射镜棱锥820的另一实施例。图8B的反射镜表示用于调查经阻挡边缘805以及棱的顶部处的壁815的影响的有缺陷的反射镜(被称作具有壁的反射镜棱锥)，壁815具有大约0.5mm的高度，阻挡以一角度入射的某些光线。关于图9B的实例图像论述经阻挡边缘805及经阻挡顶部815的影响。

图9A说明在用理想中央反射镜棱锥及图8A的中央反射镜棱锥所捕获的图像之间的差的绝对值的放大的情况下的图像900。切口对使用如图8A中所说明的中央反射镜棱锥所捕获的图像的影响为使图像沿45度对角线暗化且加重图像的中心中的菱形区的暗化。

图9B说明在用理想中央反射镜棱锥及图8B的中央反射镜棱锥所捕获的图像之间的差的绝对值的放大的情况下的图像905。如由差的经放大绝对值所说明，壁对使用如图8B中所说明的中央反射镜棱锥所捕获的图像的影响为在图像的中心中的黑十字。

尽管真实且有缺陷的反射镜可在所捕获的图像中造成暗化，但此暗化将在由使用有缺陷的反射镜的阵列所捕获的所有图像上不变。因此，在一些实施例中，可使用捕获后处理技术来校正由于反射镜所造成的图像的已知暗化，例如通过用已知经暗化区的蒙片(mask)来倍增所捕获的图像。结果将看起来似乎所述图像是由具有尖锐边缘及尖锐顶点的理想反射镜捕获。在其它实施例中，可对反射镜构造提出制造约束以避免暗化伪影，例如，要求反射镜边缘为精准且尖锐得比0.25mm更佳。

V.实例性图像捕获过程的概述

图10说明折叠式光学图像捕获过程1000的实施例。过程1000在框1005处开始，其中提供多个成像传感器。此框可包含：提供上文所论述的阵列配置中的任一者，包含传感器的数目及定位。

过程1000接着移动框1010，其中将至少一个反射表面安装靠近多个成像传感器中的对应者且与其成预定义的空间关系。举例来说，此框可包括：将中央反射镜棱锥安装于两个、四个或八个传感器的环绕阵列的中间，其中所述中央反射镜棱锥包括与阵列中的每一传感器相关联的表面。如上文所描述，例如通过以下规定，预定义的空间关系可提供基本上无视差及倾斜伪影的阵列相机：由中央反射镜棱锥的刻面或反射镜表面形成的所有平面交叉于共点(顶点)，每一反射镜经定位相对于阵列的穿过顶点的垂直轴成角度α(但在各种实施例中，不同反射镜可经安装成不同角度或全部成相同角度)，每一反射镜的对应的传感器经定位相对于阵列的穿过顶点的垂直轴成角度2α，且与每一传感器相关联的透镜组合件的投射中心经定位于距顶点相同距离D处作为其它投射中心的每一者。在一些实施例中，过程1000的框1005及1010可经实施为制造基本上无视差及倾斜伪影的阵列相机的方法。

过程1000接着过渡到框1015，其中使包括场景的目标图像的光从至少一个反射表面反射朝向由框1005及1010所制造的阵列相机的成像传感器。举例来说，可使光的一部分从多个表面中的每一者反射朝向多个传感器中的每一者。此可进一步包括：使光穿过与每一传感器相关联的透镜组合件，且还可包含将光从第二表面反射到传感器上。框1015可进一步包括：使用透镜组合件或通过反射表面中的任何者的移动来使光聚焦。

过程1000可接着移动到框1020，其中传感器捕获目标图像场景的多个图像。举例来说，每一传感器可捕获对应于所述传感器的视场的场景的部分的图像。由于构造阵列相机中所使用预定空间关系，视场可展现几乎没有视场及倾斜伪影。同时，多个传感器的视场至少覆盖对象空间中的目标图像。

过程1000接着可过渡到框1025，其中执行图像拼接方法以由多个图像产生单个图像。在一些实施例中，图2的图像拼接模块240可执行此框。此可包含已知图像拼接技术。此外，视场中的任何重叠区域可在多个图像中产生重叠，其可用于在拼接过程中对准图像。举例来说，框925可进一步包含：识别邻近图像的重叠区域中共用特征且使用所述共用特征来对准图像。在一些实施例中，框1025可包含：补偿由中央反射镜棱锥中的缺陷所造成的已知伪影。

接下来，过程1000过渡到框1030，其中将所拼接图像裁剪到规定纵横比，例如，4:3或1:1。最后，过程在将经裁剪图像存储(在框1035处)之后结束。举例来说，图像被存储为图2的存储器210中的全分辨率最终图像，或可被存储在图2的工作存储器205中以显示为目标场景的预览图像。

VI.实施系统及术语

本文中所揭示的实施方案提供用于无视差及倾斜伪影的多孔径阵列相机的系统、方法及设备。所属领域的技术人员将认识到，这些实施例可以硬件、软件、固件或其任何组合实施。

在一些实施例中，上文所论述的电路、进程及系统可用于无线通信装置。无线通信装置可为用于与其它电子装置进行无线通信的一类电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板装置，等。

无线通信装置可包含一或多个图像传感器、两个或多于两个图像信号处理器、包含用于实施上文所论述的过程的指令或模块的存储器。装置还可具有数据、从存储器加载指令及/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如显示装置及电源/接口)。无线通信装置另外可包含发射器及接收器。发射器及接收器可共同被称作收发器。收发器可被耦接到一或多个天线用于传输及/或接收无线信号。

无线通信装置可以无线方式连接到另一电子装置(例如，基站)。无线通信装置可替代地被称作移动装置、移动站、订户站、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元，等。无线通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统，等。无线通信装置可根据一或多个行业标准(例如，第3代合作伙伴计划(3GPP))操作。因此，一般术语“无线通信装置”可包含用根据行业标准的不同专门语(例如，接入终端、用户设备(UE)、远程终端，等)所描述的无线通信装置。

本文中所描述的功能可作为一或多个指令被存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借由实例而非限制的方式，此媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置或者可用于存储呈指令或数据结构形式的所期望程序代码且可由计算机存取的任一其它媒体。如本文中所使用的磁盘及光盘包含：光盘(CD)、激光光盘、光学盘片、数字多功能光盘(DVD)、软盘及蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘借助激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。

软件或指令还可经由传输媒体来传输。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。

本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。

应注意，术语“耦接(couple)”、“耦接(coupling)”、“经耦接(coupled)”或如本文中所使用的词语耦接的其它变化形式可指示间接连接或直接连接。举例来说，如果第一组件“经耦接”到第二组件，那么第一组件可为间接连接到第二组件或直接连接到第二组件。如本文中所使用，术语“多个”指示两个或多于两个。举例来说，多个组件指示两个或多于两个组件。

术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)，确定及其类似者。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及其类似者。此外，“确定”可包含解析、选择、挑选、建立及其类似者。

除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。

在前述描述中，给出具体细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在无这些具体细节的情况下实践实例。举例来说，可以框图展示电组件/装置以便不会以不必要细节模糊实例。在其它例子中，此些组件、其它结构及技术可经详细展示以进一步解释实例。

本文中包含标题以供参考且辅助定位各种章节。这些标题并不意欲限制关于其所描述的概念的范围。此些概念可贯穿整个说明书具有适应性。

还应注意，实例可经描述为过程，其经描述为流程表、流程图、结构图或框图。尽管流程表可将操作描述为序列过程，但操作中的许多者可并行或同时执行，且可重复所述过程。另外，可重新布置操作的次序。当过程的操作完成时，所述过程终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时，其终止对应于将功能返回到调用功能或主要功能。

所揭示实施方案的先前描述经提供以使得所属领域的技术人员能够制作或使用本发明。对这些实施方案的各种修改对所属领域的技术人员将显而易见，且本文中所定义的一般原理可适用于其它实施方案而不脱离本发明的精神或范围。因此，本发明并不意欲被限制于本文中所展示的实施方案，而意欲赋予其与本文中所揭示的原理及新颖特征一致的最广泛范围。