用于移动设备的全光相机的制作方法

本发明包括在微透镜阵列、结合微透镜阵列的光学系统、光场图像、光场相机和全光相机领域中。

背景技术：

全光相机是不仅能够捕获场景的空间信息而且能够捕获场景的角度信息的成像设备。这种捕获的信息被称为光场，其可以被表示为四维元组lf(px，py，lx，ly)，其中px和py选择射线到达传感器的方向，而lx、ly是这些射线的空间位置。全光相机通常由放置在传感器前面的微透镜阵列形成。

这个系统相当于从多个视点捕获场景(所谓的全视角)；因此，可以将全光相机视为多视图系统。可以捕获光场的另一个系统可以由多个相机组成。因而，关于场景的不同物体的深度(即，物体自身与相机之间的距离)的信息被隐式地捕获在光场中。全景相机的这种能力需要涉及深度图生成和3d成像的大量应用。

在2012年，lytro推出了第一款在国际市场上可购买到的单组装式全光相机，并且在三年后，推出了lytroillum相机。从那时起，没有其它光场相机投放到消费电子市场。lytro的第一款全光相机沿着光轴的机械尺寸为12cm，并且lytroillum相机的物镜(如dslr相机)超过12cm并且总尺寸大约为20cm。lytroillum相机的光学器件得到了改进，具有五组透镜的专用的物镜变焦透镜，使illum相机在性能上击败了第一款lytro相机。在这两次入侵消费类相机之后，lytro进入了一个截然不同的市场：电影市场，生产超大型相机，其中光学系统的长度可以达到几十厘米，并带有755兆像素的传感器和极其重的解决方案。这些相机不是手持式相机，而是由三脚架或重型机械结构固定的专业电影摄制机。

除了lytro之外，raytrix也向市场推出了几款针对工业应用的基于光场技术的产品。这些相机是具有大物镜的大型相机，其确保良好的深度估计性能。

总之，在3d成像和深度感测方面，光场相机已表现出良好的性能。但是，由于实际上难以小型化的事实，因此从未将全光相机引入移动设备市场。专利us9,647,150-b2公开了一种制造小型全光传感器的方法。但是，正如已经解释的，向消费电子市场推出的最小的全光相机是12cm的lytro相机。

全光相机的性能取决于关键的光学设计因素，诸如焦距和f数，其中大焦距或小f数可以极大地改善相机的性能。虽然在智能电话透镜中容易找到小f数，但是由于在相机的mttl(机械总光道长度)上施加了困难约束的模块的非常小的厚度，难以设计和制造大焦距来满足智能电话市场设计规则。

此外，当前的智能电话市场趋于每代越来越多地减小微型相机的尺寸，从而增加了设计大焦距的难度。因此，需要在焦距上有重要增加的同时将光场技术引入智能电话市场，同时满足智能电话尺寸方面的机械约束。

定义：

-全光相机：不仅能够捕获空间位置而且还能够捕获入射光线的到达方向的设备。

-多视图系统：能够从多个视点捕获场景的系统。可以将全光相机视为多视图系统。立体和多立体相机也被认为多视图系统。

-光场：四维结构lflf(px，py，lx，ly)，其包含来自由全光相机中的微透镜(lx，ly)下方的像素(px，py)捕获的光的信息。

-深度：场景中的物体点的平面与相机的主平面之间的距离，两个平面均垂直于光轴。

-全景视图：通过选择一定的值(px，py)来获取光场结构的子集而形成的二维图像，对于每个微透镜(lx，ly)总是相同(px，py)。

-微透镜阵列(mla)：小透镜(微透镜)的阵列。

-深度图：二维图像，其中物体世界的计算出的深度值作为附加值添加到二维图像的每个像素(x，y)，构成深度＝f(x，y)。

-视差：进入相机的物体点的两个(或更多个)投影之间的距离。

-基线：立体(或多立体)配置中两个(或更多个)相机位置之间的差异。

-折叠光学器件：光学系统，其中光路以改变系统厚度以达到一定厚度规格的方式通过反射元件(诸如棱镜或反射镜)弯曲。

-ottl(光学总轨道长度)：光从其进入光学系统的点到其到达传感器的点所沿着的光路的长度。

-mttl(机械总轨道长度)：包括光学系统的机械部分所需的设备总长度。

-棱镜或反射镜：是指用于以特定角度反射光，从而使光的光路弯曲的光学组件。

技术实现要素：

为了将光场技术引入智能电话市场，本文提出了全光相机的新概念，其中使用棱镜或反射镜或其它反射元件来折叠透镜的光路，从而允许设计具有大焦距的透镜而不增加透镜的厚度。

本发明的第一方面涉及一种用于移动设备的全光相机，其包括主透镜、微透镜阵列、图像传感器以及被配置为在由全光相机捕获的光线到达图像传感器之前反射由全光相机捕获的光线的第一反射元件(优选地是棱镜或反射镜)，以便在撞击图像传感器之前折叠由相机捕获的光的光路。

在实施例中，第一反射元件被布置为在捕获的光线到达主透镜之前接收捕获的光线。在另一个实施例中，第一反射元件被布置为接收已经由主透镜聚焦的光线。当仅使用一个反射元件时，主透镜的光轴优选地平行于图像传感器的表面(以这种方式，光路被折叠90度或任何其它任意角度)。

在另一个实施例中，全光相机包括一个或多个另外的反射元件(优选地是棱镜或反射镜)，其被配置为在由第一反射元件反射的光线到达图像传感器之前反射由第一反射元件反射的光线。因此，另外的反射元件被插在第一反射元件和图像传感器之间，以便进一步折叠光路并有助于减小全光相机在所确定的轴上的物理维度。

主透镜可以包括多个透镜元件。特别地，主透镜可以包括透镜元件的第一集合和第二集合，每个集合包括一个或多个同心透镜元件。透镜元件的两个集合的物理布置可以使得透镜元件的第一集合的光轴垂直于透镜元件的第二集合的光轴并且平行于图像传感器。在实施例中，第一反射元件布置在透镜元件的第一和第二集合之间。在另一个实施例中，第一反射元件被布置为在所捕获的光线到达主透镜之前接收所捕获的光线，并且全光相机包括布置在透镜元件的第一集合和第二集合之间的第二反射元件，其中第二反射元件透镜被配置为在由第一反射元件反射并且已经被透镜元件的第一集合聚焦的光线到达图像传感器之前反射由第一反射元件反射并且已经被透镜元件的第一集合聚焦的光线。

本发明的另一方面涉及一种用于移动设备的相机模块，其包括前述的全光相机。这个相机模块可以是例如通过耦合部件和电触点直接集成到智能电话中的单独部分(例如，插入智能电话中或附接到智能电话的后壳)。在相机模块中，全光相机的组件被布置为使得相机模块的厚度小于10mm。

本发明的另一方面涉及一种移动设备，优选地为智能电话，其包括前述的全光相机或相机模块。在移动设备中，全光相机的图像传感器可以被布置为使得图像传感器的垂直线平行于移动设备的后侧。以这种方式，由相机捕获的光线的光路被第一反射元件(以及可选地，另外的反射元件)折叠，这允许减小移动设备的厚度。在移动设备中，优选地将全光相机的组件布置为使得移动设备的厚度小于10mm。

附图说明

下面非常简要地描述一系列有助于更好地理解本发明并且与所述发明的实施例明确相关的附图，作为其非限制性示例。

图1a表示根据现有技术的具有图像传感器、微透镜阵列和物镜的全光相机系统的示意性侧视图。图1b以正视图描绘了由微透镜在图像传感器上方产生的微图像。图1c示出了形成图像传感器的一个微图像的像素。

图2图示了通过彼此分开基线b的两个相机的相同物体点的两个投影之间的视差。

图3示出了在全光相机中针对不同焦距的深度计算的误差与物体世界中物体的实际距离的关系。

图4示出了用于智能电话的典型相机模块。

图5a描绘了根据现有技术的具有纯全光(展开)构造的全光相机。图5b和5c示出了根据本发明的两个不同实施例的具有折叠的光学器件构造的全光相机。

图6a-6d示出了根据本发明的四个不同全光相机实施例。

图7示出了安装在智能电话内的根据本发明的全光相机的示意性示例。

图8a-8d示出了具有折叠的光学器件构造的全光相机设备的另四个实施例。

图9示出了具有其拟合(fitting)图像圆圈的图像传感器。

图10a示出了具有折叠的光学器件构造的全光相机的3d视图。图10b示出了具有折叠的光学器件构造的全光相机的3d视图，其中透镜已经被切割以减小设备在z轴上的厚度。

具体实施方式

常规相机捕获由传感器捕获的光线的二维空间信息。此外，还可以通过使用所谓的bayer图案传感器或其它彩色传感器来捕获颜色信息。但是，常规相机不记录关于射线的到达方向的信息。全光相机具有记录关于不同物体的3d信息的能力。基本上，全光相机等效于从多个视角捕获场景(所谓的全光视图就像在全光相机的等效孔径(aperture)上分布的多个相机一样起作用)。

通常，通过在主透镜102和图像传感器108之间放置微透镜阵列104来制造全光相机100(参见图1a)。每个微透镜106(lx，ly)在图像传感器108上形成主孔径的小图像，称为微图像(110a，110b)(参见图1b和1c)，使得任何微图像(110a，110b)的每个像素(px，py)都捕获来自主孔径不同部分的光线101，任何微透镜下方的每个微图像都是主透镜孔径的图像，并且每个微透镜106中的位置px1，py1至pxn，pyn中的每个像素集成来自与微透镜的位置无关的孔径(axn，ayn)的给定部分的光。来自物体世界的不同位置的穿过孔径(axn，ayn)的光将命中不同的微透镜，但始终被相机的每个微透镜下方的像素(pxn，pyn)集成。因而，微图像内像素的坐标(px，py)确定捕获的光线到达给定微透镜的方向，并且(lx，ly)确定二维空间位置。所有这些信息都称为光场，并且如果考虑颜色信息(c)，那么可以用四维矩阵lf(px，py，lx，ly)或五维矩阵lf(px，py，lx，ly，c)表示。

如前面所提到的，在一些关键方面，全光相机的行为就像多立体相机(因为两者都是多视图系统)，视图之间的基线降低了。即，多立体系统也可以记录光场。多立体和立体相机的行为已得到广泛研究。如“quantizationerrorinstereoimaging”[rodriguez,j.j.&aggarwal,j.k.quantizationerrorinstereoimaging.computervisionandpatternrecognition,1988.proceedingscvpr'88.,computersocietyconference(153-158页).ieee]之类的文章示出在多视图系统上长焦距如何在相对长的距离内改善深度误差估计。

立体相机的深度估计遵循以下等式：

其中z是感兴趣的深度点，b是基线，f是相机的焦距(如果两个相机都具有相同的焦距)，并且d是视差。视差d表示在立体(多立体)系统的两个(或更多个)相机中，在物体世界的同一点的两个投影(或在多立体系统的情况下为多个投影)的位置的差异，作为示例，图2示出了彼此分开基线b的两个相机，以及当来自物体世界中的点p的光穿过来自两个相机的两个等效透镜c1和c2并到达位于传感器的两个不同位置的来自两个相机的传感器s1和s2时视差d如何是两个传感器s1和s2中的同一点p的两个图像和之间的距离。

根据先前的公式，深度估计误差可以被计算为：

其中δz表示深度的绝对误差，并且δd表示绝对视差误差。

对于深度计算中产生的误差，全光相机遵循相同的等式。在这种情况下，基线与光学系统的孔径尺寸(d)对应。

其中f#＝f/d(即，f数)。

因此，可以通过在维持f值的同时增加光学系统的焦距f、通过在保持焦距f的同时减小f数(即，增加d)或者通过在增加焦距f的同时减小f值来减小全光相机中产生的深度误差δz。通常将移动电话透镜设计为具有小f数和小焦距(由于移动电话行业对厚度的严格要求)。与用于具有小f数和小焦距的智能电话的透镜的现成设计不同，图3示出了当保持f数时深度估计误差如何随着焦距的增加而按平方减小。由焦距(f1)(其是移动电话行业中常见的小焦距)产生的误差是是由焦距f2(f2＝2f1)产生的误差的四倍并且是由f3(f3＝3f1)产生的误差的九倍。

但是，增加焦距一般意味着增加光学系统的ottl(光学总轨道长度)。即使取决于特定的光学设计，在展开配置中焦距和ottl之间的关系也近似遵循表达式因此，焦距的增加涉及ottl的几乎成比例的增加，以保持f数恒定，因此mttl(机械总轨道长度)增加，从而使相机模块(如在图4中描绘的用于智能电话的相机模块400)更厚(即，大sz)。

图4示出了用于移动设备(诸如智能电话)的典型相机模块400的示意图，其目的是说明性而不是限制性的。重要维度已突出显示(sxxsyxsz)。移动电话行业中使用的相机模块的典型维度如下：4mm<sz<6.5mm；8mm<sy<10mm；8mm<sz<10mm，其中sx、sy和sz分别与相机模块400的宽度、高度和厚度(根据图7的x，y和z轴)对应。

最关键的维度是sz，它与mtz(z中的机械轨道)一致。如图7中所示，相机模块400的这个尺寸sz必须小于移动设备的厚度tz，并且移动电话制造商趋向于随着每一代新电话而向更小的厚度移动。这意味着，如果目标是将相机装配到移动设备中，那么它们需要遵循这些趋势。厚度sz高于10mm的相机模块将被市场严重拒绝，目标是sz接近5和4mm的相机。

如今，智能电话市场趋势要求减小微型相机的厚度sz，这迫使供应商设计焦距f非常减小的透镜以达到客户规则。如果焦距f增加到通常在微型相机行业中常规成像透镜中看不到的值，那么即使从未有人以类似于图4的形状因数商业推出，微型全光相机(如专利文献us9647150b2中公开的微型全光相机)也可以具有非常改善的性能。因此，在不违反智能电话市场设计规则(其要求非常小的厚度)的情况下增加特定全光系统的焦距必须提高深度误差精度并将全光微型相机推向用于便携式设备的深度/3d相机的顶级水平。

增加焦距f的第一种方法是缩放光学系统的所有组件，从而在保持f数的同时增加所有维度。这暗示改变主透镜、改变微透镜和传感器本身，因此ottl和mttl也被迫增加维度，以确保在小厚度(sz)方面超过智能电话市场的要求。

增加焦距f的第二种方法可以是缩放主透镜，但保持传感器和微透镜的尺寸。全光相机的焦距f将增加，但是，由于微透镜和传感器保持相同的尺寸，因此fov(视场)将减小，原因是传感器不再捕获光学系统的整个fov，而是只捕获子集。更糟糕的是，在这种情况下，ottl和mttl也将增加，从而导致主透镜的长度增加并使其在电话应用中的使用更加困难。

这些增加焦距f的方法允许改善深度计算中的误差(它们将设计点朝着图3中的下部曲线移动)，从而使相机更加精确，并且对于估计距相机更远定位(即，图3中有更长的距离)的物体的深度，误差百分比更低。但是，结果产生的ottl和mttl增加，并且不符合当前智能电话微型相机的限制性厚度规格，或者换句话说，如图4中的模块的厚度sz太大而无法装配在移动电话中。

在这个上下文中，在本发明中，使用棱镜或反射镜来折叠光的光路，从而在不增加相机模块400的厚度sz的情况下增加ottl。因此，由此呈现了具有折叠的光学器件构造的新颖的全光设备。

图5a-5c示出了全光相机的若干实施例，示出了折叠设备在厚度方面的益处。在所有这些实施例中，主透镜102由单个透镜元件或一对或成组的胶合透镜元件形成。在这些图中，术语“ot”是指光学轨道长度，并且“mt”是指机械轨道长度。图7中所描绘的z轴中的机械轨道长度(mtz)是将相机安装到移动电话中时要考虑的关键维度，因为它与设备的厚度tz对应(或者换句话说，在图4的相机模块400中使厚度sz尽可能小)。就焦距f和f数而言，图5a-5c的三个实施例具有相同的光学性能，但是mtz不同。

图5a描绘了根据现有技术的典型的全光相机500a。这个全光相机500a的构造被设计为具有小f数和大焦距f，目的是获得良好的深度误差精度。主透镜102的光轴502垂直于图像传感器108，与图像传感器108的中心交叉(即，图像传感器108的法线504在其中心点与光轴502重合)。但是，这种构造具有大ottla＝otza，这暗示不能装配在智能电话的典型维度中的大mttla＝mtza。

图5b示出了根据本发明实施例的全光相机500b。图5b中所描绘的全光相机500b使用折叠的光学器件，该光学器件在保持相同焦距的同时减小mtz(otl和f数保持与图5a中相同)。在这种构造中，使用第一反射元件510(诸如棱镜或反射镜)的反射表面使光路弯曲，因此ottlb具有两个分量otzb和otxb，但是ottlb与图5a中使用的相同(ottlb＝ottla＝otza＝otzb+otxb)。在图5b中所描绘的构造中，主透镜502的光轴502平行于图像传感器108(即，光轴502和图像传感器的法线504垂直)。

但是，与以前的配置不同，相机模块的mtz厚度已减小到足以满足微型相机规格的低厚度要求，同时保留全光相机系统的大焦距优势。或者，换句话说，图5a和5b中的全光相机500a和500b提供相同的光学性能和相同的f数；但是，图5a中的全光相机500a的厚度大于图5b中全光相机500b的厚度(mtza>mtzb)或者，如果在如图4b中的模块中实现，那么厚度sz将小于图5b中所示实施例的厚度sz。

图5c表示根据本发明另一个实施例的全光相机500c。这个全光相机500c具有其中已经引入两个反射元件、第一反射元件510和第二反射元件512以使光路弯曲的构造。第二反射元件512(诸如棱镜或反射镜)反射已经被第一反射元件510反射的光线。可以使用附加的反射元件(例如，第三反射元件、第四反射元件等)来进一步反射由沿着光路定位的先前反射元件反射的光线。图5c中的ottl具有三个分量otz1c、otxc和otz2c，它们的总和与图5a的ottla(ottlc＝ottla＝otz1c+otxc+otz2c)匹配，因此焦距保持恒定，并且mtz已大大减小(mtzc<mtzb<mtza)。在图5c所示的配置中，主透镜102的光轴502和图像传感器108的法线在其中心点处是平行的但不重合(即，它们位于不同的高度)，因为光路已经沿着途径折叠了两次。

图6a-6d示出了具有折叠的光学器件构造的全光相机设备(600a、600b、600c、600d)的若干实施例，其目的是说明性而不是限制性的，其中主透镜102由多个非胶合透镜元件或透镜组组成。这个图中所示的全光相机设备由图像传感器108、微透镜阵列104，红外滤光器612(可以不存在的可选元件)以及由四个或五个透镜元件组成的主透镜102形成，但是它可以由更少或更多的透镜元件组成。

每种配置均示出不同的mtz，z轴上的机械轨道长度与移动设备的厚度tz对应，如图7中所绘出的。根据全光相机在移动设备中的安装，每个图表示与图7中所示轴对应的x、y和z轴(在图6a-6c中，图像传感器108沿着z轴延伸，而在图6d的本实施例中，图像传感器108沿着x轴延伸)。在所有情况下，折叠光路的第一反射元件510(优选地是棱镜或反射镜)的引入使mtz偏离了原始的非折叠构造。从可以从图6a-6d可以看到的，在所有情况下，mtz<ottl，并且当然mtz<mttl(考虑用于计算mttl的原始非折叠配置)。

在图6a所示的第一构造中，第一反射元件510(诸如相对于光轴成45度放置的棱镜或反射镜)在由全光相机600a捕获的光线601a穿过任何光学表面之前(即，在到达主透镜102的任何透镜元件(620、622、624、626、628)之前)反射由全光相机600a捕获的光线601a。在图6a的示例中，从第一反射元件510反射的光线601b(并且相对于捕获的光线601a形成一定角度)到达主透镜102。从图6a可以很清楚地看出mtza<ottla，在实践中意味着相机模块400(图4)的厚度sz较小并且更容易适合移动电话的严格要求。

在图6b中描绘的第二构造中，主透镜102包括透镜元件的第一集合(630、632)和第二集合(634、636)。在捕获的光线601a穿过主透镜102(在这种情况下为消色差双合透镜)的透镜元件的第一集合(两个第一透镜630和632)之后，图6b的全光相机600b借助第一反射元件510、棱镜或反射镜使捕获的光线601a弯曲，其中所述第一反射元件510、棱镜或反射镜相对于透镜元件的两个集合的光轴都成45度角。在这种情况下，mtzb＝mtza，并且在两种情况下，都受到传感器管芯维度(图6a-6c中的dx)的限制。但是，由于包装原因和/或由于光学设计，在穿过若干光学表面之后或之前折叠光可能更好。

第三构造(图6c)示出了由五个透镜元件形成的主透镜102，这五个透镜元件被划分为透镜元件的第一集合(640、642、644)和第二集合(646、648)。在穿过透镜元件的第一集合(前三个透镜元件640、642、644)之后，捕获的光线601a被反射，从而获得撞击在透镜元件的第二集合(646、648)和图像传感器108上的反射的光线601b。再次，mtzc<ottl＝otzc+otxc。

图6d示出了第四配置，其中，除了第一反射元件510之外，第二反射元件512(例如，棱镜或反射镜)也被用于减小厚度mtz(mtz<ottl＝otxd+otzd)。在这种情况下，传感器沿着x维度延伸，因此其管芯维度并不限制mtz。在这个实施例中，主透镜102由被划分为透镜元件的第一集合(650、652)和第二集合(654、656)的四个透镜元件形成。第一反射元件510被布置为在捕获的光线601a到达主透镜102之前接收捕获的光线601a，以获得反射的光线601b。第二反射元件512布置在透镜元件的两个集合之间，并且反射反射的光线601b以获得撞击在透镜元件的第二集合(654、656)和图像传感器108上的另外的反射的光线601c。

如上面的图5a-5c和6a-6d中所解释的，折叠式光学器件允许减小具有大焦距的相机的厚度(mtz，或图4中的sz和图7中的tz)，这通常导致大sz维度(高焦距可以装配在具有低mtz或sz的确实薄的模块中，例如，如图6d中所示)。如前所述，在图5b-5c和6a-6d的所有情况下，相机的厚度都相对于其原始厚度(等效展开构造中的mttl)大幅减小，从而允许将大相机装配到便携式设备中，如果不使用折叠光学技术，就厚度而言将永远无法实现智能电话行业的规格。

本发明提出的厚度减小的全光相机适于安装在厚度受到严格限制的任何移动设备上，例如平板电脑、pda或智能电话。图7示出了装配到具有与图6b和6c的实施例中所描绘的配置类似的配置的智能电话700中的全光相机的示例。如图7中所描绘的，全光相机优选地安装在智能电话700的后部或背面710，以从屏幕后面捕获图像。可替代地，全光相机可以安装在智能电话700的前侧，靠近屏幕，以捕获正面图像。智能电话700在图7中表示的x、y和z轴上具有以下维度：分别是宽度tx、长度ty和厚度tz。这个示例旨在说明而不是限制。在这个示例中，全光相机的主透镜102由五个透镜元件(730、732、734、736、738)形成，并且第一反射元件510(棱镜或反射镜)在光就像在图6b的实施例中一样通过主透镜102的透镜元件的第一集合(前两个透镜元件730和732)之后反射光。形成透镜元件的第二集合的其它三个透镜元件(734、736、738)、微透镜阵列104和图像传感器108沿着x轴分布，对相机的厚度mtz(图4中的关键尺寸sz)不构成贡献。这些元件可以替代地沿着y轴或以任何布置分布，使得图像传感器108的法线504和透镜元件的第二集合的光轴平行于x-y平面。

作为结论，这种新提出的折叠式光学技术允许同时具有优异的全光性能(具有长焦距和小f数)和小mtz(或相机模块400的厚度sz)，对于将它们集成到诸如智能电话、平板电脑、膝上型计算机等便携式设备中是理想的。

图8a-8d示出了具有折叠式光学器件构造的全光相机设备(800a、800b、800c、800d)的另外四个实施例，其中进一步描述了全折叠全光设计(包括第一反射元件510)，其目的是说明而不是限制。

在这四个实施例中，第一棱镜透镜802被用作第一反射元件510(并且可选地，另外的(第二、第三...)棱镜透镜812被用作第二(第三、第四...)反射元件512)。在这个实施例中，棱镜透镜802(以及，可选地，所使用的任何另外的第二、第三等棱镜透镜812)基本上是三表面光学元件，其中中表面是由玻璃或塑料制成的反射性的(例如，主体或棱镜，其中三个表面可以是非球面，而不是平坦表面)。棱镜透镜802/812的其中两个表面(第一表面804a/814a和第三表面804c/814c)是折射表面，而中间的第二表面804b/814b是反射表面。因此，棱镜透镜802/812是将主透镜的透镜元件(由两个折射表面804a/814a和804c/814c形成)与折叠光路的反射元件510/512(由反射表面804b/814b形成)集成的光学元件。由于在棱镜透镜802/812的第二表面804b/814b中产生的反射，穿过棱镜透镜的802/812的第一表面804a/814a的光线与穿过第三表面804c/814c的光线具有不同的光轴(通常垂直)。两个折射表面(804a/814a、804c/814c)可以具有凸形、凹形或非球面形状，并且反射表面可能是平面或凸形/凹形、球形或非球面。

棱镜的使用允许在小厚度内折叠光路，从而实现长光学总轨道长度ottl(以及长有效焦距，effl)。而且，棱镜透镜802/812与光学系统的其它透镜元件的集成比使用例如单个反射镜(其中对准任务肯定更加困难)更容易。具有带两个明确定义的折射表面(804a/814a、804c/814c)并因此带明确定义的光轴的棱镜802/812的事实使对准过程变得容易。

在图8a-8d的不同实施例中已经集成了棱镜透镜的若干选项和实施方式，下面将对其进行详细描述。

图8a示出了包含五个透镜元件(802、822、824、826、828)、可选的红外滤光器612、微透镜阵列104和图像传感器108的主透镜。第一透镜元件是棱镜透镜802，其在单个实体内集成凸透镜(第一表面804a和第三表面804c)和第一反射元件510(第二表面804b)。第一表面804a具有凸形状(但它也可以是凹的或平坦的)，第二表面804b是相对于光轴成45度(但是可能是其它角度)的平坦表面(但它可以是任何其它非平坦表面)，并且这个平坦表面朝着第三表面804c、第二凸表面(但它可以是凹的或平坦的)反射光。棱镜透镜802的第一凸表面804a使全光相机800a捕获的光线801a折射，接下来这些射线被棱镜透镜802的第一反射元件510(平坦表面804b)沿着光轴反射总共90度(但是，如果第一反射元件510不相对于光轴倾斜45度，那么可以不同)。第一光轴沿着z轴延伸，并且在反射元件510之后，光遵循垂直于第一光轴的第二光轴(x轴)，从而到达棱镜802的第三表面804c。然后，光穿过其它透镜元件(822、824、826、828)，到达微透镜阵列104，并最终到达图像传感器108。

图8a的实施例的光学总轨道长度ottla(otza1+otxa1)为11.2mm(它是可以更长或更短)；但是，使用棱镜透镜802折叠光路允许相机的大部分ottl沿着x轴延伸，从而导致约为5.1mm(但它可以更短或更长)的mtza的厚度，由于其厚度减小，使得这款具有非常大的ottl的透镜适于集成到移动电话中。在这种情况下，厚度(z轴)受传感器尺寸的限制。请注意，图8a-d中描绘的极端场射线是指传感器对角线处的场(虽然它们位于xz平面上)，从而导致mtzs(mtza、mtzb、mtzc、mtzd)指向图像传感器108的对角线。由于透镜通常具有旋转对称性，但是传感器是矩形的，因此这是光学设计中的常见做法。这就是为什么最后一个透镜直径与穿过最后一个表面的最后射线的高度一致的原因。这种折叠式设计允许将焦距扩展到9.3mm(在这个示例中，但它可以更高)，从而大大改善深度感测性能并且仍然符合移动电话中非常小的厚度要求(5.1mm的mtza)。

图8a的透镜示例不应当被解释为限制性选择，而应当仅作为折叠式设计如何以小厚度实现大焦距和大深度性能的说明性示例。相机的主透镜102可以具有更多或更少的透镜元件以改善光学性能(在这个示例中为五个透镜元件，但它可以是更少或更多的透镜)，棱镜透镜802的非反射表面可以由设计者可能认为合适的凸表面、平表面、凹表面或任何非球面表面形成。而且，反射元件510(在这种情况下是相对于光轴倾斜45度的平坦表面)可能是凸的或凹的反射表面(或相对于光轴倾斜任何其它角度的平坦表面)。棱镜透镜802可以作为第一透镜元件、或作为一个或多个透镜元件之后的后续透镜元件(例如，作为第二透镜元件)定位。

图8b示出了其中两个棱镜透镜(第一棱镜透镜802和第二棱镜透镜812)已经被用于折叠光路两次的实施例。在这种情况下，当图像传感器108沿着x和y维度延伸时，图像传感器108的尺寸将不会限制透镜的厚度(不再是z维度的限制因素：传感器矩形沿着图7的x-y维度延伸，并且我们不再强求传感器矩形管芯必须小于图7中的tz，如由图8a中的实施例强求的那样)。主透镜102也是由五个元件(802、832、834、836、812)、可选的红外滤光器612、微透镜阵列104和图像传感器108形成。前四个透镜元件(802、832、834、836)类似于图8a中描述的实施例。第五透镜元件是具有带非球面形状的两个折射表面(第一表面814a和第三表面814c)和用作第二反射元件512的第二反射表面(在这个示例中为45度平坦表面)的第二棱镜透镜812。在这种情况下，透镜的光学总轨道长度ottl(otzb1+otxb1+otzb2)大约为12.9mm(但它可以更长或更短)。折叠式光学器件的使用允许具有仅几毫米的厚度mtzb(在实施例中约为5.0mm)。此外，第二反射元件512的使用允许进一步增加有效焦距effl(在该示例中高达13.2mm，而在图8a的实施例中为9.3mm)，从而大大地改善了全光透镜的深度感测性能。

再次，图8b的实施例不应当被解释为限制性的，而仅仅是示例。透镜可以由比该示例中的五个元件更少或更多的元件、并且由少于或多于两个反射元件(510、512)形成，其中反射元件可以是或者棱镜或者反射镜，或者是棱镜和反射镜的组合。反射元件(510)和任何其它另外的反射元件(512)可以以90度角或任何其它任意角度反射传入的光线。可以布置(即，倾斜)反射元件，使得入射光线的入射角(以及因此对应的反射角)可以是包括在(0-90)范围内的任何角度，并且优选地在[22.5-67.5]范围内。在一些实施例中，反射角优选地为45°，从而获得折叠了90度的光路。

图8c示出了其中两个棱镜透镜(802、812)已经被集成到四元件透镜中以使得主透镜102的所有透镜元件(802、842、812、844)中的两个透镜元件是棱镜透镜(802,812)的实施例。而且，相机800c包括可选的红外滤光器612、微透镜阵列104和图像传感器108。第一棱镜透镜802与图8a中的相似。但是，第二棱镜透镜812由凹-平面透镜形成为第一表面814a和第三表面814c，并且反射第二表面814b相对于光轴平坦表面为45度。第二棱镜透镜812位于两个规则的非球面透镜(842、844)之间。在这种情况下，主透镜的光学总轨道长度ottl(otzc1+otxc1+otzc2)为12.0mm，有效焦距effl为10.4mm，并且厚度mtzc为5.7mm。在这种情况下，厚度mtz受到棱镜透镜(802、812)的尺寸和最后一个规则透镜元件844的厚度的限制。如果优先考虑尽可能多地减小厚度mtz，那么将棱镜透镜作为第一个和/或最后一个透镜元件显然是最好的解决方案。

图8d示出了具有折叠式光学器件构造的全光相机的另一个实施例，其中在由五个透镜元件(802、852、854、856、812)组成的主透镜102中已经使用了两个棱镜透镜(802、812)。在这种情况下，第一棱镜透镜802与图8a中的相似；但是，已经在反射元件510中引入了小的凹度(太小以至于在图8d的示意图中不能被意识到)。第二棱镜透镜812将非球面透镜和凹反射表面814b集成在一起(而不是如实施例8a至8c中那样平坦的)。包括非平面反射表面(804b、814b)使设计复杂化但具有制造优势。主透镜的光学总轨道长度ottl(otzd1+otxd1+otzd2)为14mm，有效焦距effl为12.4mm。这个实施例中的透镜的厚度mtzd为6.2mm。

一个或多个棱镜透镜(802、812)的使用允许具有大的光学总轨道长度otl且具有小的厚度mtzs。在所有情况下，厚度mtz均低于6.5mm，因此可以集成到现代移动电话中，在这种情况下，用于后置相机的厚度从不超过7.5mm，而用于前置相机的厚度则从不超过5.5mm。除了如先前所描述的棱镜透镜技术或任何其它折叠式光学技术以减小设备的厚度mtz之外，还可能够使用其它策略来减小设备的厚度。如前面所解释的，透镜通常具有旋转对称性，而图像传感器108不是圆形的(它们是矩形的)。这意味着透镜必须被优化以沿着图像传感器108的整个对角线表现出良好的光学性能，以确保沿着整个传感器的良好性能，但是由于图像传感器108的形状，优化的场的一部分被浪费了(在图9中的点线圆内但不在传感器的有效区域的矩形内命中的光子不被使用，光子不会转换成电子)。图9示出了具有侧面尺寸isz×isx的图像传感器108及其对应的图像圆圈。图像圆圈的直径由传感器的有效区域的对角线固定；但是，由于传感器是矩形的，因此优化的场的不可忽略的部分被浪费了，并且因此，透镜区域的不可忽略的部分没有被用于命中传感器的有效区域的有用光。

图10a示出了全光相机1000a，其中像在任何普通相机中一样，透镜的旋转对称性产生图10a中像图9中的圆圈的命中微透镜阵列(104)并最终命中图像传感器(108)的图像圆圈，但是实际上，图像传感器108和微透镜阵列104是如图9和图10b中的矩形，并且命中该圆圈内部但在图像传感器108的矩形外部的光没有任何有用的作用。图10a示出了具有五个透镜元件(1002、1004、1006、1008、1010)的折叠式全光相机，其中描绘了四个不同的射线到达图像传感器108的四个角落，从而限制了全光相机1000a的视场(fov)(到达图像传感器108的中心的在fov的最中心处的光也在图10a中描绘)。

图10a中在由限制fov的四个点形成的矩形之外的到达微透镜阵列104的表面的光不提供任何用途。在图10b中，仅描绘了图像传感器108的有效区域(其中光子被转换成电子)和微透镜阵列104。图10a中的透镜1008和1010在图10b中也被截断(截断的透镜1018和1020)，从而消除了那些透镜的将光传送到圆圈但在图9中的矩形之外(即，在传感器的有效区域之外)的部分。

最终结果是全光相机1000a与1000b在功能上完全相同，但是在相机1000a中，mttl(厚度mtza)由透镜1008和1010的外圆圈(或图9的外圆圈)固定，而在相机1000b中，mttl(厚度mtbz)1000b由透镜1012固定(与相机1000a中的透镜1002完全相同，在z维度上比截断的透镜1018和1020大)。

总之，如图8a-8d的实施例中所示，主透镜的设计存在很多自由度。棱镜透镜的折射表面(804a，804c；814a，814c)可以是凹的、凸的、平面的、非球面的或其任意组合。反射表面(804b；814b)可以是平面的或凸的/凹的，并且它们可以处于任何倾斜度(与大多数图中所示的光轴相比，不一定是45度)。取决于设计的特殊需要，可以将棱镜透镜作为主透镜的第一个透镜、作为主透镜的最后一个透镜或者在主透镜的规律元件(regularelement)透镜之间。棱镜透镜的数量也可以是可变的(可以使用一个、两个或更多个棱镜透镜)。而且，此外，可以切割透镜以减小厚度。

在本文档的附图中示出的实施例仅仅是示例，不应当将其解释为限制特征，本发明的范围应当仅从权利要求中提取，因为存在无限数量的可能实施例，这些实施例不能用示例覆盖，而是对于本领域的专家而言，在获得本发明后变得显而易见。例如，在图5b、5c、6a、6b、6c、6d、7、8a、8b、8c、8d、10a和10b中的反射表面处的光的传播方向的所有改变中，入射和反射的射线是垂直的；但是，对于一些应用，具有不同入射和反射角的实用设计可能是方便的。例如，在一些硅传感器中，有效光敏区域未在硅管芯区域内完全居中，并且例如，在全光相机1000b中，将硅传感器108稍微朝右或朝左移动可能是方便的，我们可以通过在透镜1012中相对于透镜1012的第一表面的光轴以稍大于或小于45度的角度构建反射表面来完成这一点(显然，在这种情况下，传感器将不会完全平行于或垂直于移动电话的外部框架，但我们会解决小型化问题)。