具有可旋转反射器的成像系统1.对相关申请的交叉引用2.本技术要求于2019年12月14日提交的美国临时申请第62/948,200号“anewarchitectureforanimagingdevice”的权益、于2020年1月11日提交的美国临时申请第62/959,884号“anewarchitectureforanimagingdevice”的权益、于2020年12月14日提交的美国非临时申请第17/121,239号“imagingsystemwithrotatablereflector”的权益、以及于2020年12月14日提交的美国非临时申请第17/121,315号“formingcombinedimagebyimagingsystemwithrotatablereflector”的权益。所有前述主题的全部内容通过引用并入本文。
技术领域：
：3.本公开内容一般地涉及成像系统领域，具体地涉及具有可旋转反射器的成像系统。
背景技术：
：：4.相机包括外壳、光敏表面以及将场景成像到光敏表面上的透镜。过去，光敏表面是胶卷。在诸如移动设备和相机(例如，单透镜反射(slr)相机、无人机相机、摄像机)的现代设备中，胶卷已被图像传感器所取代，该图像传感器可以将称为像素的小区域内的光量转换为电信号。常见的图像传感器器件是电荷耦合器件(ccd)传感器和互补金属氧化物半导体(cmos)传感器。5.相机的尺寸通常取决于图像传感器尺寸、透镜尺寸和外壳尺寸。图像传感器越大，透镜就越大。透镜的大小还取决于决定相机视野的透镜焦距。透镜设计也可以影响透镜的尺寸。6.在图像传感器、透镜设计、透镜制造和机械外壳技术方面的多年演变和技术进步之后，相机已收敛于在应用之间变化的一些维度。例如，移动设备中的相机系统在所有3个维度上可能只有几毫米。这种尺寸可能来自于希望移动设备足够小以放入诸如裤兜或小钱包之类的狭小空间中。结果，在某些情况下，可以在此类设备中使用的最大图像传感器被限制为几毫米乘几毫米。在某些情况下，图像传感器可能会进一步受到在图像传感器上形成图像的透镜尺寸的限制。为了弥补这些限制，现代移动设备可能具有多于一个的相机，并且各种相机可以用于捕捉不同的视野，并允许用户执行诸如缩放的操作，同时保持良好的图像质量。7.如前所述，移动设备中的图像传感器的尺寸是有限的。因此，这限制了图像传感器在拍摄图片时收集大量光线的能力。除了传感器尺寸之外，传感器可以捕捉的光量可以取决于透镜孔径和曝光时间。多年来，由于更好的制造能力和组装技术，透镜孔径(也称为f/#)有所下降，但对于移动设备，透镜孔径已达到大约f/1.8的极限。这限制了例如当视野移动或晃动时的图像质量的考虑。具体来说，曝光时间可能会受到用户保持相机静止的能力和场景中对象的运动的限制。光学图像稳定(ois)方法可能有助于增加此曝光时间。然而，这些ois方法无法影响源自场景中对象运动的“蓝色效应”。8.作为上述约束的结果，曝光时间限制已达到极限并且对于广角透镜来说大约为50毫秒。使用ois方法可以将其扩展到200至300毫秒，但如前所述，ois方法无法避免场景中移动对象造成的模糊。在某些情况下，移动设备使用包围(bracketing)方案来捕捉短曝光和长曝光，并且使用来自短曝光的信息来减少长曝光中的运动模糊。9.因此，对曝光时间、透镜孔径和图像传感器尺寸的这些限制限制了相机可以捕捉的光量，并因此限制了相机在噪声、分辨率、动态范围、颜色、和更多方面能够传递的图像质量。附图说明10.所公开的实施方式具有优点和特征，上述优点和特征将根据具体实施方式、所附权利要求书和附图(或绘图)而变得更加明显。以下是附图的简要介绍。11.图1a和图1b示出了根据实施方式的包含在移动设备中的成像系统。12.图2a至图2c示出了根据实施方式的捕捉外部环境的视图的不同部分的图像的成像系统。13.图2d示出了根据实施方式的视图的各部分的图像。14.图2e示出了根据实施方式的由图2d中的图像形成的外部环境的视图的图像。15.图3示出了根据实施方式的捕捉外壳前面的环境的图像和外壳后面的环境的图像的成像系统。16.图4示出了根据实施方式的被定位成阻挡来自外部环境的光向成像系统的图像传感器传播的反射器。17.图5示出了根据实施方式的将光引向不同的图像传感器的处于不同位置的反射器。18.图6示出了根据实施方式的包括第二相机的成像系统。19.图7示出了根据实施方式的在一侧具有滤光器的双侧反射器。20.图8示出了根据实施方式的双透镜成像系统801。21.图9至图11示出了根据各种实施方式的具有各种滤光器的图像传感器上的像素组。22.图12是示出根据实施方式的用于形成外部环境的视图的组合图像的方法的流程图。23.图13是示出根据实施方式的能够从机器可读介质读取指令并在处理器(或控制器)中执行该指令的示例机器的部件的框图。24.图14a至图14g示出了根据一些实施方式的房屋的组合图像。25.图15示出了根据实施方式的透镜模块和图像传感器的视图。26.图16a和图16b示出了根据一些实施方式的在图像传感器的像素组之上的透镜阵列的透镜。27.图17示出了根据实施方式的图像传感器上的滤色器阵列。28.图18示出了根据实施方式的具有二向色分束器的成像系统的侧视图。具体实施方式29.附图和以下描述仅通过说明的方式涉及优选的实施方式。应当注意，根据以下讨论，在不脱离所要求保护的原理的情况下，本文中公开的结构和方法的可替选实施方式将易于被认为是可以采用的可行的可替选方案。30.现在将详细参考若干实施方式，这些实施方式的示例在附图中示出。注意，只要可行，相似或类似的附图标记可以在附图中使用并且可以指示相似或类似的功能。附图仅出于说明的目的而描绘了所公开的系统(或方法)的实施方式。本领域技术人员将从以下描述中容易地认识到，在不背离本文描述的原理的情况下，可以采用本文所示的结构和方法的可替选实施方式。31.配置概述32.示例实施方式涉及新型成像系统(也称为图像捕捉组件)，该成像系统显著增加了图像传感器的尺寸但保持成像系统的尺度足够小以至于适配在移动设备中。成像系统可以包括图像传感器、反射器和控制器。反射器可以相对于图像传感器绕轴旋转。反射器将来自外部环境的视图的一部分的光引向图像传感器。控制器可以(例如，经由电机)耦接到图像传感器和反射器。控制器使反射器绕轴旋转，以将来自视图的不同部分的光引向图像传感器。控制器将图像传感器与反射器同步，以捕捉视图的不同部分的图像。控制器将来自图像传感器的图像相组合以形成包括外部环境的视图的图像。33.其他示例实施方式涉及成像系统，该成像系统包括图像传感器、反射器和图像处理电路。反射器被定位在图像传感器附近，并且可以围绕轴相对于图像传感器从第一位置旋转到第二位置。在第一位置处，反射器将来自环境的第一部分的光引导到图像传感器上。在第二位置处，反射器将来自环境的第二部分的光引导到图像传感器上。图像处理电路耦接到图像传感器。该电路将第一图像和第二图像相组合以形成环境的合成图像。第一图像描绘了使用处于第一位置的反射器捕捉的环境的第一部分，并且第二图像描绘了使用处于第二位置的反射器捕捉的环境的第二部分。34.其他示例实施方式涉及由具有可旋转反射器的成像系统形成组合图像。反射器围绕轴相对于图像传感器旋转到第一位置。在第一位置处，反射器将来自与外部环境对应的视图的第一部分的光引向图像传感器。视图的第一部分的图像由图像传感器捕捉。反射器围绕轴相对于图像传感器旋转到第二位置。在第二位置处，反射器将来自与外部环境对应的视图的第二部分的光引向图像传感器。视图的第二部分的图像由图像传感器捕捉。第一部分的图像和第二部分的图像被组合以形成与视图对应的图像。35.在一些实施方式中，成像系统包括至少包含图像传感器和反射器的外壳。外壳包括窗口，来自环境的光通过该窗口向反射器传播。窗口的平面可以基本上垂直于图像传感器的传感器平面。36.成像系统37.图1a至图1b示出了根据实施方式的包含在示例移动设备103中的示例成像系统101。具体地，图1a示出了移动设备103的前视图、后视图和侧视图，图1b示出了移动设备103的截面后视图和截面侧视图。移动设备103包括成像系统101、具有窗口102的外壳117和显示器119。成像系统101包括可使反射器105旋转、电机111、透镜模块107、图像传感器109和控制器模块113。38.反射器105将穿过窗口102的光向下引向透镜模块107。透镜模块107将光聚焦在图像传感器109上。电机111使反射器105绕轴115旋转，轴115基本上平行(例如，在一两度内)于图像传感器平面。使反射器105旋转允许反射器105将来自外部环境的不同部分的光引向图像传感器109。控制器113电耦接到图像传感器109和电机111。为了形成外部环境的图像，成像系统101在使反射器105旋转的同时捕捉外部环境的视图的多个部分的图像。反射器105从初始角位置到最终角位置的旋转可以称为扫描。捕捉图像的序列包含环境的几个相邻部分的信息，并且在将图像组合(例如，拼接或融合)在一起之后，成像系统101形成具有预定纵横比的外部环境的较大图像。39.外壳117包含成像系统101的一个或更多个部件。成像系统部件的位置和取向可以相对于外壳117和外壳窗口102来描述。例如，外壳117由包含成像系统101的多个壁限定，并且其中一个壁包括外壳窗口102，外壳窗口102具有例如由窗口102的边界限定的平面。该平面可以平行于三维参考系统中的y-z(或yz)平面。外壳117可以具有沿着垂直于窗口102的平面的轴(例如，沿着x轴)的下轮廓。外壳沿x轴的长度可以称为外壳117的厚度并且可以在例如从5毫米至15毫米的范围内。在外壳117是移动设备103的一部分的实施方式中，窗口平面可以平行于移动设备103的显示器119。与常规成像系统不同，图像传感器表面不面向窗口平面。例如，图像传感器表面垂直于窗口平面(例如，平行于xy平面)并且在窗口102的边界之外。因此，反射器105可以与窗口102对准，以引导光通过窗口102传播到图像传感器平面。透镜模块107可以在反射器105与图像传感器109之间。孔径平面可以在反射器105与透镜模块107之间并且可以垂直于窗口平面并且平行于图像传感器平面。反射器允许成像系统101的光路被折叠到yz平面中。该折叠允许光路增加到超出外壳厚度的限制并进入外壳的宽度(例如，沿y轴的长度)和高度(例如，沿z轴的长度)，高度通常大于其厚度。因此，透镜模块107的反射器、图像传感器和/或孔径可以具有不是1:1的纵横比，且其长轴可以彼此平行。40.如本文所用的术语“平行”和“垂直”可以指代部件基本上平行或基本上垂直(例如，在一或两度内)，因为制造完全平行或垂直的部件实际上可能难以实现。41.图像传感器109是捕捉外部环境的多个部分的图像的成像设备。图像传感器109的示例包括ccd传感器和cmos传感器。如图1所示，图像传感器表面可以位于相对于移动设备103的xy平面的xy平面中，并且图像传感器表面面向与xy平面的垂直方向(沿z轴)。由于这种定位，图像传感器109的传感器平面不面向外部环境的视野。通过将图像传感器109放置在xy平面中，图像传感器109的尺寸可以大于常规相机中的图像传感器。图像传感器平面的较小维度(沿x轴)可能会受到移动设备厚度的限制，而较长维度(沿y轴)可能会受到移动设备宽度的限制，移动设备的宽度可能为许多厘米长。这允许图像传感器109具有高的纵横比，例如大于17:9的比例(例如，1:10)。常规相机产生的场景图像具有不那么高的纵横比(例如，被限制为2:3、3:4或16:9的传感器)。由于图像传感器109的高纵横比，图像传感器109可以创建对应于场景的窄视图的窄图像(“图像条带”)。对于移动设备中的常规成像系统，图像传感器的尺寸可能会受到相机透镜的焦距的限制。然而，通过如本文所述改变图像传感器109的位置和方向，图像传感器尺寸可以大于具有相同或相似外壳的常规成像系统中的图像传感器。42.如上所述，反射器105(也称为扫描镜)是围绕轴115旋转以将光引导到图像传感器109的光学部件。通常，轴115基本上平行于图像传感器的长维度，并且反射器105在窗口102上居中。如果窗口102的平面(例如yz平面)垂直于图像传感器109的平面(例如xy平面)，则反射器105可以在相对于图像传感器平面约45度位置处引导光以将光引向图像传感器109。由于图像传感器109的高纵横比，反射器105也可以具有高纵横比，以确保光被反射到图像传感器109的整个表面。反射器105在图1b中被示出为具有矩形平面，但是其他形状也是可能的，例如凹形或凸形(例如，可以用于扩大或缩小视野)。43.反射器105在本文中根据“引导”光来描述，然而这是为了便于描述。当光在成像系统101中传播时，反射器105可以光学地引导、加宽、变细、反射、衍射、折射、散射、放大、减少、组合、分离、偏振或以其他方式改变光的特性。为此，反射器105可以在其一个或更多个表面上包括反射涂层、金属化特征、光栅、镜、棱镜结构、菲涅耳结构、角反射器、回射器等。44.透镜模块107包括一个或更多个光学部件并且被设计成在图像传感器109上形成图像。透镜模块107可以分散、聚焦、重定向和以其他方式修改通过透镜模块107的光。透镜模块107可以像单个透镜一样简单，或者透镜模块107可以包括附加的光学部件，例如漫射器、相位屏、光束扩展器、镜和透镜(例如，变形透镜)。在一些实施方式中，透镜模块107的入射光瞳与反射器105相邻。这可以允许反射器105具有更小的尺寸。45.由于图像传感器109的高纵横比，透镜模块107可以被设计和制造为非圆形和/或不对称的并且在其孔径方面遵循图像传感器109的尺度。使用具有非对称孔径的透镜模块107可以允许透镜模块107被适配在移动设备外壳117中。此外，透镜模块107的焦距可以在x和y方向上不同。在一些实施方式中，这导致成像系统101不保留纵横比，因此例如4:3的场景可以由8:3的图像传感器成像。透镜模块107的一个或更多个光学部件可以具有圆柱对称的表面，但其他部件的孔径可以是矩形或另一种细长形状。透镜模块107可以使用晶片级技术制造，这可能有利于通过以期望的纵横比切割透镜表面来产生矩形形状的光学元件。在一些实施方式中，透镜模块107是使用注模技术通过创建具有不对称孔径的模具来制造的。透镜模块107的部件可以是玻璃或塑料注模或机械加工的(例如，经由晶片级技术)。46.如上所述，电机111使反射器105绕轴线115旋转。为此，电机111可以包括一个或更多个致动器型机构、电流计型机构、mems型机构、机动型机构或步进电机型机构。在一些实施方式中，如下文进一步描述的，电机111可以在其他方向上移动反射器105。例如，电机111可以沿x、y和/或z轴平移和/或旋转地移动反射器105。47.在一些实施方式中，在图像传感器109在捕捉场景的一部分的图像的同时，电机111使反射器105倾斜(例如，在任一方向上倾斜几度)以补偿运动(例如，手部运动)。例如，如果用户稍微向下倾斜移动设备103，则电机可以向上倾斜反射器105以补偿运动，使得图像传感器109尽管倾斜也接收到场景的相同部分。在一些实施方式中，成像系统101包括传感器移位机构(例如，另一个电机)，以在一个或更多个方向(例如，在xy平面中)使图像传感器109移位以补偿该运动。在一些实施方式中，成像系统101包括透镜移位机构(例如，另一个电机)，以在一个或更多个方向(例如，在xy平面)上使透镜模块107(或其部件)移位以对该运动进行补偿。如果成像系统101包括多个运动补偿机构，则控制器113可以协调多个机构协同工作以抵消运动。例如，电机111使反射器105倾斜以补偿沿一个方向的运动，并且传感器移位机构或透镜移位机构补偿沿另一方向的运动。在一些实施方式中，反射器105围绕多个基本上垂直的轴(例如，x轴和z轴)旋转以补偿运动(例如，代替传感器或透镜移位机构)。48.电机111和移位机构也可以用作自动聚焦机构。例如，透镜移位机构将透镜模块107(或其部件)移位得更靠近或远离图像传感器109(例如，沿z轴)以实现期望焦点。在另一示例中，传感器移位机构将图像传感器109移位得更靠近或远离透镜模块107(例如，沿z轴)以实现期望焦点。49.控制器模块113可以构成软件(例如，实施在机器可读介质上或传输信号中的代码)和/或硬件以向电机111和图像传感器109提供控制信号。因此，控制器113使反射器105旋转，以将来自外部环境的不同部分的光引向图像传感器109，并且使图像传感器109与反射器105同步以捕捉环境的不同部分的图像。另外，控制器113可以接收捕捉图像并且将捕捉图像相组合以形成外部环境的更大的连续图像。50.在一些实施方式中，成像系统101包括一个或更多个运动传感器(例如加速度计、陀螺仪等)以跟踪成像系统相对于外部环境的运动。控制器模块113可以从运动传感器接收运动数据。如果确定的运动高于阈值量，则模块113可以向电机111和/或传感器移位机构提供指令以补偿运动。51.在一些实施方式中，成像系统101不被包含在移动设备103中。例如，成像系统101被包含在独立设备例如移动电话103的外壳中。52.图2a至图2c示出了根据实施方式的捕捉外部环境的视图的不同部分的图像的成像系统101。在图2a至图2c的示例中，外部环境包括视野内的一个或更多个对象。在该示例中，为了便于讨论，对象是垂直对准的立方体211a、球体211b和棱锥体211c。在图2a中，反射器105在第一旋转位置处倾斜(例如，反射器105相对于yz平面形成角度θ1)以将来自外部环境的顶部的光引向图像传感器109。因此，图像传感器图109捕捉立方体211a的图像。在图2b中，反射器在第二旋转位置处倾斜(例如，反射器相对于yz平面形成角度θ2》θ1)，以将来自外部环境的中间部分的光引向图像传感器109。因此，图像传感器109捕捉球体211b的图像。在图2c中，反射器在第三旋转位置处倾斜(例如，反射器相对于yz平面形成角度θ3》θ2)，以将来自外部环境的底部的光引向图像传感器109。因此，图像传感器109捕捉棱锥体211c的图像。在一些示例实施方式中，为了捕捉一组图像，反射器角度θ可以在相对于xy平面的45度位置(例如，从25度至65度)周围对称地变化。53.图2d示出了根据实施方式的由图像传感器109捕捉的三个图像条带。由于每个条带是在反射器105处于不同旋转位置时捕捉的，因此每个图像条带是外部环境的不同部分的图像。由于反射器105、透镜模块107和图像传感器109的高纵横比，图像条带具有高纵横比。图像条带a是立方体211a的图像并且由图2a中的图像系统101捕捉。图像条带b是球体211b的图像并且由图2b中的图像系统101捕捉。图像条带c是棱锥体211c的图像并且由图2c中的图像系统101捕捉。54.捕捉每个图像条带的曝光时间可能受到用户运动(用户在持有设备103时无意地移动设备103)和在场景中移动的对象的限制。此外，图像条带的总曝光时间可能受到在图像条带捕捉之间外部环境的可能变化的限制。图像条带曝光时间和总曝光时间可以被限制为预定阈值时间或者动态确定(例如，基于移动设备103的移动量)。55.图2e示出了根据实施方式的外部环境的视图的图像201。图像201是通过将图2d所示的图像条带a至c相组合(例如，融合或拼接)而形成的。组合图像201可以称为合成图像。组合图像201的水平视野可以基于窗口102、反射器105、透镜模块107(例如，其孔径)和/或图像传感器109的宽度(沿y轴)，组合图像201的竖直视野可以基于反射器105的扫描范围。通常，竖直视野大于水平视野。56.根据在捕捉图像条带时反射器105的位置，图像条带可能彼此具有一些交叠(例如，10至300行像素)。捕捉具有交叠的图像条带可以帮助确保图像条带不会丢失环境视图的各部分(例如，以便捕捉整个视图)并且可以减少组合图像201的噪声值。捕捉具有交叠的图像条带还可以帮助组合处理以确保图像条带被正确组合。例如，控制器113在组合处理期间使用交叠部分来对准图像条带。在另一示例中，如果环境中的对象在捕捉图像条带之间移动，或者如果移动设备103在捕捉图像条带之间移动，则控制系统101可以使用交叠部分来校正由该移动引起的伪影。57.使反射器旋转58.反射器105的旋转可以是离散的，使得它从反射器105的初始(例如，最大)角位置旋转到具有n个止动器的最终(例如，最小)角位置，其中n是将形成组合图像的图像条带的数目。n可以小到2。n可以取决于组合图像的期望曝光时间和/或图像传感器109的较小维度的尺寸以及组合图像的期望尺寸或纵横比。例如，如果图像传感器具有24,000×6,000像素，并且如果最终组合图像具有4:3的纵横比，则反射器105将具有三个离散位置，并且组合图像将是24,000像素×18,000像素。前面的扫描示例不包括图像条带中的任何交叠。如果n增大，则场景中的某些区域将在图像条带中出现多于一次。例如，如果使用六个离散角位置进行扫描，则场景中的每个点将出现在两个图像条带中。59.成像系统101可以能够捕捉视频。在这些情况下，组合图像可以形成视频的帧。例如，如果视频帧速率或预览帧速率为25fps(每秒帧数)，则每个组合图像的总曝光时间为40毫秒或更短。在三个离散位置扫描的情况下，每个位置可能暴露13.33毫秒。然而，反射器105需要时间来改变其位置并停止，这意味着每个图像条带的曝光时间可能为10毫秒左右。60.对于静止图像捕捉，可以在用户按下捕捉按钮时中断向用户显示的图像预览，并允许比受图像预览速度限制的曝光更长的曝光。61.以上考虑考虑了全视野。如果成像系统101捕捉更窄的视野，则可能会减小反射器105的扫描范围。例如，如果用户放大三倍(即3倍变焦)，成像系统101可能不会执行任何扫描。因此，反射器105可以是静止的。例如，如果图像传感器109具有24,000像素×6,000像素并且最终图像具有6,000像素的高度和4:3的纵横比，则反射器105可以不旋转并且图像的其他尺度可以是8,000像素(例如，从图像传感器109的24,000像素尺度中读出和裁剪)。62.在一些实施方式中，反射器105的旋转是连续的而不是离散的。在连续扫描模式中，反射器105以足够慢的速度连续旋转以使捕捉图像不模糊，但又以足够快的速度连续旋转以按照期望的帧速率(例如，40毫秒)完成对期望的视野的扫描。在连续模式中，反射器105的旋转速率可以由期望的帧速率决定。例如，如果帧速率为30fps(帧之间为33毫秒)，则场景扫描需要大约25毫秒，然后反射器105被旋转回其初始位置。其他示例值也是可能的，例如30毫秒，这取决于多快地使反射器旋转回其初始位置。在反射器105是双侧的实施方式中，反射器105可以不需要旋转回到其初始位置。63.在连续扫描模式中，外部环境中的点可以在扫描期间出现在每行像素上。图像传感器109可以捕捉足够多的图像，使得连续图像条带的每一行像素都捕捉点。例如，如果图像传感器109包括6000行像素，则图像传感器109可以在单次扫描期间捕捉6000个图像。为了做到这一点，例如，图像传感器可以对来自变化像素的电荷进行积分，而不是在一定毫秒数内对一个像素上的电荷进行积分。如果这种变化(扫描)与反射器旋转速度同步，则输出可以对应于空间中的一个点。使用图像传感器109的示例实现方式是仅读取一个像素行，这可以非常快速地发生。因此，例如，执行30fps(每秒帧数)并且具有6000行的传感器可以执行15000fps而只读取一行。作为捕捉足够的图像以使每行像素捕捉点的可替选方案，图像传感器109可以在扫描期间捕捉小于像素行数的预定数目的图像。64.正向和后向模式65.在一些实施方式中，成像系统101通过使反射器105旋转来捕捉外壳117前面和后面的外部环境的图像。图3示出了根据实施方式的捕捉外壳117前面的环境的图像(在前向模式期间)和外壳117后面的环境的图像(在后向模式期间)的成像系统101。66.上面参照图1a和图1b描述了后向模式。在前向模式中，可旋转反射器105将穿过显示器119的光引导到图像传感器109。通过引导穿过显示器119的光，可以减少或消除移动设备103前面的窗口的凹口或专用区域。因此，可以例如通过将显示器119延伸到移动设备103的前面的边缘来增大显示器119的尺寸。67.虽然一些成像系统可以捕捉穿过显示器的光，但由于诸如发光二极管(led)的显示元件和布线、穿过显示器的衍射和散射的光，因此遭受较差的成像性能。然而，由于更大的窗口(图3中未示出)和更大的透镜孔径，本文描述的图像系统101可以捕捉更多穿过显示器的光。因此，成像系统101具有用于对移动设备前方的场景进行成像的改进的性能。68.非均匀性校正(nuc)模式69.图4示出了根据实施方式的反射器105，反射器105被定位成(在非均匀性校正(nuc)模式期间)阻挡来自外部环境的光向图像传感器109传播。具体地，反射器105被定向为面向图像传感器109(例如，平行于图像传感器平面)。nuc模式可以用于保护图像传感器109的像素(例如，如果移动设备暴露于可能损坏像素的波长)。例如，如果移动设备103在晴天位于桌子上，则太阳可能被传感器成像并且传感器可能因此而损坏。能够通过旋转反射器来阻挡太阳辐射可以防止损坏传感器109及其光学涂层(例如，滤光器)。nuc还可以用于将图像传感器109的像素归零或去皮。例如，通过将反射器105定向为面向图像传感器109，图像传感器109可以测量来自成像系统101本身的ir辐射(假设传感器109具有ir灵敏度或者存在与传感器109相邻的热传感器)。然后成像系统101可以基于那些读数进行调整。例如，成像系统101针对每个像素调整增益和偏移，这可以产生更高质量和更准确的图像。图像传感器(例如ccd或cmos或其他传感器)通常具有固定模式噪声(fpn)和导致暗电流的变化。例如，在cmos图像传感器中，像素晶体管导致像素fpn，列放大器导致列fpn。能够阻挡传感器109的光并捕捉暗图像可以在需要时帮助校准传感器参数。其中一些参数是固定的并经过工厂校准，但fpn和变化的原因可能与温度有关且随空间变化。70.多个传感器71.在一些实施方式中，成像系统101包括多个透镜模块107和图像传感器109。图5示出了处于不同位置的双面反射器105同时将光向上引导至图像传感器509a并且向下引导至图像传感器509b。图5中的成像系统101因此允许使用单个反射器105(例如同时)捕捉移动设备的前面和后面的图像。通过使反射器105旋转，控制器113可以将来自移动设备的前面或后面的光引导至传感器509中的任一个。换言之，成像系统101可以包括共享单个反射器105的两个相机。这可以降低制造成本并减小系统的尺寸。如果传感器509或透镜模块彼此不同(例如，不同的尺寸、类型、滤光器)，则反射器105可以例如基于给定情况或来自用户的指令将光引导至特定传感器。在一些实施方式中，反射器105是单面的(而不是双面的)并且反射器105旋转以将光引导至传感器509a或传感器509b。72.在一些实施方式中，底部透镜模块107和传感器509b形成宽视野相机(在图5中标记为“w”)，顶部透镜模块107和传感器509a形成具有更窄的视野的长焦相机(在图5中标记为“t”)图5)。因此，根据反射器105的定位方式，反射器105可以将光转向w相机或t相机。73.第二(或更多)相机图像74.在一些实施方式中，成像系统101包括一个或更多个附加相机。图6示出了根据实施方式的成像系统101，成像系统101包括被配置成捕捉图像(“第二相机图像”)的第二相机601。在图6的示例中，第二相机601被定位在左上角。第二相机601被定位成捕捉移动设备103后面的环境的图像，然而第二相机601可以可替选地被定位成捕捉移动设备103前面的环境的图像。第二相机601可以被定位或配置成具有包括由图像传感器109捕捉的两个或更多个部分的视野。例如，第二相机图像的视图包括图像条带的拼接区域或者大于组合图像的视图。这允许控制器113在处理和组合图像条带时使用第二相机图像作为参考。例如，第二相机图像为处理和组合图像条带的算法提供地面真实信息。例如，控制器113使用第二相机图像来对准图像条带并校正运动效果。在另一个示例中，第二相机图像用于填充组合图像中的(例如由场景中移动对象的遮挡引起的)缺失信息。75.参照图14a至图14g进一步描述具有第二相机601的成像系统101的优点。图14a示出了包括房屋的组合图像。组合图像由一组图像条带形成(图片1至图片5)。在移动设备103保持静止时捕捉图像条带。因此，图像条带可以没有任何不匹配地对准以形成房屋的图像。76.图14b示出了房屋的另一个组合图像。在该示例中，移动设备103在其捕捉图像时移动。例如，手持移动设备103的用户在捕捉图像条带时无意中移动了移动设备103。因此，房屋的多个部分彼此未对准。77.图14c示出了房屋的另一个组合图像。在该示例中，通过将相邻图像条带中的特征和边缘相互对准来改进房屋的图像。然而，特征和边缘对准可能不导致房屋完全对准(例如，当特征不明显或拼接区域缺少特征时)。78.图14d示出了在将图像条带(图片1至图片5)与由第二相机601捕捉的图像1403(右图像)相组合之前的房屋的组合图像(左图像)。由于第二相机图像1403包括图像条带的拼接区域，因此可以用于改进图像条带组合处理。例如，如图14e所示，第二相机图像1403被临时放大并覆盖在图像条带上以充当用于对准图像条带的参考或模板。通过这样做，图像条带的对准得到改进(例如，如图14f所示)，因此，房屋的组合图像得到改进(例如，将图14f中的组合图像与图14c中的组合图像进行比较)。在一些实施方式中，由于第二相机图像可能缺乏分辨率并且与图像条带相比可能有噪声，因此在图像条带的粗略定位之后，可以添加精细对准以改进图像条带之间的边缘连续性。79.图14g示出了与组合图像的示例视野1403相比的第二相机图像的示例视野1401。在该示例中，视图1401在水平方向上小于视图1403，但是视图1401仍然包括组合图像的拼接区域。在一些实施方式中，视图1401在竖直方向上大于视图1403(例如，如图14g所示)，使得即使移动设备在捕捉处理期间移动，第二相机图像也包括拼接区域。视图1401的水平方向也可以被调整大小以考虑水平方向上的移动。在一些实施方式中，视图1401包括组合图像的整个视图1403。80.图像组合81.本部分描述了如何组合图像条带(也称为配准)。进行配准可能存在两个挑战。第一个挑战是配准静态场景，在静态场景中场景和成像系统101在图像条带的捕捉期间没有移动或改变。对于此情况，配准可能需要对准图像条带，使得条带边界(即拼接区域)上的特征在拼接后是连续的。由于在此情况下没有运动，因此可以使用特征匹配操作(例如绝对差之和(sad)、相关性或经过训练以对准图像细节的神经网络)来执行拼接。这可以应用于图像条带的梯度或直接应用于信号本身。可能存在拼接区域(或线)不包括足够明显的特征或边缘的情况。在此情况下，(由第二相机601捕捉的)第二相机图像可以用作拼接指导。在此情况下，特征匹配可以不限于拼接区域，并且可以使用位于正被配准的图像条带内任何位置的特征来实现。82.在一些情况下，发生由成像系统101或场景中的对象引起的运动。这可能会导致拼接不连续(例如，每个图像条带以不同的量和不同的方向移动以形成连续的组合图像)。可以使用密集光流配准算法执行配准，但是这些算法的计算量可能很大并且可能有错误。使用来自第二相机601的第二相机图像可以使该配准变得简单，因为可能不需要找到看似连续的解决方案(例如，需要匹配另一部分的人手的一部分)，而只需将区域配准到它们在第二相机图像中对应的相似区域。83.拼接复杂纹理的另一种可能性是利用在图像条带捕捉期间通过使反射器105旋转得稍微小于视野而产生的交叠。在此情况下，拼接线附近的对象可能出现在拼接线双侧的两个图像条带中，并且拼接可能发生在曲线(例如，非直线)上，以避免穿过脸或其他对象之类的可以使用检测算法检测到的对象。当场景中的对象在不同图像条带的曝光之间移动时，可能会发生遮挡。这可能导致场景中的某些区域被更靠近成像系统101的对象阻挡。在两个图像条带中具有不同的信息可能使得难以正确拼接而没有可见的伪影。使用第二相机图像可以作为指导，并且可以与对应于通常是中心位置(例如，最接近45度的位置)的特定反射器位置的图像条带之一同时捕捉，以填充因运动而被遮挡的区域的缺失信息。第二相机图像在噪声、颜色等方面可能具有不同的属性，因此在将来自第二相机图像的信息混合到拼接图片中之前可以执行归一化过程。这种归一化可以包括噪声去除、颜色和色调处理、模糊等。84.反射器修改85.在一些实施方式中，反射器105的一侧或更多侧包括滤光器。现在参照图7，图7示出了根据实施方式的在一侧上具有滤光器701的双侧反射器105。在一侧上具有滤光器701的反射器105允许控制器113选择是用经滤光的光还是未经滤光的光来捕捉图像。虽然图7示出了具有单个滤光器701的反射器105，但滤光器也可以存在于相对侧上(例如，不同的滤光器)。此外，请注意，图7中的滤光器701的尺寸为了说明的目的而被夸大了。例如，滤光器701是施加到反射器105的表面的薄涂层。86.示例滤光器类型包括偏振器、滤色器、中性密度滤光器、uv(紫外线)滤光器、波长滤光器(例如，滤色器、窄带ir(红外)滤光器或宽带ir滤光器)。如果滤光器701是ir滤光器，则成像系统101可以在有或无ir光的情况下捕捉图像。用ir光捕捉的图像可以用于收集深度数据(如下面参照图9所述)或用于低光摄影(记录更宽的光谱可以改进图像质量)。控制器113可以基于场景中的光水平、场景中的光的类型以及是否(例如，由用户或应用)需要深度数据来确定是否经由反射器105滤光。87.代替在用经滤光的光或未经滤光的光捕捉图像之间进行选择，控制器113可以使反射器105旋转，使得每个其他组合图像都包括经滤光的光。例如，在完成扫描之后，反射器105继续旋转，使得其相对侧引导光以用于后续扫描。因此，根据滤光器701的类型，每个后续组合图像可以包括不同的波长。可以在捕捉视频的同时在扫描之间翻转反射器105。例如，如果滤光器701是ir滤光器，则每两个组合图像包括ir信息。该ir信息可以与结构光或飞行时间(tof)信息相结合，以创建准确的深度数据并且与来自其他组合图像的颜色数据对准。88.在一些实施方式中，反射器105是双侧的，并且其中一侧偏离轴线115达预定距离。通过在扫描之间翻转反射器105，后续图像可以具有不同的参考点。控制器113可以使用具有不同参考视点的图像，例如以根据从两个不同的并排相机计算深度相同的方式来执行立体深度计算。89.在一些实施方式中，反射器105的一侧包括沿图像传感器109的窄维度改变焦距的透镜。这对于记录需要反射器105以比电机111能够支持的速度更快的速度旋转的高帧率视频可能是有用的。在这些情况下，反射器105的具有透镜的一侧可以用于引导光，从而按照因数(例如，三倍)增加窄维度中的视野。这可以允许反射器105在视频捕捉期间保持相对静止。这也可以消除图像条带组合处理。实现该目的的可替选方式是添加基于成像系统101所处的模式来滑入和滑出光路的透镜或透镜组。90.双透镜系统91.图8示出了根据实施方式的双透镜成像系统801。双透镜成像系统801包括间隔开的两个窗口803、两个透镜模块807、两个反射器805和单个图像传感器809。穿过顶部窗口803a的光被顶部反射器805a向下引导并穿过顶部透镜模块807a。在穿过顶部透镜模块807a之后，光被顶部固定镜811a引导至图像传感器809的上半部分(也称为传感器809的第一部分)。图像传感器809的平面平行于显示器119的平面(例如，在yz平面中)。双透镜成像系统801的下半部分可以是上半部分的镜像。例如，穿过底部窗口803b的光被底部反射器805b向上引导并穿过底部透镜模块807b。在穿过底部透镜模块807b之后，光被底部固定镜811b引导至图像传感器809的下半部分(也称为传感器809的第二部分)。如图8所示，成像系统801将来自两个窗口803的光引导到单个图像传感器809上。由于这一点以及图像传感器平面与显示器平行，因此图像传感器809可以大于参照图1a和图1b描述的图像传感器109。具有单个图像传感器809可以减少系统801的电子部件的数目。在一些实施方式中，系统801包括两个图像传感器，例如通过移除固定镜811并且在xy平面中添加面向上的顶部传感器并且在xy平面中添加面向下的底部传感器。92.通过具有间隔开的两个窗口803，系统801可以产生具有比由具有单个反射器的系统(例如，如图1b所示)产生的组合图像更大的外部环境的视野的组合图像。例如，顶部反射器805a将光引导至底部反射器805b不能引导的图像传感器809。类似地，底部反射器805b可以将光引导到顶部反射器105a不能引导的图像传感器809。在一些实施方式中，外壳上的窗口803a与803b之间的间距被减小以减少当用户在相机之间切换时视角的变化，但是对于更远的对象来说视角的变化可能变得不那么明显。在单个传感器(例如，传感器809)用于两个透镜模块的示例实施方式中，窗口803之间的间距可以更大。这在具有较大焦距的一个或两个透镜模块807的情况下可能是有利的(较大的焦距可以使系统能够对更远的对象进行成像)。93.双透镜成像系统801的窗口803可以使系统801能够通过将从不同窗口803捕捉的图像进行比较来确定深度信息。立体原理和窗口803之间的距离可以确定深度精度和范围。例如，窗口803的较大间隔允许在较大距离处计算深度信息。如果窗口803相隔数厘米，则系统可以确定数十米甚至超过100米的对象的深度信息。94.具有像素组的图像传感器95.在一些实施方式中，图像传感器109包括不同组(例如，行)的像素，例如具有ir滤光器的像素、具有偏振滤光器的像素和具有宽带滤光器的像素、tof像素和可见光像素(“颜色像素”)。图像传感器109可以包括不同像素组的任何组合。下面进一步描述具有不同像素组的示例图像传感器109。96.图9示出了图像传感器109，图像传感器109包括具有ir滤光器的第一组彩色像素行(“ir滤光像素901”)和不具有ir滤光器的第二组彩色像素行(“ir像素903”)。因此，ir像素903可以记录ir信息。ir信息可以用于创建深度数据，例如，当图像系统101与图案投影仪耦接时通过结构光或者当图像系统101与定时ir光源耦接时通过tof。97.成像系统101(例如，经由控制器113)可以使用记录的ir信息来创建深度图并且将深度图覆盖在由ir滤光像素901捕捉的彩色图像上。因为ir信息被记录在同一图像上传感器109上作为彩色图像，因此ir信息可以具有与彩色图像相似的视图。因此，深度图的对准可能比常规系统更准确。这对于基于深度信息来模拟光学模糊的合成景深应用(也称为肖像模式)可能很有用。常规系统通过将来自彩色相机和单独的红外相机的数据相组合来创建深度图。因此，ir相机将具有外部环境的不同视图，因此深度图与彩色图像的对准可能不太准确。98.为了记录足够的ir信息，可以仅使用几个像素行来记录ir波长。反射器105可以扫描场景使得ir像素903捕捉几个条带，当这些条带组合在一起时，覆盖大的期望视野，这一事实实现了仅使用几个传感器行并且从场景中获取有用的ir信息的能力。99.图10示出了图像传感器109，图像传感器109包括第一组ir滤光像素行901以及具有ir滤光器和偏振滤光器或涂层的第二组彩色像素行(“偏振像素1001”)。捕捉偏振光可能有利于改进图像外观，例如，天空的外观具有更深的颜色区别和/或表面反射被从水或其他反射表面去除。100.图11示出了图像传感器109，图像传感器109包括第一组ir滤光像素901、具有ir滤光器和第一偏振滤光器的第二组彩色像素行(“第一偏振像素1101”)以及具有ir滤光器和第二偏振滤光器的第三组彩色像素行(“第二偏振像素1103”)，其中第二偏振滤光器具有与第一滤光器的方向正交的偏振方向。这可以允许成像系统101实现期望的偏振滤光器效果，而不管成像系统101是水平定向还是垂直定向。101.在图像传感器109包括偏振像素行和非偏振像素行的实施方式中，成像系统101可以使用非偏振像素数据来增强(使用偏振像素数据形成的)偏振图像的图像质量。例如，成像系统101使用算法将与外部环境的视图相关联的偏振像素数据与和同一视图相关联的非偏振像素数据进行比较。这可能是有利的，因为例如在对低光场景进行成像时偏振图像可能具有较低的质量。102.在一些实施方式中，图像传感器109包括具有允许像素检测ir和/或紫外线波长的宽带滤光器的单色像素行。滤光器的波长范围可以控制由这些单色像素检测到的光量。这些单色像素行可以用于在低光照条件下捕捉更多光，也可以用于改进所有光照条件下的分辨率和边缘保真度。103.在一些实施方式中，图像传感器109包括具有中性密度滤光器的一个或更多个像素组。当使用这样的图像传感器109时，可以应用扫描，使得由没有中性密度滤光器的像素组和由具有中性密度滤光器的像素组对期望的视野进行成像。通过这样做，可以通过将来自每个像素组的像素数据相组合来融合图像以提供hdr(高动态范围)输出。104.在离散扫描方案的情况下，反射器105在扫描期间停止曝光。反射器105的停止位置可以取决于每个像素组的大小以及可以基于期望缩放水平改变的组合图像的期望视野。例如，如果图像传感器109在第一像素组中具有3,000个像素行并且在第二像素组中具有3,000个像素行，如果每个组对应于扫描方向上的10视野，并且如果在扫描方向上的期望视野为60，则反射器105可以停在六个不同的位置以覆盖第一像素组的60视野。105.成像系统101可以具有不同的扫描方案以确保通过像素组的不同组合来覆盖场景。例如，如果控制器113被指示形成深度图，则控制器113启动第一方案以将场景的多个部分引导到图像传感器109上的彩色像素和ir像素。然而，如果不需要深度图(例如，对于不同的应用)，控制器113可以启动第二方案以仅将场景的所述多个部分引导到彩色像素。成像系统101可以基于诸如外部光条件、系统逻辑、用户指令和/或应用指令之类的一个或更多个因素来启动特定扫描方案。106.示例透镜模块107.在一些示例实施方式中，图像条带的期望输出纵横比不同于图像传感器109的纵横比。例如，成像系统101以诸如5:1或10:1的高得多的纵横比将具有4:3或16:9的纵横比(或其他期望的比率)的场景成像到图像传感器109上。108.为此，透镜模块107可以沿x轴和y轴(z是光轴)具有不同的焦距。可以通过使用自由曲面光学元件(也称为变形透镜)或者通过使用仅在一个方向上具有光焦度的柱面光学元件来实现不同的焦距。作为使用这种透镜模块107的结果，传感器上的每个像素(假设该像素是对称像素(例如，正方形))可以从场景中的矩形区域收集光子。109.为了在x和y方向上实现相似的分辨率，图像传感器109具有非对称像素(例如，矩形像素)可能是有利的。另一选择是在图像传感器109的较长维度(例如，沿y方向)中(例如，由控制器模块113)应用模拟或数字合并，以将该维度中的分辨率降低到对应于期望的输出纵横比。110.为了设计在垂直于光轴的两个维度上具有不同焦距的透镜模块107，透镜元件表面中的至少两个可以是不对称的。仅使用一个不对称表面可能导致不同的焦距，但也可能导致不同的焦平面，这可能使得使用单个图像传感器109难以或不可能捕捉图像。因此，在这些实施方式中，透镜模块107可以具有至少具有有着非对称表面的两个光学表面的光学设计。111.例如，图15示出了根据实施方式的示例透镜模块107和图像传感器109的侧视图和后视图。图像传感器109具有高纵横比，这可以通过将其沿x轴和y轴的长度进行比较来看出。图15中的示例透镜模块107具有三个透镜元件。透镜模块107在xz平面具有较短的焦距，而在yz平面具有较长的焦距。为此，图15中的透镜模块107可以具有至少两个非对称透镜元件(未示出)以确保透镜模块107可以将图像聚焦到图像传感器的平面上。112.具有微透镜阵列的图像传感器113.在一些实施方式中，成像系统101包括在图像传感器109上方或之上的透镜阵列(例如，微透镜阵列)。透镜阵列是将光聚焦到图像传感器109的像素上的透镜(例如，微透镜)的阵列(例如，网格)。每个透镜可以将光聚焦到图像传感器上的像素子集(例如，2、3或4个像素)上。在一些实施方式中，阵列的透镜将光聚焦到传感器的长维度(例如，沿y轴)中的两个或更多个像素组上。这可能导致阵列的透镜下方的每组中的左像素与右像素之间的视差。就成像系统101从原始图像数据导出深度信息的能力而言，在每个透镜下使用多于两个的像素可能是有利的，因为每对像素将具有其尺寸不同的有效基线。这将在下面进一步描述。114.在此情况下，视差可以指对象的位置在一个图像中相对于另一图像的偏移。例如，如果透镜阵列中的每个透镜在单独组两个像素之上，则成像系统101可以创建两个图像。例如，左图像由透镜下方的左像素捕捉，右图像由透镜下方的右像素捕捉。左右图像之间存在视差，类似于立体相机，因为左像素通过透镜孔径的左侧“看到”外部环境，而右像素通过透镜孔径的右侧“看到”外部环境透镜孔径。如果每个透镜覆盖一组三个像素，则成像系统可以创建三个图像(例如，左、右和中心图像)以从中提取视差信息。115.透镜阵列可以用于相位检测以及从孔径内创建立体视图。由于透镜模块107的非对称孔径，不同的像素可以提供不同的视差信息。在图像传感器平面的较大维度中，视差可能很大，而在较小维度中，视差可能很小。确定视差信息可能有利于深度计算算法和对焦(例如，相位检测自动对焦(pdaf))。对于深度计算，具有大小视差信息对于减少误差、减少遮挡效应和扩展可计算深度的范围很有用。因此，透镜阵列的使用可以允许在短范围(例如，小于一米)和长范围(例如，2至10米)内的自动对焦。116.例如，图16a和图16b示出了根据一些实施方式的在图像传感器109的一组像素之上的透镜阵列的透镜1603。出于说明目的，仅示出了阵列的单个透镜1603。在一些实施方式中，透镜阵列包括足以覆盖传感器109的所有像素的透镜。在图16a和图16b的示例中，透镜1603覆盖一行中的三个像素(像素1605l、1605c和1605r)。传播通过透镜1603左侧的光子由左像素1605l接收，传播通过透镜1603右侧的光子由右像素1605r接收，并且传播通过透镜1603中心的光子由中心像素1605c接收。因此，可以使用来自像素组1605的任何像素对来计算视差信息。这对于聚焦目的和深度质量可能是有用的。右像素1605r与左像素1605l之间的视差可以更大，而左或右像素与中心像素1605c之间的视差可以更小。除其他优点外，使用来自不同基线对的信息可能有助于增加可计算深度的范围并提高其准确性。117.滤色器阵列118.在一些实施方式中，图像传感器109包括滤色器阵列(cfa)。cfa不同于通常与cmos传感器一起使用的常见bayer图案或其他图案，例如rgby。在cfa中，每个滤色器覆盖多于一个像素，并且所覆盖像素的数目与纵横比差异相对应。例如，具有8:3纵横比的图像传感器109接收由对具有4:3纵横比的场景进行成像的变形透镜(例如，在模块107中)引导的光，其cfa将覆盖较长传感器维度(例如，沿y轴)上的两个像素以及较短传感器维度(例如，沿x轴)上的一个像素。另一个示例是具有12:3纵横比的图像传感器109接收由对具有4:3纵横比的场景进行成像的变形透镜(例如，在模块107中)引导的光，其cfa将覆盖较长传感器维度上的三个像素以及较短传感器维度(例如，沿x轴)上的一个像素(例如，参见图17)。cfa有利于能够对具有相同颜色属性的像素进行合并，同时还允许使用相同颜色系列的像素进行pdaf(相位检测自动对焦)。119.例如，图17示出了根据实施方式的图像传感器109上的示例cfa。cfa在传感器109的像素之上包括红滤光器1705、绿滤光器1703和蓝滤光器1707的图案。每个滤色器覆盖水平行中的一组三个像素。这导致具有与非对称透镜(例如，在透镜模块107中)的焦距差对应的纵横比的分布。尽管参照成像系统101描述了cfa，但cfa可以用在其他成像系统中。例如，cfa可以用在具有透镜与图像传感器之间的纵横比差异的成像系统中。120.在一些实施方式中，成像系统101包括透镜阵列和cfa。当cfa也应用于2×2分布，即意味着每个2×2像素组都具有应用于其上的滤色器(例如、红色、绿色或蓝色)时，具有阵列透镜(均覆盖每组为2×2的4个像素)的图像传感器可以称为“方块(quadra)”。121.二向色分束器122.参照图18，在一些示例实施方式中，反射器是二向色分束器1803。123.二向色分束器具有取决于入射光的波长的分束比。例如，二向色分束器1803将具有可见波长的光引向传感器109并且将具有红外波长的光传输到位于二向色分束器1803后面的红外相机1805(例如，二向色分束器1803在窗口102(图18中未示出)与红外相机1805之间)。这种设置的优点是由红外相机1805确定的深度图像(例如，使用tof或当耦接到使用结构光视差计算的红外图案投影仪时)可以与由图像传感器捕捉的可见图像共同对准109。因此，可能不需要将一个图像扭曲为另一个图像以将它们对准(例如，如在具有单独相机的深度成像系统中所做的那样)。将深度图像和可见(通常是红色、绿色和蓝色)图像对准可以有利于使用深度和颜色信息的图像处理过程，例如合成景深、背景替换或去除、肖像模式、基于深度的照明效果等等。124.深度信息的使用示例125.如本文所述，可以使用传感器109上的集成分裂光电二极管技术(参照图9至图11描述)、使用立体相机(例如，使用透镜阵列)或者通过使用集成深度相机来确定深度信息。在一些实施方式中，深度信息可以用于操纵由透镜模块107及其孔径引入场景中失焦的对象的模糊。由于透镜孔径形状，这种模糊可能是不对称的。如果需要对称模糊(例如，圆形模糊)，则深度信息可以用于在图像的具有较少模糊或没有模糊的方向或区域上应用模糊。因此，当应用的模糊与非对称模糊结合时，图像可以具有圆形对称模糊。126.在一些实施方式中，高通滤光器或边缘检测算法(例如，基于梯度的)用于检测对焦的或失焦的并且不包含任何高频能量的对象。127.在一些实施方式中，透镜的孔径包括切趾滤光器，切趾滤光器具有更接近孔径外围的递减透射。孔径可以不是圆形的，并且切趾轮廓可以遵循孔形状，使得透射率由与孔径的外轮廓的距离限定。切趾的目的是消除失焦对象的高频信息。这可以为依赖于背景/前景分离的图像处理过程(例如肖像模式)提供更好的图像背景/前景分离。128.形成组合图像的示例方法129.现在参照图12，图12是示出根据实施方式的用于形成外部环境的视图的组合图像的方法的流程图。该方法可以从控制器113的角度执行。该方法的步骤可以以不同的顺序执行，并且该方法可以包括不同的、附加的或更少的步骤。所描述的一个或更多个步骤可以作为指令存储在机器可读介质上并由处理器执行(例如，如参照图13所描述的)。130.控制器113使反射器(例如，反射器105)围绕轴(例如，轴115)相对于图像传感器(例如，传感器109)旋转1201到第一位置。处于第一位置的反射器将来自与外部环境对应的视图的第一部分的光引向图像传感器。图像传感器捕捉1203视图的第一部分的图像。控制器113使反射器沿轴相对于图像传感器旋转1205到第二位置。处于第二位置的反射器将来自与外部环境对应的视图的第二部分的光引向图像传感器。第二位置可以不同于第一位置。图像传感器捕捉1207视图的第二部分的图像。控制器113将1209第一部分的图像和第二部分的图像相组合以形成与外部环境的视图对应的组合图像。控制器113可以通过执行图像拼接来组合图像。131.视图的第二部分可以与视图的第一部分具有至少一些交叠。132.在一些实施方式中，在由图像传感器捕捉第一部分的图像或由图像传感器捕捉第二部分的图像中的至少一个期间，反射器连续旋转。133.在一些实施方式中，在由图像传感器捕捉视图的第一部分的图像或由图像传感器捕捉视图的第二部分的图像中的至少一个期间，反射器相对静止。在此情况下，相对静止可以指代在图像传感器捕捉图像时反射器围绕轴旋转小于两度。例如，50毫秒的有意握手效果达到0.2度。因此，反射器可以在曝光期间沿任一方向旋转0.1度以补偿握手。134.为了组合图像，控制器113可以将第一部分的图像中的特征和边缘与第二部分的图像中的特征和边缘对准。135.在一些实施方式中，控制器113捕捉与外部环境对应的第二视图的图像(图像1405是外部环境的第二视图(视图1401)的示例图像)。第二视图包括第一部分和第二部分中的至少一些(例如，至少第一部分和第二部分的图像的拼接区域)。第一部分的图像和第二部分的图像的组合可以基于第二视图的图像。第二视图的图像可以由与图像传感器在物理上分开的第二图像传感器捕捉。136.控制器113可以从运动传感器接收运动数据，运动数据指示图像传感器相对于外部环境的视图的运动。响应于确定图像传感器相对于外部环境的视图的运动高于阈值，控制器113可以修改反射器的第一位置以补偿运动。处于经修改的第一位置的反射器将来自外部环境的视图的第一部分的光引向图像传感器。可替选地或附加地，控制器113可以将图像传感器相对于反射器的位置移位，其中处于经移位的位置的图像传感器接收来自外部环境的视图的第一部分的光。137.反射器和图像传感器可以被容纳在具有显示器的移动设备中，并且光在被反射器引导之前传播通过显示器。138.在一些实施方式中，在第一位置处，反射器的相对侧将光引向第二图像传感器。第二图像传感器与图像传感器在物理上分开。139.在一些实施方式中，控制器113使反射器沿轴相对于图像传感器旋转到第三位置。在第三位置处，反射器的相对侧将来自视图的第一部分的光引向图像传感器。控制器113由图像传感器捕捉视图的第一部分的第二图像。反射器的相对侧可以包括波长滤光器。140.控制器113可以使第二反射器围绕第二轴相对于图像传感器旋转。第二反射器将来自外部环境的视图的第三部分的光引向图像传感器。控制器113由图像传感器捕捉视图的第三部分的图像。在一些实施方式中，反射器将光引向图像传感器的第一部分，并且第二反射器将光引向图像传感器的第二部分。141.在一些实施方式中，第一位置将来自视图的第一部分的光引向图像传感器的第一部分。控制器113使反射器围绕轴相对于图像传感器旋转到第三位置。在第三位置处，反射器将来自视图的第一部分的光引向图像传感器的第二部分。图像传感器的第二部分可以包括在图像传感器的第一部分上不存在的波长滤光器。142.在一些实施方式中，反射器对一个或更多个红外波长透明。控制器由红外相机捕捉视图的一部分的图像，其中反射器被定位在红外相机与窗口之间。143.示例机器架构144.现在参照图13，图13是示出能够从机器可读介质读取指令并且在处理器(或控制器)中执行该指令的示例机器的部件的框图。具体地，图13示出了计算机系统1300的示例形式的移动设备103的图解表示。计算机系统1300可以用于执行指令1324(例如程序代码或软件)以使机器执行本文描述的任一个或更多个方法(或过程)(例如，参照图12描述的方法)。在可替选实施方式中，机器作为单独设备或连接到其他机器的连接(例如联网)设备操作。在联网部署中，机器可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在对等(或分布式)网络环境中作为对等机器运行。145.该机器可以是具有有着如下所述的处理器和存储器的处理部件的独立相机。该机器还可以是系统的一部分，该系统包括与服务器计算机、客户端计算机、个人计算机(pc)、平板pc、机顶盒(stb)、智能手机、物联网(iot)应用、或能够执行指定该机器要采取的动作的指令1324(顺序地或以其他方式)并且可以具有小体积区域(在该区域内并入本文所述的成像系统)的任何机器耦接的相机。此外，虽然仅示出了单个机器，但术语“机器”还应被视为包括单独地或联合地执行指令1324以执行本文所讨论的任一种或更多种方法的任何机器集合。例如，指令可以是用于控制关于图1至图18描述的成像系统部件和/或图像处理系统的指令。146.示例计算机系统1300包括一个或更多个处理单元(通常为处理器1302)。处理器1302是例如：中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、控制器、状态机、一个或更多个专用集成电路(asic)、一个或更多个射频集成电路(rfic)或这些的任意组合。计算机系统1300还包括主存储器1304。计算机系统可以包括存储单元1316。处理器1302、存储器1304和存储单元1316经由总线1308通信。147.另外，计算机系统10106可以包括静态存储器1306、显示驱动器1310(例如用于驱动等离子体显示板(pdp)、液晶显示器(lcd)或投影仪)。计算机系统1300还可以包括字母数字输入设备1312(例如键盘)、光标控制设备1314(例如，鼠标、轨迹球、操纵杆、运动传感器或其他指向工具)、信号生成设备1318(例如扬声器)以及网络接口设备1320，它们也被配置成经由总线1308通信。148.存储单元1316包括机器可读介质1322，在该机器可读介质1322上存储体现任一个或更多个本文描述的方法或功能的指令1324(例如软件)。指令1324还可以在其由计算机系统1300执行期间完全地或至少部分地驻留在主存储器1304内或处理器1302内(例如在处理器的高速缓冲存储器内)，主存储器1304和处理器1302也构成机器可读介质。指令1324可以经由网络接口设备1320在诸如网路120的网络1326上发送或接收。149.虽然机器可读介质1322在示例实施方式中被示出为单个介质，但是术语“机器可读介质”应当被认为包括能够存储指令1324的单个介质或多个介质(例如，集中式数据库或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应当被视为包括能够存储用于由机器执行并且使得机器执行本文中公开的方法中的任何一个或更多个方法的指令1324的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁介质形式的数据储存库。150.附加的注意事项151.本文所述的成像系统和相关联的算法在尺寸、体积、形状和性能方面比常规相机具有若干优点。例如，在其他优点中，本文描述的成像系统可以产生具有比可比尺寸的常规系统更大分辨率的图像。此外，成像系统可以在图像条带的捕捉期间调整反射器以补偿系统的无意运动。此外，可以通过旋转反射器来捕捉外壳前面或后面的外部环境的图像。如果外壳中包括多个图像传感器，则成像系统可以同时捕捉外壳前面和后面的图像。这些只是本文中描述的成像系统的一些优点。152.遍及本说明书，多个实例可以实现被描述为单个实例的部件、操作或结构。虽然一种或更多种方法的个体操作被示出和描述为分立的操作，但一个或更多个的个体操作可以同时执行，并且不要求以所示的顺序执行操作。在示例配置中被呈现为分开的部件的结构和功能可以被实现为组合的结构或部件。类似地，作为单个部件呈现的结构和功能可以被实现为单独的部件。这些和其他变型、修改、添加和改进落入本文中的主题的范围内。153.在本文中某些实施方式被描述为包括逻辑或多个部件、模块或机构，例如控制器模块113。模块可以构成软件模块(例如，包含在机器可读介质上或传输信号中的代码)或硬件模块。硬件模块是能够执行某些操作的有形单元，并且可以以某种方式来配置或布置。在示例实施方式中，一个或更多个计算机系统(例如，独立客户端或服务器计算机系统)或者计算机系统的一个或更多个硬件模块(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置成操作以执行如本文中描述的某些操作的硬件模块。154.在各种实施方式中，硬件模块可以机械地、电子地实现。例如，硬件模块可以包括被永久地配置成执行某些操作的专用电路或逻辑(例如，配置成专用处理器，例如现场可编程门阵列(fpga)或专用集成电路(asic))。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路(例如，配置成包含在通用处理器或其他可编程处理器内)。这样的软件可以至少将通用处理器临时转换成专用处理器。将意识到的是，可以通过成本和时间考虑来推动在专用的永久配置的电路中或在临时配置的电路(例如，由软件进行配置)中机械地实现硬件模块的决策。应当理解，以机械方式、在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中实现硬件模块的决定可能受成本和时间考虑的驱动。155.本文所述的示例方法的各种操作可以至少部分地由临时地配置(例如，由软件)或永久地配置以执行相关操作的一个或更多个处理器例如处理器1302来执行。无论是临时地被配置还是永久地被配置，这样的处理器都可以构成处理器实现的模块，所述处理器实现的模块操作成执行一个或更多个操作或功能。在一些示例实施方式中，本文中提到的模块可以包括处理器实现的模块。156.一个或更多个处理器还可以操作成支持“云计算”环境中的相关操作的执行或者操作为“软件即服务”(saas)。例如，至少一些操作可以由一组计算机(作为包括处理器的机器的示例)来执行，这些操作能够经由网络(例如，因特网)并且经由一个或更多个适当的接口(例如，应用程序接口(api))来访问。157.某些操作的执行可以分布在一个或更多个处理器之间，不是仅驻留在单个机器内，而是部署在多个机器中。在一些示例实施方式中，一个或更多个处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中，一个或更多个处理器或处理器实现的模块可以分布在许多地理位置中。158.本说明书的一些部分是以对存储为机器存储器(例如计算机存储器)内的位或二进制的数字信号的数据的操作的算法或符号表示来呈现。这些算法或符号表示是数据处理领域的普通技术人员用来将他们的工作的实质传达给本领域其他技术人员的技术示例。如本文所用的，“算法”是导致期望结果的操作或者类似处理的自洽序列。在此情况下，算法和操作涉及物理量的物理操作。通常但非必要地，这样的量可以采取能够被机器存储、访问、传输、组合、比较或以其他方式操纵的电、磁或光信号的形式。有时，主要出于通用的原因，使用诸如“数据”、“内容”、“位”、“值”、“元素”、“符号”、“字符”、“术语”、“数字”、“数词”等词语来指代这样的信号是方便的。然而，这些词语仅是方便的标记，并且要与合适的物理量相关联。159.除非另有明确说明，否则本文中使用诸如“处理”、“计算”、“运算”、“确定”、“呈现”、“显示”等的词语的讨论可以指代机器(例如，计算机)操纵或变换数据的动作或处理，所述数据被表示为一个或更多个存储器(例如，易失性存储器、非易失性存储器或其组合)、寄存器或者接收、存储、发送或显示信息的其他机器部件内的物理(例如，电子的、磁的或光的)量。160.如本文中使用的“一个实施方式”、“一些实施方式”或“实施方式”意指结合该实施方式描述的特定元件、特征、结构或特性包括在至少一个实施方式中。在本说明书中各处出现的短语“在一个实施方式中”不一定全部指代同一实施方式。161.可以使用表述“耦接”和“连接”以及它们的派生词来描述一些实施方式。例如，可以使用术语“耦接”来描述一些实施方式，以指示两个或更多个元素直接物理接触或者电接触。然而，术语“耦接”还可以表示两个或更多个元素彼此不直接接触，但是仍然彼此协作或相互作用。实施方式不限于该上下文。162.如本文中所使用的，术语“包括(comprises、comprising)”、“包括(includes、including)”、“具有”或其任何其他变型意在涵盖非排他性包括。例如，包括一系列要素的处理、方法、物品或装置不一定仅限于那些要素，而是可以包括未明确列出的或这样的处理、方法、物品或装置所固有的其他要素。此外，除非明确指出相反，否则“或”指包含性的“或”而不是排他性的“或”。例如，以下任何一项均满足条件“a或b”：a为真(或存在)且b为假(或不存在)，a为假(或不存在)且b为真(或存在)，以及a和b均为真(或存在)。163.此外，使用未加以数目限定的“一(a)”或“一(an)”来描述本文中实施方式的元件和部件。这仅是为了方便以及给出本发明的一般意义。这种描述应该被理解为包括一个或至少一个，并且单数还包括复数，除非明显意指其他含义。164.在阅读本公开内容之后，本领域技术人员将理解用于通过本文公开的原理形成组合图像的系统和过程的另外的可替选结构和功能设计。因此，尽管已示出和描述了特定实施方式和应用，但应当理解，本文中公开的实施方式不限于本文公开的准确构造和部件。在不脱离所附权利要求中限定的精神和范围的情况下，可以对本文公开的方法和装置的布置、操作和细节做出对于本领域技术人员而言明显的各种修改、改变和变型。当前第1页12当前第1页12