利用傅里叶变换的全光成像系统的校准的制作方法

利用傅里叶变换的全光成像系统的校准的制作方法
【专利摘要】本发明公开了全光成像系统的校准。全光成像系统包括被细分为超像素的检测器阵列。由全光成像系统的检测器阵列捕获的全光图像被访问。对于一排超像素，选择通过该排的一切片，所选择的切片的傅里叶变换与通过该排的其它切片相比具有更强的基波分量。基于所选择的切片的基波分量的频率来确定该排超像素的间距。基于所选择的切片的旋转来确定该排超像素的旋转。
【专利说明】
利用傅里叶变换的全光成像系统的校准
技术领域
[0001] 本公开总体上设及全光成像系统，更特别地，设及全光成像系统的校准。
【背景技术】
[0002] 全光成像系统最近越发引起关注。它可被用来基于对所捕获的全光图像进行数字 处理来重新计算物体的不同的焦点或者观察点。全光成像系统，通过利用位于主成像模块 的光瞳平面中的多模式滤光器阵列，还在多模式成像方面获得应用。每个滤光器在传感器 上成像，从而针对滤光器阵列的每一成像模式有效地产生多路传输(multiplexed)的物体 图像。全光成像系统的其它应用包括变景深成像和高动态范围成像。
[0003] 但是，全光成像系统的体系结构不同于传统成像系统的体系结构，因此需要不同 的校准和处理程序。在全光图像的处理中存在若干挑战。首先，微透镜阵列的对准绝非完 美，微透镜阵列相对于传感器阵列的旋转效应是相当明显的。该旋转给图像重建带来大量 困难，运是因为数据点并不落在规则的取样栅格上。此外，对于不同的应用场合，可能使用 不同的焦点设置。对于全光成像系统，焦点的变化影响入射光的角度，而运可能对图像向着 其周边的有效间距产生一小的、但可辨识的量的影响。
[0004] 因此，需要用于全光成像系统的校准技术。

【发明内容】

[0005] -些实施例通过提供一种用于校准全光成像系统的方法克服了现有技术的局限。 全光成像系统包括被细分为超像素的检测器阵列。由全光成像系统的检测器阵列捕获的全 光图像被访问。对于一排超像素，选择通过该排的一切片，所选择的切片的傅里叶变换与通 过该排的其它切片相比具有更强的基波分量。基于所选择的切片的基波分量的频率来确定 该排超像素的间距。基于全光图像相对于所选择的切片的旋转来确定该排超像素的旋转。
[0006] 本公开的其它方面包括对应于上述方法的计算机可读存储介质和系统，W及用于 前述的应用。
【附图说明】
[0007] 本公开中的实施例具有其它优点和特征，其将从下面的详细描述W及所附权利要 求在结合附图考虑时变得更明显，附图中：
[0008] 图IA是根据一实施例的全光成像系统的示图；
[0009] 图IB示出根据一实施例的检测器到光瞳平面的投射；
[0010]图IC是根据一实施例的图IA的细节；
[0011] 图ID是进一步示出根据一实施例的图IA的系统的操作的示图；
[0012] 图2A是示出根据一实施例的具有完美对准的部件的全光成像的示图；
[0013] 图2B是示出根据一实施例的未对准的微成像阵列的效果的示图；
[0014] 图3是根据一实施例的用于校准全光成像系统的一个方法的流程图；
[0015] 图4是根据一实施例的用于选择如图3中所讨论的切片的方法的流程图；
[0016] 图5A是示出根据一实施例的示例性参考全光图像的示图；
[0017] 图5B是示出根据一实施例的利用来自图5A中的参考全光图像的一排图像的切片 偏移的不图；
[0018] 图6A是示出根据一实施例的针对-0.006弧度的旋转角且零像素被丢弃而计算的 切片的谱功率的示图；
[0019] 图6B是示出根据一实施例的在'X'个像素被丢弃的状态下的图6A中的切片的谱功 率的示图；
[0020] 图6C是示出根据一实施例的在'n'个像素被丢弃的状态下的图6A中的切片的最大 谱功率的示图；
[0021] 图6D是示出根据一实施例的在多于'n'个像素被丢弃的状态下的图6A中的切片的 谱功率的示图；
[0022] 图7A是示出根据一实施例的在-0.004弧度的旋转角下计算的一部分全光参考图 像的切片的谱功率的示图；
[0023] 图7B是示出根据一实施例的在-0.005弧度的旋转角下计算的那部分全光参考图 像的切片的谱功率的示图；
[0024] 图7C是示出根据一实施例的在-0.006弧度的旋转角下计算的那部分全光参考图 像的切片的谱功率的示图；
[0025] 图7D是示出根据一实施例的在-0.007弧度的旋转角下计算的那部分全光参考图 像的切片的谱功率的示图；
[0026] 图7E是示出根据一实施例的在-0.008弧度的旋转角下计算的那部分全光参考图 像的切片的谱功率的示图；
[0027] 图8A是根据一实施例的由未针对因焦点设置导致的间距变化而进行校准的全光 成像系统输出的图像；
[0028] 图8B是根据一实施例的由针对因焦点设置导致的间距变化而进行了校准的全光 成像系统输出的图像。
[0029] 运些图仅仅是W示例的目的来描述各实施例。本领域技术人员将从下面的讨论容 易地认识到，在不偏离运里描述的原理的条件下，可W采用运里所说明的结构和方法的替 代实施例。
【具体实施方式】
[0030] 图1A-1D是根据一实施例的全光成像系统100的示图。全光成像系统100捕获物体 150的全光图像。全光成像系统100包括图像形成光学模块105,该图像形成光学模块105在 图1中由单个透镜元件表示，但是应当理解，光学模块105可W包含多个元件和/或非透镜元 件(例如，反射镜）。光学模块105形成物体150的传统的光学图像160。光学模块105也可称为 主成像模块、子系统、或系统。光学图像160形成在光学模块105的图像平面125。光学模块 105的特征在于光瞳117和光瞳平面115,其在图1中由与单个透镜元件共同定位的物理孔径 光阔表示。在更复杂的光学模块105中，光瞳117和光瞳平面115不必与光学模块内的任何光 学元件共同定位。
[0031] 在传统的成像系统中，检测器阵列位于图像平面125上W捕获光学图像160。但是， 对于图1中的全光成像系统100,情况并非如此。为了说明的目的，光瞳117可被分为不同的 区域11 Iw-Z(图IA中仅标出区域11 Iw)，W帮助说明下面参照图1B-1D讨论的构思。
[0032] 再者，微成像元件121的微成像阵列120位于图像平面125上。在图1中，微成像元件 m被示出为微透镜。也可W使用其它的元件，例如针孔阵列。检测器阵列130位于微成像阵 列120的后面(也就是，光学上的下游）。更具体地，检测器阵列130位于光瞳平面115的共辆 平面135中。也就是，每个微成像元件121在共辆平面135处形成光瞳平面115的图像，而该图 像由检测器阵列130捕获。
[0033] 在微透镜的情形下，每个微透镜121在检测器平面135处形成光瞳的图像170。该光 瞳的图像由检测器阵列130中的一部分检测器131捕获。每个微透镜121形成它自己的图像 170。运样，在检测器平面135处形成的总的全光图像将包括超像素170的阵列，一个微透镜 121有一个超像素。此阵列式的成像有效地将检测器阵列细分为超像素133,每个超像素包 含多个检测器131。每个微透镜121将光瞳成像到相应的超像素133上，每个光瞳图像然后被 相应的超像素中的检测器捕获。
[0034] 相反地，参照图1B，每个个体的检测器131可W通过微透镜121投射到光瞳平面115 中的相应位置119。对于那个特定的检测器131，微透镜121收集来自相应位置119的光。图IB 示出检测器131A通过中屯、微透镜投射到位置119A，检测器131B投射到位置119B。检测器的 投影119优选地相对于实际检测器尺寸131放大至少10倍。
[0035] 对于更多的细节参照图1C，每个微透镜121将(落在光瞳内的）区域Illw-Z成像到 超像素133上。每个个体区域Illw仅为区域111的全部的一部分，因此区域Illw的图像171W 将仅覆盖超像素133的一部分。该部分被称为子像素132,如图IC的细节所示。也就是，每个 微透镜121将来自区域111的光引导到相应的子像素132。每个子像素132可包含一个或多个 检测器。
[0036] 每个检测器131收集行进通过一个微透镜121的来自一个区域(例如，区域11 Iw)的 光。微成像阵列120位于物体150的共辆平面中，因此在物体150和微成像阵列120之间也存 在成像关系。因此，入射在微透镜上的光是源自物体的一部分、而不是整个物体的光。在一 些系统中，滤光器阵列位于光瞳平面，每个区域111对应于不同的滤光器。在运种情形下，每 个检测器131收集来自物体的相应部分的（如由微透镜的范围确定的）光，如由相应的滤光 器111所过滤的。
[0037] 图ID更详细地示出该构思。为了简洁，省略主透镜105。在运个例子中，物体150被 分成立个子物体151A、B、C。类似地，四个区域lllw、x、y、z对应于四个不同的滤光器。物体 150被成像到微成像阵列120上。更具体地，子物体151B被成像到微透镜121B上。运意味着， 每一离开子物体151B的光线将行进通过光瞳(并通过不同的区域111，取决于在光瞳中的位 置)并到达微透镜121B。类似地，子物体151A被成像到微透镜121A上，子物体151C被成像到 微透镜121C上。
[0038] 此外，微透镜121B将区域111的全部（至少落在光瞳内的部分）成像到子阵列133B 上。运样，区域Illw将通过微透镜121B成像到子像素132B(w)上，区域Illx将通过微透镜 121B成像到子像素132BU)上，对于其它滤光器/子像素对来说同理，对于其它微透镜121来 说也同理。对于完全落在子像素132B(w)内的检测器131，那些检测器将检测通过区域Illw 的来自子物体151B的光。对于其它子像素132A(w)-132C(z)，情况也是如此。
[0039] 成像系统是"光场"成像系统，因为由检测器收集的光线不仅是它们在物平面中的 位置的函数(如在传统的成像系统中那样），而且还是它们在光瞳平面中的位置的函数。
[0040] 再次参照图1A，处理模块180收集来自检测器阵列130的数据并由此对它进行处 理。作为一个简单的例子，数字处理单元180可对数据进行重新整理，从而将来自子像素 132A(w)、132B(w)和132C(w)的数据收集在一起W针对通过区域(或者滤光器Hllw的光形 成整个物体的图像。对于区域lllx、y、z，也可W运么做。还可W执行其它类型的处理，因为 捕获的光场包括关于光瞳平面和物体二者的信息。
[0041] 全光成像系统100的制造并不总是导致微成像阵列120与检测器阵列130很好地对 准。全光图像的处理对微成像阵列120和检测器阵列130之间的未对准敏感。在W前的例子 中，为了处理子像素132A(w)、132B(w)和132C(w)，应当知道哪个个体检测器对应于子像素 132A(w)、132B(w)和132C(w)。未对准可能影响全光成像系统110内的视图提取。
[0042] 图2A是示出光瞳117和微成像阵列120与检测器阵列130完美对准时的全光成像的 示图。在运个例子中，光瞳117是圆形的并被分为四个区域A-D，例如连同四象限滤光器阵列 一起使用的圆形透镜。微成像阵列120是微透镜121的3X3阵列。除了用于每个微透镜的通 光孔径之外，微成像阵列120由每个微透镜的中屯、限定。微透镜完美对准，使得它们的中屯、 位于正方形栅格上，如虚线所示。得到的全光图像175是光瞳的超像素170的3X3阵列(也就 是，超像素）。为了清楚起见，放大率和反转被忽略。每个图像170的中屯、位于一由限定微透 镜的中屯、的正方形栅格确定的正方形栅格上。图2A中的粗的X轴和y轴示出相对于检测器阵 列限定的局部坐标系统。对于全光图像175,粗的X轴和y轴示出全光图像175相对于检测器 阵列的位置。全光图像175与检测器阵列130的对准确定了哪些检测器对应于哪些超像素和 子像素。在图2A中，全光图像175与检测器阵列完美对准。
[0043] 图2B是示出未对准的微成像阵列120的效果的示图。在该图中，粗的X轴和y轴示出 部件的初始对准位置。在图2B中，微成像阵列120被旋转。运使限定每个图像170在全光图像 中的位置的正方形栅格旋转。但是，每个图像170本身并不旋转(假设运些微透镜自身是旋 转对称的）。也就是，每个图像170由于所划线的正方形栅格的旋转而平移到新的位置。所述 旋转可能是由于例如在制造期间微透镜121的未对准所致。不管什么原因所致，该旋转都影 响图2A的完美正方形栅格。微透镜的新的中屯、限定新的栅格。
[0044] 要指出，图2B中的未对准改变了哪些检测器贡献于哪些超像素和子像素。为了清 楚起见，图2A和2B中忽略了放大率。但是，全光图像175的放大率的变化(也就是，虚线正方 形栅格的拉伸或缩小)也将改变哪些检测器贡献于哪些超像素和子像素。总的来说，重要的 是，准确映射检测器阵列到全光图像，使得全光图像可W被处理成具有好的结果。在许多情 形下，该映射优选地通过校准过程完成。
[0045] 如下面进一步解释的，校准一般包括确定全光图像相对于检测器阵列130的旋转。 确定旋转是重要的，因为如果不那样做，在视图提取中会发生错误。校准还主要包括确定超 像素相对于检测器阵列130的间距(也就是，尺寸）。在一些实施例中，成像全光系统100对提 取的视图执行超分辨率技术。因此，具有精确的间距是重要的，因为它影响超分辨率技术。 旋转和间距可能会受到微透镜阵列120相对于检测器阵列130的定位的影响，但是也可能受 到其它因素的影响，例如焦点设置的变化。再者，因为要应用超分辨率技术，所W间距在子 像素方面具有高粒度(granularity)是必要的。因此，找到准确的间距并W非整数像素项来 表示它变得非常重要。
[0046] 图3是用于校准全光成像系统100的一个方法的流程图。在一个实施例中，图3的过 程通过全光成像系统1〇〇(例如经由处理模块180)执行。在其它的实施例中，其它的模块可 执行该过程的一些或全部步骤。同样地，实施例可包括不同的和/或额外的步骤，或者W不 同的顺序来执行运些步骤。
[0047] 全光成像系统100捕获310参考全光图像。在一些实施例中，全光成像系统对一被 均匀照明的物体(例如，在成像时充满检测器阵列130的白色卡片)进行成像，W产生参考全 光图像。如上方讨论的，每个微透镜121在检测器平面135处形成光瞳117的超像素170或图 像。因此，W上面描述的方式产生的参考全光图像是图像或超像素的二维阵列，每个微透镜 121有一个。
[0048] 不同的一维切片可W通过参考二维全光图像获得。出于校准目的，我们主要关屯、 通过一排超像素获得的一维切片。例如，考虑一排N个超像素。切片可W通过该排超像素的 顶部、中间或底部来获得，也就是，在具有最高谱功率的该排内的不同偏移处。切片还可W 在图像的不同旋转上获得。例如，一个切片可W从该排的底部左侧延伸到顶部右侧，另一个 可W延伸通过该排的中间，再一个可W从该排的顶部左侧延伸到底部右侧。在一些实施例 中，排内的偏移是固定的。
[0049] 校准程序选择320通过参考全光图像的一维切片，该一维切片的傅里叶变换（例 如，离散傅里叶变换)在参考全光图像中具有最高的谱功率。"最高"功率一般被实施为在其 基波分量中具有更高的谱功率的切片。在一种方法中，运通过首先考虑在一排超像素内的 不同偏移处的切片来实现。运些切片彼此平行并跨过该排超像素。参见图5A和5B。选择具有 最高谱功率的切片(例如，与其它切片相比具有更强的基波分量的切片）。然后，使参考全光 图像相对于所选择的切片旋转至不同的角度W产生第二多个切片。参见图7A-7E。物理上， 一切片是已经基于对间距的精确要求而被放大(例如，8倍、16倍放大)的一排原始传感器数 据。再次地，选择具有最高谱功率的切片。
[0050] 使用所选择的切片来确定330全光图像的那部分相对于检测器阵列130的间距和 旋转。间距基于所选择的切片的傅里叶变换的基波频率来确定。例如，间距可W通过用与最 高谱功率相关联的基波频率除W采样尺寸(a size of the sample)来确定。在一些实施例 中，采样尺寸考虑了谱泄漏。
[0051] 旋转基于所选择的切片的旋转来确定。可W假定全光图像的其余部分具有相同的 间距和旋转。替代地（W及可选地），对于全光图像中的不同位置（也就是，不同排的超像 素），该过程可W被重复340, W确定对于每个位置的间距和旋转。例如，在切片是用于跨过 整个全光图像的一排的情况下，可W假设间距和旋转在横穿整个排上是恒定的。或者，可W 使用多个切片来跨越整个全光图像。在那种情形下，对于多个切片中的每一个，可W确定不 同的间距和旋转(也就是，分段解决方案）。当存在多个采样点时，也可W使用内插法。还可 W对于不同的方向来确定间距。X和y的间距因六边形包装而不同，但是可W利用简单的几 何形状来确定其它间距。
[0052] 在步骤320中，可W使用不同的方法学来识别具有最高谱功率的切片。方法学可W 包括例如迭代法(例如，下面针对图4中的旋转所讨论的）、穷举捜索、梯度上升、识别一组数 字中的最大值的一些其它方法学、或者它们的一些组合。此外，给定一排超像素，识别切片 一般使用两个或者更多个变量:切片的偏移、切片的旋转、切片的可能长度。运些变量可W 单独地或一起被优化。例如，图4首先选择偏移，然后选择旋转。在替代的方法中，运些变量 均可一起优化。
[0053] 图4是用于如在图3中讨论的选择320-切片的实施例的流程图。在一个实施例中， 图4的过程由全光成像系统100(例如，经由处理模块180)执行。在其它的实施例中，其它的 模块可执行该过程的一些或全部步骤。同样地，实施例可包括不同的和/或额外的步骤，或 者W不同的顺序执行运些步骤。要指出，图4中及稍后在图6A-D、7A-E和8A-B)中提供的 数据的数据值只是示例性的，运些数据值是用于特定的主透镜(例如，光学模块105)和照相 机传感器(例如，检测器阵列130)的。如果使用具有不同的焦点值的一些其它主透镜和/或 其它的照相机传感器，则数据值可能不同。
[0054] 图4所示的过程可W分为两个阶段。第一阶段包括低于410的步骤。该阶段考虑在 一排超像素内的不同偏移处的切片。切片彼此平行并跨越该排超像素。一维切片首先被定 义402,然后被构造405。具有最高谱功率的切片（例如，与其它切片相比具有更强的基波分 量的切片)被选择407。
[0055] 第二阶段包括步骤410和高于410的步骤。在运个阶段，参考全光图像相对于在第 一阶段中选择的切片被旋转到不同的角度，并选择最佳旋转角。在初始分辨率下的初始的 一组旋转角被确定410。在一些实施例中，初始的一组旋转角括住(bracket)零弧度并且是 在初始的分辨率。初始的分辨率控制相邻的旋转角之间的分离。例如，初始的分辨率可W是 0.001 弧度，并且一组旋转角可W是[-0.010,-0.009, ???0.000???0.009,0.010]。在运个例子 中，括号的大小是21个旋转角。在其它的实施例中，括号的大小和/或初始的分辨率可W是 更大或者更小的。
[0056] 参考全光图像相对于该切片旋转412到第一旋转角。当参考全光图像相对于该切 片旋转时，该切片对全光参考图像的不同的部分进行采样。因此，每个旋转角对应于对全光 参考图像的不同部分进行采样的一切片。
[0057] 该切片的谱功率被确定415并针对谱泄露被调节。运通过对切片进行离散傅里叶 变换(DFT)并利用DFT的输出来确定该切片的谱功率而完成。
[0058] 注意，因为该切片是有限的，所W切片的DFT在频谱上产生稍微模糊的输出。谱泄 漏是因为切片是长度有限的而被引入到DFT的输出中的实质上不期望的频率成分。频率分 量一般显示为突然的频率跃变或者一些其它的高频现象，其可能掩盖期望的频率分量。
[0059] 谱泄漏通过执行如下面关于图6A-6D示例的谱捜寻而被调节。为了执行谱捜寻，针 对不同大小的切片样品，确定切片的谱功率(例如利用切片的DFT)，W保证正确的频率分量 (例如，对应于微透镜的间距的那些频率分量)被给予谐振的机会，而不被谱泄漏遮蔽。在一 些实施例中，对应于切片的开始的起点和对应于切片的末端的终点被确定。包括起点和终 点的切片的谱功率被确定。起点向着终点移动一个像素，从而有效从切片丢弃前一起点，然 后，确定当前的稍微更小的切片的谱功率。移动起点并确定不断被截短的切片的谱功率的 该过程被重复，直到一阔值的像素数已经被丢弃。因此，多个谱功率被产生，每个对应不同 尺寸的切片。在一些实施例中，阔值的像素数是运样的，即，使得丢弃掉的切片的部分跨过 两个相邻的超像素。多个谱功率中具有频率分量的最高谱功率的谱功率被选择，其对应于 全光图像的间距。
[0060] 返回图4,步骤420判断是否已经针对初始的一组旋转角中的全部旋转角确定了谱 功率。如果没有，则使参考全光图像相对于切片旋转425到一不同的旋转角。继续上面的例 子，全光图像可W被旋转W使得它相对于在第一阶段中选择的切片处于-.009弧度。该流程 然后移动到步骤415并确定在该不同的旋转角下切片的谱功率。该过程被继续，使得针对该 切片、在该组旋转角中的全部旋转角下确定谱功率。注意，在运个实施例中，所确定的谱功 率都已经针对谱泄露被调节。在替代实施例中，校准模块不调节谱泄漏的谱功率。
[0061] 与最高谱功率相关联的旋转角被选择430。例如，初始的一组旋转角中具有最高谱 功率的旋转角可W是-0.006弧度，其然后被选择(见下面的表1)。步骤435判断所选择的旋 转角的分辨率是否大于或等于阔值。阔值决定旋转角被确定的精确程度。例如，阔值可W是 0.00001弧度。如果选择的旋转角的分辨率大于或者等于阔值，则过程结束。否则，如果选择 的旋转角的分辨率小于阔值，则分辨率增加440,例如10倍。继续上面的例子，分辨率现在将 为0.0 OOl弧度，而非0.0 Ol弧度。
[0062] 步骤445确定增加分辨率下的更精细的一组旋转角。更精细的一组旋转角括住W 前选择的（在步骤430选择的)旋转角。继续上面的例子，校准模块将WO.OOOl弧度的增强分 辨率下的旋转角括住-0.006弧度(也就是，W前选择的旋转角）。例如，更精细的一组旋转角 可W是[-0.0070，-0.0069，。0060. 0051，-0.0050]。
[0063] 参考全光图像相对于切片旋转450到更精细的一组旋转角中的第一旋转角。例如， 全光图像可W被旋转W使得它相对于在第一阶段选择的切片处于-0.0070弧度。流程然后 移动到步骤415,并经由步骤415、420、425、430和435确定切片在更精细的一组旋转角中的 每个旋转角下的谱功率，并选择430更精细的一组旋转角中具有最高调节功率的旋转角。例 如，在更精细的一组旋转角中，-0.0063弧度的旋转角可具有最高的调节的谱功率。再一次 地，步骤435判断选择的旋转角的分辨率是否大于或等于阔值，如果选择的旋转角的分辨率 仍小于阔值，则流程将移动到步骤440。W运种方式，校准过程能够W迭代方式快速地识别 旋转角到非常精细的程度。
[0064] 一旦校准过程确定435选择的旋转角的分辨率大于或等于阔值，过程结束并移动 到图3的步骤330。
[00化]例如，表1示出步骤410-450针对特定的主透镜（例如光学模块105)和照相机传感 器(例如，检测器阵列130)的特定的参考图像选择具有最高谱功率的旋转角的结果。如果使 用具有其它焦点值的主透镜和/或其它的照相机传感器，则运些值可能不同。
[0066]表 1
[0067]
[0068] 从表1中的示例值来看，明显地，校准过程W . 001弧度的分辨率开始，并在-0.006 弧度的旋转角确定了初始获胜者(也就是，在给定的一组旋转角中具有最高谱功率）。然后 使分辨率增大10倍，而后找到在更精细的分辨率下的另一获胜旋转角（也就是，-0.0063弧 度）。然后使分辨率增大10倍，并找到位于-0.00626弧度的最终获胜者。
[0069] 图5A和5B示出图4的第一阶段。图5A是示出示例性的参考全光图像500的示图。在 运个例子中，微成像阵列120是六边形包装的微透镜121的9X9阵列。因此，参考全光图像 500包括六边形包装的超像素170的9 X 9阵列。9 X 9阵列由巧巧lOa-i组成，每排包括用于微 成像阵列120中的相应微透镜的每一个微透镜的九个超像素。图4的第一阶段找到参考全光 图像500的切片530,该切片的傅里叶变换在参考全光图像中具有最高谱功率。
[0070] 图5B是示出利用来自图5A中的参考全光图像500的一排510超像素170的切片偏移 的示图。切片的谱功率随着它在排中的偏移而变化。参考全光图像500是光瞳117的超像素 170的主要周期性阵列(mostly periodic array)。通过一排510超像素170的切片的偏移影 响与该切片相关联的谱功率。例如，排510可包括通过排510的顶部部分的切片540a、通过排 510的中间的切片54化、W及通过排510的底部部分的切片540c。切片540a、540b和540c的谱 功率彼此都不同，并且，对于排510,存在一个切片，该切片与排510内的其它切片相比具有 更高的谱功率。例如，切片54化可W具有最高谱功率。要指出，在一些实施例中，切片可W相 对于排W非零角度跨越排510或排510的一部分(例如，如果切片相对于排510旋转的话）。
[0071] 图6A-D示出上面参照图4讨论的谱捜寻中的不同步骤。随着像素被丢弃，谱分量 640的功率可W增加和/或减小。谱分量640的最大谱功率出现在被用于如上面参照图3和4 所述计算间距的基波频率处。图6A是示出在-0.006弧度的旋转角且零像素被丢弃的条件下 计算的切片610的谱功率的示图600。从起点620A到终点630计算切片610的DFT。示图600包 括谱功率图615,其示出作为频率的函数的计算出来的DFT的谱功率。谱分量640A具有最强 谱功率。
[0072] 图6B是示出在'X'个像素被丢弃的状态下图6A的切片610的谱功率的示图660。切 片610的该DFT从起点620B计算到终点630。起点620A和起点620B之间的差异在于，'X'个像 素已经从切片610被丢弃。谱分量640B具有比谱分量640A更高的谱分量。
[0073] 图6C是示出在'n'个像素被丢弃的状态下图6A的切片610的最大谱功率的示图 670。切片610的DFT从起点620C计算到终点630。起点610A和起点610C之间的差异在于，'n' 个像素已经从切片610被丢弃，并且'n'大于'X'。要指出，谱分量640C具有比图6A和6B中的 640A和640B更高的谱分量。
[0074] 图6D是示出在多于'n'个像素被丢弃的状态下图6A的切片610的谱功率的示图 680。切片610的DFT从起点620的十算到终点630。起点620A和起点620D之间的差异在于，多于 'n'个像素。要指出，谱分量640D具有比图6C中的640C低的谱分量。因此，在运个例子中，谱 分量640C对应于基波频率。
[0075] 图7A-E示出切片的谱功率如何随着旋转角变化。图7A是示出在-0.004弧度的旋转 角下计算的全光参考图像的一部分720的切片710A的谱功率的示图700。示图700包括全光 参考图像的部分720和谱功率图730。部分720相对于切片710A旋转-0.004弧度的旋转角，并 针对谱泄漏调节切片710A的大小，如前面描述的。谱功率图730示出-0.004弧度的旋转角下 的占优谱分量(dominant spectral component)740A。
[0076] 图7B是示出在-0.005弧度的旋转角下计算的全光参考图像的部分720的切片710B 的谱功率的示图750。部分720相对于切片710B旋转-0.005弧度的旋转角。谱功率图730示 出-0.005弧度的旋转角下的占优谱分量740B。要指出，占优谱分量740B具有比图7A中的 740A的功率更高的功率。
[0077] 图7C是示出在-0.006弧度的旋转角下计算的全光参考图像的部分720的切片710C 的谱功率的示图760。部分720相对于切片710C旋转-0.006弧度的旋转角。谱功率图730示 出-0.006弧度的旋转角下的占优谱分量740C。要指出，对于运个例子，-0.006弧度的旋转角 产生最大的占优谱分量740C。
[0078] 图7D和E示出占优分量的功率如何随着旋转角离开-0.006弧度而减小。图7D是示 出在-0.007弧度的旋转角下计算的全光参考图像的部分720的切片710D的谱功率的示图 770。部分720相对于切片710D旋转-0.007弧度的旋转角。谱功率图730示出-0.007弧度的旋 转角下的占优谱分量740D。此外，图7E是示出在-0.008弧度的旋转角下计算的全光参考图 像的部分720的切片710E的谱功率的示图780。部分720相对于切片710E旋转-0.008弧度的 旋转角。谱功率图730示出-0.008弧度的旋转角下的占优谱分量740E。要指出，图7C中的占 优谱分量740C具有比740C、740D W及740A和740B的功率更高的功率。
[0079] 上面关于图3和4讨论的校准过程的一个有益效果是，它们对于给定焦距的有效间 距的任何变化同样有用。对于全光成像系统100,全光图像相对于检测器阵列130的旋转角 一般不随焦点变化而变化。但是，焦点的变化影响入射光的角度，运可能影响间距确定。在 一些实施例中，全光成像系统100针对不同的可能的焦点设置来执行上面参照图3和4描述 的校准，并因此确定用于不同焦点设置的间距值。例如，聚焦30mm处的物体可能导致 18.5649个像素的相应间距值，而聚焦70mm处的物体可能导致18.5817个像素的间距值。因 此，全光成像系统100能够基于给定的焦点设置来选择正确的间距值。
[0080] 如果不考虑焦点变化，则可能导致图像的周边周围的稱色和/或图像的其它变形。 图8A是由不考虑因焦点设置而引起的间距变化的全光成像系统100输出的图像800。注意， 图像的周边的稱色810。相反，图8B是由对因焦点设置而引起的间距变化进行校准的全光成 像系统100输出的图像850。
[0081] 上面描述的全光成像系统100的校准可W由不同的实体和/或在不同的时间执行。 例如，校准可W在工厂执行，由全光成像系统100的用户在现场执行，由全光成像装置100自 动执行，等等。例如，全光成像系统100可W配置为，在一新的图像形成光学模块105附接到 全光成像系统100时执行校准。在一些实施例中，校准微成像阵列120到检测器阵列130的对 准W及依据传感器像素大小校准每个微透镜121的间距，都针对每一全光成像系统100系统 地执行（例如，经由上面参照图3和4描述的过程）。如果多光谱滤光器被添加或更换到之前 校准的全光成像系统100,则全光成像系统100应当重新校准。在一些实施例中，因聚焦环设 置对间距参数的校准，对一家族的全光成像系统100执行一次。
[0082] 在此公开的校准系统和方法具有许多优点。例如，全光成像系统100的校准修正了 视图提取并有助于超分辨率技术。此外，校准包括微成像阵列120相对于检测器阵列130的 对准，其通过考虑由视图混合产生的不正确视图而修正了视图提取误差。另一个优点是，利 用子像素数据，依据传感器像素大小对每个微透镜121的间距的校准有助于超分辨率技术。 此外，校准因聚焦环设置引起的间距参数的变化的优点是，通过考虑透镜焦点变化对捕获 的光的角度的影响，来修正图像的周边周围的稱色和/或图像的其它变形。
[008引附加构型信息
[0084] 虽然详细的描述包含许多特定量，但是运些不应解释为限制本公开的范围，而是 仅仅用于说明不同的例子和各实施例的不同方面。应当认识到，本公开的范围包括上面没 有详细讨论的其它实施例。
[0085] 例如，各种类型的光学模块可W被使用，包括反射系统和反射折射系统。在一些应 用中，光学模块优选地是远屯、的。最后，诸如"光"、"光学"的术语并不是要被限制到电磁谱 的可见或纯光学区域，而是还包括诸如紫外线和红外线的区域(但并不限于此）。
[0086] 上面描述的一些部分依据算法过程或操作描述了实施例。运些算法描述和表述是 数据处理领域的技术人员将它们工作的实质部分有效地传达给本领域中的其它技术人员 所常用的。运些操作虽然在功能上、计算地、或逻辑地被描述，但是运些操作应当被理解为 通过计算机程序实施，所述计算机程序包括由处理器或等效电路执行的指令、微编码、或类 似物。而且，有时将运些功能操作配置称为模块是方便的，而不失一般性。描述的操作及其 相关联的模块可W体现为软件、固件、硬件或其任何组合。在一个实施例中，软件模块通过 计算机程序产品实施，该计算机程序产品包括含计算机程序编码的非易失的计算机可读介 质，所述编码能够通过计算机处理器执行，W便执行所描述的任一或全部步骤、操作或过 程。
[0087] 如在此使用的，提到"一个实施例"或者"一实施例"是指，关于该实施例描述的特 定元件、特征、结构或特点被包括在至少一个实施例中。说明书不同地方的出现的短语"在 一个实施例中"未必全部指的是同一实施例。
[0088] 如在此使用的，术语"包括"、"包含"、"具有"或其任何其它变体，意在指非排他的 包括。例如，包括一系列要素的过程、方法、物品或者设备并不一定被局限于仅那些要素，而 是可W包括其它未明确列出的要素或属于该过程、方法、物品或者设备所固有的要素。进一 步地，除非另有相反说明，"或者"指的是包括性的或者，而不是排他性的或者。例如，条件A 或B被W下的任一个满足:A为真（或存在)且B为假(或不存在）、A为假(或不存在)且B为真 (或存在）、W及A和B都为真(或存在）。
[0089] 此外，"一"在此被用来描述实施例的元件和部件。运仅仅是为了方便，并且是给予 本公开的一般意义。该描述应当被理解为包括一个或者至少一个，单一也包括多个，除非其 明显具有相反含义。
[0090] 本申请是基于2015年3月4日提交的美国在先申请No. 14/638,907,并要求其优先 权权益，该美国在先申请的全部内容通过参考而引入在此。
【主权项】
1. 一种用于校准全光成像系统的方法，该全光成像系统包括检测器阵列，该全光成像 系统将检测器阵列细分为超像素，所述方法包括处理器执行以下步骤： 访问由全光成像系统的检测器阵列捕获的全光图像； 对于一排超像素，选择通过该排的一切片，所选择的切片的傅里叶变换与通过该排的 其它切片相比具有更强的基波分量；以及 基于所选择的切片的基波分量的频率来确定该排超像素的间距，并基于全光图像相对 于所选择的切片的旋转来确定该排超像素的旋转。2. 如权利要求1所述的方法，所述方法进一步包括： 确定所选择的切片和全光图像之间的多个不同的旋转角； 确定在所述多个旋转角中的每一旋转角下的切片的谱功率;和 选择与最高谱功率相关联的旋转角，所选择的旋转角是该排超像素的旋转。3. 如权利要求2所述的方法，其中，确定在所述多个旋转角中的每一旋转角下的切片的 谱功率进一步包括针对谱泄漏调节每一谱功率。4. 如权利要求3所述的方法，其中，针对谱泄漏调节谱功率包括： 对于一特定的旋转角， 对于切片的不同的采样尺寸，确定切片的谱功率;和 从所确定的谱功率中选择最高谱功率。5. 如权利要求1所述的方法，其中，基于所选择的切片的基波分量的频率来确定该排超 像素的间距是针对多个不同的焦点设置进行的。6. 如权利要求1所述的方法，其中，该切片跨越整排超像素。7. 如权利要求1所述的方法，进一步包括： 利用包括所选择的切片的多个切片对全光图像进行采样，其中每个切片通过不同排的 超像素； 确定每个切片的谱功率，并且 所选择的切片是具有在所确定的谱功率中最高的谱功率的切片。8. 一种全光成像系统，包括： 以光瞳平面和图像平面为特征的图像形成光学模块； 位于图像平面或其共辄平面的微成像元件的阵列； 位于光瞳平面的共辄平面的检测器阵列，其中所述检测器阵列被细分为超像素； 处理器，配置为用于执行模块； 存储所述模块的存储器，模块包括处理模块，该处理模块配置成用于： 访问由全光成像系统的检测器阵列捕获的全光图像； 对于一排超像素，选择通过该排的一切片，所选择的切片的傅里叶变换与通过该排的 其它切片相比具有更强的基波分量；以及 基于所选择的切片的基波分量的频率来确定该排超像素的间距，并基于全光图像相对 于所选择的切片的旋转来确定该排超像素的旋转。9. 如权利要求8所述的系统，其中，处理模块进一步配置成用于： 确定所选择的切片和全光图像之间的多个不同的旋转角； 确定在所述多个旋转角中的每一旋转角下的切片的谱功率;和 选择与最高谱功率相关联的旋转角，所选择的旋转角是该排超像素的旋转。10. 如权利要求9所述的系统，其中，处理模块进一步配置成用于： 针对谱泄漏调节所确定的谱功率中的每一谱功率。11. 如权利要求10所述的系统，其中，处理模块进一步配置成用于： 对于一特定的旋转角， 对于切片的不同的采样尺寸，确定切片的谱功率;和 从所确定的谱功率中选择最高谱功率。12. 如权利要求8所述的系统，其中，处理模块进一步配置成用于： 针对多个不同的焦点设置，基于所选择的切片的基波分量的频率来确定该排超像素的 间距。13. 如权利要求8所述的系统，其中，该切片跨越整排超像素。14. 如权利要求8所述的系统，其中，处理模块进一步配置成用于： 利用包括所选择的切片的多个切片对全光图像进行采样，其中每个切片通过不同排的 超像素； 确定每个切片的谱功率，并且 所选择的切片是具有在所确定的谱功率中最高的谱功率的切片。
【文档编号】H04N5/225GK105939442SQ201610111899
【公开日】2016年9月14日
【申请日】2016年2月29日
【发明人】V.南布迪里, K.P.阿加拉文卡特沙劳
【申请人】株式会社理光