全光成像系统的物空间校准的制作方法
【专利摘要】准直物体可调节来产生沿不同传播方向传播的准直光。校准下的全光成像系统捕捉被调节至不同传播方向的物体的全光图像。捕捉的全光图像包括超像素，每个超像素包括子像素。每个子像素捕捉来自相应的光场观看方向的光。基于捕捉的全光图像，校准模块计算哪些传播方向映射至哪些子像素。该映射定义了子像素的光场观看方向。这可用于改善由全光成像系统捕捉的全光图像的处理。
【专利说明】
全光成像系统的物空间校准
技术领域
[0001 ]本技术一般涉及校准全光(plenoptic)成像系统。
【背景技术】
[0002]全光成像系统最近受到越来越多的关注。其可以用于基于对捕捉的全光图像的数字处理重新计算不同的焦点或物体的观察点(point of view)。该全光成像系统还在多模态(mult1-modal)成像中得到应用，在主成像模块的光瞳面中使用多模态滤波器阵列。每个滤波器在传感器处被成像，对于滤波器阵列的每个成像模式(modality)有效地产生物体的复合图像。全光成像系统的其它应用包括变化景深成像和高动态范围成像。
[0003]然而，全光成像系统的架构与传统的成像系统不同，因此其需要不同的校准和处理过程。在全光图像的处理中发现几个挑战。第一，微透镜阵列的对准从不完美，并且微透镜阵列的旋转的影响十分显而易见。该旋转对图像重构带来了大量难度，因为数据点没有落在规则采样网格上。第二，对于模块化系统结构，基于不同的应用可使用不同的检测器阵列和微透镜阵列。对诸如小透镜(lens I et)的中心、每个小透镜下的像素、小透镜的间距等的参数的人工确定是困难和耗时的。第三，对于不同的应用可以使用不同的物镜。当用不同的物镜或以不同的焦距设置拍摄全光图像数据时，图像重构所需的参数不同。
[0004]当前的用于校准全光成像系统的技术涉及对简单的摄像机目标成像。这些目标可以是统一的白色目标、网格、棋盘格等。目标典型地用空间非相干光来照射。对于统一目标的情况，从目标散射的光一致地照射全光摄像机的主透镜的光圈。主透镜的出射光瞳然后被每个微透镜成像在传感器阵列上。传感器阵列中的每个“超像素(superpixel)”是主透镜光圈(出射光瞳)的图像。当前的图像处理技术分析这些超像素的尺寸和位置来确定用于图像重构的校准。
[0005]当前技术的缺陷在于它们忽视了由传感器收集的出射光瞳图像中可能的像差。超像素可能失真、偏移、虚光(vignette)或被剪裁。像差可能是依赖于像场(field)的。这些像差可能导致产生不正确的校准。其中出射光瞳图像随像场位置而改变的系统的示例包括在图像空间中是非远心的系统(主光线不垂直于每个微透镜，并且不平行于光轴)、具有失真的系统(出射光瞳的放大率随着像场位置而改变)、具有像场弯曲的系统、具有虚光表面的系统等。
[0006]因此，需要用于全光成像系统的更好的校准技术。
【发明内容】
[0007]各种实施例通过控制物空间中的光的传播方向而校准全光成像系统克服了现有技术的局限。物体可调节以传递沿不同传播方向传播的、并且如果需要还可能来自物平面中不同的横向位置的准直光。校准下的全光成像系统捕捉被调节至不同传播方向的物体的全光图像。捕捉的全光图像包括超像素，每个超像素包括子像素。每个子像素捕捉来自相应的光场观看方向的光。基于捕捉的全光图像，校准模块计算传播哪些方向映射至哪些子像素。该映射定义了子像素的光场观看方向。这可用于改善由全光成像系统捕捉的全光图像的处理。
[0008]其它方面包括与上述相关的组件、装置、系统、改进、方法、处理、应用、计算机程序产品和其它技术。
【附图说明】
[0009]本专利或申请文件包含至少一个以彩色完成的附图。具有彩色附图的本专利或专利申请公开的副本将在请求且在支付必要费用后由官方提供。
[0010]在结合附图考虑时，根据以下详细描述和所附权利要求书，公开的技术具有将非常显而易见的其他优点和特征，附图中:
[0011 ]图1 (现有技术)是例示全光成像系统的图。
[0012]图2是例示轴上响应和离轴响应之间的区别的照片。
[0013]图3A是远心全光成像系统中从物体到超像素的光线跟踪。
[0014]图3B-3C是例示远心全光成像系统中哪些光线对哪些超像素有贡献的光线跟踪。
[0015]图3D是远心全光成像系统中的物空间光场至子像素和超像素的映射。
[0016]图4是非远心全光成像系统中从物体到超像素的光线跟踪。
[0017]图5是无限共轭全光成像系统中从物体到超像素的光线跟踪。
[0018]图6A是用于全光成像系统的物空间校准的系统的图。
[0019]图6B是可以由图6A所示的系统实现的示例校准方法的流程图。
[0020]图7A-7B是光场观看方向的天顶角和方位角分别至轴上超像素的映射。
[0021 ]图8A-8B是光场观看方向的天顶角和方位角分别至离轴超像素的映射。
[0022 ]图9A是不使用物空间校准的物体的三维重构。图9B是使用物空间校准的同一物体的三维重构。
[0023]附图仅出于示意目的描绘实施例。本领域技术人员从接下来的讨论中很容易意识到可以采用本文中例示的结构和方法的其它可替换实施例而不脱离本文所述的原理。
【具体实施方式】
[0024]所述附图和接下来的描述仅以示例的方式涉及优选实施例。应该注意，根据接下来的讨论，将很容易认识到本文公开的结构和方法的可替换实施例是不脱离本发明所主张的原理而可以采用的可行的替换方式。
[0025]各个实施例通过控制物空间中的光的传播方向来校准全光成像系统而克服了现有技术的局限。物体可调节以传递沿不同传播方向传播的、并且如果需要还可能来自物平面中不同的横向位置的准直光。
[0026]—个实现方式使用从物平面中的反射镜反射的准直光。该光束足够宽来填充主透镜的光圈。可通过倾斜反射镜来控制光束的传播方向。通过收集在物平面中沿不同方向传播的光束的全光图像，可建立四维映射，这内在地解决了系统中的大多数透镜像差。
[0027]另一实现方式使用从物平面中的反射镜反射的准直光，该光束足够窄以仅填充光圈的一小部分。可通过平移(translate)和倾斜反射镜来控制光束的横向位置和角方向。通过收集在物平面中的不同横向位置和角方向处的光束的全光图像，可建立四维映射，这内在地解决了系统中的透镜像差，包括横向失真。可以通过同时使用几个光束和/或反射镜来复用这些过程。
[0028]另一实施方式在主透镜的光圈中使用针孔。在这种情况下，非准直光源被放置在物平面中。光源的横向位置在物平面中变化，并且针孔的横向位置在光圈平面中变化。如之前那样，物空间位置和光瞳空间位置之间的对应性可用来创建全光数据的四维映射。
[0029]图1(现有技术)是例示全光成像系统的图。全光成像系统110包括主成像光学器件112(由图1中的单个透镜表示)、次级成像阵列114(图像形成元件115的阵列)和传感器阵列
180。次级成像阵列114可被称为微成像阵列。次级成像阵列114和传感器阵列180—起可被称为全光传感器模块。这些组件形成两个重叠的成像子系统，在图1中示出为子系统I和子系统2。
[0030]为了方便起见，成像光学器件112在图1中被描绘为单个物镜，但是应当理解，其以可包括多个元件。物镜112在图像平面IP处形成物体150的光学图像155。微成像阵列114位于图像平面IP处，并且每个微透镜将成像子系统I的光圈成像至传感器阵列180上。也就是说，光圈和传感器阵列位于共轭平面SP和SP’处。微成像阵列114的示例包括微透镜阵列、针孔阵列、微反射镜阵列、棋盘格和波导/通道阵列。微成像阵列114可以是矩形阵列、六边形阵列或其它类型的阵列。图1中还示出了传感器阵列180。
[0031]图1下部提供了更多细节。在这个例子中，微成像阵列115是方形微透镜的3X3阵列。物体150被划分为相应的3 X 3阵列的区域，被标记为1-9。区域1-9中的每个被主成像子系统112成像至微透镜114中的一个上。图1中的虚线示出了将区域5成像至对应的中心微透镜上。
[0032]每个微透镜将这些光线成像至传感器阵列180的相应部分上。传感器阵列180被示出为12X 12的矩形阵列。传感器阵列180可被再分为超像素，标记为A-1，每个超像素与微透镜中的一个对应，并因此也对应于物体150的某个区域。在图1中，超像素E对应于中心微透镜，该中心微透镜对应于物体的区域5 ο也就是说，超像素E内的传感器捕捉来自物体的区域5的光。
[0033]每个超像素被再分为子像素，子像素典型地为单独的传感器。在这个例子中，每个超像素具有4 X 4的子像素阵列。超像素内的每个子像素捕捉来自物体的同一区域的、但是以不同传播角度的光。例如，超像素E中的左上子像素EI捕捉来自区域5的光，超像素E中的右下子像素E16同样捕捉来自区域5的光。然而，这两个子像素捕捉来自该物体的在不同方向上传播的光。这可从图1中的实线看出。所有的三条实线起源于同一物体点，但是由同一超像素中的不同子像素捕捉。这是因为每条实线从物体沿着不同的方向传播。
[0034]换言之，物体150生成了四维的光场L(x，y，u，v)，其中L是在方向(u，v)上传播的源自于空间位置(x，y)的光线的幅度、强度或其它度量。传感器阵列中的每个子像素捕捉来自该四维光场的一定体积的光。子像素对四维光场采样。这样的体积的形状或边界由全光系统的特性来确定。
[0035]在某些全光成像系统设计中，采样体积是超矩形。也就是说，超像素中的每个传感器捕捉来自与该超像素相关联的同一矩形区域(X，y)的光，并且超像素中的每个子像素捕捉来自不同的矩形区域(U，V)的光。不过，情况并非总是如此。为了方便起见，超像素将被描述为捕捉来自物体的某个区域的光(尽管该超像素中的子像素捕捉来自稍微不同的区域的光)，并且子像素将被描述为捕捉来自一定范围的传播方向的光(尽管该范围可能对于不同的子像素而不同，或者甚至对于由同一子像素捕捉的不同的点(x，y)而不同)。无论细节如何，全光成像系统创建全光图像170，其将(X，y)空间位置和(u，V)传播方向映射至阵列180中的传感器。这与传统图像形成对比，传统图像将(x，y)空间位置映射至传感器但是丢失有关(u，v)传播方向的信息。
[0036]因为全光图像170包含有关由物体产生的四维光场的信息，所以处理模块190可用于进行不同类型的分析，比如深度估计、三维重构、综合再聚焦、扩展景深、光谱分析和其它类型的多视角(multiviews)分析。
[0037]然而，这些分析中的许多依赖于从光场坐标(x，y，u，v)到子像素的映射，子像素典型地是单独的传感器。也就是说，每个单独的传感器捕捉四维光场的一定体积。具有哪个传感器捕捉哪个体积的准确知识对于捕捉的全光图像的良好处理是重要的。为了方便起见，映射至子像素的(x，y)区域将被称为该子像素的光场观看(viewing)区域，并且映射至子像素的(u，V)区域将被称为该子像素的光场观看方向。
[0038]在许多情况下，这些量是基于有关近轴行为、远心光学、或不存在失真、虚光和像差的假设。然而，如图2所示，这些并不总是良好的假设。图2是例示轴上响应和离轴响应之间的区别的照片。图2中的上部图像示出了捕捉的全光图像。左下的图像是全光图像的中心(轴上)部分的放大。右下的图像是全光图像的周边(离轴)部分的放大。每个图像中的十字形标记了超像素的中心，并且圆圈标记了超像素的边界。可以看出轴上响应与离轴响应不同。在标准假设下，轴上响应和离轴响应应该相同。
[0039]图3-5进一步例示该情况。图3A是远心全光成像系统中从物体到超像素的光线跟踪。为清楚起见，不同的光学元件通过线而不是通过透镜形状来表示。物体150被再分为区域151。主光学器件112由两条长垂直线以及在这两者之间的光圈来表示。次级成像阵列114由被短的水平散列(hash)再分的垂直线来表示。散列示出了微透镜之间的边界。传感器阵列180被再分为超像素181。物体180的每个再分部分是对应于微透镜114中的一个的超像素
181。类似地，物体150的每个再分部分151也对应于微透镜114中的一个。例如，来源于中心物体区域151C的光被主光学器件112成像至中心微透镜115C上。该光又被在中心超像素181C内的子像素捕捉。在物体的边缘，来源于物体区域151A的光被主光学器件112成像至微透镜115A上。该光又被超像素181A内的子像素捕捉。
[0040]现在考虑图3A中示出的各种光线。对于不同的物体点(即不同的x，y坐标)使用不同的颜色。黑色光线来源于中心区域151C的中心，蓝色光线来源于中心区域151C的上边缘，并且绿色光线来源于中心区域151C的下边缘。红色光线来源于边缘区域151A的中心。每种颜色有三条光线。对于不同的传播方向(即不同的u，v坐标)使用不同的线条类型。实光线是每个光线束的主光线。短虚线是每个光线束的上边缘(径向(sagittal)或正切的)光线，并且长虚线是每个光线束的下边缘光线。在这种情况下，由于主成像子系统是远心的，所以所有光线束的主光线总是在轴上，并且在物空间和图像空间两者中都相互平行。穿过每个微透镜的主光线与光轴平行。上边缘和下边缘的光线也总是在物空间和图像空间两者中相互平行。
[0041]图3A示出了光线如何从各个物体点传播至传感器阵列。图3B-3C例示相反的情况。它们是例示在远心全光成像系统中哪些光线对哪些超像素做贡献的光线跟踪。图3B仅示出了来自图3A的实线(加上两条未在图3A中示出的另外的红色实线)。首先考虑中心超像素181C。该超像素包含许多子像素182。中心超像素181C的中心子像素在图3B中被标记为182C-C。注意，子像素182C-C捕捉来源于中心物体区域151C中的任意位置的、但是仅平行于光轴而传播的光。类似地，子像素182A-C捕捉来源于边缘物体区域151A中的任何位置的、但是仅平行于光轴而传播的光。
[0042]图3C仅示出了来自图3A的短虚线。可进行类似的观察。子像素182C_a捕捉来源于中心物体区域151C中的任何位置的、但是仅以示出的角度传播的光。类似地，子像素182A-a捕捉来源于边缘物体区域151A的任何位置的、但是仅以示出的角度传播的光。
[0043]这些观察可以扩展到其它的超像素和光线。结果是从四维光场(X，y，u，v)至传感器阵列的超像素η的子像素i的映射。图3D示出基于图3A-C中的示例的该映射的二维版本。图3D是在远心全光成像系统中的物空间光场至子像素和超像素的映射。图3D中的坐标是X即物空间中的空间坐标和u即物空间中的传播方向。参照图3A-3C，令2 Δ为物体的大小并且2δ为物体内的每个区域的大小。也就是说，物体从-Δ延伸至+ Δ，并且物体内的每个区域具有从-δ至+δ的宽度。类似地，令2Θ为来自物体的光线束的角度范围。也就是说，图3中的短虚线沿着方向u =+Θ传播，实光线沿着方向u = O传播，长虚线沿着方向u = -Θ传播。
[0044]图3D中的高细矩形是与图3不同的区域151。边缘区域151Α和中心区域151C在图3D中被标记。每个区域被映射至一个对应的超像素:边缘区域151Α映射至边缘超像素181Α，并且中心区域151C映射至中心超像素181C。区域151C进一步示出了到超像素内的子像素的映射。151C中的每个小矩形表示在超像素181C中的不同子像素182C-1。
[0045]在一个在物空间和图像空间两者中都是远心的并且没有虚光的系统中，其它超像素181具有相似的子像素映射，并且整体的映射是对称且规则的。每个超像素181具有相同的大小和形状，并且每个超像素捕捉来源于物体的相应区域151的所有光线(即对于由相应区域151定义的X值范围的所有u值)。对于所有的超像素，每个超像素内的子像素结构也相同。每个子像素捕捉对于由该子像素定义的u值范围的、在超像素内的所有X值的光线。换言之，在图3D超像素181形状为矩形，并超像素矩形181被再分为更小的子像素矩形182。如图3D所示，将超像素151C划分成子像素与将超像素151A划分成子像素相同。因此，如果子像素182C-12捕捉来自区域151C的轴上光线，那么相同的子像素182A-12将捕捉来自区域151A的轴上光线。
[0046]然而，此常规结构并不适用于所有的全光成像系统。图4是非远心全光成像系统中从物体到超像素的光线跟踪。对于光线使用与图3中相同的命名法。在该示例中，子像素182C-C仍捕捉来自区域151C的所有中心实光线。但是，这些光线并不都是轴上光线。蓝色和绿色光线具有稍微的倾斜，尽管如果微透镜与物距相比小则该倾斜可以忽略。更重要的是，边缘超像素的中心子像素182A-C也捕捉来自区域15IA的中心实光线。然而，所有的这些光线均明显倾斜。将图4中的红色实线与图3A中的红色实线比较。因此，虽然图4的全光成像系统确实具有光场坐标(x，y，u，v)至超像素/子像素坐标(n，i)的映射，该映射将不具有与图3D中所示相同的常规结构。
[0047]图5是无限共轭全光成像系统中从物体到超像素的光线跟踪。注意，由于物体在无限远处，所以(x，y)光场坐标与光线的方向对应，并且(u，v)光场坐标与光线在光圈内的位置对应。因此，如图3-4中所示，相同颜色的光线具有相同的(x，y)光场坐标。每个超像素捕捉在物空间中沿一定方向传播的光。该超像素中的每个子像素将捕捉物空间中沿相同方向传播的光。但是，不同的子像素将捕捉穿过光圈的不同位置而传播的光。
[0048]校准可用来获得对于哪些光场坐标映射到哪些子像素的更准确的估计。回忆起子像素的光场观看区域是映射至该子像素的物体的(X，y)区域，并且子像素的光场观看方向是映射至该子像素的U，v)传播方向。估计光场观看区域不太复杂。但是，估计光场观看方向可能更加困难。
[0049]图6A是用于全光成像系统的物空间校准的系统的图。该系统可用于校准全光成像系统的光场观看方向。该系统包括可调节准直物体610 ο物体610产生准直光。该准直光的传播方向可以调节，例如通过使用可倾斜的反射镜来调节。校准下的全光成像系统110捕捉得到的全光图像。随着物体被调节至不同的传播方向，捕捉不同的全光图像。校准模块630基于捕捉的全光图像计算传播方向至子像素的映射。该映射还定义了子像素的光场观看方向。
[0050]此方法是对映射的直接采样。每个全光图像对应于一个物体，对于该物体，所有的光正沿已知的传播方向而传播。该全光图像指示每个超像素中的子像素捕捉来自该光场观看方向的光。在某些情况下，多于一个子像素可以捕捉该光。如果是这样，在一个方法中，映射是基于计算在每个超像素内捕捉的光的质心(centroid)。
[0051]优选地，控制器620自动地将物体调节至不同的传播方向并协调相应的全光图像的捕捉。如果每个超像素有N个子像素，则控制器优选地取至少N个样本，尽管如果取少于N个样本则可以对值进行插值。如果全光成像系统具有对称性，则控制器620能够以利用该对称性的方式来采样。
[0052]一旦创建了映射，可以将其存储，例如作为查找表(LUT)。然后将该映射用于对捕捉的全光图像的处理，比如深度映射或其它类型的图像重构。对于没有直接存储在该LUT的值，可以对LUT插值。
[0053]图6B是可以由图6A所示的系统实现的示例校准方法的流程图。令Imn(j，k;u，v)为由超像素(m，η)的子像素(j，k)捕捉的、在物空间中沿方向(u，V)传播的来自准直物体的光。对于样本1，控制器620将物体传播方向设置660为(1^，“)。相应的全光图像111111(]_，1^11，￥)被捕捉670。这对于N个样本重复。每个超像素(m，n)的子像素被单独处理以确定680对应于样本i的(Jnk1)值。这可以通过不同的方式进行。在一个方法中，这些值通过以下来确定:
[0054]对于每个超像素(!11，11):(上，1^)=&作11^」,1{1111取(」，1^;1^^)(I)
[0055]就是说，收集最多的光的传感器确定(ji，ki)。在一个不同的方法中，
[0056]对于每个超像素(m，n):(ji，ki)= centroid{Imni(j，k;Ui，vi)} (2)
[0057]就是说，强度分布的质心确定(ji，ki)。注意，尽管Imru(j，k;Ui，Vi)中的(j，k)是离散的，但是值(J^k1)可以是连续的。例如，该质心方法可以预测超像素响应在两个相邻的子像素之间的中心。
[0058]如果控制器620在N个不同观看方向(m，Vi)对物体采样，则多达N个相应的(ji，ki)子像素坐标也被识别。然后可以构建690查找表，将传播方向(m，Vl)映射至相应的子像素坐标(ji，ki)
[0059]LUT 1:对于每个超像素(m，n): (Ui，vi) — ( ji，ki) (3)
[0060]该查找表对于重构与不同观看方向对应的多视角可能是有用的，因为每个视角应该表示相同的观看方向。就是说，为了从观看方向(UO，VO)重构视角，我们定位每个超像素中与(UO，VO)对应的子像素位置(j，k)。
[0061]从LTUI，还可以构建690反向查找表，将每个子像素(j，k)映射至相应的传播方向(也称为观看方向)(Ujk，Vjk )
[0062]LUT 2:对于每个超像素(m，n): (j，k) — (Ujk，vjk) (4)
[0063]该查找表对于例如估计表面属性是有用的。
[0064]要注意的是，对于每个超像素(m，n)可以构建一个不同的查找表，因为(u，v)和(j，k)之间的映射对于不同的超像素可以是不同的。在之前的方法中，假设(u，v)和(j，k)之间的映射对于所有的超像素是相同的，这导致了错误。
[0065]图7-8示出了对于准直物体使用72个不同位置的校准的结果。在这个例子中，次级成像阵列组装为六边形。图7A-7B分别是光场观看方向的天顶角和方位角至轴上子像素的映射。它们示出了光场观看方向至一组轴上超像素、即在传感器阵列的中心附近的超像素的映射。该光场观看方向是二维的量。这个示例使用极坐标。图7A以灰度级示出了从O至π/2的天顶角，并且图7B以伪彩色示出了从-ji至+π的方位角。在图7B中所有颜色相遇的点是捕捉来自物体的轴上光线的子像素。对于超像素中的一个，该点被标记为710 ο要注意的是，该点近似在每个轴上超像素的中心处。
[0066]图8A-8B分别是光场观看方向的天顶角和方位角至离轴子像素的映射。它们示出了与图7A-7B相同的量，但是是对于一组离轴超像素，即在传感器阵列的边缘附近的超像素。在远心情况下，图7和图8看起来将是相同的。但是，在此不是这样的情况。例如，中心点810相对于超像素的中心而偏移。
[0067 ]图9 A-9B示出了此校准的效果。图9A是不使用物空间校准的物体的三维重构。具体地，其示出了从捕捉的全光图像对标尺卡(ruler card)的三维清染(rendering)，但在此情况下全光成像系统没有被校准。该卡是平的，但是该重构示出了由对子像素的光场观看方向的不正确假设而引起的曲面。图9B是对同一物体、但是使用物空间校准的三维重构。其示出了与图9A相同的渲染，但是这次具有校准。该曲面现象不再存在。
[0068]尽管详细描述包含许多细节，但是这些细节不应被解释为对本发明范围的限制，而仅仅是例示不同的示例和方面。应当认识到，本发明的范围包括未在以上详细讨论的其它实施例。不脱离所附权利要求定义的本发明的精神和范围，可以在本文公开的本发明的方法和装置的布置、操作和细节方面做出对于所属领域的技术人员而言将显而易见的各种其它的修改、改变和变型。因此，本发明的范围应当由所附权利要求和它们的合法等同物来确定。
[0069]在可替换的实施例中，本发明的各面以计算机硬件、固件、软件、和/或其结合来实现。装置可以以切实包含在非暂时机器可读存储设备中的、由可编程处理器执行的计算机程序产品来实现;并且方法步骤可以通过可编程处理器执行指令的程序以通过对输入数据操作并生成输出而执行功能来进行。实施例可以有利地以一个或多个计算机程序来实现，该计算机程序可在可编程系统上执行，该可编程系统包括至少一个耦接来从数据存储系统接收数据和指令以及向数据存储系统发送数据和指令的可编程处理器、至少一个输入设备、和至少一个输出设备。每个计算机程序可以以高级程序或面向对象编程语言来实现，或者在需要时以汇编语言或机器语言来实现;并且在任何情况下，语言可以是编译语言或解释语言。通过示例，合适的处理器包括通用和专用微处理器。通常，处理器将从只读存储器和/或随机存取存储器接收指令和数据。通常，计算机将包括一个或多个用于存储数据文件的大容量存储设备;这样的设备包括磁盘，比如内部硬盘和可移除盘;磁光盘；以及光盘。适用于切实包含计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，例如包括半导体存储设备，比如EPROM、EEPROM和闪存设备;磁盘，比如内部硬盘和可移除盘;磁光盘;和CD-ROM盘。上述任何者可以由ASIC(专用集成电路)和其它形式的硬件补充或者并入ASIC(专用集成电路)和其它形式的硬件中。
[0070]本申请是基于2015年I月9日提交的美国优先权申请第14/594，019号，其全部内容通过引用并入本文中。
【主权项】
1.一种用于校准全光成像系统的方法，所述方法包括: 捕捉物体的全光图像，所述物体产生沿不同传播方向传播的准直光，每个全光图像包含多个超像素，每个超像素包含多个子像素，每个子像素捕捉来自至少一个相应的光场观看方向的光；以及 基于捕捉的全光图像，计算传播方向至子像素的映射，所述映射定义所述子像素的光场观看方向。2.如权利要求1所述的方法，其中计算传播方向至子像素的映射包括对于每个准直物体: 计算由每个超像素捕捉的光的质心；以及 将来自所述准直物体的光的传播方向映射至与计算的质心对应的子像素。3.如权利要求1所述的方法，其中计算映射包括创建查找表，所述查找表将光场观看方向映射至子像素。4.如权利要求1所述的方法，其中计算映射包括创建查找表，所述查找表将子像素映射至光场观看方向。5.如权利要求1所述的方法，其中每个超像素包含N个子像素，并且所述物体产生沿着至少N个不同的传播方向传播的准直光。6.如权利要求1所述的方法，进一步包括: 自动调节所述物体以产生沿着不同的传播方向传播的准直光；以及 对于每个不同的传播方向自动捕捉全光图像。7.如权利要求1所述的方法，其中所述全光成像系统不是物空间远心的。8.如权利要求1所述的方法，其中所述全光成像系统不是图像空间远心的。9.如权利要求1所述的方法，其中所述全光成像系统具有有限共轭。10.如权利要求1所述的方法，进一步包括: 存储有关子像素的光场观看方向的数据； 在存储所述数据之后，捕捉另一个全光图像；以及 处理所述全光图像，使用存储的数据来解决所述子像素的光场观看方向。11.一种用于校准全光成像系统的系统，所述系统包括: 可调节的准直物体，该物体可调节以产生沿不同的传播方向传播的准直光； 全光成像系统，该全光成像系统捕捉被调节至不同的传播方向的物体的全光图像，每个全光图像包含多个超像素，每个超像素包含多个子像素，每个子像素捕捉来自相应的光场观看方向的光；以及 校准模块，该校准模块基于捕捉的全光图像，计算传播方向至子像素的映射，所述映射定义子像素的光场观看方向。12.如权利要求11所述的系统，其中所述校准模块进一步用于: 计算由每个超像素捕捉的光的质心；以及 将来自所述准直物体的光的传播方向映射至与计算的质心对应的子像素。13.如权利要求11所述的系统，其中所述校准模块进一步创建查找表，所述查找表将光场观看方向映射至子像素。14.如权利要求11所述的系统，其中所述校准模块进一步创建查找表，所述查找表将子像素映射至光场观看方向。15.如权利要求11所述的系统，进一步包括控制器，所述控制器: 自动调节所述物体以产生沿着不同的传播方向传播的准直光；以及 自动致使所述全光成像系统捕捉与每个不同的传播方向对应的全光图像。16.如权利要求11所述的系统，其中所述全光成像系统不是物空间远心的。17.如权利要求11所述的系统，其中所述全光成像系统不是图像空间远心的。18.如权利要求11所述的系统，其中所述全光成像系统具有有限共轭。19.如权利要求11所述的系统，进一步包括: 处理模块，该处理模块处理不同物体的全光图像，所述处理考虑由所述校准模块确定的子像素的光场观看方向。
【文档编号】H04N5/225GK105841810SQ201610143154
【公开日】2016年8月10日
【申请日】2016年1月5日
【发明人】L·孟, L·陆, N·贝达德, K·伯克纳
【申请人】株式会社理光