用于改进的光场捕获和操作的光学系统的优化的制作方法
【专利摘要】根据本发明的各个实施例，光场捕获装置的光学系统被优化为以便改进捕获的光场图像数据。优化光场捕获装置的光学系统可以产生更加便宜和/或易于处理的捕获光场图像数据(静止的和视频)。光学系统可以被优化为在使用更加便宜的处理方法时产生改进的质量或分辨率，所述处理方法的计算成本适合各种处理和/或资源约束。因此，光场照相机的光学系统可以被优化以降低尺寸和/或成本，和/或提高这种光学系统的质量。
【专利说明】用于改进的光场捕获和操作的光学系统的优化
[0001]相关申请交叉引用
[0002]本申请要求于2012年5月9日申请的名称为“Optimization of Optical Systemsfor Improved Light Field Capture and Manipulation (律师案号 LYT064-PR0V) ”的美国临时申请序号61/644,851的优先权，其公开内容通过引用被全部并入本文中。
[0003]本申请涉及于2011年2月15日申请的名称为“3D Light Field Cameras, Imagesand Files, and Methods of Using, Operating, Processing and Viewing Same (律师案号LYT3006)”的序号13/027,946的美国专利申请，其公开内容通过引用被全部并入本文中。
【技术领域】
[0004]本发明涉及用于优化光学系统的系统和方法，以用于改进光场图像数据的捕获和操作。
【背景技术】
[0005]光场捕获装置（比方说例如光场照相机和摄影机）可以用来捕获及可选地处理光场图像数据。一些光场捕获装置还可以接受用户输入并在用户输入时动作，显示或以其它方式输出图像和/或其它类型的数据。光场捕获装置可以包括用来捕获光场图像数据的各种各样的不同的光学组件，包括传感器（诸如CCD或CMOS传感器）、微透镜阵列、主透镜和/或透镜阵列。
[0006]光场捕获装置可以使用任何适当的捕获方法来捕获光场图像数据。这种方法的一个示例包括但不限于如Ng等人在“用手持全光捕获装置的光场摄影（Light fieldphotography with a hand-held plenoptic capture device, Technical Report CSTR2005-02，Stanford Computer Science) ”中描述的在图像传感器（例如，CCD或CMOS传感器）之上使用微透镜阵列。其它示例包括使用多个独立控制的照相机，每个照相机有其自己的透镜和传感器，成像到单个共用传感器上的照相机的阵列，全光透镜和/或这些的任何组合。
[0007]在许多环境中，光场捕获装置捕获形式为高度调制的4D数据的光场图像数据，高度调制的4D数据然后可以处理以产生2D和/或3D输出图像，输出图像可以由用户查看。这种处理的示例可以包括（但不限于）产生重调焦距的图像、视差视图或角度改变的图像、全焦点或扩展景深（EDOF)图像、深度图、3D/立体图像和其任何组合。
[0008]光场图像数据的这种处理在计算资源、存储器带宽和/或功率需求方面可能是昂贵的。因此，在许多传统系统中，牺牲图像质量、处理时间、分辨率等等，以便利于光场捕获。因此，一方面，迫使用户在光场图像捕获的灵活性和能力之间权衡，另一方面，在高等级图像质量和分辨率之间权衡。
【发明内容】
[0009]根据本发明的各个实施例，光场捕获装置的光学系统被优化，以便改进光场图像数据的捕获。这种改进可以通过一个或多个尺度测量，包括（但不限于）图像质量、处理效率和产生的图像分辨率。根据各个实施例，多种方法、系统和算法中的任何一个可以应用，以便处理由光场捕获装置捕获的光场图像数据，所述光场捕获装置包括本文中列举的一个或多个光学系统优化。
[0010]根据各个实施例，光场捕获装置的光学系统被优化以产生更加便宜和/或易于处理的被捕获光场图像数据（静止的和视频）。例如，在至少一个实施例中，光学系统被优化以在使用更加便宜的处理方法时产生改进的质量或分辨率，所述处理方法的计算成本适合各种处理和/或资源约束。因此，光场照相机的光学系统可以被优化以降低大小和/或成本，和/或提高这种光学系统的质量。这些优化在处理能力和/或装置大小可能受限的环境中（比方说例如在诸如智能手机的移动装置的环境中）也许是特别有用的。
[0011]根据各个实施例，本发明可以单独地或以任何适当组合地包括以下组件或方面中的一个或多个：
[0012]?修改可以结合微透镜阵列使用以捕获光场图像数据的数字图像传感器的传感器读出能力，使得读出模式针对光场图像数据捕获被裁剪。具体地，通过合并（binning)或跳过像素来执行数据大小减小的读出模式被优化，以产生光场图像数据的较小退化。
[0013]?基于在传感器上形成的光场图像中的圆盘图案，修改传感器的彩色滤波阵列(CFA)栅格布局/图案；这可以包括例如如下文更加详细描述的基于其光场坐标逐像素地选择CFA色彩。
[0014]?如在下文更加详细定义的，以像素的光场坐标的函数改变像素属性，诸如曝光时间和像素增益。
[0015]?抖动微透镜阵列中传感器和/或微透镜上像素的位置。
[0016]?修改微透镜阵列设计和主透镜设计以及在光学系统内的布置，以产生具有整数个传感器像素的垂直和/或水平间距的圆盘图像，这里，选择整数间距以实现更加便宜、更快速和/或更高质量的处理方法。
[0017]?修改微透镜阵列和主透镜的设计，以提高光学系统的最大可接受主光线角度(CRA)。
[0018]?基于传感器的可用读出模式和/或能力，在数字图像传感器之上定位和/或定向微透镜阵列。
【专利附图】
【附图说明】
[0019]附图图解说明本发明的几个实施例，与说明书一起用来解释根据实施例的本发明的原理。本领域技术人员会认识到图中图解说明的具体实施例只是示例性的，不想要限制本发明的范围。
[0020]图IA描绘了根据一个实施例的光场图像捕获装置的示例性架构。
[0021]图IB描绘了根据一个实施例的用于执行本发明的光场捕获装置的示例性架构。
[0022]图2描绘了光场图像的一部分。
[0023]图3A描绘了光线通过微透镜传输以照亮数字传感器中的像素。
[0024]图3B描绘了光场捕获装置的布置，其中微透镜阵列被定位成使得投影到数字传感器上的主透镜孔的图像不重叠。
[0025]图4描绘了将4-D光场表示降至2-D图像的投影和重构的示例。
[0026]图5描绘了根据一个实施例的光场捕获装置的另一示例性架构。
[0027]图6是描绘根据一个实施例的用于降低捕获的光场图像数据的大小的方法的流程图。
[0028]图7描绘了具有中心矩形的光场图像的一部分。
[0029]图8描绘了根据一个实施例的跳过靠近光场圆盘图像之间的边缘或在其上的像素的读出模式的光电二极管的示例性布置。
[0030]图9描绘了根据一个实施例的光场捕获装置的另一示例性架构。
[0031]图10是根据一个实施例的描绘用于修改彩色滤波阵列（CFA)以提高从光场捕获的色彩信息的质量的方法的流程图。
[0032]图11描绘了根据一个实施例的光场捕获装置的另一示例性架构。
[0033]图12是根据一个实施例的描绘用于修改像素属性的方法的流程图。
[0034]图13描绘了根据一个实施例的光场捕获装置的另一示例性架构。
[0035]图14是根据一个实施例的描绘用于将抖动引入到光学系统组件中的方法的流程图。
[0036]图15和16是根据一个实施例的置换光场数据的示例。
[0037]图17A是光学系统的一个示例。
[0038]图17B是具有圆盘的光场图像的示例。
[0039]图17C是用于光场图像的子采样图案的示例。
[0040]图17D是置换光场图像的子采样部分的示例。
[0041]图18A是光学系统的示例。
[0042]图18B是具有圆盘的光场图像的示例。
[0043]图18C是用于光场图像的子采样图案的示例。
[0044]图18D是置换光场图像的子采样部分的示例。
[0045]图19是根据一个实施例的描绘用于确定并配置用在光场图像捕获装置中的微透镜阵列的方法的流程图。
[0046]图20描绘了两个示例性微透镜阵列的自上而下的视图。
[0047]图21是图20中的表面的示例性3D曲线图。
[0048]图22描绘了通过倾斜的微透镜的微透镜阵列的示例性2D切片。
[0049]图23A和23B描绘了倾斜的MLA侧壁角的不同优化类型的两个示例。
【具体实施方式】
[0050]出于本文中提供的描述目的，使用以下定义：
[0051]?捕获：可以指静态捕获或者视频捕获中的任何一个或者两者。
[0052]?图像：像素值或像素的二维阵列，每个像素值或像素规定一个色彩。
[0053]?光场图像：包含在传感器上捕获的光场图像数据的呈现的图像。
[0054]?微透镜：小的透镜，通常是类似的微透镜阵列中的一个。
[0055]?彩色滤波阵列（CFA):在图像传感器的像素传感器上设置的捕获色彩信息的彩色滤波器的镶嵌/马赛克（mosaic)。
[0056]光学系统在本文中定义为包括任何适当的光场捕获装置的光学路径的任何或所有组件，包括任何传感器（诸如CCD或CMOS传感器）、微透镜阵列、主透镜和/或透镜阵列。
[0057]光场捕获装置在本文中定义为能够捕获光场图像数据，可选地处理光场图像数据，可选地接受用户输入并按照用户输入行动以及可选地显示或另外输出图像和/或其它类型的数据的任何装置。光场捕获装置的示例包括（但不限于）光场照相机和摄影机。
[0058]此外，为便于命名，词语“照相机”在本文中用来指图像捕获装置或其它图像数据获取装置。这种数据获取装置可以是用于获取、记录、测量、估计、确定和/或计算代表场景的数据（包括但不限于二维图像数据、三维图像数据和/或光场图像数据）的任何装置或系统。这种数据获取装置可以包括通过使用本领域众所周知的技术获取代表场景的数据的光学器件、传感器和图像处理电子器件。本领域技术人员会认识到关于本发明可以使用许多类型的数据获取装置，本发明不限于照相机。因此，本文中词语“照相机”的使用想要是示意性的和示例性的，但不应认为是限制本发明的范围。具体地，在本文中任何地方使用此术语应当认为是指用于获取图像数据的任何适当装置。
[0059]在下面的描述中，描述了用于优化光学系统以用于改进光场捕获和操作的几个技术和方法。本领域技术人员会认识到这些不同的技术和方法可以单独地和/或彼此之间任意适当组合地来执行。
[0060]架构
[0061]在至少一个实施例中，本文中描述的系统和方法可以结合由光场捕获装置捕获的光场图像来执行，所述光场捕获装置包括但不限于在Ng等人所著的“Light fieldphotography with a hand-held plenoptic capture device, Technical Report CSTR2005-02, Stanford Computer Science”中描述的那些装置。现在参照图1A,示出了根据一个实施例描绘用于在光场照相机100中实现本发明的架构的框图。光场照相机100的示例包括（但不限于）光场照相机和摄影机。本领域技术人员会认识到图IA中所示的具体配置只是示例性的，其它架构对于光场照相机100是可行的。本领域技术人员会进一步认识到图IA的配置中所示的几个组件是可选的，可以省略或者被重新配置。
[0062]如图所示，光场照相机100是光场捕获装置109的一个示例；为了便于命名，这些词语是可互换使用的，不过任何适当的光场捕获装置109可以代替照相机100使用。光场捕获装置109包括光学器件101、微透镜阵列102和图像传感器103 (包括多个个别的用于捕获像素的传感器）。光学器件101可以包括例如用于允许可选择数量的光进入到光场照相机100中的孔112和用于将光朝微透镜阵列102聚集的主透镜113。在至少一个实施例中，微透镜阵列102可以设置和/或包括于照相机100的光学路径中（在主透镜113和传感器103之间），以便使得通过传感器103获取、捕获、采样、记录和/或获得光场图像数据。暂时参照图1Β，示出了根据一个实施例的用于实现本发明的光场照相机100的架构的示例。该图不是按比例绘制的。图IB以概念形式示出了孔112、主透镜113、微透镜阵列102和（若干）传感器103之间的关系，这些组件相互作用以捕获主体117的光场图像数据。
[0063]再次参照图1Α，来自（若干）传感器103的光场图像数据可以被处理电路104处理，在（若干）输出装置116上呈现为输出。在至少一个实施例中，在（若干）输出装置116上呈现的输出可以是由处理电路104产生的光场图像数据的2D图像或投影。
[0064]在至少一个实施例中，光场照相机100还可以包括控制电路110，以便利获取、采样、记录和/或获取光场图像数据。例如，控制电路110可以管理和/或控制（自动地或者响应于用户输入）获取时间、获取速率、采样、捕获、记录和/或获得光场图像数据。
[0065]在至少一个实施例中，捕获的光场图像数据提供至处理电路104。处理电路104可以设置在或集成到光场捕获装置109中（如图IA中所示），或者可以是光场捕获装置109外部的单独组件。此单独的组件可以相对于光场捕获装置109在本地或在远处。任何适当的有线或无线协议可以用来将光场图像数据发射到电路104 ;例如，装置109可以通过互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或其它任何适当手段发射光场图像数据/或其它数据。
[0066]通常，处理电路104对从（若干）光场传感器103接收的光场图像数据进行操作，产生任何输出，比方说例如静止图像、2D视频流等等。在各个实施例中，处理电路104可以使用由光场图像数据（包括但不限于在下文和交叉引用的相关申请中描述的那些）产生静止图像、2D图像等等的任何适当方法。
[0067]在至少一个实施例中，光场照相机100还可以包括用户界面105，用户界面105允许用户提供用户输入以控制照相机100的操作以捕获、获取、存储和/或处理图像数据。在至少一个实施例中，还可以使用用户偏好，如由用户在偏好屏幕上指定的，或者基于默认值提供的。用户输入可以通过任何适当的（若干）用户输入装置111 (诸如触摸屏、按钮、键盘、指针装置和/或等等）提供给用户界面105。由此，在（若干）输入装置111上接收的输入可以用来控制和/或配置处理电路104和控制电路110中的任何一个。
[0068]在至少一个实施例中，照相机100包括一个或多个存储装置114，诸如用于存储来自（若干）光场传感器（并且可能被处理电路104处理过）的图像数据输出的存储器。存储器可以包括外部和/或内部存储器。在至少一个实施例中，存储器可以在与照相机100单独的装置和/或位置上提供。
[0069]例如，照相机100可以存储如由传感器103输出的原始光场图像数据，和/或其表示，诸如压缩的图像数据文件。此外，如在2010年2月10日申请的名称为“Lightfield Camera Image, File and Configuration Data, and Method of Using, Storing andCommunicating Same,，，(律师案号为LYT3003)的相关美国专利申请序号12/703，367中描述的，存储器还可以存储代表装置109的特征、参数和/或配置（共同称作“配置数据”）的数据。
[0070]综述
[0071]光场图像通常包括照相机100的孔112的多个投影（可以是圆形的或者其它形状的），每个投影取自照相机100的焦平面上的不同的有利点。可以在传感器103上捕获光场图像。微透镜阵列102插入到主透镜113和传感器103之间，引起孔112的图像形成于传感器103上，阵列102中的每个微透镜将主透镜孔112的微小图像投影到传感器103上。这些孔形状的投影在本文中称作圆盘（disk)，不过他们的形状不必需是圆形的。
[0072]光场图像包括描述入射到照相机100(或其它捕获装置）的焦平面上的光线的四维信息。两个空间维度（本文中称作X和y)由圆盘本身表示。例如，设置成宽400高300的笛卡尔图案的具有120，000个圆盘的光场图像的空间分辨率是400X300。两个角维度(本文中称作u和V)表示为单个圆盘中的像素。例如，设置成10X10笛卡尔图案的每个圆盘内具有100个像素的光场图像的角分辨率是10X 10。光场图像具有4-D(x，y，U，v)分辨率（400，300，10，10)。现在参照图2，示出了此光场图像200的2圆盘X 2圆盘部分的示例；包括圆盘201和各像素203的描述；出于图示目的，每个圆盘201的宽为10个像素203。
[0073]相应地，在光场捕获装置109的传感器103上形成的图像包括微小图像的集合，称作“圆盘图像”（不过他们的形状不必要是圆形的），其对4D光场图像数据的集合进行编码。传感器103上的每个像素203可以解释为对应于特定的4D光场坐标，其中，两个维度规定其在传感器上的空间位置，两个维度规定入射到该像素203的光的角度或方向信息。2D方向信息由像素203在其为成员的圆盘图像内的2D位置来编码。
[0074]在光场照相机内的光场中的许多光线对单个像素203的照亮有贡献。现在参照图3A，示出了光线202 (包括代表性光线202A、202D)通过阵列102的微透镜201B传输以照亮传感器103中的传感器像素203A、203B的一个示例。
[0075]在图3A的示例中，实心光线202A、202B、202C照亮传感器像素203A，而虚线光线202D、202E、202F照亮传感器像素203B。在每个传感器像素203的值由照亮它的所有光线202的辐射度的总和确定。出于示意和描述目的，然而，可以用每个传感器像素203来识别单个几何光线202。该光线202可以选择为代表照亮该传感器像素203的所有光线202，因此在本文中称作代表光线202。此代表光线202可以选择为通过特定的微透镜201的中心并照亮特定的传感器像素203的中心的那些光线。在图3A的示例中，光线202A和202D描绘为代表光线；两个光线202A和202D都穿过微透镜201B的中心，光线202A代表照亮传感器像素203A的所有光线202，光线202D代表照亮传感器像素203B的所有光线202。
[0076]在传感器像素203和他们的代表光线202之间可以存在一对一的关系。此关系可以通过设置主透镜孔112相对于微透镜阵列102的（明显）大小和位置来加强，使得孔112投影到传感器103上的图像不重叠。现在参照图3B，示出了诸如照相机100的光场捕获装置的布置的示例，其中，微透镜阵列102被定位成使得主透镜孔112投影到传感器103上的图像不重叠。图3B中描绘的光线202是代表光线202，原因是他们全部通过微透镜201之一的中心到达光场传感器803的像素203的中心。
[0077]在至少一个实施例中，4-D光场呈现可以通过投影和重构的过程降低为2-D图像。现在参照图4，示出了这种过程的一个示例。可以引入虚拟投影面401，计算每个代表光线202与投影面401的交叉点。投影面401可以是平面的或不是平面的。如果是平面的，则它可以平行于微透镜阵列102和传感器103，或者它可以不平行。通常，投影面401可以相对于微透镜阵列102和传感器103定位在任何任意的方向。每个代表光线202的色彩可以米用等于其相应的像素203的色彩。在至少一个实施例中，传感器103的像素203可以包括排列成规则图案（诸如Bayer图案）的滤波器，并转换成全色像素。这种转换可以在投影之前发生，使得投影光线202可以无偏差地重构。替代性地，可以为每个色彩信道执行单独的重构。
[0078]投影面401上的图像像素402的色彩可以通过对与图像像素402的域内的投影面401相交的代表光线202的色彩求和来计算。域可以在图像像素402的范围之内，或者可以扩展到图像像素402的范围之外。求和可以被加权，使得不同的代表光线202将不同的部分贡献到求和中。光线权重可以被赋值，例如以光线202和投影面401之间的相交位置相对于特定的像素402的中心的函数。可以使用任何适当的加权算法，包括例如双线性加权算法、双二次加权算法和/或闻斯加权算法。
[0079]在投影到重新聚集的2-D图像的过程中，代表光线202与虚拟投影面401相交，虚拟投影面401与微透镜阵列102平行但有位移。如果虚拟投影面401在微透镜阵列102前面（更靠近场景），则重构的2-D图像聚集到在光场照相机100的最佳聚集场景平面之前的虚拟投影面401。（它离光场照相机100更远）。类似地，如果虚拟投影面401在微透镜阵列102后面（离场景较远），则重构的2-D图像聚集到在光场照相机100的最佳聚焦场景平面后面的虚拟投影面401上。景深与虚拟投影面401的图像深度对应的场景中的物体基本上精确聚焦；场景中的其它物体有模糊地投影，此模糊程度随着与景深的位移而增加。
[0080]深度图是图像侧点（主透镜113的图像侧上的点）的集合，每个点对应于场景中的可见点。场景中的点在其发射的光直接地或者通过从高度反射面反射从而到达主透镜113的前面的节点时是可见的。此对应使得从场景点发射的光是主透镜113在相应的图像侧点的最佳聚焦。
[0081]可以在笛卡尔坐标中规定图像侧点在深度图中的位置，X和y表示投影到光场传感器103上的位置（在沿着主透镜113的光学轴线朝场景观看时，X朝右为正，y向上为正），深度d表示与微透镜阵列102的表面的垂直距离（朝向场景为正，离开场景为负）。X和I的单位可以是像素203-传感器103的像素间距。d的单位可以是拉姆达，其中，一拉姆达的距离对应于这样一个距离，沿着该距离来自任何场景点的光锥将其直径改变一个等于微透镜阵列102的间距的值（微透镜阵列102的间距是相邻的微透镜201的中心之间的平均距离）。
[0082]因此，对于对主透镜113直接可见的场景侧的点，在光学焦点的平面上的景深的点对应于（微透镜）表面的图像深度。距离光场照相机100比距离最佳焦点的平面更远的景深的点对应于图像深度比最佳焦点的平面更靠近主透镜113的点。因此，距离光场照相机100比距离最佳焦点的平面更远的景深的点具有正的深度值。相比最佳焦点的平面更靠近照相机100的景深的点对应于图像深度距离主透镜113比最佳焦点的平面更远的点。因此，相比最佳焦点的平面更靠近照相机100的景深的点具有负的深度值。
[0083]根据本发明的各个实施例，可以进行任何数目的变形，以便优化光场捕获装置109的光学系统，从而改善捕获的光场图像数据。这种变形的示例在本文中描述。本领域技术人员会认识到这些变形可以单独地或者以任何适当的组合来应用。
[0084]传感器读出变形
[0085]根据至少一个实施例，数字图像传感器（例如，光场传感器103)的传感器读出能力被修改。传感器读出变形可以与微透镜阵列（例如微透镜阵列102)结合使用，以捕获光场图像数据，使得传感器的读出模式被裁减以用于光场图像数据捕获。读出模式被优化以产生较不退化的光场图像数据。许多个不同的读出变形在本文中列出；然而，此列表是示例性的。这些变形中的任何一些或全部可以被单独地或者以任何适当组合来应用。
[0086]现在参照图5，示出了根据一个实施例的光场捕获装置109的另一个示例性架构。如图5中描绘，光场传感器103包括缓存器502和预处理503。预处理503进一步包括滤波器504和数据精简506。通常,光场传感器103可以从微透镜阵列102的输出捕获光场图像数据501 (例如如关于图IA到4描述的）。光场图像数据501中的一些或者全部可以在缓存器502中缓存和/或发送到预处理503。
[0087]预处理503可以根据读出模式507处理光场图像数据501，以没有任何可察觉的退化地来降低捕获的光场图像数据的数据大小。预处理503可以将预处理的光场图像数据输出到处理电路104以用于进一步的处理，例如产生2D图像。
[0088]在至少一个实施例中，滤波器504过滤光场图像数据501以降低光场图像数据501的大小。滤波的光场图像数据可以存储在缓存器502中。数据精简506可以从缓存器502中访问光场图像数据501和/或可以访问经过滤波的光场图像数据。数据精简506可以实现一个或多个机制以降低光场图像数据的大小。在一些实施例中，数据精简506使用以下当中的一个或多个：跳过像素203、合并像素203、子采样像素203、重采样像素203、逐像素操作、逐像素值、位掩码、位掩码瓦片（bitmask tile)、加权图像瓦片、位深变形、像素最大化、查询表、多道（muli-pass)读出、光场感知处理以及用隔行扫描的传感器来降低光场数据的大小。
[0089]现在参照图6，示出了描绘用于降低捕获的光场图像数据的大小的方法的流程图。图6的方法将参照图5中的组件和数据进行描述。
[0090]在至少一个实施例中，一个或多个光场传感器103从微透镜阵列102的输出捕获601光场图像数据501。捕获的光场图像数据501根据特定的读出模式在一个或多个光场传感器103上被预处理602，以降低捕获的光场图像数据的数据大小。例如，预处理503可以根据读出模式507处理光场图像数据501以降低光场图像数据501的大小。预处理的捕获光场图像数据然后发送603到处理电路104。
[0091]预滤波传感器图像数据
[0092]在至少一个实施例中，图像数据501在被传感器103读出之前被滤波。在使用子采样、合并或重采样的读出模式时，滤波可以在子采样、合并或重采样之前进行。例如，一个读出模式可以涉及跳过列，水平滤波器可以在此跳过过程之前施加到传感器数据。
[0093]通常，滤波可以是水平的、垂直的或者二维的。二维滤波器可以是或者可以不是单独的。滤波可以实现为用提供的掩码直接卷积图像数据。在至少一个实施例中，滤波可以施加到同一色彩的像素203中。例如，在至少一个实施例中，相同色彩的滤波可以用于图像传感器，其中，不同的像素203代表不同的色彩（例如，使用彩色滤波阵列（CFA)的传感器，诸如Bayer传感器）。替代性地，这种图像的滤波可以实现为考虑多个彩色的像素203，例如在去马赛克/解镶嵌（demosaic)算法中。
[0094]滤波可以使用传感器本身上的小容量的存储器来实现，以在从像素203的阵列读出行时缓存行；这种缓存行可以根据已知的技术来执行。滤波操作可以施加到这些缓存行，在垂直或二维滤波器的情况下，缓存行的数目可能需要至少与垂直维度上滤波器的抽头的数目一样大。
[0095]一旦数据在本地缓存器（诸如缓存器502)中滤波，可以施加随后的操作，包括(但不限于）子采样、合并或者重采样，之后数据最终从传感器103输出。
[0096]此传感器性能的一个优点是预滤波（可能是高度地）调制的光场图像数据，再子采样，例如传感器图像被子采样并调整为适合用于照相机上的实时观看操作的LCD屏幕。子采样以及然后降低高度调制的光场图像数据的规模而没有足够大的预滤波操作可能造成最终图像中由于混叠图案造成的不受欢迎的制品。
[0097]滤波可以在空间上变化，或者可以在整个光场图像上是均匀的。在空间变化的滤波器情况下，变化可以是被滤波的像素203的光场坐标的函数，这种方法可以用来在光场图像的高度调制的区域中施加更大的滤波（因此有更大量的像素聚合）。
[0098]基于其光场坐标跳过像素
[0099]在至少一个实施例中，传感器读出模式可以基于其光场坐标跳过像素203，而不是使用一些（传感器-表面）均匀的和/或光场遗忘方法跳过像素203，诸如每隔一行或一列跳过。
[0100]如上文描述的，通过在传感器103上设置的微透镜阵列102捕获的光场图像可以包括大量的圆盘201。更靠近圆盘201的中心的像素203倾向于被照得更亮，具有比更靠近圆盘201的边界的像素203更高的信噪比（SNR)。在这种光场图像中，4D坐标空间的二个方向维度指像素203在圆盘201中的位置，可以执行以这些方向维度的函数选择要跳过的像素203，以确保只有更靠近圆盘201的中心的像素203从传感器103中读出。
[0101]例如，如图7描绘的，给定光场传感器103和微透镜阵列102的配置，使得每个圆盘图像201的直径大约为10个传感器像素203，可以为每个圆盘201定义8x8中心矩形731的像素203，使得矩形731几乎被完全地包含于圆盘201中。传感器103可以包括一些容量的本地存储器，以在从传感器103读出数据之前缓存可以用来将8x8矩形731包装成连续的块的多行像素数据。
[0102]在至少一个实施例中，其中，传感器像素203是由于在彩色滤波阵列（CFA)下的单一色彩，中心矩形731可以选择为包装在一起，使得在包装之后，所产生的图像是在产生图像的范围上CFA图案的合法示例。在（R，GR, GB, B)Bayer传感器情况下，矩形731可以选择为使得（例如）相同色彩的像素（例如R)在每8x8块的左上方。
[0103]要跳过的像素203和/或要包装到一起的像素区的位置可以以任何种可行的方式规定。一个示例是提供每个圆盘201的中心的传感器坐标。此数据还可以存储在传感器中专用于此目的的小的本地存储器（未显示）中。
[0104]逐像素读出操作
[0105]在各种实施例中，本发明的系统和方法提供完全可配置的并且可以以逐像素方式规定或配置的传感器读出图案。
[0106]在至少一个实施例中，可以提供位掩码，位掩码对于每个像素203规定其是被跳过还是不被跳过，不跳过的像素203可以在数据中被包装在一起，从传感器103输出。这种位掩码可以编程到传感器103的本地存储器中，或者可以提供于DRAM或传感器103可以访问的其它存储器中。进一步，多个位掩码可以编程到传感器中以允许快速切换读出图案。
[0107]在另一实施例中，可以提供一个或多个位掩码瓦片，这些瓦片可以在不同的传感器区域上重复使用以规定跳过哪些像素203。
[0108]在进一步的实施例中，不是位掩码规定要被读取或跳过的像素203，可以提供加权图像或一个或多个加权图像瓦片。如上文描述的位掩码方法一样，读出图案可以基于逐像素基础规定。然而，在这种方法中，不是每个像素相应的位掩码布尔表项规定是否跳过像素203，可以规定逐像素加权因数（即乘积因子），其中，这些权重与被读出的像素值相乘。而且，在读出过程中任何其它的像素203的跳过、合并、重采样或聚合可以与这种逐像素加权操作结合执行。
[0109]在另一实施例中，除了或代替提供逐像素加权数据之外，可以提供逐像素偏移值，其中，读出像素值是根据以下公式计算的，这里，计算的像素值钳制到合法像素值范围，如下所示：
[0110]PixelValueJ = CLAMP(PerPixelOffset+PerPixelffeight*PixelValue,0, MAX)
[0111]由逐像素跳过规定实现的（许多）可行的读出图案中的一个是随机或伪随机图案；例如，在重复瓦片图案中，被跳过的像素203具有看起来似乎是随机的位置集合。
[0112]在至少一个实施例中，本文中描述的算术运算可以使用标准定点运算来实现。
[0113]读出位深变形
[0114]在至少一个实施例中，数字图像传感器103的读出位深可以修改为利用在光场处理算法中执行的大量的像素聚合。通过利用适当数目的位来对每个原始像素203编码，并定义由原始线性值到编码值的映射函数，可以降低来自传感器的读出数据速率（用字节/秒来测量）以获得给定数目的像素/秒。任何适当的编码可以用来利用像素203的光场坐标和/或传感器103上的光场圆盘图案。
[0115]一个示例性编码输出每个像素具有可变位数的原始数据，这里，像素203在传感器暴露期间具有“更好”或“更多”的光捕获，这可以具有用较高位深编码的相应的值。对于在微透镜阵列102下面的传感器103上捕获的光场图像（例如，根据上文描述的架构），所产生的圆盘图像在更靠近圆盘201的中心具有更多的光捕获的像素203 ;因此，更多的位可以用来编码圆盘_中心像素相对圆盘_边缘像素。
[0116]另一示例性编码可以使用像素特定的最大值，像素值被钳制到该最大值。例如，在许多情况下，在光场图像中靠近圆盘201的中心的像素比靠近圆盘201的边缘的像素亮很多，除了在过饱和的情况下。圆盘-边缘像素可以钳制到比圆盘-中心像素可以保持的值更小的最大值。
[0117]另一实施例可以使用可变位深和可变像素最大值方法的组合。这种读出图案的一个示例可以使用每个像素12位（bpp)来对圆盘-中心像素203的范围[0,4095]中的值编码，使用6bpp来对圆盘-边缘像素203的范围[0，1023]中的值编码（这里，64个可行的编码值在1024个像素值的范围中均匀间隔开）。
[0118]在另一例性实施例中，一个或多个查询表可以用来将传感器值映射为编码值，其中，查询表可以由用户编程，选择哪个查询表应用到任何特定像素203是根据其光场坐标确定的，例如根据其相对于其圆盘201的中心的位置确定的。不同的查询表甚至查询表内的不同的表项可以是变化位长的或者不是变化位长的，从传感器读出的像素203的顺序可以具有包装在一起的任何大小可变的像素值。
[0119]与预滤波的实施例一样，在至少一个实施例中，这种像素位深变形可以通过逻辑实现，所述逻辑作用于像素203的小数目的缓存行上，之后在传感器界面上读出。
[0120]渐进式多道读出
[0121]在至少一个实施例中，传感器图像数据可以以多次读出，其中，每次读取在传感器103上间隔开并与在其它次读出的行隔行的行的集合。这种读出方法通过后续的数据处理实现了诸如分解照相机运动与物体运动以及HDR成像的特征。
[0122]读出次数以及每次读取的相应行的集合可以是硬连线的或者是可编程的。
[0123]在读出过程中执行光场感知处理
[0124]在至少一个实施例中，可以在图像传感器103上执行光场感知处理，使得从传感器103读出的数据已经以某种方式处理过。光场感知处理操作的示例包括（但不限于）：
[0125]籲将光场图像数据从“圆盘阵列”格式置换成“子孔径图像阵列”格式；
[0126]?将4D数据转换成2D数据，例如通过重新聚焦，通过产生全聚焦或扩展景深(EDOF)图像，或者通过产生具有视差或视角转变的图像。
[0127]不同帧上的不同的读出图案
[0128]在至少一个实施例中，对于不同的帧特别是视频帧可以提供不同的读出模式。通常，本文中描述的任何读出模式的实施例可以对不同的帧变化。
[0129]CXD传感器上的光场图像读出
[0130]在至少一个实施例中，只要微透镜阵列几何结构中的一些或全部在图像传感器103制造时是是已知的或者确定的，则本文中描述的至少一些图像读出模式可以使用电荷耦合装置（CXD)图像传感器103来实现。与CMOS图像传感器不同，C⑶通常没有单独可寻址的像素203，依赖于用于读出的电荷转移。这对在这种图像传感器103上执行任意的读出模式提出挑战，原因是像素读出的本地次序和图案在设计半导体器件本身时是固定的。
[0131]用于实现以依赖于具体的微透镜阵列几何形状的特定次序或方式读出像素203或另外更好地适于微透镜成像的全分辨率或分辨率降低的读出模式的一种方法是使用具有隔行扫描的行间、帧行间转移或任何其它类型的CCD图像传感器103。图像传感器103构造有逐像素微透镜、光电二极管、传输门、垂直电荷耦合装置（VCCD)和/或根据光场微透镜阵列102的几何形状排列的其它定制图像传感器部分，以便允许实现本文中描述的（一种或若干）读出模式。在其它方面，图像传感器103可以以适于CCD图像传感器的任何方式构造。
[0132]现在参照图8，示出了根据一个实施例的跳过靠近光场圆盘图像之间的边缘或者在其上的像素203的读出模式的光电二极管701的示例性布置。图8描绘了具有六角形光场微透镜阵列图案703的8-场隔行读出图像传感器的光电二极管701和VCXD 702的逻辑配置。为了简洁，省略了传输门（或者金属层的任何其它部分）、孔、彩色滤波阵列和逐像素微透镜。图不是按比例绘制的。在此示例中，读出场1、2、3和4产生只覆盖处于微透镜阵列图像的中心的像素203的半分辨率模式。
[0133]改变图像传感器的彩色滤波阵列图案
[0134]在至少一个实施例中，给定图像传感器上的微透镜阵列，例如，传感器103上的微透镜阵列102，施加到图像传感器103的彩色滤波阵列（CFA)图案可以被修改以提高从光场捕获的色彩信息的质量。为每个像素203选择的色彩可以（或者也可以不）是其光场坐标的函数。
[0135]现在参照图9，示出了根据一个实施例的光场捕获装置109的另一示例性架构。如图9中描绘的，光场传感器103包括圆盘图案901 (例如规定在传感器103上形成的捕获光场图像数据中圆盘102的布置）、彩色滤波阵列（CFA)栅格布局902和CFA调节器903。根据本发明的技术，CFA调节器903可以基于圆盘图案901修改CFA栅格布局902。
[0136]现在参照图10，示出了根据一个实施例的描述用于修改彩色滤波阵列（CFA)以提高从光场捕获的色彩信息的质量的方法的流程图。出于图示目的，将参照图9中的组件和数据描述图10的方法。
[0137]在至少一个实施例中，CFA调节器903访问1001圆盘图案901的配置。CFA调节器903然后确定1002如何修改彩色滤波阵列（CFA)以提高从微透镜阵列102的输出捕获的色彩信息的质量。CFA调节器903然后根据其确定结果修改1003CFA栅格布局902。然后，光场传感器103根据圆盘图案901和修改后CFA栅格布局902从微透镜阵列102的输出捕获1004光场图像数据。光场传感器103然后将捕获的光场图像数据发送1005到处理电路104。
[0138]在各个实施例中，可以以各种方式修改彩色滤波阵列，包括但不限于：不向一些像素203施加彩色滤波，改变彩色滤波通带和/或随机化彩色滤波阵列图案。
[0139]在各个实施例中，CFA图案变形包括但不限于以下：
[0140]对某些像素不施加彩色滤波
[0141]接收由微透镜阵列102强调制的光的像素203可以不经过任何彩色滤波以提高在相同的曝光时间中由像素203捕获的光子的量。在稍后的处理阶段，不经过彩色滤波的像素203可以用作照明信号源（单色图像），其色度分量可以与附近的像素203内插。
[0142]改变彩色滤波通带
[0143]接收较少光的像素203可以具有有较宽通带的彩色滤波器（负的），而接收较多光的像素203可以具有较窄的通带。例如，朝微透镜图像的边缘的像素203可以具有青色/品红/黄色的彩色滤波器图案，而朝微透镜图像的中心的像素203可以具有红色/绿色/蓝色的彩色滤波器图案。这允许边缘像素203在其彩色滤波器中衰减较小的信号，提高到达光传感器的光子的数目。
[0144]随机化彩色滤波器阵列图案
[0145]为了减少可能由彩色滤波器阵列图案的规则性造成的问题，可以随机化彩色滤波器阵列的布置。可以记录在每个像素203上的彩色滤波器的类型，并使其对处理软件/硬件已知。
[0146]改变图像传感器的像素属性
[0147]假定微透镜阵列102位于图像传感器103上，则由于取决于传感器角度响应的各种因数以及微透镜阵列102和/或主透镜113的光学特征，基于像素在每个微透镜201下的位置可以由不同的像素203捕获不同量的光。在至少一个实施例中，可以基于每个像素203的光场坐标调节个别像素的属性，以补偿这些效应并产生更加均匀（或者有意不均匀）的采样。
[0148]现在参照图11，示出了根据一个实施例的光场捕获装置109的另一示例性架构。如图11中描绘的，光场传感器103包括像素调节器1106。通常，像素调节器1106可以访问像素203的光场坐标，基于像素203的光场坐标对像素203的属性进行相应改进。
[0149]现在参照图12，示出了根据一个实施例的描绘用于修改像素属性的方法的流程图。将参照图11中的组件和数据描述图12的方法。
[0150]传感器103从微透镜阵列102的输出捕获1201光场图像数据，光场图像数据包括每个像素203的属性。然后，对于光场图像数据中包括的一个或多个像素值中的每个像素值，像素调节器1106访问像素203的坐标1103，通过调节像素203的一个或多个属性来修改1202像素203，以补偿由于光场捕获装置109的其它特征造成的不均匀采样。例如，像素调节器1106可以通过基于坐标1103调节属性1104来修改像素203。捕获的光场图像数据(包括修改后的一个或多个像素203)然后发送1203到处理电路104。
[0151]可以被调节的像素属性的示例包括但不限于：
[0152]?每个像素203特有的曝光时间。
[0153]?在像素调节器、列放大器、行放大器和/或其它任何模拟或数字放大级上给信号施加的任何种类的增益。
[0154]?在光电二极管、任何放大器、数字/模拟转换器（DAC)和/或其它任何处理级上给信号施加的任何各类偏置和/或偏移。
[0155]这些属性可以在每个像素变化和/或在每组像素203上变化。例如，在至少一个实施例中，这些可以是固定数目的不同参数的集合，每个像素203可以根据这些参数集合中的一个配置。
[0156]用于调节这些属性的方法包括但不限于：
[0157]?任何各类的半导体制造后的局部修整。
[0158]?实现（例如以硬件）在图像曝光之前作为数字或模拟信号提供的可设置的每个像素或每个像素组的曝光规模或偏移、信号增益、信号偏置或信号偏移。
[0159]?实现（例如以硬件）在制造时存储在半导体熔丝中的可设置的每个像素或每个像素组的曝光规模或偏移、信号增益、信号偏置或信号偏移。
[0160]?实现（例如以硬件）在以数字或模拟信号的图像读出期间同步提供的每个像素或每个像素组的信号增益、信号偏置或信号偏移。
[0161 ] 移动/抖动像素和/或微透镜
[0162]如上文描述的，在至少一个实施例中，传感器103上的像素203可以排列成规则图案，诸如正方形图案。类似地，微透镜阵列102上的透镜201也可以排列成规则图案，诸如正方形图案或六角形图案。然而，扰乱这些规则图案之一或两者可能是有优点，使得引入位置的小的随机变化。这些位置的随机变化在本文中称作“抖动”;抖动的弓I入在本文中称作“抖动”。在计算机图形领域众所周知的是抖动采样位置将混叠转换成噪声。例如，参见Cook，Robert L.所著的 Stochastic Sampling in Computer Graphics, ACM Trans. Graph. 5,
I(1986)。因为微透镜201和像素203的位置基本上确定进入照相机100的光场的采样图案，这些优点还可以归于光场采样。相关优点是还可以降低在光场的重新投影的采样图案中的规则性。也可以有另外的优点。
[0163]现在参照图13，示出了根据一个实施例的光场捕获装置109的另一示例性架构。如图13中描绘的，光场图像数据109包括抖动模块1301。抖动模块1301被配置成将抖动引入到微透镜阵列102和/或（若干）光场传感器103中。
[0164]现在参照图14，示出了根据一个实施例的描绘用于将抖动引入到光学系统组件中的方法的流程图。将参照图13中的组件和数据描述图14的方法。
[0165]在至少一个实施例中，选取已经通过孔112和主透镜113的光1303。如图13中描绘的，光1302传输进入到照相机100中，光1303从光学器件101中出来。抖动模块1301例如通过改变微透镜阵列102中的透镜201和/或一个或多个光场传感器103中的像素203的位置来引入1402随机变化。
[0166]在引入随机变化之后，例如通过微透镜阵列102和（若干）光场传感器103从选取的光1303捕获1403光场图像数据1304。捕获的光场图像数据1304发送1404到处理电路 104。
[0167]抖动图案在任何规模上可以是随机的。在一种极限情况下，图案可以延伸整个范围，即在整个微透镜阵列102或整个传感器103上。在另一种极限情况下，图案可以是在微透镜阵列102或传感器103上重复的小的瓦片。在这些极限情况之间存在较大瓦片和较大瓦片的随机图案。瓦片的动机可以是降低处理成本，原因是正确地解释采样位置所需的表更小。抖动采样的大部分优点可以随合理小的瓦片而增加。例如，可以为每个圆盘中的10个像素203执行相同图案的像素抖动。
[0168]在至少一个实施例中，传感器103上的像素203可以具有其真实的抖动位置。替代性地，像素203可以设置在规则栅格上，但通过对设置在每个像素位置上的透镜进行调节来使其看起来被抖动（这些透镜旨在将撞击到传感器103上的光朝电子像素结构的光敏部分引导）。只调节传感器103的表面上的光学器件，而不是对传感器103本身进行变化可能是花费较少的，可以用较大的瓦片来实现。像素抖动可以与像素大小的变化结合执行，像素抖动还可以直接地在传感器103中引入，或者通过对传感器103的表面上的光学器件进行改动来引入。
[0169]在至少一个实施例中，抖动微透镜位置和/或像素位置是以这样一种方式执行的，这种方式确保任何两个透镜位置都不会更靠近圆盘的直径。因此，避免圆盘的重叠，否则这可能引起像素值不被正确地解释。接近度的约束可以用随机抖动来满足。替代性地，以微透镜的位置的附加约束来满足接近度约束可能更加有效。例如，退火算法可以允许近随机抖动和最小距离约束被同时地执行。具体地，抖动可以在整个瓦片中随机引入，然后在违反最小距离约束的情况下，采样可以是重新抖动的；此过程可以重复直到满足约束。
[0170]整数间距的圆盘图像设计
[0171]在至少一个实施例中，可以对微透镜阵列102和主透镜113的设计及在光学系统101中的设置进行改进，以便产生具有整数个传感器像素203的垂直和/或水平间距的圆盘图像，这里，整数间距选择为能够实现更加便宜、更快速和/或更高质量的处理方法。这些方法包括（但不限于）下文描述的那些方法。
[0172]传感器103上的圆盘图像的间距由微透镜阵列102的间距、其与传感器103的间隔以及与主透镜113出射光瞳的距离控制。适当地选择这些参数以及还确保微透镜阵列102相对于传感器103不进行空间旋转，这允许光场圆盘图像被捕获，其中，在水平和垂直方向之一或两者的圆盘间距是整数。
[0173]除了圆盘间距是整数值之外，可以施加的另一种设计约束是确保微透镜阵列102适当地排列在传感器103之上，使得微透镜阵列102中的每一行微透镜201平行于传感器像素203的行。除了平版印刷制造方法之外，使用晶圆至晶圆的制造技术是可行的。
[0174]例如，再次参照图1A、1B、2和7，主透镜113和微透镜阵列102可以设置成在（若干）传感器103上产生具有整数个传感器像素203的垂直和/或水平间距的圆盘图像201 (或中心矩形601)。替代性地或者相结合，微透镜阵列102和（若干）传感器103之间的间隔可以选择为便利（若干）传感器103上的整数个传感器像素203的垂直和/或水平间距。替代性地或者相结合，微透镜阵列112可以被配置成确保它相对于（若干）传感器103不进行空间旋转。替代性地或者相结合，微透镜阵列102可以被配置成确保它在（若干)传感器103上适当地对齐，便利微透镜阵列102中的每行微透镜201平行于传感器103中的一行传感器像素203。
[0175]在至少一个实施例中，主透镜113是移动的主透镜。主透镜113可以是确保在主透镜113移动时（例如它缩放时），（若干）传感器103上的圆盘图像间距保持恒定和为整数的设计。例如，对于所有的焦距，主透镜113可以具有与（若干）光场传感器103的传感器表面充分远（相对于传感器尺寸）的出射光瞳。
[0176]置换成子孔径图像的阵列
[0177]在至少一个实施例中，光学系统被配置成使得捕获的光场圆盘图像201在正方形栅格上具有整数间距的圆盘，每个圆盘图像201包含于正方形的NxN区域的源像素203内。进一步地，光场图像数据从其“圆盘阵列”呈现置换成其等效的“子孔径图像阵列”呈现，正如Ng等人描述的。这种置换可以出现在以下地方中的任何一个或者在任何其它适当的位置：
[0178]?在传感器103本身，使得从传感器103读出的原始光场图像数据已经处于其置换布局。
[0179]?在连接到传感器103的处理元件上，诸如照相机的芯片上系统（SoC)，在照相机的处理流中。
[0180]?在已经保存到文件中的光场图像数据上。
[0181]数据的置换可以在原始域（即在数据的解镶嵌之前）中进行，或者在已经转换成全色（例如在RGB或YUV域中）之后在光场图像数据上进行。
[0182]在此布局中呈现的光场图像数据可以具有小得多的高频调制。以此布局安排光场图像数据的益处可以包括例如：
[0183]?如果是2D图像，则提高处理光场图像数据的能力，例如对其解镶嵌（在原始光场图像数据的情况下）、对其JPEG-编码、视频编码这种帧的序列等等。这是由于以此格式编码的光场图像数据看上去恰好是2D图像的图册。当呈现为“圆盘阵列”时，光场图像数据包含高频调制图案，这是由于如果标准2D图像算法施加到数据则圆盘图案通常导致数据退化。
[0184]?更加便宜、高效或快速地执行数据的光场处理的能力。
[0185]在对用带彩色滤波阵列（CFA)的传感器（例如Bayer传感器）捕获的原始光场图像数据执行这种置换的情况下，光场图像数据置换后可能在数据范围上不再包含均匀的彩色图案。例如，如图15中描绘的，假定光场图像200具有2x2的圆盘201，每个圆盘201为3x3个像素（N = 3)，则这可以置换成具有3x3个子孔径图像的子孔径图像栅格1503A，每个图像具有2x2个像素203。
[0186]在另一实施例中，如图16中描绘的，CFA图案可以在传感器上修改，使得光场图像数据、置换后是原始CFA图案的合法示例，诸如Bayer马赛克图案。在光场图像200上执行此操作的一种方式是使用CFA，CFA引起每个圆盘图像201是均匀的色彩，圆盘图像中的圆盘的彩色图案是合法的马赛克图案。这可以置换成具有3x3子孔径图像（每个为2x2像素）的子孔径图像栅格1503B。
[0187]对于重新聚焦到特定深度的高分辨率的原始置换
[0188]在至少一个实施例中，光学系统实现为产生具有整数圆盘间距的捕获光场图像，允许在原始Bayer域中快速地重新排序捕获的光场图像数据，使得所产生的重新排序的光场图像数据可以直接解释为聚焦在特定深度并使用标准2D图像处理算法（包括解镶嵌）处理的2D图像，以产生可以显示或输出的最终图像。
[0189]在至少一个实施例中,光学系统可以表征为如下。
[0190]?具有正方形包装、整数N和适当对齐的微透镜阵列（MLA) 102。
[0191]?用于视频和/或实时查看设置的光学系统以便能够如下面的方式查看特定的焦平面（在固定焦距的照相机中，此焦平面可以靠近无限焦平面）：
[0192]?考虑与主透镜113的虚拟孔内的位置集合对应的所有子孔径图像的集合，这里，子孔径图像是在“MLA分辨率”下查看的，原因是在子孔径图像的一行中的像素203的数目近似与微透镜阵列102的一行中微透镜201的数目相同。
[0193]?定义L，使得当与虚拟孔的周界周围的点对应的极限子孔径图像各自移动L/2个像素，在特定焦平面中焦点的场景物体将在输出图像中的焦点，输出图像是由Ng等人描述的“位移-和-添加”重新聚焦方法形成的。位移方向由在考虑中的特定的焦平面是在光学捕获的焦平面“之前”还是“之后”确定（参见Ng等人）。
[0194]?在操作中，照相机100根据下文描述的方法重新聚焦到上文由参数L表征的焦平面。
[0195]· N和L选择为使得N/L是整数。使P = N/L。
[0196]?传感器具有可以每NxN个像素重复一次读取PxP像素的单个块的读出模式。
[0197]?微透镜阵列102与传感器103对齐，使得每PxP的读出块靠近与微透镜阵列102对应的像素203的圆盘201的中心。
[0198]现在参照图17A至17D，示出了示例性传感器103，其具有可以每NxN个像素203重复一次读取PxP像素203的单个块的读出模式。图17A描绘了具有焦平面1711、微透镜阵列102和传感器103的光学系统101A。在图17A中，焦平面1711和微透镜阵列102之间的距离是微透镜阵列102和传感器103之间的距离的四倍（即L = 4)。图17B描绘了具有2x2圆盘201的光场图像200A，每个圆盘201有8x8像素（N = 8)。光场图像200A可以通过光学系统IOlA的组件产生。图17C描绘了光场图像200A的子采样图案1704A。图17D描绘了使用子采样图案1704A获得的光场图像200A的子采样部分1706A和相应的置换1707A(L = N/2)。在置换1707A投影中，Bayer马赛克像素203邻近X/Y和U/V中的邻居以用于解镶嵌。
[0199]现在参照图18A至18D，示出了另一示例性传感器103，其具有可以每NxN个像素203重复一次读取PxP像素203的单个块的读出模式。图18A描绘了具有焦平面1711、微透镜阵列102和传感器103的光学系统101B。在图18A中，焦平面1711和微透镜阵列102之间的距离是微透镜阵列102和传感器103之间的距离的三倍（即L = 3)。图18B描绘了具有2x2圆盘201的光场图像200B，每个圆盘201有9x9像素（N = 9)。光场图像200B可以通过光学系统IOlB的组件产生。图18C描绘了光场图像200B的子采样图案1704B。图18D描绘了使用子采样图案1704B获得的光场图像200B的子采样部分1706B和相应的置换1707B (L = N/3)。在置换1707B投影中，Bayer马赛克像素203邻近X/Y和U/V中的邻居以用于解镶嵌。
[0200]在操作中，照相机100从PxP块中子采样图像，并组合所产生的图像。在L是正的情况下（在背景中），每个PxP块内的像素203在中心点上翻转（图18D)。在L为负的情况下，像素203保持在当前位置。
[0201]在至少一个实施例中，所产生的图像具有以下性质：
[0202]?它聚焦到由参数L表征的焦平面上。
[0203]?所产生图像是SensorWidth (传感器宽度）*P/N像素宽、SensorHeight (传感器高度）*P/N像素高。在4000x3000传感器（12MP)的情况下，N = 10，L = 5，输出图像是800x600 像素。
[0204]?在所产生的Bayer图像中的每个像素203邻近在X/Y和U/V中的邻居。
[0205]?景深是光学系统的P倍，实际上产生具有稍微扩展的景深的图像。
[0206]这种方法的一个优点是它可以以非常高效的方式产生扩展景深的（EDOF)视频和实时视图。Bayer马赛克中的投影允许用X，Y，U，V空间中的真实邻居来解镶嵌。所述方法还可以产生相对高的分辨率输出。
[0207]整数间距的六角形微透镜阵列布局
[0208]在至少一个实施例中，光场光学系统包括微透镜阵列102，在微透镜阵列102上以非矩形晶格（比方说例如六角形晶格）布局微透镜201，其中，晶格可以在一个维度上（例如垂直地或水平地）拉伸以获得每个维度上的整数间距。例如，如微透镜阵列102具有六角形布局，则微透镜间距可以选择为在N = 10个像素的传感器上产生水平圆盘间距，但在这种情况下，垂直圆盘间距是N*SQRT(3)/2 = 8. 66像素。垂直地将微透镜阵列布局拉伸4%会产生9的垂直间距。
[0209]基于传感器103的可用读出模式在传感器103之上定位和/或定向微透镜阵列102
[0210]在至少一个实施例中，微透镜阵列102在传感器103上的位置和取向可以基于传感器103的读出模式来确定。给定微透镜阵列102和图像传感器103，则可以确定微透镜阵列102在图像传感器103上的最理想取向和位置。在至少一个实施例中，此取向和位置然后在微透镜阵列102被固定到位之前的制造工艺中施加到微透镜阵列102。
[0211]现在参照图19，示出了根据一个实施例的描绘用于确定并配置用在光场图像捕获装置109中的微透镜阵列102的方法的流程图。此方法将参照图1A、1B和5中的组件进行描述。
[0212]首先，访问1901微透镜阵列102的特征。然后，访问1902(若干）传感器103的特征，包括（若干）传感器103的读出模式。基于微透镜阵列102的特征和（若干）传感器103的特征（包括（若干）图像传感器103的读出模式）确定1903微透镜阵列102的最理想配置。将最理想配置存储1904到存储装置，以在光场捕获装置109的制造期间施加到微透镜阵列102。最理想配置例如可以存储在用来制造照相机100的制造设备中。
[0213]在至少一个实施例中，所述系统考虑微透镜阵列102围绕与图像传感器平面垂直的轴线（Z-轴线）的（可能是所有的）物理旋转以及微透镜阵列102在与图像传感器平面(XY-轴线）平行的平面内的所有物理平移的集合。同样，所述系统考虑传感器103的所有读出模式的集合（包括例如合并、跳过、重采样、调整和/或其中一些的组合）。对于每种传感器读出模式，微透镜阵列102的两个不同的取向/位置可以通过计算和考虑以下因素来比较：
[0214]?读出像素203的平均调制与所有像素203的平均调制的比率。例如，假设读出模式根据垂直和水平均为大小N的周期性图案跳过像素203。微透镜阵列102的平移相比不平移是优选的，微透镜阵列102的平移会最大化在最小调制区域中读出像素203的数目。
[0215]?如果读出模式是分辨率减小的读出模式，则哪部分光场被该读出模式捕获。在每种读出帧中的样本的集合可以相对于其光场坐标来解释。对于特定模式的样本分布的形状可以随微透镜阵列102的平移和旋转而变化，一些分布会比另一些分布好。例如，假设根据垂直和水平均为大小N的周期性图案，读出模式跳过像素203，每个光场圆盘图像恰好包含在传感器103上的NxN像素正方形中。确保中心像素203在每个微透镜102下读出的微透镜阵列102的平移和旋转会产生中心子孔径图像。例如，参见Ng等人。
[0216]?在给定的读出模式下，在由图像传感器103施加的任何调整、合并和/或重采样期间光场的哪些部分混合在一起。在调整的、合并的或子采样形式的光场图像中的每个输出像素可以计算为传感器像素203的组合（可以是加权平均值）。可以用来评估具体的微透镜阵列设置的一个标准是扩展曾用来计算输出像素的传感器像素203集合的光场坐标中的方向信息。选择会导致每个输出像素中方向坐标的较大平均扩展的设置可以在输出图像中产生更少的混叠伪影。
[0217]应对大的主光线角度（CRA)的MLA设计
[0218]旨在与远心透镜一起用作主透镜113的传感器103的性能可以通过使微透镜201朝主透镜113的光学轴线倾斜来（可能是明显地）改进，使得微透镜201接收与其自身的局部表面垂直（或者几乎垂直）的光线。例如，参照图1B，微透镜阵列102中的透镜可以朝主透镜113的光学通路倾斜。
[0219]现在参照图20，示出了两个示例性微透镜阵列102的自上而下的视图。自上而下的视图2001描绘了扁平的微透镜阵列102A。自上而下的视图2002描绘了倾斜的微透镜阵列102B。在自上而下的视图2002中，每个微透镜201朝光学轴线（x，y = 0,0)倾斜。现在再参照图21，示出了图20中描绘的自上而下的视图的示例性3D曲线。3D曲线2101A对应于扁平的微透镜阵列102A。3D曲线2101B对应于倾斜的微透镜阵列102B。在图20和21的彩色形式中，红色指示高地势，而蓝色指示低地势。
[0220]现在参照图22，示出了通过包含倾斜微透镜201的微透镜阵列102的示例性2D切片2201。2D切片2201图解说明每个倾斜的微透镜201如何结合到其各平面的邻居。如果射线的入射介质是空气，则平面被定向为使得平面平行于来自主透镜113的出射光瞳的中心的射线。如果射线的入射介质不是空气，因此具有大于I的折射率，平面被定向为使得平面平行于来自主透镜的中心的射线的折射角。这样做是为了最小化由观察者在主透镜113的出射光瞳的中心观察到的这些散射表面的效应。可以执行倾斜的MLA侧壁角的进一步优化，以便应对主透镜的f_数和渐晕以及来自透镜表面的散射、反射和全内反射。
[0221]现在参照图23A和23B，示出了不同类型的倾斜MLA侧壁角优化的两个示例。在图23A中，MLA 102由入射介质2301 (可以是例如玻璃、聚合物或其它透光材料）的底边缘成形，介质2301和传感器103之间有气隙2304。从主透镜113出射光瞳到达的光线202在碰到介质2301时折射。MLA 102的平面2302形成并定向为使得匹配入射光的折射角，并且使得这些平面将光线202适当地聚焦到传感器103上。
[0222]在图23B中，MLA 102由入射介质2301的顶边缘成形，在介质2301和传感器103之间没有气隙。这里，从主透镜113出射光瞳到达的光线202在碰到MLA 102的平面2302之后折射，MLA 102是由入射介质2301的顶边缘形成的。相应地，在此实施例中，平面2302成形和定位成使得匹配空气中的入射光的角度，并且使得这些平面将光线202适当地聚焦到传感器103上。
[0223]已经参照可能的实施例特别详细地描述了本发明。本领域技术人员会认识到本发明可以在其它实施例中实践。首先，在组件、词语的大写形式、属性、数据结构或任何其它编程或结构方面的具体命名不是强制性的或重要的，实施本发明或其特征的机构可以具有不同的名字、格式或协议。进一步地，所述系统可以通过如描述的硬件和软件的组合或者整个由硬件元件或者整个由软件元件来实现。同样，本文中描述的各个系统组件之间的功能的特别划分只是示例性的，不是强制性的；由单个系统组件执行的功能实际上可以由多个组件执行，由多个组件执行的功能实际上可以由单个组件执行。
[0224]在各个实施例中，本发明可以单独地或者以任何组合实现为用于执行上文描述的技术的系统或方法。在另一实施例中，本发明可以实现为一种计算机程序产品，其包括非暂态计算机可读存储介质和在所述介质上编码的计算机程序代码，以用于引起计算装置或其它电子装置中的处理器执行上文描述的技术。
[0225]在说明书中提到“一个实施例”或“实施例”表示关于该实施例描述的具体特点、结构或特征包括在本发明的至少一个实施例中。在说明书的各个地方出现词语“在至少一个实施例中”不一定全部指相同的实施例。
[0226]上文的一些部分是根据算法和对计算装置的存储器内的数据位的操作的符号表示呈现的。这些算法描述和呈现是由数据处理领域的技术人员使用以最有效地将他们的工作本质向其他本领域技术人员传递的手段。算法在这里通常构思为是导致期望结果的步骤(指令）的自相一致的序列。步骤为那些需要对物理量进行物理操作的步骤。通常这些量采用能够被存储、传输、组合、比较和另外操作的电、磁或光信号的形式，但不一定是上述形式。有时特别是出于常用原因将这些信号称作位、值、元件、符号、字符、词语、数字等等是方便的。而且，有时在不丧失一般性时将需要对物理量进行物理操作的步骤的某些安排称作模块或代码装置也是方便的。
[0227]然而，应当记住所有的这些和相似词语与适当的物理量关联，并且这些词语只是应用于这些量的方便标记。除非明确指出，否则如下文的讨论中所显而然见的，要认识到在说明书中，使用诸如“处理”或“计算”或“计划”或“显示”或“确定”等等的词语进行的讨论指计算机系统或类似的电子计算模块和/或装置的动作和处理，所述计算机系统或类似的电子计算模块和/或装置对计算机系统的存储器或寄存器或其它这种信息存储、传输或显示装置内的表示为物理（电子）量的数据进行操作和转换。
[0228]本发明的某些方面包括在本文中以算法形式描述的处理步骤和指令。应当注意的是，本发明的处理步骤和指令可以体现为软件、固件和/或硬件，当体现为软件时，可以被下载以驻存在由各种不同的操作系统使用的不同平台并由这些平台操作。
[0229]本发明还涉及一种用于执行本文中的操作的设备。此设备可以具体构造以用于所需目的，或者该设备可以包括被存储在计算装置中的计算机程序选择性激活或重新配置的通用计算装置。这种计算机程序可以存储在计算机可读存储介质中，诸如但不限于任何类型的磁盘，包括软盘、光盘、CD-ROM、磁-光盘、只读存储器（ROM)、随机存取存储器（RAM)、EPROM、EEPR0M、闪存、固态装置、磁或光学卡、专用集成电路（ASIC)或适于存储电子指令并各自耦合到计算机系统总线的任何类型的介质。进一步地，本文中所称的计算装置可以包括单处理器或者可以是为提高计算能力设计的采用多处理器的架构。
[0230]本文中呈现的算法和显示不固定地涉及任何特定的计算装置、可视化系统或其它设备。各种通用系统也可以根据本文中的教导与程序一起使用，或者构造更加专用的设备以执行所需的方法步骤被证明是方便的。各种各样的这些系统的所需结构从本文中提供的描述是显然的。此外，本发明不是参照任何特定的编程语言描述的。应认识到可以使用各种编程语言以实现如本文中描述的本发明的教导，上文在任何地方提到特定语言是为了公开本发明的实现和最佳方式而提供的。
[0231]相应地，在各个实施例中，本发明可以实现为软件、硬件和/或用于控制计算机系统、计算装置或其它电子装置的其它元件或其任何组合或多个。根据本领域众所周知的技术，这种电子装置可以包括例如处理器、输入装置（诸如键盘、鼠标、触摸板、跟踪板、操作杆、跟踪球、麦克风和/或其任何组合）、输出装置（诸如屏幕、扬声器等等）、存储器、长期存储（诸如磁存储、光存储等等）和/或网络连接。这种电子装置可以是便携的或非便携的。可以用于实现本发明的电子装置的例子包括：移动电话、个人数字助理、智能手机、电话亭、服务器计算机、企业计算装置、桌面计算机、膝上型计算机、平板电脑、消费电子装置、电视、机顶盒等等。用于实现本发明的电子装置可以使用任何操作系统，比方说例如=Linux ；可从华盛顿雷蒙德市的Microsoft公司购买的Microsoft Windows ;可从加利福尼亚的库珀蒂诺（Cupertino)的苹果公司购买的Mac OS X ;可从加利福尼亚的库珀蒂诺的苹果公司购买的iOS和/或适于用在这些装置上的其它任何操作系统。
[0232]尽管已经参照有限个实施例描述了本发明，但本领域技术人员受益于上文的描述会认识到可以设计不偏离如本文中描述的本发明的范围的其它实施例。此外，应当注意说明书中使用的语言主要是为可读性和教授目的而选择的，不是为限定或限制本发明的主题而选择的。相应地，本发明的公开想要是示意而不是限定在权利要求中陈述的本发明的范围。
【权利要求】
1.一种用于降低捕获的光场图像数据的大小的方法，在光场图像捕获装置中，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述方法包括: 在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出； 确定所述至少一个传感器的读出模式； 根据确定的读出模式预处理所述捕获的光场图像数据以降低所述捕获的光场图像数据的数据大小；以及 将所述预处理的捕获光场图像数据发送到所述处理电路。
2.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括执行从由下列组成的组中选择的至少一个:子采样、合并以及重采样所述捕获光场图像数据。
3.根据权利要求2所述的方法，其中，预处理所述捕获光场图像数据包括在执行从由子采样、合并以及重采样所述捕获光场图像数据组成的组中选择的至少一个之前，对所述捕获光场图像数据进行滤波。
4.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括基于所述至少一个像素的光场坐标，跳过在所述至少一个传感器上的至少一个像素。
5.根据权利要求1所述的方法，进一步包括在预处理所述捕获光场图像数据之前: 在所述至少一个传感器上的本地存储器中缓存所述捕获光场图像数据中的至少一部分；以及 从所述本地存储器中访问所述捕获光场图像数据中的所述至少一部分。
6.根据权利要求1所述的方法，其中，根据确定的读出模式预处理所述捕获光场图像数据包括根据在逐像素基础上配置的读出模式处理所述捕获光场图像数据。
7.根据权利要求6所述的方法，其中，根据在逐像素基础上配置的读出模式处理所述捕获光场图像数据包括使用以下当中的至少一个: 位掩码； 至少一个位掩码瓦片； 至少一个权重图像瓦片；以及 逐像素偏置； 在逐像素基础上处理像素。
8.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括基于在所述至少一个传感器上的至少一个像素的光场坐标，使用可变位深和可变像素最大值中的至少一个。
9.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括对所述光场图像数据执行光场图像感知处理。
10.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括: 根据确定的读出模式处理所述捕获光场图像数据中的至少一个帧；以及 根据第二个不同的读出模式处理所述捕获光场图像数据中的至少一个其它的帧。
11.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括在多个不同的读出周期中从缓存器中读出所述捕获光场图像数据。
12.根据权利要求1所述的方法，其中，所述至少一个传感器包括电荷耦合装置冗0图像传感器，并且其中，根据特定的读出模式预处理所述捕获光场图像数据包括使用所述电荷耦合装置冗0图像传感器执行所述特定的读出模式。
13.根据权利要求12所述的方法，其中，使用所述电荷耦合装置冗0图像传感器执行所述特定的读出模式包括使用电荷耦合装置冗0图像传感器借助隔行扫描执行分辨率降低的读出模式。
14.一种用于修改彩色滤波阵列⑶八的方法，在光场图像捕获装置中，所述光场图像捕获装置包括微透镜阵列、至少一个传感器、在所述传感器上形成的圆盘图案、彩色滤波阵列V八栅格布局和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述圆盘图案和所述彩色滤波阵列⑶八交互操作以将来自所述微透镜阵列的输出转换成捕获光场图像数据，所述方法包括: 访问所述圆盘图案的配置； 确定如何修改所述彩色滤波阵列⑶八以提高从所述微透镜阵列的输出捕获的色彩信息的质量； 根据确定结果修改所述彩色滤波阵列⑶八； 根据所述硬盘图案和所述修改的彩色滤波阵列⑶八从所述微透镜阵列的输出捕获光场图像数据；以及 将所述捕获光场图像数据发送到所述处理电路。
15.根据权利要求14所述的方法，其中，根据确定结果修改所述彩色滤波阵列⑶八包括修改所述彩色滤波阵列，使得不向至少一个像素施加任何彩色滤波器。
16.根据权利要求14所述的方法，其中，根据确定结果修改所述彩色滤波阵列⑶八包括修改至少一个像素的彩色滤波器通带。
17.根据权利要求14所述的方法，其中，根据确定结果修改所述彩色滤波阵列⑶八包括随机化彩色滤波阵列⑶八图案。
18.一种用于修改至少一个传感器的像素属性的方法，在光场图像捕获装置中，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述方法包括: 在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出；所述光场图像数据包括所述至少一个传感器的多个像素中每一个像素的属性； 对于所述至少一个传感器中的至少一个像素中的每个像素，基于所述至少一个像素的光坐标，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样；以及 将所述捕获光场图像数据，包括修改的至少一个像素，发送到所述处理电路。
19.根据权利要求18所述的方法，其中，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样包括调节所述像素的至少一个属性，以补偿与以下当中的至少一个相关的因素:图像传感器角响应、微透镜阵列和主透镜。
20.根据权利要求18所述的方法，其中，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样包括调节以下当中的至少一个:所述像素的曝光时间、增益和偏置。
21.根据权利要求18所述的方法，其中，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样包括使用以下当中的至少一个执行像素调节:半导体的制造后位置修整、数字或模拟信号、以及将比例或偏置熔合到半导体中。
22.一种用于扰乱光场图像捕获装置的至少一个规则图案以提高捕获光场图像数据的质量的方法，在光场图像捕获装置中，所述光场图像捕获装置包括孔、主透镜、微透镜阵列、至少一个传感器和处理电路，所述微透镜阵列上的透镜排列成规则图案，所述至少一个传感器上的像素排列成规则图案，所述微透镜阵列和至少一个传感器交互操作以从通过所述孔和所述主透镜的光中捕获光场图像数据，所述方法包括: 获取通过所述孔和所述主透镜的光； 向以下当中的至少一个引入随机变化:所述微透镜阵列中的透镜的规则图案和所述至少一个传感器中的像素的规则图案； 在引入所述随机变化之后，从所述获取的光中捕获光场图像数据；以及 将所述捕获光场图像数据发送到所述处理电路。
23.根据权利要求22所述的方法，其中，将随机变化引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个。
24.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案引入到在整个微透镜阵列上延伸的透镜的规则图案中。
25.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案引入到在整个至少一个传感器上延伸的像素的规则图案中。
26.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案瓦片引入到透镜的规则图案中，所述抖动图案瓦片在整个微透镜阵列上重复多次。
27.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案瓦片引入到像素的规则图案中，所述抖动图案瓦片在整个至少一个传感器上重复多次。
28.—种光学系统，包括: 主透镜； 微透镜阵列，所述微透镜阵列包括多个微透镜；以及 至少一个图像传感器，每个图像传感器具有多个像素； 其中，所述主透镜、所述微透镜阵列和所述至少一个图像传感器被配置并相对于彼此设置成使得一个或多个光图像传感器上的圆盘图像的水平间距和垂直间距中的至少一个等于整数个像素。
29.根据权利要求28所述的光学系统，其中，所述主透镜、所述微透镜阵列和所述至少一个图像传感器被配置并相对于彼此设置成使得所述圆盘图像是版^个像素的正方形栅格。
30.根据权利要求29所述的光学系统，其中，所述主透镜、所述微透镜阵列和所述一个或多个光图像传感器被配置并相对于彼此设置成使得光场图像数据的圆盘表示的阵列置换成所述光场图像数据的子孔径图像表示的等效阵列。
31.根据权利要求30所述的光学系统，其中，所述主透镜、所述微透镜阵列和所述一个或多个光图像传感器被配置并被设置成将光场图像数据的圆盘表示的阵列置换成原始域数据和全色数据中至少一个上的光场图像数据的子孔径图像表示的等效阵列。
32.根据权利要求30所述的光学系统，其中，所述主透镜、所述微透镜阵列和所述一个或多个光图像传感器被配置成并设置成将光场图像数据重新排序成直接地解释为20图像的重新排序光场图像数据。
33.根据权利要求28所述的光学系统，其中，所述微透镜阵列具有六角形布局。
34.一种用于确定用于微透镜阵列的配置的方法，所述微透镜阵列定位在图像传感器上以用在光场图像捕获装置中，所述方法包括: 访问所述微透镜阵列的特征； 访问所述图像传感器的特征，包括所述图像传感器的读出模式； 基于所述微透镜阵列的特征和所述图像传感器的特征，包括所述图像传感器的读出模式，确定用于所述微透镜阵列的最理想配置；以及 存储所述最理想配置以在所述光场图像捕获装置的制造过程中应用到所述微透镜阵列。
35.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括确定所述微透镜阵列在所述图像传感器上的最理想位置。
36.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括确定所述微透镜阵列在所述图像传感器上的最理想取向。
37.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括考虑所述微透镜阵列关于与所述图像传感器正交的轴线的至少一个物理旋转。
38.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括考虑所述微透镜阵列在与所述图像传感器平面平行的平面内的至少一个物理平移。
39.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括考虑所述传感器的至少一个读出模式。
40.根据权利要求39所述的方法，其中，每个读出模式是从由以下组成的组中选择的:合并、跳过、重采样和调整。
41.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述计算机程序产品用于执行降低捕获的光场图像数据的大小的方法，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，该指令当在处理器上执行时，引起所述光场图像捕获装置: 在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出； 确定所述至少一个传感器的读出模式； 根据确定的读出模式预处理所述捕获光场图像数据以降低所述捕获光场图像数据的数据大小；以及 将所述预处理的捕获光场图像数据发送到所述处理电路。
42.根据权利要求41所述的计算机程序产品，其中，所述计算机程序产品被配置成引起所述光场图像捕获装置通过以下步骤预处理所述捕获光场图像数据: 根据所述确定的读出模式处理所述捕获光场图像数据的至少一个帧；以及 根据第二个不同的读出模式处理所述捕获光场图像数据的至少一个其它的帧。
43.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括微透镜阵列、至少一个传感器、在所述传感器上形成的圆盘图案、彩色滤波阵列⑶八栅格布局和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述圆盘图案和所述彩色滤波阵列⑶八交互操作以将来自所述微透镜阵列的输出转换成捕获的光场图像数据，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，所述指令当在处理器上执行时引起所述光场图像捕获装置: 访问所述圆盘图案的配置； 确定如何修改彩色滤波阵列⑶八以提高从所述微透镜阵列的输出捕获的色彩信息的质量； 根据所述确定结果修改所述彩色滤波阵列⑶八； 根据所述圆盘图案和所述修改的彩色滤波阵列⑶八从所述微透镜阵列的输出捕获光场图像数据；以及 将捕获的光场图像数据发送到所述处理电路。
44.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，所述指令当在处理器上执行时引起所述光场图像捕获装置: 在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出；所述光场图像数据包括所述至少一个传感器的多个像素中每一个像素的属性； 对于所述至少一个传感器中的至少一个像素中的每个像素，基于所述至少一个像素的光坐标，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样；以及 将所述捕获光场图像数据，包括所述修改的至少一个像素，发送到所述处理电路。
45.根据权利要求44所述的计算机程序产品，其中，所述计算机程序产品被配置成引起所述光场图像捕获装置通过调节所述像素的至少一个属性来修改所述像素，以补偿与图像传感器角响应、微透镜阵列和主透镜中的至少一个相关的因素。
46.根据权利要求44所述的计算机程序产品，其中，所述计算机程序产品被配置成引起所述光场图像捕获装置通过调节所述像素的曝光时间、增益和偏置中的至少一个来修改所述像素。
47.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括孔、主透镜、微透镜阵列、至少一个传感器和处理电路，所述微透镜阵列上的透镜排列成规则图案，所述至少一个传感器上的像素排列成规则图案，所述微透镜阵列和至少一个传感器交互操作以从通过所述孔和所述主透镜的光中捕获光场图像数据，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，所述指令在处理器上执行时引起所述光场图像捕获装置: 获取穿过所述孔和所述主透镜的光； 将随机变化引入到以下当中的至少一个:所述微透镜阵列中的透镜的规则图案和所述至少一个传感器中的像素的规则图案； 在引入所述随机变化之后，从所述获取的光中捕获光场图像数据；以及 将所述捕获光场图像数据发送到所述处理电路。
48.一种光场图像捕获装置，包括: 微透镜阵列； 至少一个传感器，所述传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据； 预处理器，所述预处理器被配置成确定所述至少一个传感器的读出模式，并根据确定的读出模式预处理所述捕获光场图像数据，以降低所述捕获光场图像数据的数据大小；以及 处理电路，所述处理电路被配置成处理所述预处理的捕获光场图像数据以产生可视化输出。
49.根据权利要求48所述的装置，其中，所述预处理器被配置成通过以下步骤预处理所述捕获光场图像数据: 根据所述确定的读出模式处理所述捕获光场图像数据的至少一个帧；以及 根据第二个不同的读出模式处理所述捕获光场图像数据的至少一个其它的帧。
50.一种光场图像捕获装置，包括: 微透镜阵列； 至少一个传感器，所述传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据，所述光场图像数据包括在所述传感器上形成的圆盘图案，所述至少一个传感器具有彩色滤波阵列⑶八栅格布局； 预处理器，所述预处理器被配置成访问所述圆盘图案的配置，并确定如何修改所述彩色滤波阵列⑶八以提高从所述微透镜阵列的输出捕获的色彩信息的质量； 0^修改器，所述⑶八修改器被配置成根据所述确定结果修改所述彩色滤波阵列⑶八；以及 处理电路，所述处理电路被配置成处理所述预处理的光场图像数据以产生可视化输出； 其中，所述圆盘图案和所述彩色滤波阵列⑶八交互操作以将来自所述微透镜阵列的输出转换成捕获光场图像数据； 并且其中，所述至少一个传感器根据所述圆盘图案和所述修改的彩色滤波阵列⑶八从所述微透镜阵列的输出捕获光场图像数据。
51.一种光场图像捕获装置，包括: 微透镜阵列； 至少一个传感器，所述传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据，所述光场图像数据包括所述至少一个传感器的多个像素中每一个像素的属性； 预处理器，所述预处理器被配置成对于所述至少一个传感器的至少一个像素中的每个像素，基于所述至少一个像素的光坐标，通过调节所述像素的至少一个属性来修改所述像素，以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样；以及 处理电路，所述处理电路被配置成处理所述预处理的光场图像数据以产生可视化输出。
52.一种光场图像捕获装置，包括: 孔； 主透镜； 微透镜阵列，所述微透镜阵列具有排列成规则图案的透镜； 至少一个传感器，所述传感器具有排列成规则图案的像素，所述至少一个传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据，所述微透镜阵列和所述至少一个传感器交互操作以从通过所述孔和所述主透镜的光中捕获光场图像数据； 预处理器，所述预处理器被配置成获取通过所述孔和所述主透镜的光，并将随机变化引入所述微透镜阵列中透镜的规则图案和所述至少一个传感器中的像素的规则图案中的至少一个； 处理电路，所述处理电路被配置成在引入所述随机变化之后，从获取的光中捕获光场图像数据，处理所述预处理的光场图像数据以产生可视化输出。
【文档编号】H04N5/225GK104303493SQ201380023092
【公开日】2015年1月21日 申请日期:2013年5月6日 优先权日:2012年5月9日
【发明者】T·J·奈特, C·皮茨, K·B·埃克利, Y·A·罗曼年科, C·W·克拉多克 申请人:莱特洛公司