具有用于创建空间编码图像的图像分散性的成像设备的制作方法

相关专利申请本专利申请要求于2015年3月24日提交的标题为“imagingdevice(成像设备)”的共同未决的美国临时申请no.62/137,702的优先权，该申请全文以引用方式并入。本专利申请还要求于2015年11月4日提交的标题为“imagingdevice(成像设备)”的共同未决的美国临时申请no.62/251,010的优先权，该申请全文以引用方式并入。
背景技术：
：成像设备诸如彩色相机可用于捕获图像。该图像可为静态照片或移动图像，诸如视频或电影。该成像设备可使用可见光谱内的光或利用电磁光谱的其他部分来进行操作。此类成像设备可使用图像传感器来捕获光并将光学图像转换成电子信号，该电子信号然后可被存储或以其他方式传输以重构电子图像。图像传感器的示例可包括电荷耦合设备(ccd)图像传感器或互补金属氧化物半导体(cmos)图像传感器。传统成像系统将对象空间中的一个点映射到图像空间中的一个点。成像点、点扩展函数(psf)的空间延伸基本上由在系统中存在的远场衍射和像差来确定。历史上，开发了先进的透镜设计和制造技术来使许多类型的像差最小化，以实现衍射极限psf。在过去几十年中，已通过缩小psf的物理尺寸或通过使用对关于psf的形状的预知知识的统计估计来广泛探索若干种方法，以解决超分辨率显微镜中的亚衍射特征。电子传感器通常仅检测光强度。为了区分颜色，将吸收性滤色器阵列(通常被称为拜耳滤光器)放置在传感器的顶部上。因此，仅测量三种颜色(蓝色、绿色和红色)。然而，自然场景包含多光谱信息，这对于许多机器视觉应用来说可能是有价值的。常规多光谱成像器(msi)为昂贵且笨重的。常见的msi以推扫方式进行操作并利用棱镜或光栅来分散光。此类msi的光学设计可能相当复杂。第二类msi采用液晶可调谐滤光器或声光可调谐滤光器随时间推移来调制输入光谱。前一个滤光器受到降低的吞吐量和慢速度的影响，而后者是昂贵的并且具有高功耗。因此，尽管在数字图像传感器和系统方面取得了令人难以置信的进步，但是此类设备仍然受到差的低光和多光谱性能的影响。技术实现要素：本技术的实施方案公开了图像捕获设备，该图像捕获设备包括传感器阵列、被定位在距中间图像的第一距离处的透镜、以及被定位在距透镜的第二距离处的多色物质。该多色物质可被配置为根据变换函数来衍射中间图像，以将分散的传感器图像产生到传感器阵列上，该分散的传感器图像表示中间图像的空间代码。因此，已对本发明的较重要的特征进行了广义的概述，以更好地理解接下来的本发明的具体实施方式，并且更好地认识本发明对本领域的贡献。根据本发明的以下具体实施方式结合附图和权利要求，本发明的其他特征将变得更清晰，或者可通过实践本发明进行了解。附图说明本发明的特征和优点将通过接下来的具体实施方式显而易见，该具体实施方式结合附图一起以举例的方式示出本发明的特征；并且其中：图1a-图1f示出了根据本发明的实施方案的成像设备；图2a为根据本发明的实施方案的成像设备的示意图；图2b为根据本发明的实施方案的成像设备的附加示意图；图3示出了根据本发明的实施方案的对成像设备的校准；图4a示出了根据本发明的实施方案的入射光至成像设备的入射角；图4b为根据本发明的实施方案的多色物质的轮廓；图5-图7示出了根据本发明的实施方案的表示多色物质在各种波长和角度处的响应的多个点扩展函数；图8a示出了根据本发明的实施方案的对象的光谱角度分布；图8b示出了根据本发明的实施方案的包括对象的光谱和角度信息的合成图像；图9a示出了根据本发明的实施方案的对象的原始光谱角度分布；图9b示出了根据本发明的实施方案的使用直接二进制搜索(dbs)算法的对象的提取光谱角度分布；图10a示出了根据本发明的实施方案的包括对象的光谱和角度信息的合成图像；图10b示出了根据本发明的实施方案的重构强度图像；图11示出了根据本发明的实施方案的指示对象的原始光谱角度分布和对象的提取光谱角度分布之间的误差的误差图；图12示出了根据本发明的实施方案的相对于迭代时间的对象的提取光谱角度分布和对象的原始光谱角度分布之间的均方根(rms)误差；图13a示出了根据本发明的实施方案的对象的原始光谱角度分布；图13b示出了根据本发明的实施方案的使用多层搜索(mls)算法的对象的提取光谱角度分布；图14a示出了根据本发明的实施方案的包括对象的光谱和角度信息的合成图像；图14b示出了根据本发明的实施方案的重构强度图像；图15示出了根据本发明的实施方案的指示对象的原始光谱角度分布和对象的提取光谱角度分布之间的误差的误差图；以及图16示出了根据本发明的实施方案的相对于迭代时间的对象的提取光谱角度分布和对象的原始光谱角度分布之间的均方根(rms)误差；图17为根据本发明的实施方案的在单色传感器阵列前方具有宽带衍射元件(多色物质)的衍射颜色传感器的示意图。图18为根据本发明的实施方案的包括在多色物质和透镜之间进行取向的针孔校准组件的图像捕获设备的示意图。图19为示出根据本发明的实施方案的替代针孔校准组件的示意图，该针孔校准组件包括一个或多个聚焦光学器件。图20示出了根据本发明的实施方案的包括衍射滤光器阵列(dfa)的成像设备。图21a-图21d示出了根据本发明的实施方案的点扩展函数(psf)中的空间变型。图22a-图22c示出了根据本发明的实施方案的用于计算多光谱图像或超光谱图像的技术。图23a-图23f示出了根据本发明的实施方案的用于识别在图像重构过程期间增加点扩展函数(psf)矩阵的秩的测量的技术。图24a是一个示例中的衍射滤光器和传感器阵列的示意图。图24b为根据本发明形成的衍射滤光器的显微图。图24c为图24b的衍射滤光器的一部分的原子力显微图。现在将考参所示的示例性实施方案，并且本文将使用特定语言来描述这些示例性实施方案。然而应当理解，并不旨在对本发明的范围进行任何限制。具体实施方式在描述和要求保护本发明时，将使用下面的术语。除非上下文另外明确规定，否则单数形式“一种”(“a”“an”)和“该”包括复数指示物。因此，例如提及“像素”包括提及此类特征中的一种或多种特征，并且提及“导向”是指一个或多个此类步骤。如本文相对于所识别的特性或环境所使用的，“基本上”是指足够小的偏差程度，以便不可测量地减损所识别的特性或环境。在一些情况下，容许的精确偏差度取决于具体情况。如本文所使用的，为方便起见，多个物品、结构元件、组成元件和/或材料可在共同的列表中被呈现。然而，这些列表应被理解为列表的每个构件独立地被识别为单独且唯一的构件。因此，在没有相反指示的情况下，不应仅基于它们在共同的组中的呈现来将此类列表的任何单个构件理解为相同列表的任何其他构件的实际等同物。如本文所用，术语“…中的至少一者”旨在与“…中的一者或多者”同义。例如，“a、b和c中的至少一者”明确地包括仅a、仅b、仅c、以及每一者的组合。本文可能以范围格式来表示量和其他数值数据。应当理解，此类范围格式仅出于方便和简洁的目的被使用，并且应被灵活解读为不仅包括被明确引用为范围的极限的数值，并且还包括被涵盖在该范围内的所有单个数值或子范围，如同明确引用每个数值和子范围。例如，约1至约4.5的数值范围应被理解为不仅包括明确叙述的1至约4.5的限制，而且还包括单个数值(诸如2、3、4)和子范围(诸如1至3、2至4)等。相同原理被应用于用于叙述仅一个数值的范围，诸如“小于约4.5，”，这应被理解为包括所有上述值和范围。另外，此类解释应不管范围的宽度或所描述的特性而被应用。在任何方法或工艺权利要求中所引用的任何步骤可按任何顺序执行并且不限于权利要求中提供的顺序。装置加功能或步骤加功能限制仅用在特定的权利要求限制中，在这种特定的权利要求限制中满足所有的下列条件：a)明确记载了“用于…的装置”或“用于…的步骤”；以及b)明确引用了对应的功能。在本文的描述中明确引用了支持装置加功能的结构、材料或行为。因此，本发明的范围应仅由所附权利要求及其合法等同条件确定，而非由本文给定的描述和示例确定。描述了一种针对可在低光条件中有效地执行彩色成像的成像设备的技术。该成像设备可包括透镜、衍射光学器件、和传感器阵列。该成像设备可包括彩色相机。该衍射光学器件也可被称为衍射滤光器、多色物质、或彩色滤光器，并且为宽带衍射光学元件。该成像设备可以多个波长执行成像(即，超光谱成像)或者以多个光谱带执行成像(即，多光谱成像)。该成像设备可以减少的损失量执行成像，这可允许成像设备在低光条件中有效地执行成像。可实现低光成像，因为可获取几乎没有吸收损失的颜色信息。该成像设备可利用减少量的光学器件并且可以降低的成本进行生产，因为用于成像设备的衍射滤光器可使用大批量工艺来制造，如辊对辊压印、压花、uv固化压花、热压花、模制、压印光刻、软光刻、微接触印刷、光学投影光刻、光刻、远紫外光刻、水浸光刻等。该成像设备可实现增加的颜色和空间分辨率，以及增加的信噪比。该空间分辨率可为在图像中线可如何紧密地被分辩的量度。此外，与常规吸收性滤色器诸如拜耳滤光器相比，成像设备可提供颜色和空间分辨率之间的减小的折衷。与这些原理一致，图像捕获设备可包括传感器阵列、透镜、和多色物质(即，衍射滤光器)。该透镜可被定位在距中间图像的第一距离处。该多色物质可被定位在距透镜的第二距离处，其中该多色物质被配置为根据变换函数来衍射中间图像，以将分散的传感器图像产生在传感器阵列上。该分散的传感器图像表示中间图像的空间光谱代码。该空间光谱代码可为波长或颜色中的至少一者的空间强度表示。在一些情况下，该中间图像为彩色图像。在一个示例中，该中间图像被表示为o(x’,y’,λ)，并且传感器图像被表示为i(x,y)，其中(x’,y’)为中间图像的空间坐标，λ为波长，并且(x,y)为传感器阵列的空间坐标。该传递函数可为任何合适的变换，其可用于创建和/或表示空间代码。在一个示例中，该传递函数为真正的空间变换。作为另外一种选择，该传递函数可为傅里叶变换。在又一种替代形式中，该传递函数可为标量菲涅耳-基尔霍夫衍射方程。在再一个示例中，该传递函数可为基于麦克斯韦方程的严格的波传播函数。例如，可使用麦克斯韦方程来模仿图像通过多色物质到达传感器上的传播。因此，可使用这些方程来代替菲涅耳-基尔霍夫衍射方程。当确定光的矢量特性(例如，极化)重要时，这可为有用的。当衍射滤光器上的特征小于所关注的波长时，这也是有用的。在一个特定示例中，从中间图像到传感器阵列的传递函数被表示为p(x,y；x’,y’,λ)，其中(x’,y’)为中间图像的空间坐标，(x,y)为传感器阵列的空间坐标，并且λ为波长。在一些情况下，校准传递函数，以便重构中间图像。在另一个特定示例中，使用o(x’,y’,λ)＝[p(x,y；x’,y’,λ)]-1i(x,y)来重构中间图像，其中i(x,y)表示传感器图像。在一些情况下，空间代码可用于重构5维(5d)光场光谱图像。因此，可使用o(x’,y’,θx,θy,λ)＝[p(x,y；x’,y’,θx,θy,λ)]-1i(x,y)来重构此类光场光谱图像，其中o(x’,y’,θx,θy,λ)为未知的5维光场光谱图像，i(x,y)表示传感器图像，并且p(x,y；x’,y’,θx,θy,λ)为经校准的传递函数。虽然不需要，但空间代码使得在形成传感器图像时能够使用基本上所有可用的光子。在另一个示例中，传感器图像可被表示为i(x,y)＝o(x’,y’,λ).p(x,y；x’,y’,λ)＝σam,n,kp(x,y；x’m,y’m,λk)，其中o(x’,y’,λ)表示中间图像，p(x,y；x’,y’,λ)表示从中间图像到传感器阵列的传递函数，am,n,k为在坐标(x’m,y’m,λk)处的中间图像的未知值。有利的是，当图像捕获设备在低光条件中操作时，传感器图像与所限定的图像质量水平一致。图像质量可以多种方式限定，包括使用各种标准指标，诸如颜色精度、图像清晰度、白平衡精度、动态范围、空间和光谱分辨率、光谱精度等。在一个示例中，该第一距离等于透镜的前焦距。在另一个示例中，该第二距离等于透镜的后焦距。如下文更详细解释的，该设备允许低光图像采集。这至少部分地由于允许省略滤色器的设备配置。因此，图像捕获设备通常不包括用于产生传感器图像的吸收性滤色器。此外，可使用多个波长和/或利用多个光谱带来执行成像。该衍射滤光器或多色物质可为图案化和透明或半透明的衬底。该衍射滤光器还可包括像素阵列，该像素阵列各自具有进行变化以确定对如本文所述的入射光的特定衍射效应的物理高度。该衍射滤光器通常可为包括多于两个衍射像素高度的多层衍射元件。然而，在一些情况下，该衍射滤光器可为具有两个衍射像素高度的二元衍射元件。该滤光器可被直接结合到传感器阵列上。作为另外一种选择，该滤光器可被单独制造并且放置成紧邻传感器阵列并与其对准。作为一般性的指导，该衍射滤光器或多色物质可从传感器阵列取向10nm至2000μm，并且最通常为10nm至50μm。尽管可使用各种配置，但是在一个示例中，衍射滤光器可具有0μm到15μm并且最通常0μm到9μm范围内的像素高度。类似地，衍射滤光器可具有约0.01μm至约15μm并且通常约0.5μm至约5μm的像素宽度(例如，假设正方形像素)。另外，像素高度可具有离散的多层高度，诸如3个至10个高度，但是也可使用连续可变的像素高度。gai像素阵列可包括与互补传感器阵列对应的期望数量的像素(例如，基于可用传感器阵列为1mp至32mp或更高)。虽然设计可改变，但是1个至64个衍射像素可对应于每个传感器阵列像素，在一些情况下，每个传感器阵列像素具有4至16个衍射像素，尽管通常可使用任何平方数的衍射像素(例如，4、9、16、25、36、49、64、81等)。在一些情况下，该衍射像素阵列可为1d阵列。例如，当相机正在检查传送带上的物品时或者当相机在无人驾驶飞越某个区域时，1d阵列可能是有用的。在这些示例中，相机到被观察的对象的相对运动在1d阵列的正交方向上产生图像。在这种情况下，经由衍射滤光器的分散仅为1d，并且重构也可相当简单。在一些情况下，整个衍射滤光器可具有独特的衍射图案。然而，在大多数情况下，衍射滤光器可包括二维的重复衍射图案，其中衍射图案子单元在跨越衍射滤光器的x和y维度上重复。该衍射滤光器可由允许传输期望频率的任何合适的透射材料形成。合适材料的非限制性示例可包括玻璃、塑料、光致抗蚀剂、聚合物、聚苯乙烯、聚甲基丙烯酸甲酯、聚碳酸酯、pdms、su-8、3d可印刷聚合物、光活化聚合物、石英、硅、氮化硅、氧化铝、氮化铝、hsq、电子束抗蚀剂、pet、纳米压印抗蚀剂等。设备可另外包括适于使用传递函数来从分散的传感器图像重构中间图像的数据处理器。该数据处理器还可包括存储器或与存储器相关联，该存储器利用指令进行编码，以重构与本文的公开内容一致的所感测的图像。多光谱成像器显示人类和常规相机不可察觉的信息。在本技术的实施方案中，通过将微结构衍射滤光器放置在图像传感器附近来产生紧凑型单张拍摄多光谱视频成像相机。该衍射滤光器将光谱信息转换成传感器像素上的空间代码。在校准步骤之后，可经由基于规则化的线性代数来反转该代码，以计算多光谱图像。尽管分辨率可基于所选择的参数而变化，但是在一个实施方案中，可实现在可见波段(430nm至718nm)内的9.6nm的光谱分辨率。在一个实施方案中，与没有衍射滤光器的相同光学器件和传感器的情况相比，使用本技术的空间分辨率提高超过30％。由于在本技术的实施方案中不利用吸收性滤色器，因此也保留灵敏度。可使用光学光刻和复制技术来容易地制造衍射滤光器。作为这些原理的示例性具体实施，图1a示出了成像设备(诸如彩色相机)内的示例性滤色器阵列(cfa)和传感器阵列。该成像设备可包括图像传感器芯片102。一系列传感器像素104可被定位在图像传感器芯片102的顶部上。该一系列传感器像素104可为传感器阵列的被定位在图像传感器芯片102的顶部上的一部分。该传感器阵列可包括传感器，诸如但不限于互补金属氧化物半导体(cmos)传感器或电荷耦合设备(ccd)传感器。在一个示例中，一系列滤色器(或滤色器马赛克)可被定位在成像设备内的传感器阵列前方。该一系列滤色器可被放置在传感器像素104上方，以捕获颜色信息。该一系列滤色器可为滤色器阵列(cfa)的一部分。在一个示例中，该cfa可由四个正方形(两个绿色正方形、一个蓝色正方形和一个红色正方形)组成。在另一个示例中，该滤色器可为拜耳滤光器阵列106的一部分。可使用滤色器，因为典型的光传感器以很小的波长特异性或在没有波长特异性的情况下检测光强度，并且因此不可分离颜色信息。该滤色器可通过波长范围来过滤光，使得分离的过滤强度可包括关于光的颜色的信息。图像的每个空间像素由2×2(或四个)彩色子像素组成。该彩色子像素可通过吸收来感测颜色。例如，红色子像素可确定空间像素内的红色的量，因为该红色滤光器区域吸收蓝色光子和绿色光子，但允许红色光子透射。类似地，绿色子像素可确定空间像素内的绿色的量，因为该绿色滤光器区域吸收红色光子和蓝色光子，但允许绿色光子透射。类似地，蓝色子像素可确定空间像素内的蓝色的量，因为该蓝色滤光器区域吸收绿色光子和红色光子，但允许蓝色光子透射。因此，滤色器阵列可提供关于红色、绿色和蓝色(rgb)波长区域中的光强度的信息。由图像传感器捕获的原始图像数据可通过使用针对每种类型的滤色器定制的去马赛克算法而被转换成全色图像(具有在每个像素处被表示的所有三原色的强度)。图1b示出了示例性成像设备。该成像设备可包括图像传感器芯片102和被定位在该图像传感器芯片102的顶部上的传感器阵列107。该成像设备可包括被定位在传感器阵列107的顶部上的衍射滤光器108。该衍射滤光器108可为吸收性滤色器的替代物，或者可在除此类滤色器之外的滤色器中使用。在一个示例中，该衍射滤光器108可为多层衍射结构。此外，该衍射滤光器108可由透明或半透明材料制成，以在待捕获和成像的波长处进行光照。图1c示出另一个示例性成像设备。该成像设备可包括图像传感器芯片102和被定位在该图像传感器芯片102的顶部上的传感器阵列109。该成像设备可包括被定位在传感器阵列109的顶部上的衍射滤光器110。在该图示示例中，该衍射滤光器110可为二元衍射结构。如可以看出，在一些情况下，该衍射滤光器可包括跨过滤光器连续的基底层和具有带有不同高度的离散像素特征结构的阵列的像素层。在一个示例中，该像素层可面向入射光(即，远离传感器阵列)。作为另外一种选择，该像素层可面向传感器阵列。通常，将图案化区域尽可能靠近传感器放置可减小距离并因此减小光的扩散。背向传感器阵列的平坦衬底表面也可保护外形图案免受损坏。在另一个任选方面中，衍射滤光器的外形图案也可通过利用具有不同折射率的材料过度填充图案而被保护。例如，玻璃或氮化硅可被用作保护层。图1d示出又一个示例性成像设备。该成像设备可包括图像传感器芯片102、被定位在该图像传感器芯片102的顶部上的传感器阵列111、被定位在传感器阵列111的顶部上的吸收性滤色器阵列112、以及被定位在图像传感器芯片102上方(即，被定位在传感器阵列111和吸收性滤色器阵列112上方)的衍射滤光器113。该衍射滤光器113可为多层衍射结构。该成像设备可用于利用单个设备来执行可见和红外(ir)成像，其中使用吸收性滤色器阵列112(即，常规滤色器)来执行可见成像，并且经由本文所述的计算技术来获取ir图像。在这种情况下，衍射滤光器113被设计成确保衍射滤光器113不扰乱可见图像，同时根据需要来分散ir光子。更具体地，可通过将衍射结构(例如，衍射滤光器子单元)的周期性选择为大于所关注的最小ir波长但小于所关注的最长可见波长来设计衍射滤光器113。在一个示例中，该技术可应用于除可见光和ir之外的光谱带。图1e示出再一个示例性成像设备。该成像设备可包括图像传感器芯片102、被定位在该图像传感器芯片102的顶部上的传感器阵列114、被定位在传感器阵列114的顶部上的吸收性滤色器阵列115、以及被定位在图像传感器芯片102上方(即，被定位在传感器阵列114和吸收性滤色器阵列115上方)的衍射滤光器116。在这种情况下，该衍射滤光器116可为二层衍射结构。与相同规格的黑白相机相比，通过吸收来感测颜色的彩色子像素的传统技术可能是低效的，这可能导致彩色相机在低光条件下操作较差。由于黑白相机中的每个传感器像素表示不同的空间像素(即，在黑白相机中不存在cfa)，所以空间分辨率可优于彩色相机，特别是在低光条件下。与黑白相机相比，本文所述的技术可使得彩色相机能够在低光条件中(即，以增加的信噪比)类似地执行，并且实现类似的空间分辨率。低光彩色相机可在安全成像、交通和长途相机、工业成像、对农产品和药品的检查、户外成像、消费者相机等过程中具有重要的应用。在低光性能方面能够类似于黑白相机进行的颜色传感器可广泛用于彩色相机。另外，此类相机可避免或减少闪光照明的使用，这可降低相机的功耗。图1f示出了成像设备(诸如彩色相机)内的滤色器阵列(cfa)150和传感器阵列160。cfa150(或滤色器马赛克)可被定位在成像设备内的传感器阵列160前方。cfa150为在大多数彩色相机中被利用的吸收性滤色器。cfa150可为被放置在图像传感器的像素传感器上方以捕获颜色信息的滤色器的马赛克。可使用滤色器，因为典型的光传感器以很小的波长特异性或在没有波长特异性的情况下检测光强度，并且因此不可分离颜色信息。该滤色器可通过波长范围来过滤光，使得分离的过滤强度可包括关于光的颜色的信息。在一个示例中，该cfa150可为拜耳滤色器。该传感器阵列160可包括互补金属氧化物半导体(cmos)传感器或电荷耦合设备(ccd)传感器。该cfa150可由四个正方形(两个绿色正方形、一个蓝色正方形和一个红色正方形)组成。图像的每个空间像素由2×2(或四个)彩色子像素组成。该彩色子像素可通过吸收来感测颜色。例如，红色子像素可确定空间像素内的红色的量，因为该红色滤光器区域吸收蓝色光子和绿色光子，但允许红色光子透射。类似地，绿色子像素可确定空间像素内的绿色的量，因为该绿色滤光器区域吸收红色光子和蓝色光子，但允许绿色光子透射。类似地，蓝色子像素可确定空间像素内的蓝色的量，因为该蓝色滤光器区域吸收绿色光子和红色光子，但允许蓝色光子透射。因此，该cfa150可提供关于红色、绿色和蓝色(rgb)波长区域中的光强度的信息。由图像传感器捕获的原始图像数据可通过使用针对每种类型的滤色器定制的去马赛克算法而被转换成全色图像(具有在每个像素处被表示的所有三原色的强度)。图2a为示例性成像设备202的示意图。该成像设备202可包括传感器阵列210、多色物质220、和透镜230。在常规相机中，可通过相机内的透镜诸如透镜230来形成图像，并且可将传感器放置在图像平面中。如图2a所示，该透镜230可被放置在距图像平面(也被称为中间图像235)等于前焦距的距离处。该中间图像235可被表示为o(x’,y’,λ)，其中(x’,y’)为空间坐标，并且λ为波长。该多色物质220可被放置在距透镜230等于后焦距203的距离处。换句话讲，该多色物质220和透镜230之间的距离可由后焦距203来表示，并且透镜230和中间图像235之间的距离可由前焦距202来表示。图像的傅里叶变换可在多色物质220和透镜230之间的平面处形成。该多色物质220可处理傅里叶变换并将分散的图像(即，传感器图像215)形成到传感器阵列210上。该传感器图像215可被表示为i(x,y)。从中间图像235(或中间图像平面)到传感器阵列210的传递函数207可被表示为p(x,y；x’y’,λ)。如果传递函数207被校准(如下文进一步详细描述的)，则可应用各种算法来重构全色图像。在一种配置中，该多色物质220可为完全透明的，并且可获取颜色信息作为一种类型的空间代码，而不是使用吸收性滤光器。因此，可使用基本上所有可用的光子，这可实现成像设备202的理想的低光性能。此外，由于可利用每个传感器像素中的位来获取高分辨率灰度数据，所以在空间和颜色分辨率之间没有折衷，这与上述拜耳滤色器形成对比。在一个示例中，多色物质220和中间图像之间的距离以及多色物质220和传感器阵列210之间的距离对于成像设备202在低光条件中有效地起作用来说并不重要。这些距离可不同于后焦距203和前焦距205。只要正确地进行校准，彩色图像的重构便可为准确的。因此，在传感器阵列处接收的图像通常不作为典型图像在空间上被像素化。相反，传感器阵列接收可重构成空间图像的分散图像(即，传感器图像215)。该传感器图像215(即，传感器阵列210上的图像)可通过中间图像235中的每个点的响应的线性组合来给出。在离散形式中，中间图像235可由o(x’,y’,λ)＝σam,n,kδ(x’-x’m,y’-y’m,λ-λk)(等式1)来表示，其中am,n,k为坐标(x’m,y’m,λk)处的彩色中间图像235的未知值。所测量的传感器图像210可由i(x,y)＝o(x’,y’,λ).p(x,y；x’y’,λ)(等式2)来表示，其等于σam,n,kp(x,y；x’m,y’m,λk)(等式3)，其中(x,y)we传感器阵列210上的坐标，(x’,y’)为中间图像平面中的坐标，并且p(x,y；x’,y’,λ)为从中间图像235(或中间图像平面)到传感器阵列210的传递函数207。换句话讲，传递函数207可表示包括多色物质220和透镜230的系统。该中间图像235可使用o(x’,y’,λ)＝[p(x,y；x’,y’,λ)]-1i(x,y)(等式4)来进行重构，这是等式2的形式。由于等式2我i线性方程，所以可使用各种技术来解决被包括在等式3中的逆问题，诸如直接二进制搜索技术或基于规则化的矩阵逆变技术。图2b是另一个示例性成像设备204的示意图。与被示出于图2a中的成像设备202相反，该成像设备204不包括透镜。因此，在图2b所示的成像设备204更薄、更简单并且更便宜。该成像设备204可包括传感器阵列240和多色物质250。该多色物质250可距图像平面(也被称为中间图像255)限定距离。该中间图像255可被表示为o(x’,y’,λ)，其中(x’,y’)为空间坐标，并且λ为波长。高多色物质240可处理彩色图像的傅里叶变换，并将分散的图像(即，传感器图像245)形成到传感器阵列245上。该传感器图像245可被表示为i(x,y)。然而，与成像设备202相比，从中间图像255(或中间图像平面)到传感器阵列245的传递函数对于成像设备204为不同的。在这种情况下，该中间图像255被多色物质250衍射。传递函数可被校准并且中间图像255可经由等式3重构。换句话讲，等式3可被求解，以便提供彩色图像的细节。图像捕获设备可替代地包括针孔校准组件，这允许从空间编码的传感器图像来确定图像的传递函数和/或重构。该针孔校准组件可包括在透镜和传感器阵列之间进行取向的可平移针孔元件。该针孔校准组件可任选地包括在可平移针孔元件和多色物质之间进行取向的至少一个校准透镜。值得注意的是，在图像捕获设备的一些情况下，在该传感器阵列和多色物质之间不存在透镜，使得第一距离大于第二距离。该图像捕获设备可包括针孔校准组件，该针孔校准组件可包括在透镜和传感器阵列之间进行取向的可平移针孔元件的阵列。可选择阵列中的可平移针孔元件之间的间距，使得两个相邻可平移针孔元件之间的衍射信号在传感器阵列上不重叠。可编译来自阵列中的可平移针孔元件的传递函数，以获取校准数据。作为示例，图3示出了对成像设备302的校准。该成像设备302可包括传感器阵列310、多色物质320和透镜330。该传感器阵列、多色物质320和透镜330也可被称为透镜-多色物质-传感器子系统。在可选的配置中，该成像设备302可仅包括传感器阵列310和多色物质320(即，多色物质-传感器系统)。在可选的配置中，不包括透镜330。为了使成像设备302(例如，彩色相机)在低光条件中有效地操作，从中间图像(或中间图像平面)到传感器阵列310的传递函数p(x,y；x’,y’,λ)将被校准。为了执行校准，透镜-多色物质-传感器子系统可被安装在高精度x-y平台上，并在x轴和y轴上步进。在(x’,y’)的每个位置处，可扫描准直入射光305的波长λ。可使用附接到宽带源350的常规单色仪340(或利用可调谐滤光器)来实现扫描。在一些示例中，宽带源350可包括灯、超连续激光器、宽带(超发光)发光二极管、或任何其他形式的宽带或窄带照明(例如，激光器、led、灯、oled、量子点等)。如图3所示，可使用单色仪340来扫描来自宽带源350的入射光305。可针对(x’,y’)的每个位置来扫描入射光305。可收集并存储(x’,y’,λ)的每个值处的传感器图像。这些传感器图像的数据集可表示所测量的传递函数p(x,y；x’,y’,λ)。在一个示例中，类似的扫描技术可用于三维(3d)成像。在另一个示例中，类似的扫描技术可用于光场光谱成像。在一个示例中，多色物质320可为透明或半透明衬底。尽管可使用各种衬底材料，但非限制性示例包括玻璃、透明塑料、pmma、pet、tac、聚苯乙烯、uv可固化聚合物、可热固化聚合物、氮化硅、氧化硅、二氧化硅、氧化铝、透明导电氧化物、透明氧化物、铟锡氧化物、光致抗蚀剂、透明聚合物等。该多色物质320可被图案化以衍射光，使得由每个点(x’,y’,λ)形成的图像在传感器阵列310上是唯一的。该多色物质320可具有确定性图案或随机图案。该多色物质320可使用远场或准近场衍射来进行操作。在另一个示例中，该多色物质320可在近场中进行操作。在本技术中，该多色物质320被明确地设计，以便使彩色图像的空间和光谱分辨率最大化。可通过以下方式来使彩色图像的空间和光谱分辨率最大化：确保传递函数p(x,y；x’,y’,λ)可被对角化以便反转。换句话讲，确保传感器阵列310上的每个点(x’,y’,λ)的响应与紧密间隔开的点不同。该多色物质320可使用非线性优化进行设计，该非线性优化包括对遗传算法、模拟退火、直接二进制搜索等的应用。用于设计成像设备302中的多色物质320的示例性参数在表1中被示出，如下所示。这些参数是代表性的并且也可使用其他可选的值。表1-多色物质的示例性参数图4a示出了到成像设备的入射光402的入射角。例如，入射光可照射在多色物质前方的透镜上。入射角可由theta(θ)表示，并且方位角可由phi表示。入射角可指入射在表面上的射线与垂直于入射点处的表面的线(也被称为法线)之间的角度。该方位角可指投影矢量与参考矢量之间的角度。换句话讲，该方位角为光来自光源的罗盘方向。在一个示例中，入射角可与中间图像平面中的位置(x’,y’)相关。对于包括传感器阵列、多色物质和透镜的成像设备的配置(如图2a所示)，可使用以下等式：和其中中间图像平面中的位置由(x’,y’)表示，θ表示入射角，表示方位角，并且f为透镜的焦距。图4b为示例性多色物质404的轮廓。如上所述，多色物质404可被包括在成像设备中，该成像设备在低光条件中操作。该多色物质404可测量100×100正方形像素，其中每个像素可具有3μm的大小。因此，多色物质的总尺寸可为300μm×300μm。此外，每个像素可与(例如)0μm和1500μm之间的高度值相关联，其中值0为黑色并且值1500为白色。该高度值可从0变化到任何期望的值，通常最高至数十微米。然而，该多色物质404可被设计成匹配任何传感器的尺寸和要求。图5-图7示出了表示多色物质在各种波长和角度处的响应的多个点扩展函数的示例。该点扩展函数可形成用于上述成像设备的查找表。该点扩展函数为单点对象的图像。换句话讲，该点扩展函数描述成像系统对点对象(或点源)的响应。该点对象的图像中的扩展(即，模糊)度是成像系统的质量的量度。如图5-图7所示，多个空间光谱点扩展函数可用于限定的波长并且成各种角度。图5-图7示出了分别用于450纳米(nm)、550nm和650nm波长的空间光谱点扩展函数。用于每个点扩展函数的方位角可为0、90、180、或270度中的一者。此外，用于每个点扩展函数的入射角(θ)可为0、10、或20度中的一者。从角度光谱信息中注意到，可对图像的颜色和光场进行计算重构。在一个示例中，可进行图像的模拟重构。该图像可为对象(例如，随机对象或人造彩色对象)。可使用一组随机角度光谱系数来合成人造彩色对象，如下表2所示。表2-合成对象的角度-光谱系数图8a示出了对象(或人造彩色对象)的光谱角度分布。换句话讲，图8a示出了合成对象的波长和角度光谱。波长可在400nm至700nm的范围内，其中间距为50nm。因此，波长可为400nm、450nm、500nm、550nm、600nm、650nm、和700nm。该角度可从在表2中所示的入射角(θ)和方位角的九个组合得到。入射角可为0度、10度、或20度中的一者。如图8a所示，角度1可表示等于零度的θ以及等于零度的角度2可表示等于十度的θ以及等于零度的角度3可表示等于十度的θ以及等于九十度的等等。方位角可为0度、90度、180度、或270度中的一者。如图8a所示，0和1之间的值可用于表示每个角度和波长对(例如，角度7和600nm的波长)。图8b示出了包括对象的光谱和角度信息的合成图像。该合成图像可由单色成像设备来记录。该合成图像可具有300μm×300μm的成像区域。该合成图像可测量100×100正方形像素，其中每个像素可具有3μm的大小。每个像素的强度级别可被归一化为具有介于0和1之间的值。因此，该合成图像可对模拟对象(或人造彩色对象)的光谱和角度信息进行编码。因此，此类相机不仅可在不吸收的情况下提供颜色，而且还可提供场景的光场信息。在一个示例中，可使用直接二进制搜索(dbs)算法来执行对图像的模拟重构。用于进行图像重构的可能的参数的列表在下表3中示出。表3-用于dbs图像重构的参数设计类型‘相机’图像名称‘real_image.mat’单位扰动0.01初始类型随机方法dbs最终误差0.0181图9a示出了对象(也被称为人造彩色对象或模拟对象)的原始光谱角度分布。换句话讲，图9a示出了模拟对象的波长和角度光谱。波长可在400nm至700nm的范围内，其中间距为50nm。角度从入射角(即，0、10°、20°)和方位角(0、90°、180°、270°)的九个组合得到。如图9a所示，0和1之间的值可用于表示每个角度和波长对(例如，角度2和450nm的波长)。图9b示出了对象的提取光谱角度分布。该对象的光谱角度分布可基于图8b中的数字合成图像(即，由单色传感器记录的合成图像)。对象的提取光谱角度分布可使用直接二进制搜索(dbs)算法来获取。如图9b所示，对于多个角度和波长来提供重构的光谱角度分布。图10a示出了包括对象的光谱和角度信息的合成图像。该合成图像与图8b所示的相同。该合成图像(或原始相机记录图像)可来自模拟光谱角度分布。该合成图像可由单色成像设备ilai记录。该合成图像可具有300μm×300μm的成像区域。该合成图像可测量100×100正方形像素，其中每个像素可具有3μm的大小。每个像素的强度级别可被归一化为具有介于0和1之间的值。因此，合成图像可对模拟对象(或人造彩色对象)的光谱和角度信息进行编码。图10b示出了已通过将提取光谱角度分布(如图9b所示)与各个角度处的模拟空间光谱点扩展函数(如图5-图7所示)相乘而重构的强度图像。该强度图像可具有300μm×300μm的成像区域。该强度图像可测量100×100正方形像素，其中每个像素可具有3μm的大小。此外，每个像素的强度级别可被归一化为具有介于0和1之间的值。图11示出了对象的原始光谱角度分布(如图9a所示)与对象的提取光谱角度分布(如图9b所示)之间的误差图。该误差图可指示对象的原始光谱角度分布和对象的提取光谱角度分布之间的误差(或差值)。该误差图可指示重构图像与原始对象的关联程度。换句话讲，可通过绘制误差图来量化重构图像和对象之间的差值。该误差图指示每个角度和波长对(例如，角度5和550nm的波长)的误差值。该误差值可被归一化为具有介于-1和1之间的值。图12示出了相对于迭代时间的对象的提取光谱角度分布和对象的原始光谱角度分布之间的均方根(rms)误差。对象的提取光谱角度分布被示出于图9b中，并且对象的原始光谱角度分布被示出于图9a中。可在基于直接二进制搜索(dbs)的提取算法中相对于迭代时间来绘制对象的提取光谱角度分布和原始光谱角度分布之间的rms误差。由于dbs是迭代算法，因此rms误差可被绘制为迭代数的函数。如图12所示，解可在大约70次迭代中收敛。在大约70次迭代后，rms误差可保持稳定在大致0.02。如前所解释的，可执行涉及直接二进制搜索(dbs)算法的用于图像重构的第一技术。此外，可执行涉及多层搜索(mls)技术的用于图像重构的第二技术。mls在单次迭代中针对多个高度级别利用搜索方法，以便与dbs相比执行更全面的搜索。在mls中的单次迭代期间，可以随机顺序来选择波长角映射中的每个像素。每个像素的值被分为1000个级别(即，0.001的单位扰动)。与利用扰动的dbs相反，对该像素的所有可能的值进行评估。例如，对像素评估值0、0.001、0.002、…0.999、1.000。在所有这些值处生成真实图像和重构图像之间的rms误差的矢量。选择最小rms误差并将对应的值分配给该像素作为最优值。该过程重复，直到波长角映射中的所有像素均被遍历。因此，在单次迭代之后，对于所有像素重复相同的过程，直到满足终止条件(例如，两次迭代之间的最小rms改善或像素的最小数量改变)。用于执行多层搜索的可能参数的列表在下表4中示出。表4-用于多层搜索(mls)图像重构的参数设计类型‘相机’图像名称‘real_image.mat’单位扰动0.01初始类型随机方法mls最终误差0.0133图13a示出了对象(也被称为人造彩色对象或模拟对象)的原始光谱角度分布。换句话讲，图13a示出了模拟对象的波长和角度光谱。波长可在400nm至700nm的范围内，其中间距为50nm。角度从入射角(即，0、10°、20°)和方位角(0、90°、180°、270°)的九个组合得到。如图13a所示，，0和1之间的值可用于表示每个角度和波长对(例如，角度2和450nm的波长)。图13b示出了对象的提取光谱角度分布。对象的光谱角度分布可基于图8b中的数字合成图像(即，由单色相机记录的合成图像)。对象的提取光谱角度分布可使用多层搜索(mls)算法来获取。如图13b所示，对于多个角度和波长提供重构的光谱角度分布。图14a示出了包括对象的光谱和角度信息的合成图像。该合成图像(或原始相机记录图像)可来自模拟光谱角度分布。该合成图像可由单色传感器记录。该合成图像可具有300μm×300μm的成像区域。该合成图像可测量100×100正方形像素，其中每个像素可具有3μm的大小。每个像素的强度级别可被归一化为具有介于0和1之间的值。因此，合成图像可对模拟对象(或人造彩色对象)的光谱和角度信息进行编码。图14b示出了通过将提取光谱角度分布(如图13b所示)与各种角度处的模拟空间光谱点扩展函数(如图5-图7所示)相乘来重构的强度图像。该强度图像可具有300μm×300μm的成像区域。该强度图像可测量100×100正方形像素，其中每个像素可具有3μm的大小。此外，每个像素的强度级别可被归一化为具有介于0和1之间的值。图15示出了对象的原始光谱角度分布(如图13a所示)与对象的提取光谱角度分布(如图13b所示)之间的误差图。该误差图可指示对象的原始光谱角度分布和对象的提取光谱角度分布之间的误差(或差值)。该误差图可指示重构图像与原始对象的关联程度。换句话讲，可通过绘制误差图来量化重构图像和对象之间的差值。该误差图指示每个角度和波长对(例如，角度1和400nm的波长)的误差值。该误差值可被归一化为具有介于-1和1之间的值。图16示出了相对于迭代时间的对象的提取光谱角度分布和对象的原始光谱角度分布之间的均方根(rms)误差。对象的提取光谱角度分布被示出于图13b中，并且对象的原始光谱角度分布被示出于图13a中。可在基于多层搜索(mls)的提取算法中相对于迭代时间来绘制对象的提取光谱角度分布和原始光谱角度分布之间的rms误差。由于更全局的搜索方法(与dbs相比)，因此解可在次数减少的迭代中收敛。如图16所示，在大约16次迭代之后，rms误差可保持稳定在大致0.02，这与在使用dbs算法时的大约70次迭代相反。根据本发明的一个实施方案，公开了图像捕获设备。该图像捕获设备可包括传感器阵列。该图像捕获设备可包括被定位在距中间图像的第一距离处的透镜。该图像捕获设备可包括被定位在距透镜的第二距离处的多色物质，该多色物质被配置为：使用空间灰度代码从被形成在透镜上的中间图像获取颜色信息；并且处理中间图像的傅里叶变换，以便将分散的传感器图像形成到传感器阵列上。在一种配置中，该传感器图像为彩色图像。在另一种配置中，该传感器图像为单色图像。在另一种配置中，中间图像被表示为o(x’,y’,λ)，并且传感器图像被表示为(x,y)，其中(x’,y’)为中间图像的空间坐标，λ为波长，并且(x,y)为传感器阵列的空间坐标。在又一种配置中，从中间图像到传感器阵列的传递函数被表示为p(x,y；x’,y’,λ)，其中(x’,y’)中间图像的空间坐标，(x,y)为传感器阵列的空间坐标，并且λ为波长。在一个示例中，校准传递函数，以便重构中间图像。在另一个示例中，使用下式来对中间图像进行重构：o(x’,y’,θx,θy,λ)＝[p(x,y；x’,y’,θx,θy,λ)]-1i(x,y)，其中i(x,y)表示传感器图像。在又一个示例中，空间代码使得在形成传感器图像时能够使用基本上所有可用的光子。此外，传感器图像被表示为i(x,y)＝o(x’,y’,λ).p(x,y；x’y’,λ)＝σam,n,kp(x,y；x’m,y’m,λk)，其中o(x’,y’,λ)表示中间图像，p(x,y；x’,y’,λ)表示从中间图像到传感器阵列的传递函数，并且am,n,k为坐标(x’m,y’m,λk)处的中间图像的未知值。在一种配置中，当图像捕获设备在低光条件中进行操作时，传感器图像与所限定的图像质量水平一致。在另一种配置中，该第一距离等于透镜的前焦距。在又一种配置中，该第二距离等于透镜的后焦距。在一个示例中，该图像捕获设备不包括用于产生传感器图像的吸收性滤色器。在另一个示例中，使用多个波长或利用多个光谱带来执行成像。在又一个示例中，该多色物质为图案化且透明或半透明的衬底。该变换函数通常可为在3d(即，光场相机)中特别有用的傅里叶变换。然而，傅里叶变换可为计算密集的。因此，在一些情况下，可能期望在真实空间中利用变换。在本专利申请中，从计算方面获取颜色信息。这涉及将对大量数据的表征和存储作为查找表等。这是在对图像的处理在傅立叶空间中发生时的情况。另一个实施方案实现了类似的结果，但是在真实空间中进行颜色信息处理。这使得点扩展函数(或系统的传递函数)的校准数据非常稀少，并且更容易以数字方式进行处理。然后可应用在压缩感测和相关领域中使用的各种算法来获取颜色和图像强度信息。在该实施方案中，该传感器系统由常规单色传感器(没有滤色器阵列)和多色物质构成。该传感器阵列和多色物质之间的间距为d并且可为从数十纳米到数毫米的任何距离。然而，一旦选择该间距(为了选择空间和光谱分辨率，并且为了避免串扰等)，该间距便为固定的。如位于任何成像系统(相机、望远镜、显微镜等)中的成像光学器件可被放置在该传感器-多色物质组件前方，使得最终图像被形成在多色平面上，如图17所示。多色物质1704将来自该图像的光衍射到传感器阵列1702上。通过非常仔细地校准光从每个不同的图像点衍射的方式，然后图像的颜色和空间细节可如下所述计算。图像可被形成在传感器阵列1704的平面1706上。在一个实施方案中，该多色物质1704和传感器阵列1702之间的距离1706为0.05mm至5mm之间的范围。图像可被形成在传感器阵列1704的平面1706上。该光学器件1708表示常规成像光学器件诸如透镜。校准该组件的一种简单的方法为将针孔紧邻多色物质放置，如图18所示。该针孔被合适的光源诸如宽带白光源照亮。源带宽应覆盖彩色成像系统的预期操作带宽。透镜1802可用于在校准期间收集更多的光，如图所示，但这不是必需的。如果不存在透镜1802，则入射到透镜1802上的入射光1804可直接入射在针孔1806上。针孔1806(和透镜1802，如果被使用)被安装在xy(xyz，如果散焦需要被校准)平台上。该平台在xy平面中并且在每个位置处步进，传感器阵列1810上的衍射图像被捕获。如本领域的技术人员将注意到，该衍射图像将被高度地定位到与针孔的中心对准的传感器像素。因此，传感器阵列1810上的所捕获的图像将为稀疏的。该数据然后表示多色物质-传感器组件的传递函数。如前所述，可使用各种技术来以数字方式反转传递函数，以获取任何任意图像的细节(颜色和强度)。有时可能难以将针孔1806移动到紧邻多色物质1808，如图18所示。在这种情况下，可使用图像中继系统1902，如图19所示，其中4f系统将针孔1912的图像中继到多色平面1906上。在一个实施方案中，在4f系统中，透镜1908和1910具有焦距f并且彼此分开2f的长度。透镜1910可与针孔1912分开长度f，并且透镜1908与多色平面1906分开长度f。因此，如图所示，4f系统具有4f的长度。该4f系统中的透镜1908和1910被示出为与图中相同，但是这不是必需的。如果它们的焦距不同，则将导致放大或缩小，这对于某些应用是有利的。然而，在计算图像细节时，必须考虑放大或缩小因子，同时进行对传递函数的反转。在一种配置中，可通过使用针孔阵列而不是单个针孔来在减少的时间量内校准组件。该针孔阵列可为针孔的一维阵列或针孔的二维阵列。在一个示例中，可选择阵列中的针孔之间的间距，使得来自两个紧密间隔的针孔(例如，相邻针孔)的衍射信号在传感器阵列1904上不重叠。然后，可在由针孔之间的间距确定的区域上方扫描针孔阵列。在捕获该数据之后，可编译来自阵列中的针孔的传递函数，以获取组件的校准数据。该校准数据可来自图像捕获设备的整个视野。因此，使用针孔阵列可使组件的校准过程加速。图20示出了包括衍射滤光器阵列(dfa)2004的示例性成像设备2002，该衍射滤光器阵列也可被称为超晶格衍射滤光器阵列。更具体地，图20描述了用于计算衍射扩展的程度的几何形状。在一个实施方案中，正方形2006表示dfa2004的一个超晶格。该衍射滤光器阵列(dfa)2004可以周期性的方式被设计。该超晶格周期可通过衍射扩展的最大程度来确定。衍射角θ由光栅等式确定为-sin(θ)+sin(α)＝λ/p，其中λ为所关注的最长波长，α为最大离轴射线角，并且p为dfa像素大小的两倍。作为非限制性示例，如果λ＝750nm，α＝30°并且p＝2μm，则θ为大约7°。作为另一个非限制性示例，如果间隙(g)＝10μm，则衍射扩展，＝tan(θ)*g＝1.26μm，其为大约1个传感器像素。在一个示例中，该dfa2004的点扩展函数为空间变化的。换句话讲，衍射图案不仅取决于波长，而且取决于传感器阵列2008上的传感器像素的位置。后者是由于不同的传感器位置可观察不同的离轴射线角的事实。换句话讲，α(即，最大离轴射线角)可按照考虑的传感器像素的位置而改变。2010表示超晶格边界。图21a示出了具有点扩展函数(psf)中的空间变型的成像系统2102的示例。该成像系统2102包括透镜2104和衍射滤光器阵列(dfa)2106。图21a示出了点a和点b在穿过透镜2104之后如何分别入射在dfa2106上作为点a’和b’。图21b示出了包括dfa2108和传感器2110的成像系统2102，其中对于给定的传感器像素，角度α被示出为具有用于a’的位置。图21c示出了角度α按照考虑的传感器像素b'的位置相对于a'发生改变以及离轴射线可偏斜衍射图案的方式。psf可被校准和存储为传感器像素(x,y)的位置以及对象信息(x’,y’,λ)的函数。如图21d所示，光学系统2114和传感器2110中的对称性2116可导致减少量的psf数据。可应用对称原理来减少数据量。大多数光学系统是旋转对称的，并且传感器像素本身具有矩形对称性。因此，所存储的psf数据的量可减少(例如，减少四分之一)。此外，如果dfa2108基于超晶格为周期性的，则可针对中心对象点来校准psf。然后，对于任何其他点，衍射图案可根据点的位置和光学系统2114的设计而偏斜(或旋转)，这可实时计算而不是存储整个数据，从而产生将需要被存储的显著少量的数据。因此，psf可作为传感器像素位置和对象信息的函数来计算。图22a-图22c示出了用于以大规模并行方式计算多光谱图像或超光谱图像以用于实时成像的示例性技术。在这种技术中，一次仅考虑衍射图案的非零元素。对于每个传感器像素(其对应于如位于常规成像系统中的特定对象像素)，存在与l个波长对应的l个psf2202矩阵，如图22a所示。仅使用由大小m×n限定的psf矩阵(由衍射程度来确定)的非零元素。在图示中，m＝n＝3，但是这些仅为非限制性示例。在一些情况下，m和n可为不相等的值。如图22b所示，传感器像素2204和扩展的程度在传感器像素阵列2206上以灰色来指示，并且本发明的传感器像素以黑色示出。作为第一步骤2208，m×n传感器像素内的颜色可为恒定的。该中心像素的线性方程组(以黑色示出)被定义为：i＝o*p，其中i为大小(m×n)的测量图像，o为与该传感器像素对应的对象点并且具有大小(1×l)，并且p为大小(l×m×n)的psf矩阵。可独立于相邻像素来对线性系统进行求解，如图22b所示。线性系统可以m*n>＝l来求解。如果等式成立，则矩阵为正方形并且具有足够的秩。原则上，可以这种方式来对整个传感器上方的所有独立线性方程组进行求解。如前所述，psf矩阵针对考虑的每个传感器像素(以黑色示出)而改变，如图21a-图21d所示。将所得的代表性图像绘制在图22b的2210上。如图22c所示，然后通过适当地偏移超晶格边界(假定psf的周期性边界条件)并适当地调整psf(假设输入锥角的变化)来对m×n整体内的每个传感器像素重复该过程。在每种情况下，获取与图22b中的右侧上所示的图像类似的图像。通过组合所有这些m×n×l图像，可获取完整的多光谱或超光谱图像。在一个示例中，可考虑相邻像素的邻近效应。一种方法是使用组合图像作为非线性优化的初始条件，诸如直接二进制搜索。该最后步骤可离线执行(例如，非实时的)。图23a-图23f示出了用于识别在图像重构处理期间增加点扩展函数(psf)矩阵的秩的测量的示例性技术。在一个示例中，图像重构处理可通过使用有源成像元件来改善。例如，为了简化图像重构处理，可增加psf矩阵的秩。这可通过获取更多的测量来实现。可应用各种技术来实现该目的，如图23所示。如图23所示，技术中的每种技术可涉及使得测量的数量(等式)等于未知数量。如图23a所示，使用液晶(lc)单元2303来代替所制造的dfa，并将其与传感器2302一起使用。lc单元2303以像素化的方式引入电控相移。因此，可创建l个不同的相位图案，并且可捕获传感器阵列上的l个不同的图像。然后，测量的总数变为m×n×l，其中m×n为传感器的总大小。现在，等式的数量(m×n×l)变成等于未知数量(m×n×l)，并且可对该线性系统进行求解。图23b示出了其中可通过在lc单元2303的两侧上放置交叉线性偏振器2305使用振幅调制来实现多个测量的示例。该技术可类似于常规lc显示器。然而，在这种情况下，由于偏振器2305的低透射性，一些光会损失。图23c示出了其中可通过在x和y2306中平移dfa2304来获取多个测量的示例。该平移可为子像素或超像素大小。该平移也可为快速振动的形式。图23d示出了其中可通过在z方向2308上(沿光轴)平移dfa2304来获取多个测量的示例。散焦改变了衍射图案，并且因此允许对每个帧进行l个独特的测量。图23e示出了其中dfa2304围绕纵向轴线2310旋转以获取多个测量的示例。图23f示出了其中dfa2304围绕横向轴线2312旋转以获取多个测量的示例。在所有这些情况下，可为用于测量的l个配置中的每个l个配置存储psf数据。此外，对称和计算可用于减少数据量。实施例如图2a通常所示那样来构造成像捕获设备。图24a示出了衍射滤光器2402和传感器阵列2404的一部分的示意图。该衍射滤光器具有3μm宽度和18μm周期(即，每个像素子单元)的特征结构。单色cmos传感器阵列2404具有6μm的像素大小。图24b为所制造的衍射滤光器的显微图。应用倾斜照明来增强对比度(插图为具有较大放大的图像)。图24c为被黑色框划定的图24b中的衍射元件的一部分的原子力显微图。该结构具有1.2μm的最大像素高度并且为多层像素高度元件。标记3μm的像素大小，并且由白色虚线框来包围一个周期(即，子单元)。衍射元件经由灰度级光刻由涂覆在熔融二氧化硅衬底上的透明电介质材料(shipley1813光致抗蚀剂)形成。将商业透镜(mvl12wa，thorlabs)放置在衍射滤光器前方。该系统使用沿具有可调谐带通滤光器的格栅步进的针孔系统而被校准，以选择照明波长。校准只需要执行一次，并且可用于使用相同的系统的任何图像重构。利用该系统，可实现对3d多光谱成像的计算再聚焦和扩展。在从聚焦对象平面中移位的各个平面处测量多光谱psf，这类似于测量景深。然后，在从聚焦对象平面偏移20mm的平面处对多光谱对象成像。如所预期的，使用聚焦psf数据计算的多光谱图像被显著的颜色误差和噪声扭曲。然而，通过简单地使用来自散焦平面(+20mm)的psf数据可计算地获取正确的多光谱图像。因此，该系统可用于通过利用多光谱psf数据校准3d空间来生成3d多光谱图像。因此，提供了通过简单地在常规传感器阵列顶部放置衍射滤光器并应用线性重构算法来保留光谱和空间分辨率的计算多光谱视频成像。该系统表现出空间和光谱变化的psf，其中每个多光谱对象点(x,y,λ)被映射到一组传感器像素(x’,y’)。这种一对多映射可经由规则而反转，因为其为线性传递函数。该反转过程允许对多光谱图像进行计算。还示出了所展示的9.6nm的光谱分辨率和4.2个循环/mm的空间分辨率，其高于利用常规相机可实现的光谱分辨率和空间分辨率。由于该衍射滤光器不吸收任何光，因此传感器利用所有传入光子。这与常规彩色相机相反，其中平均而言，2/3的光由于在拜耳滤光器中的吸收而未被使用。通过移除拜耳滤光器，该cmos传感器可与电子器件中广泛使用的硅制造工艺完全兼容。另外，可通过扩展到多光谱光场的计算采集来实现计算3d多光谱成像。只要传感器阵列展示足够的灵敏度，该技术便同样适用于电磁对象的任何部分。虽然前述示例在一个或多个特定应用中说明了本发明的原理，但是对于本领域普通技术人员来说显而易见的是，在不需要创造性劳动并且在不脱离本发明的原理和概念的情况下，可在具体实施的形式、用法和细节上进行许多修改。因此，除了以下所述的权利要求之外，并不意图限制本发明。当前第1页12