光谱成像方法与系统与流程

本发明在成像技术的领域中，并且涉及用于确定/重建物体的光谱信息的光谱成像的方法和系统。

参考文献

被认为与当前公开的主题相关的背景的参考文献在下面列出：

1.y.monno、m.tanaka和m.okutomi，“proceedingsofis&t/spieelectronicimaging(ei2012)”，digitalphotographyviii，第8299卷，第82990o-1-7页，2012年1月)

2.y.murakami、m.yamaguchi和n.ohyama，“hybrid-resolutionmultispectralimagingusingcolorfilterarray”，opt.express20，7173-7183页，2012

3.a.stern，“compressedimagingsystemwithlinearsensors”，opt.lett.32，3077-3079页，2007

4.a.wagadarikar、r.john、r.willett和d.brady，“singledisperserdesignforcodedaperturesnapshotspectralimaging”，appl.opt.47，b44-b51页，2008

5.c.li、t.sun、k.f.kelly和y.zhang，“acompressivesensingandunmixingschemeforhyperspectraldataprocessing”，ieee_j_ip21(3)，第1200-1210页，2012

6.m.a.golub、m.nathan、a.averbuch、e.lavi、v.a.zheludev和a.schclar，“spectralmultiplexingmethodfordigitalsnapshotspectralimaging”，appl.opt.48，1520-1526页，2009

7.r.ng、m.levoy、m.brédif、g.duval、m.horowitz和p.hanrahan，“lightfieldphotograhywithahand-heldplenopticcamera”，computersciencetechnicalreportcstr2，no.11，2005

8.j.rweber、d.j.cuccia、w.r.johnson、g.h.bearman、a.j.durkin、m.hsu等人，“multispectralimagingoftissueabsorptionandscatteringusingspatialfrequencydomainimagingandacomputed-tomographyimagingspectrometer”，journalofbiomedicaloptics，16(1)，011015–0110011015页，2011

9.n.r.pal和s.k.pal，“areviewonimagesegmentationtechniques”，patternrecognition，26(9)，1277-1294页，1993

10.d.h.foster、s.m.c.nascimento和k.amano，“informationlimitsonneuralidentificationofcoloredsurfacesinnaturalscenes”，vis.neurosci.21(3)，331-336页，2004

对本文中上述参考文献的承认并不被推断为意指这些以任何方式与当前公开的主题的专利性相关。

背景

光谱成像旨在提供关于在图像平面中的每个位置处的物体的至少一些光谱信息。已经开发了各种光谱成像技术，包括多光谱成像、高光谱成像、全光谱成像、成像光谱学或化学成像。光谱图像通常被表示为图像立方体(imagecube)，一种数据立方体(datacube)。

多光谱(ms)和高光谱(hs)立方体可以以许多方式获得。一些系统(利用摆扫式、推扫式和可调谐滤波器以用于实现hs成像器)依赖于3dhs立方体的1d或2d子集的多次获取，然后是简单的重建。一些其他系统包括使分辨率与光谱信息(类似于bayercfa)进行权衡并且需要空间光谱重建算法[1]、[2]的多色传感器。

近来，已经开发出几种hs快照获取技术。其中一些基于压缩感测，其中hs图像被假定为稀疏的，并且在成像系统内使用附加的光学元件来压缩数据[3]-[6]。然而，这些技术需要被成像的场景的现有知识，并且通常还遭受低光效率，并且实现这种技术的系统相当复杂。

至于积分场光谱系统，这些系统的共同基础原理在光谱信息与空间分辨率权衡的意义上与光场摄像机[7]相似。因此，检测到的光中的多个光谱带等于分辨率退化率。积分场高光谱成像技术(诸如，小透镜阵列、光纤阵列、图像切片机和微切片机)都展示这种行为。另一种已知的解决方案涉及使用根据光栅衍射级使入射光发散以在传感器上形成多个多光谱子图像的2d光栅；这随后是重建算法[8]。这种方法允许快速的高光谱立方体获取，但是因而得到的图像遭受低空间分辨率；所需的设置也不能集成在普通摄像机中。

概述

在本领域中需要用于光谱成像的新颖技术，其提供用于重建被成像的场景或物体的光谱的技术上简单的解决方案，使得能够根据它们的光谱区分开不同的物体或特征。

本发明通过提供用于确定物体的光谱的新颖方法来满足上述需要。该方法基于在创建输入光场的光学图像的同时对该输入光场进行编码。更具体地，输入光在朝向由检测器单元的像素阵列限定的成像平面传播的同时通过光学编码单元。光学单元的特征在于某个透射函数(transmittancefunction)(可能以预定方式可变)，且因此检测到的光强度是图像的光谱数据和光学单元的透射函数的函数。这使得能够确定被成像物体的光谱数据。应当理解，检测器(像素阵列)对被成像物体的光谱范围敏感，并且物体可以在像素阵列的至少一个区域上成像，以允许物体的相应光谱区域的重建。

光学单元通常包括光学编码器和成像透镜模块。透镜模块可以包括一个或多个透镜，并且通常被安置成使得像素阵列(检测平面)位于透镜模块的后焦平面中。

这种光学单元的透射函数在这里称为“有效透射函数”，因为在一些实施方式中，透射函数可以可控地改变。因此，本发明的光谱成像系统可以在所谓的“静态”模式中操作，即有效透射函数是固定的，使得能够通过获取单个快照(帧)来重建物体的光谱；或在“动态”模式中操作，根据该模式，以不同的有效透射函数顺序地获取多个帧(通常至少两个帧)。此外，在“动态”模式系统配置的一些实施方式中，用于至少两个帧中的每一个的光学单元的透射函数在时变函数的形式中。

因此，本发明的成像系统包括光学单元，其安置在检测器(其可以是单色检测器或标准颜色(rgb)检测器，例如，具有诸如bayer滤波器的滤色器阵列的检测器)的像素阵列的前面；以及数据处理器，其用于接收和处理检测器输出数据(图像数据)。本发明的成像系统或至少其光学单元可以与检测器单元成为整体。例如，由于成像器(摄像机)的检测器单元通常包括成像透镜，因此这种成像透镜可以形成本发明的成像系统的透镜模块。

相对于光学元件的相对安置，系统配置通常可以具有两个不同的实施方式。在一个实施方式中，编码器单元位于透镜模块和像素阵列之间(后者位于透镜模块的后焦平面中)，而在另一实施方式中，编码器单元位于成像透镜模块的前面。在后一种情况下，编码器单元可以被配置为在透射或反射模式中操作。

在本发明的一些实施方式中，光学单元被配置用于在创建输入光场的光学图像的同时在该输入光场上施加角度编码，从而提供高光谱图像数据(高光谱立方体)的角度复用。更具体地，在使用包括在像素阵列的前面的角度编码器和透镜模块的光学单元的情况下，在像素处的检测到的光强度是以光学单元的有效透射函数复用的图像的光谱数据，该有效透射函数是角度和波长的函数。角度编码器可以包括色散单元。

在输入光场的光路中的色散单元的使用提供图像数据的角度复用。更具体地，在像素处的检测到的光强度是以作为角度和波长的函数的光学单元的有效透射函数复用的图像的光谱数据。如上面所指示的，可以改变有效透射函数。这可以通过执行下列操作中的一个或多个来实现：影响色散单元本身(即，可调谐元件)的色散图案、改变透镜模块的焦距以及影响整个色散单元(不可调谐的)相对于光轴的角位置。

在“静态”模式配置中，即有效透射函数是固定的，并且可以通过获取单个快照(帧)来重建物体的光谱(或其至少一部分)。唯一的要求是物体被成像在像素阵列的至少n个像素上以允许n个光谱带的重建。在“动态”模式配置中，如上所述实现的、利用光学单元的不同的有效透射函数顺序地获取两个或更多个帧。在这种情况下，对于不同帧的图像数据片段可以被处理以用于重建物体的光谱的不同光谱段。

利用角度编码(图像数据的角度复用)的本发明的实施方式的原理可以通过以下例子来解释。通常在任何成像系统中，每个像素测量在不同的角度处的入射光射线(两个边缘射线之间的光射线束)的总强度。在利用色散单元的本发明的成像系统中，每个射线以稍微不同的角度入射到色散单元上，且因此其透射光谱被稍微修改。因此，本发明的每个像素测量多个加权修改的光谱的累积强度。由于色散单元的光谱透射率和透镜模块的角度特性是已知的，因此唯一的变量是物体的光谱。假设相邻像素共享相同的光谱，可以应用重建算法来恢复物体的光谱。

在本发明的一些其它实施方式中，光学编码器包括可调谐滤波器，并且检测器单元包括卷帘快门型检测器阵列。检测器阵列可以是例如利用对于不同检测器元件(诸如，bayer滤波器)的滤色器的彩色像素阵列或单色滤光器。可调谐滤波器被配置且可操作用于在至少两个不同的透射轮廓之间以透射轮廓变化的预定时间模式改变其有效透射率。优选地，使用可调谐滤色器，即不同的有效透射函数是波长的不同函数(即，光谱透射轮廓)。

卷帘快门型检测器阵列通常被配置为选择性地将像素阵列(线)的一部分暴露于输入光。更具体地，检测器单元具有快门，其具有被配置为覆盖像素阵列的所有列但一次仅允许预定数量的行暴露于输入光的开口。在预定曝光时间之后，检测器提供来自线的检测器元件(像素)的所收集的数据的读出并将其添加到所生成的图像数据。可调谐滤波器的透射轮廓的变化的时间模式具有对应于预定数量的行(例如，2行、25行等)的曝光时间的时标。应当注意，在数字型检测器阵列中，曝光时间可以由阵列的每个检测器元件的数据收集/集成的时间来定义。更具体地，与检测器元件相关联的电容器可以被放电，并且由于相关联的检测器单元在积分时间周期期间的光收集而被允许再充电。在积分/曝光时间之后，测量电容器中的电压/电荷以确定所收集的光强度。为此目的，如本文所使用的术语曝光时间应当被广泛地解释为与通过检测器元件的光收集的时间有关。

该配置通过指示由可调谐滤波器的两个或更多个不同的透射轮廓编码的光的不同行提供了图像数据的生成。基于检测器元件的预定(已知)的波长灵敏度和可调谐滤波器的预定(已知)的两个或更多个透射轮廓以及其预定时间模式，系统可以生成指示被成像的物体的光谱的数据，即在系统的视场中的图像的光谱信息。通常，为了提供这样的数据，物体的图像应当包括图像数据中的至少预定数量的行。

因此，根据本发明的一个广泛方面，提供了用于在重建被成像的物体的光谱数据时使用的成像系统，该成像系统包括：光学单元；检测器，其具有对预定光谱敏感的像素阵列；以及数据处理器，其用于接收和处理指示由像素阵列检测到的光的图像数据，并生成被成像的物体的重建的光谱数据；其中光学单元被配置且可操作用于在由像素阵列限定的成像平面上创建输入光场的光学图像的同时对该输入光场施加预定编码，图像数据因此是所述预定编码和待确定的物体的光谱的函数。

光学单元包括被配置用于施加所述预定编码的编码器组件和成像透镜模块。成像平面位于透镜模块的后焦平面中。编码器组件可以安置在透镜模块和检测平面之间的输入光的光路中；或者可以安置在透镜模块的上游并且在透射模式或反射模式中可操作。检测器可以是单色检测器或彩色检测器，如上所述。对输入光场施加的编码由光学单元的有效透射率限定。有效透射率是波长的函数，并且在一些实施方式中是光传播的角度的函数，并且在一些其它实施方式中是时间的函数。

成像系统还可以包括控制器，其用于修改光学单元的有效透射率，从而实现利用光学单元的不同的有效透射率获取连续帧。

如上所述，在一些实施方式中，编码器组件被配置用于通过使用色散单元向输入光施加角度编码。在这样的实施方式中，控制器可以与色散单元和透镜模块中的至少一个相关联，用于执行以下操作中的至少一个：影响可调谐色散单元的色散图案、影响色散图案相对于光学单元的光轴的角位置、改变透镜模块的焦距以及移动透镜模块。

同样如上所述，在一些实施方式中，光学单元被配置用于对输入光施加时变光谱编码，并且检测器是卷帘快门型检测器。在这样的实施方式中，控制器与滤色器相关联，并且同一控制器或另一控制器与检测器的快门相关联。

根据本发明的另一个广泛的方面，提供了用于在重建被成像的物体的光谱数据时使用的成像系统，该成像系统包括：光学单元；检测器的像素阵列；以及数据处理器，其用于接收和处理指示由像素阵列检测到的光的图像数据，并生成被成像的物体的重建的光谱数据；其中光学单元被配置且可操作用于在由像素阵列限定的检测平面上创建输入光场的光学图像的同时向该输入光场施加预定角度码，该图像数据因此是所述预定角度码和待确定的物体的光谱的函数。

光学单元被配置用于在像素阵列的至少n个像素上使物体成像，从而允许被成像的物体的n个光谱带的重建。

光学单元包括色散单元和透镜模块，该透镜模块包括一个或多个透镜。透镜模块(其限定光学单元的光轴)的给定相对定向和色散单元的色散图案定义光学单元的有效光谱透射率，并因此定义角度编码的相应函数。色散单元可以是可调谐的，使得实现如上所述的其色散图案的可控变化；或者可以包括具有预定的固定色散图案的色散元件。

在一些实施方式中，处理单元被配置且可操作用于预处理对应于感兴趣区域的所获取的帧的图像数据以用于识别其光谱数据将被重建的物体，并利用对应于所述帧获取的有效光谱透射率以用于处理所识别的物体的图像数据并重建物体的频谱。预处理可以包括一个或多个模式识别算法，包括例如分割算法，其旨在识别具有实质上均匀的光谱内容的物体。

根据本发明的另一个广泛的方面，提供了用于在重建物体的光谱数据时使用的成像方法，该方法包括：在像素阵列的至少n个像素上创建光场的光学图像的同时，对来自感兴趣区域的输入光场施加角度编码，以及处理对应于由像素阵列在至少一个帧获取期间检测到的光的图像数据，并且重建被成像的物体的至少n个光谱带。

在成像的同时施加角度编码包括使输入光场与色散图案相互作用。

根据本发明的又一个广泛的方面，提供了用于在重建被成像的物体的光谱数据时使用的成像系统，该成像系统包括：光学单元；卷帘快门型检测器，其包括像素阵列；以及数据处理器，其用于接收和处理指示由像素阵列检测到的光的图像数据，并生成被成像的物体的重建的光谱数据；其中光学单元包括可调谐滤波器，其位于朝向所述像素阵列传播的输入光场的光路中，并且被配置且可操作来以预定时间模式改变其在至少两个不同的透射轮廓之间的透射率，使得由像素阵列的至少两行顺序地检测的光对应于可调谐滤波器的至少两个不同的透射轮廓。

数据处理器可以利用关于所述卷帘快门型检测器的操作的数据和关于可调谐滤波器的所述预定时间模式的数据来确定所述频谱数据。图像内的物体可以通过图像分割或任何其他类型的图像滤波来识别。重建算法可以利用检测到的光的强度和每行光谱差来恢复物体的光谱数据。

附图简述

为了更好地理解本文中公开的主题以及举例说明它可以如何在实践中被执行，现在将参考附图仅作为非限制性的例子来描述实施方式，其中：

图1是利用本发明的成像系统的感测系统的示意图；

图2a和2b分别更具体地示出了本发明的成像系统的两个非限制性例子；

图2c和2d示意性地显示了根据本发明的一些实施方式的图2a和2b的成像系统配置中的光传播方案；

图3示出了用于操作成像系统并处理图像数据以重建被成像的物体/场景的光谱数据的本发明的方法的例子的流程图；

图4a和4b显示了由发明人获得的模拟结果，其中图4a显示了具有被标记的感兴趣区域的剪裁的rgb图像，以及图4b显示了对于感兴趣区域的每一个的原始光谱和重建的光谱；

图5示意性地显示了根据本发明的一些其它实施方式的成像系统配置中的光传播方案；以及

图6和图7例示在图5的实施方式中的本发明的操作方案。

实施方式的详细描述

参考图1，通过方框图示意性地示出了利用本发明的成像系统100的感测系统(检测系统)10。成像系统100包括用于定位在由感测系统的像素阵列单元104限定的光敏表面(检测/图像平面)前面的光学单元102和被配置用于与像素阵列单元104的读出电路进行数据通信以用于从其中接收图像数据的数据处理器单元106。数据处理单元106可以与像素阵列单元104成为整体，例如，可以是像素阵列单元104的读出电路的软件模块。

光学单元102被配置且可操作用于在由像素阵列单元104限定的成像平面上创建输入光场的光学图像的同时对该输入光场施加预定编码。对应于检测到的光信号的图像数据是预定编码和物体的光谱(即，输入光场的)的函数。预定编码由在相应的图像获取期(帧)中使用的光学单元的有效透射函数(etf)定义。

光学单元102包括被配置用于施加预定编码的编码器组件和成像透镜模块。成像平面位于透镜模块的后焦平面中。编码器组件可以安置在透镜模块和检测平面之间的输入光的光路中；或者可以安置在透镜模块的上游并且在透射或反射模式中可操作。检测器可以是单色或彩色检测器，如上所述。对输入光场施加的编码由光学单元的etf定义。etf是波长的函数，并且在一些实施方式中也是光传播角度的函数，并且在一些其它实施方式中是曝光时间的函数。

处理器单元106尤其包括数据输入/输出实用程序(utilities)(未示出)、存储器模块106a(例如，用于存储所使用的光学单元的etf)和分析器模块106b，该分析器模块106b适合于使用对于相应的图像帧的光学单元的etf数据来分析来自像素阵列单元104的图像数据，并确定物体的光谱。这将在下面被进一步更详细地描述。

在本发明的一些实施方式中，处理器单元106还包括与光学单元102相关联的控制器106c，其用于管理光学单元102的etf的可控变化。如上所指示的并且将在下面进一步更具体地被描述的，光学单元102的etf可以是可变的。在一些实施方式中，控制器106c还与用于控制曝光时间模式(或接收指示曝光时间模式的数据)的像素阵列单元的快门(shutter)相关联。

如上所述，在本发明的一些实施方式中，光学单元102被配置且可操作用于对输入光场施加角度编码，同时在检测平面(即，像素阵列单元104的光敏表面)上创建其光学图像。由光学单元102施加的角度编码由光学单元的(etf)定义，etf是光传播角度和波长的函数。

通常，在成像系统中，每个像素在不同的角度(两条边缘射线之间的光射线束)处测量入射在所述像素上的光射线的总强度。包括角度编码成像组件的光学单元102提供了输入光l输入的每个射线以稍微不同的角度照射在光学单元上，并且对应的输出光l输出具有略微修改的透射光谱。因此，像素阵列单元104中的每个像素测量多个加权修改的光谱的累积强度。由于光学单元102的etf对于所获取的给定图像帧是固定的并且是已知的，因此影响检测到的强度的唯一变量是物体的光谱。假设相邻像素共享相同的光谱，重建算法可以应用于恢复物体的光谱。

更具体地，在这样的实施方式中，光学单元102包括色散单元/元件(构成角度编码单元)和成像透镜模块(构成成像单元)。因此，这种光学单元102的etf由色散单元的光谱透射率和透镜模块的角度特性来定义。如下面将进一步更具体地描述的，基于角度编码的光学单元102的etf可以通过应用以下操作中的至少一个来改变：改变可调谐色散元件的色散图案、改变透镜模块的焦距以及影响整个色散元件相对于光轴的角位置。

参考图2a和2b，其示意性地显示了光学单元102的配置的两个具体的但非限制性的例子。为了便于理解，使用相同的参考数字来识别在所有例子中共有的组件。如所示，光学单元102包括编码器单元(例如，色散单元/元件)102a和透镜模块102b(在本例子中为单个成像透镜)。由像素阵列单元104限定的检测平面dp位于透镜模块102b的后焦平面中。

在图2a的例子中，编码器单元102a位于透镜102b和检测平面dp之间，而在图2b的例子中，编码器单元102a位于透镜模块102b的前面。

考虑到基于角度编码的光学单元，它可以包括色散单元，其可以包括具有主动(可调谐色散图案)或被动(固定色散图案)的任何已知的适当配置的色散元件。例如，可以使用标准具(etalon)作为色散元件。在本发明人执行的模拟中，使用空气间隔的法布里-珀罗标准具作为色散元件，其中透射的光谱随着入射角度而变化。

参考图2c和2d，其示意性地示出了对于基于角度编码的光学单元在帧获取期间分别通过图2a和图2b的配置的成像系统的光传播。如图2c所示，输入光场l输入的每个射线以不同的角度照射色散元件102a，这修改它的透射光谱。跨越不同角度的透射光谱变化呈现色散元件的已知特性。因此，每个像素测量射线的加权和，其中的每个具有不同的光谱。加权和的系数是已知的，并且是光学设计的性质。通过应用用于图像分割的图像处理算法，随后是频谱分解算法，可以重建高光谱立方体。

更具体地，每像素，总的所获取的强度可以由下式描述：

其中，i表示总的所获取的信号，w0表示具有角度θ的射线的权重，tθ(λ)表示标准具在角度θ处的光谱透射率，rλ表示物体的反射率光谱。靠近光轴，光斑大致为圆形的，因此角度加权函数的形式如下：

其中，θl和θh分别表示下边缘射线和上边缘射线，且cra表示主射线角度。

然后，一般化的复用光谱透射率由下式给出：

将鸡(3)代入方程(1)，产生：

可选地，色散元件可以放置在透镜的前面，如图2b和2d所示。在成像的物体足够远的情况下，这个配置被简化，因为可以假定权重函数是一致的：

如在图2d的简单情况中所示的，单个物体发射仅对三个像素成像的三个波长的光谱。色散元件具有取决于波长和角度的透射函数。场景中的每个点，角度在整个透镜中是相当一致的(实际上等于cra)。因此，每像素，假定所有的射线都处于单个角度中。然后，所测量的强度(像素值)矩阵由下式给出：

其中，r是物体的光谱(仅仅三个波长λ1、λ2和λ3)；t是取决于波长和角度的透射率矩阵(例如，标准的标准具)；ti,j描述了第j个波长的第i个角度的透射率；i是测量向量。

因此，r是唯一未知的，且可以通过下式重建：

r＝t^-1·i。(7)

实际考虑需要更高数量的像素(即，测量角度)。如下面将进一步描述的，为了进一步提高测量的光谱分辨率，多个帧的序列可以是使用对于不同帧的光学单元的不同etf的图像。可以通过移动或倾斜色散元件和/或平行于光轴移动透镜(由聚焦机构)和/或垂直于光轴移动透镜(通过ois机构)来执行etf的变化。

以下是在利用作为图像的输入光场的角度编码的本发明的实施方式中使用的光谱重建过程的例子。在这个方面，参考图1和图3，其显示了处理单元106的结构以及其操作的流程图200。处理单元106操作来对每帧的图像数据应用光谱重建过程。这样的过程包括两个阶段：预处理阶段202a和重建阶段202b。

预处理阶段202a由分析器106b的分割模块执行，并且被应用于从帧获取产生的图像数据。预处理包括将图像分割算法应用于旨在区分开场景内的物体的帧数据。这种算法的可能实现可以基于任何已知的模式识别技术，如在例如通过引用并入本文的[9]中所述的。待识别的物体(或段)是“均匀光谱内容”的物体(或段)。后者意味着对于单个分割的物体，检测到的像素强度仅通过增益因子(由于空间照明变化)而不是通过光谱内容而不同。因此，识别这样的物体/段，并且通过分析器106b的光谱分析器模块来处理来自相应像素的图像数据，以重建物体的光谱内容(步骤202b)。光谱分析器模块操作以应用于图像数据分解算法来重建高光谱立方体。

假设利用在图2b中描述的设置，每个像素与特定的cra有关，该cra取决于离光轴的距离(由于轴向对称性)。因此，几个像素可以具有相等的半径，因此具有相等的cra，这对于噪声处理是有利的。在这种情况下，方程(4)可以由下式重写：

其中，m是与物体相关联的像素(和cra)的数量，n是光谱带的数量。在m<n的情况下，应用线性最小均方。

如在图3中进一步示出的，在分辨率中的损失是不可接受的情况下，可以采用光学单元的不同的有效光谱透射率获得附加的帧。可以通过平行于光轴移动透镜(通过聚焦机构)、垂直于光轴(例如，通过光学图像稳定器(ois)机构)移动透镜或移动或倾斜色散元件来改变有效光谱透射率。对于不同帧的图像数据的处理允许物体光谱的不同光谱段的重建。

参考图4a和4b，其显示了由发明人获得的模拟结果。图4a示出了从高光谱立方体获得的剪裁的rgb图像(从[10]获得的)，其中矩形标记m1和m2对应于两个感兴趣的区域。图4b显示了对应于区域m1的原始光谱和重建的光谱的光谱s1和s'1，以及对应于区域m2的原始光谱和重建的光谱的s2和s'2。

如上所指示的，在本发明的一些其他实施方式中，利用可调谐滤波器和卷帘快门型检测器阵列，提供以通过使用利用随时间变化的etf获得的至少两个图像帧来获得物体的光谱信息。在这个方面，参考图5，其示出了系统300，包括卷帘快门型检测器阵列304；光学单元102，包括被配置用于引导来自场景的光在检测器阵列上生成图像的成像装置(例如，透镜装置)102b，以及可调谐滤波器302(构成编码器单元)，其位于朝着检测器的光输入的光路中。如上所述，滤波器302可以相对于输入光传播方向在成像装置102b的上游或下游。滤波器302也可以位于成像装置102b的元件之间，视情况而定。

可调谐滤波器302被配置为以预定时间模式改变在两个或更多个不同的透射轮廓(profile)之间的其etf。更具体地，可调谐滤波器302可以是具有两个或更多个不同的彩色透射曲线的滤色器，并且在所述透射曲线之间的切换以预定的时间间隔执行。例如，可调谐滤波器可以在大约700nm的预定带宽与大约500nm的预定带宽之间(即，在红色和绿色透射之间)改变它的透射。可选地，滤波器302可以在红色、绿色和蓝色之间或在红色/绿色/蓝色和白色(全谱)之间改变它的透射。还应当注意，透射轮廓可以包括近红外(ir)波长和/或近紫外(uv)光谱。还应注意，可调谐滤波器302可以被配置为覆盖全帧区域，即全局滤波。

通常，可调谐滤波器302的etf变化的时间模式被配置为对应于卷帘快门型检测器阵列304的一行或多行的曝光时间。因此，检测器阵列304生成图像数据，其中不同的行对应于可调谐滤波器302的不同透射轮廓(不同的etf)。

该系统还包括如上所述配置的数据处理单元106，以接收来自检测器304的图像数据，并确定在被成像的视场中的一个或多个物体的光谱信息。通常，图像数据可以使得感兴趣的物体占据至少预定数量的像素行。因此，检测器304通过两个或更多个不同的波长滤波来收集来自物体的不同区域的输入光。基于关于检测器阵列的检测器元件的光谱响应的预定数据以及关于可调谐滤波器302的时间模式和两个或更多个透射轮廓的数据，数据处理单元106可以确定感兴趣物体的光谱信息。

应当注意，图像数据中的一些行可以由对两个或更多个滤波轮廓的暴露而产生，因为可调谐滤波器可以在这些行暴露于输入光的同时改变其透射。基于eft变化的时间模式，像素行的图像数据可以通过基于对应于每个eft的相对曝光时间对每个eft的影响加权来表示。

通常已知卷帘快门图像传感器以预定的曝光时间和每行通常短的读出时间(～15-40μs)逐行获取图像。执行获取一系列帧(例如，视频或突发模式)，使得每个连续帧的第一行正好在前一帧的最后一行之后被读取。因此，帧(或多个帧)的曝光方案是行时间平面内的平行四边形。

图6示出了卷帘快门型检测器及其读出的概念。在该非限制性例子中，曝光时间为9个时间单位，而读出时间花费1个时间单位；这被标记用于顶行。因此，在单个时间单元中，在对于第一行的曝光开始之后，第二行暴露于光，使得它在前一行的读出之后被读出1个时间单位。如所示，滤波器轮廓随时间(在该例子中每10个时间单位)而变化，导致不同的行暴露于不同波长轮廓的输入光。对于每一行，所收集的数据基于可调谐滤波器具有第一透射轮廓的时间和其具有第二透射轮廓的时间(以及在被应用时的第三和第四透射轮廓)而对应于加权滤波的输入光。

因此，以两种或更多种滤波模式的变化的混合来获取每个行图像。例如，第一行以单个滤波状态(“红色”状态)被获取，而最后一行以“白色”状态获取光。所有其他行以滤波状态(红色和白色)的变化的线性混合来获取图像。

如果使用这样的系统来对n行的矩形物体成像，则该图像包含红色和白色滤波状态的n个不同的加权混合，这允许重建物体的光谱。这种光谱重建可以提供n个光谱带。

可以通过图像分割(例如，以确定检测到单个物体而不是多个物体)来完成物体识别。可以使用各种物体检测算法。

光谱重建利用关于被识别为物体的一部分的行的数量n的数据。该系统确定沿着图像内的垂直线的强度的横截面，以获得下式(对于在图像数据中占据4行的物体)：

其中：

●tij是对于第i行的滤波状态j(红色/白色)的曝光时间；

●fr/fw是滤波状态的光谱透射轮廓(4个光谱带的分辨率，通常为n个光谱带)；

●e是用于重建(4个光谱带的分辨率)的(物体的)光谱轮廓。

应当注意，由于除了光谱轮廓e之外的所有参数被测量或者被已知为系统的参数，因此数据处理单元可以应用合适的算法来确定物体的光谱轮廓e。

图7例示了利用由#1(上)、#2(中)和#3(最下)标记的3行(通常使用多得多的行)的本发明的技术。滤波器的透射轮廓在下文中被提到对滤波模式#1为蓝色，且对滤波模式#2为橙色。通过滤波器获得的平均光谱透射率可以由下式描述：

其中：t^蓝(λ)是“蓝色”模式的光谱透射率，t^橙(λ)是“橙色”模式的光谱透射率；t1^蓝是对于第1行通过蓝色滤波器的曝光时间，并且相应地对于其他行和其他滤波模式。

由于平行四边形结构，下式适用：

鉴于上述内容，不等式t1(λ)≠t2(λ)≠t3(λ)为每行提供唯一的光谱透射率。因此，对于足够大的(数10行，例如40)并且具有均匀的发射光谱的物体，图像数据包含物体的光谱信息，就像它通过与相关行的数量相对应的数量的不同光谱滤波器被测量。这提供了物体的光谱的n(例如40)个不同的测量，并允许确定它的光谱轮廓。

如上所指示的，总的获取的信号为：

其中，s(λ)是从感兴趣物体发射或反射的光的光谱轮廓，并且ij是对于第j行中的像素的实际测量强度。利用预定和测量数据，可以确定物体的光谱轮廓。

因此，本发明提供了用于光谱数据重建的有效技术。本发明的技术提供单次快照重建，或者如果需要，提供用于增加光谱分辨率的多帧数据重建。