用于转换均匀或非均匀采样的干涉图以产生光谱数据的方法和设备与流程

本公开涉及一种用于转换均匀或非均匀采样的干涉图以产生预定义波长处的光谱数据的方法和设备。在一个实施例中，确定干涉仪的一组参考延迟，以及对应于高光谱数据立方体的光谱切片的一组波长。形成包含周期函数行的重建矩阵。所述重建矩阵的每一行对应于所述一组波长中的选定波长，并且所述重建矩阵的每一列对应于所述参考延迟中的选定延迟。所述周期函数具有所述对应行的作为参数的所述选定波长，并以所述对应列中的每一列的所述选定延迟进行采样。获得包含一个或多个同时测量的干涉图的阵列的干涉图数据立方体。所述干涉图数据立方体的每一行对应于所述选定延迟中的一个，并且所述干涉图数据立方体的每一列对应于与所述同时测量的干涉图不同的干涉图。形成针对所述干涉图中的每一个的一组矩阵向量积。所述矩阵向量积中的每一个包含所述重建矩阵与所述干涉图数据立方体的列的矩阵乘法。所述一组矩阵向量积形成所述高光谱数据立方体。

附图说明

图1是根据示例实施例的设备的图示；

图2是根据示例实施例的示出通过光学装置处理的干涉图的一组曲线；

图3是根据示例实施例的用于光学装置的延迟与时间的关系图；

图4是根据示例实施例的示出干涉仪的零路径延时的波长相关的测量结果的一组曲线；

图5是根据示例实施例的重建矩阵的图示；

图6是根据示例实施例的干涉图数据立方体的示意图；

图7是根据示例实施例的表示干涉图数据立方体的矩阵的图示；

图8是根据示例实施例的系统响应矩阵的图示；

图9是根据示例实施例的示出斜坡和窗口函数对重建矩阵的影响的一组曲线；以及

图10是根据示例实施例的方法的流程图。

具体实施方式

本公开涉及高光谱成像系统中的信号处理。本文描述的高光谱成像系统使用偏振干涉仪，所述偏振干涉仪被配置成在穿过干涉仪的光的分量中引入可变光路延时(或延迟)。将引起路径延时的装置(称为可变光学延迟器)放置在两个偏振器之间，使得在入射偏振方向上的第一光线与正交偏振方向上的第二光线之间引入可变路径延时(例如，普通光线和非常光线)，两组光线追踪共同的路径。此路径延时导致第一光线与第二光线之间波长相关的相移。路径延时使离开偏振干涉仪的光形成通过光学传感器检测的干涉图，例如焦平面阵列。

偏振干涉仪可以使用一个或多个液晶(lc)单元作为可变光学延迟器。这种可变光学延迟器在本文中称为液晶可变延迟器(lcvr)。通常，液晶(lc)材料是具有可以通过施加外部刺激，如电场或磁场而选择性地改变的一些结晶性质(例如，内部结构的朝向，如指示lc分子的局部平均配向的lc指向矢)的液体。lc指向矢的朝向变化改变lc材料的光学性质，例如改变lc双折射的光轴。

lcvr在穿过液晶的两个正交偏振光之间生成可变光路延时或可变延迟。lcvr内的一个或多个液晶单元用作电调谐双折射元件。通过改变跨液晶单元的电极的电压，单元分子改变它们的朝向，并且在一段时间内可控制地改变光路延时是可能的。

为了创建具有lcvr的偏振干涉仪，将lcvr放置在具有标称平行或垂直偏振轴的第一偏振器与第二偏振器之间。lcvr的慢轴(具有可变光路延时的偏振轴)相对于第一偏振器的偏振方向朝向标称45度。入射光被第一偏振器偏振到入射偏振方向。因为lcvr的慢轴相对于此入射偏振方向为45度，所以可以根据平行于lcvr的慢轴偏振的一部分光和垂直于此轴偏振的一部分光来描述偏振入射光。

当光通过lcvr时，它获得第一偏振与第二偏振之间的波长相关的相对相移，从而导致偏振态的波长相关的变化。与第一偏振器平行或垂直朝向的第二偏振器或分析器干扰平行于lcvr的慢轴偏振的那部分光，所述部分光垂直偏振，将lcvr的输出端处的波长相关的偏振态改变为可以由光学检测器或焦平面阵列感测的波长相关的强度图案。通过在改变lcvr的延迟的同时感测此强度，测量入射光的干涉图是可能的，其可以用于确定入射光的光谱性质。

如上所述，偏振干涉仪用于高光谱成像应用中，因为它能够将入射光的光谱信息编码成强度图案，用非光谱分辨检测器容易地测量所述强度图案。高光谱成像是指用于获取高光谱数据集或数据立方体的方法和装置，所述高光谱数据集或数据立方体可以包含在每个像素处提供了密集采样、精细分辨的光谱信息的图像。

由偏振干涉仪提供的波长相关的强度图案大致对应于入射光光谱的余弦变换。通过在偏振干涉仪的输出端处将每个像素的强度图案记录成lcvr的延迟的函数，可以同时对通过lcvr成像的场景的所有点生成的干涉图进行采样。由此，可以通过对记录的空间相关的干涉图沿着延迟轴应用如反余弦变换或傅里叶变换的变换，来名义上恢复高光谱数据立方体。

基于液晶偏振干涉仪的高光谱成像仪生成可能相对于光路延时是非均匀采样的干涉图。标准傅里叶变换对于将由这种装置生成的原始数据转换为高光谱图像可能不是最佳的。本公开描述了用于重建高光谱数据立方体的方法和设备，其具有比傅里叶变换更好的精度和更少的伪像，无论干涉图是否被均匀地采样。

为了增强对本文描述的高光谱图像处理的理解，图1中的框图示出了根据示例实施例的执行图像处理的设备100。设备100包含装置控制器102，所述装置控制器可以包含一个或多个处理器，如中央处理器、子处理器、图形处理器、数字信号处理器等。控制器102耦合到存储器104，所述存储器包含下文将更详细描述的功能模块。存储器104可以包含易失性和非易失性存储器的组合，并且可以存储本领域已知的指令和数据。

设备100包含光学部分106，所述光学部分具有从设备100外部接收光的外部光学接口108。外部光学接口108可以包含窗口、透镜、滤光片、光圈等，适合于将光109从设备100外部传递到内部光学部件。在此实例中，外部光学接口108被示出耦合到外部透镜110。

偏振干涉仪112位于设备100的光学部分106中。偏振干涉仪112例如通过电信号线耦合到控制器102。控制器102将信号施加到偏振干涉仪112，以在干涉仪112的一部分lcvr112a中引起时变光路延时或延迟。此时变光路延时在光109的不同偏振之间引起波长相关的相移，导致作为光路延时的函数变化的干涉图。由图像传感器114(例如，传感器像素阵列或焦平面阵列)检测干涉图，所述图像传感器也耦合到控制器102。

延迟控制器118指示装置控制器102将控制信号施加到lcvr112a以实现时变延迟轨迹。图像处理器120使用此延迟轨迹作为时变路径延时以及在图像传感器114处检测到的干涉图的测量。可以通过计算作为lcvr112a的对应位置处的路径延时的函数的变换来处理每个检测到的干涉图，并且一起处理的干涉图包括空间相关的光谱数据，例如高光谱数据立方体。

本文描述的所有处理可以发生在设备100内或通过由接口122或其某种组合耦合的外部计算机124。这由在计算机124上运行的图像处理器126指示。计算机124和/或设备100可以包含图形处理单元(gpu)128、130，其可以用于加速某些计算，如下所述。通常，gpu128、130将具有大量处理核(例如，数百或数千)，其被配置用于可并行化的子计算，如矩阵或子矩阵乘法。假设子计算中的每一个是独立的，gpu可以大大减少图像处理时间。由于下面的计算涉及可并行化的矩阵乘法，因此可以使用gpu以提高处理速度。

本文描述的高光谱成像仪在每个像素处独立地生成相对于光路延时的干涉图的原始信号。当这些系统基于液晶偏振干涉仪时，干涉图的采样相对于光路延时可能不完全均匀。结果，典型的快速傅里叶变换(fft)算法可能无法从干涉图计算高光谱数据立方体。更进一步，即使干涉图采样是均匀的，干涉图的fft可能不会导致光谱数据的最佳估计，例如，高光谱数据立方体。可以有意地引入非均匀采样，例如通过在较短路径延时处的较密集采样，以增强某些波长处的灵敏度。

在将fft应用于干涉图之前可以对非均匀采样进行补救的一种方法是通过插值以均匀的光路延时或延迟间隔对干涉图重新采样。可以假设每个记录的干涉图样本的光路延时是已知的，例如通过获得作为时间函数的已知波长的单色参考光源的干涉图的相位。如果通常情况下光路延时作为时间的函数单调地改变，则光路延时与时间之间将存在一对一的关系。将在已知延迟下获取各个干涉图样本，并且可以使用均匀间隔的延迟网格通过内插干涉图样本来计算内插干涉图。

然而，这种插值方法在计算上可能是昂贵的，尤其是如果使用高阶(例如，三次样条)方法或图像尺寸大的话。此外，在干涉图的可以在奈奎斯特极限附近采样的区域中，或者每个干涉条纹可能具有很少的样本(特别是对于接近零路径延时的较短波长)，插值可能导致信号的显著损失和/或失真，将是不利的并且可能导致重建的光谱数据中的伪像。本文描述的高光谱成像仪可能已经对较短波长不太敏感，并且这种插值仅仅加剧了这个问题。

在图2中，一组曲线示出了根据示例实施例的不同采样方法如何影响干涉图的信号强度和失真。顶部曲线200是基于lcvr通过偏振干涉仪测量的蓝色led的干涉图。以均匀间隔的时间间隔对干涉图进行采样，同时以标称恒定速率扫描lcvr的延迟。然而，由于lcvr的扫描速率的小波动，顶部曲线200中的干涉图以非均匀的延迟间隔被采样。中间曲线202示出了以均匀延迟增量在顶部曲线200中通过内插重新采样干涉图的结果。这种插值将干涉图信号强度(通过干涉图的标准偏差测量)降低了近20％。曲线204示出了相同蓝色led的单独测量的干涉图，其相对于延迟有意地非均匀地采样(尽管在均匀间隔的时间间隔下，如图3所示)，以增加接近零路径延时的样本数量206到208，如在曲线200、202、204中可以看到的那样，位于短的(蓝色)波长的大部分信号的位置。在此实例中，204中干涉图的有意的非均匀采样将信号相对于干涉图的标准偏差在200中提高了约30％。通常，来自跨可检测光谱的波长(例如，对于cmos检测器为400nm到1000nm)的贡献将存在于测量的干涉图中。上述有意的非均匀延迟采样可以具有相对于较长波长在较短波长处增加信号强度的效果，这通常需要维持跨可检测光谱的动态范围。

也可以通过用于非均匀采样数据的傅立叶变换开发的许多方法来处理非均匀延迟采样，如非均匀离散傅立叶变换，可以用nufft软件库计算。然而，跨所有频率的傅里叶变换可能是过度的，因为许多计算的频率甚至可能不对应于可检测光谱内的波长。相反，图像处理器120可以通过仅利用感兴趣的(均匀或非均匀采样的)傅立叶分量的干涉图的点积来近似傅立叶变换，或者等效地，仅仅那些(常规或非均匀的)离散傅里叶变换(dft)矩阵行，有助于感兴趣的波长。

这种方法的优点是可以独立处理每个波长，以并入不同的切趾和波长相关的零路径延时，并且傅里叶分量可以采用与干涉图相同的非均匀性进行采样，使得非均匀性不再是问题。任何额外的线性变换也可以与此矩阵组合以形成整体“重建”矩阵，用于直接重建来自原始干涉图的光谱数据。这种矩阵甚至可以具有空间索引以结合空间校准，如空间相关的延迟。

为了生成重建矩阵，从传感器获得参考延迟对时间的曲线，如图3中的示例曲线300所示。例如，位于液晶单元一侧的单色光源116(参见图1)可以用于获得此曲线300。来自光源116的光由传感器114检测，而控制器102将电压施加到lcvr112a的一个或多个lc单元，导致lcvr的延迟从第一延迟转变到第二延迟。然后，控制器102分析检测到的光源116的强度振荡，以确定时间相关的延迟，或等效地，对于干涉图的每个样本，光源116的干涉图的相位。获得曲线300的数据的其它方式包括使用类似的过程分析一个或多个lc单元的电容测量。

系统可以具有零路径延时的波长和温度相关变化，这可能例如通过用另一种双折射材料补偿残余液晶延迟来产生。期望在正路径延时和负路径延时两者处测量干涉图，并且在一些情况下，残余液晶延迟防止这种情况并且必须进行补偿。补偿残余延迟的一种方式是在偏振干涉仪内包含相反符号的固定延迟，例如，具有垂直于lcvr的慢轴的慢轴的多阶波片。如果此补偿波片具有以不同于lcvr的延迟的方式取决于波长和/或温度的延迟，则偏振干涉仪的零路径延时将取决于波长和温度两者。在这种情况下，系统还可以针对每个波长并因此针对重建矩阵的每一行确定并存储相对于参考延迟曲线的零路径延时点。图4中的一组曲线中示出了根据示例实施例确定零路径延时的实例。

在图4中，曲线400是以10nm增量步进的窄带光源的干涉图的一组测量，示出的每个堆叠在另一个上。波长沿垂直轴增加。曲线410是曲线400的部分402的展开视图，并且曲线420是曲线410的部分412的子集。曲线420中突出显示的点422指示参考延迟值，其表示每个波长的实际零路径延时，σ(λ)＝0，其中σ是实际干涉仪路径延时而不是测量的参考延迟。这些点422形成曲线而不是垂直线，因为一些液晶延迟由不同色散的波片补偿，因此导致跨可检测光谱的残余色散。

此残余色散与液晶材料和补偿波片两者的折射指数之和有关。如曲线430和等式432所示，可以使用柯西近似(例如，高达6阶)来拟合数据。注意，等式的系数通常取决于温度。使用等式432，可以在柯西近似有效的任何波长处计算对应于零路径延时的参考延迟。假设已经表征了相对于温度的系数变化，也可以针对不同温度求解此等式。系数可以存储在设备100的存储器中，如本领域中已知的，并且由图像处理器在下面描述的计算中使用。

可以由图像处理器120使用的另一个参数是感兴趣的给定波长的相位延时的变化率(例如，λi，对应于重建矩阵的i^th行)相对的变化率在参考波长λ0处的参考延迟曲线的相位。可以获得比例因子，例如，通过液晶折射指数的知识，作为波长λ和温度t的函数，其中e-和o-下标表示非常光线和普通光线的相应指数。以下等式(1)可以用于在波长λi处确定缩放因子αi或校准可以用于经验地确定值。

鉴于上述的，重建矩阵的元件aij然后可以如等式(2)表示如下，其中φ是对应于干涉图样本的参考延迟曲线的相位。相位φ是通过分析参考光源的干涉图经验地发现的，例如，使用武田的方法；它涉及到参考延迟γj作为φj＝2πγj/λ0角度是对应于波长λ的零路径延时参考延迟曲线的相位，例如，如等式(3)中通过图4中获得的拟合系数计算。从参考延迟曲线的相位减去相位φiφj对行中采样的周期函数进行相移i使得它在对应于波长处的干涉仪的零延迟点具有0相位λi。

aij＝cos(αi(φj-φi))；i∈(1...m}，j∈{1...n}(2)

注意，每个图像采集只需要计算等式(2)中的重建矩阵元素，因为每次采集都具有特定的参考延迟曲线和温度。在图5中，图表示出了根据示例实施例的重建矩阵500。矩阵500包含如等式(2)中的周期函数502(例如，余弦函数)的行。每一行对应于一组波长504的选定波长，每个波长对应于高光谱数据立方体的光谱切片。可以预先选择波长504以具有特定的范围和分布。注意，先前描述的参考波长0可以或可以不被包含在一组波长504中。

矩阵500的每一列对应于一组参考延迟506的选定延迟。一组参考延迟506与特定时间点下的干涉仪的状态相关联。注意，一组延迟506可以以非均匀延迟间隔分布(例如，如图3所示)，并且初始延迟γ1可以是或可以不是最小的延迟。

周期函数502具有对应行的选定波长504(或选定波长504的指数)作为参数，并在对应列中的每一个的参考延迟506处进行采样。矩阵500可以与干涉图数据立方体相乘以获得光谱数据。在图6中，示意图示出了根据示例实施例的干涉图数据立方体。元件600表示检测器的各个传感器，例如，焦平面阵列的像素，跨xy平面布置。t轴表示从γ1到fn的偏振干涉仪的延迟的变化，其中每个对应于获取数据立方体的t1与tn之间的不同时间点。曲线602表示在采集时间段内在每个传感器600处测量的各个干涉图。因此，干涉图数据立方体由阵列形成，每个元件具有对应于特定传感器位置和延迟值的样本值。点604表示对应于传感器600的延迟γj的各个样本。

虽然示出的传感器600处于二维空间布置中，但是出于计算的目的，它们可以由单个索引标记，例如，pk，k∈{1...p}。这样，干涉图数据立方体可以表示为二维矩阵x700，如图7所示。矩阵700包含对应于同时测量的干涉图的样本702。矩阵700的每一行对应于参考延迟506中的选定延迟，并且每一列对应于来自具有索引k的同时测量的干涉图的组的不同干涉图测量。如此处所示，干涉图样本由传感器位置704标记，传感器阵列具有p个位置，例如，p＝像素行数*像素列数。

光谱数据或高光谱数据立方体的计算涉及形成用于干涉图中的每一个的一组矩阵向量积，矩阵向量积中的每一个包括矩阵500与干涉图数据立方体700的列k的矩阵乘法。因此，所得高光谱数据立方体h可以通过矩阵乘法h＝ax形成。h的每一行可以组成对应于波长504中的一个的图像，图像的每个像素对应于对应波长下的强度和用索引k标记的空间位置。

在一些实施例中，可以为干涉仪的至少两个空间区域构建不同的重建矩阵500。因此，图7中的不同像素位置pk可以乘以不同的重建矩阵。这在图7中由区域705到707指示，其可以各自与不同的重建矩阵500相关联。这种区域可以涵盖一个或多个单独的像素，并且还可以涵盖数据立方体矩阵700的非连续部分。以这种方式，可以以任何期望的粒度对偏振干涉仪(或其它光学部件)的空间相关特性进行补偿。

从相对于零路径延时不对称的干涉图重建光谱数据需要特殊处理以防止形成低分辨率的光谱伪像(参见例如c.d.porter和d.b.tanner，“傅里叶光谱中相位误差的校正(correctionofphaseerrorsinfourierspectroscopy)”，《国际红外和毫米波杂志(int.j.infraredmillimeterwaves)》4，273-298(1983))。将这种特殊处理结合到重建矩阵500中的一种方法是将矩阵500的每一行与线性“斜坡”函数相乘，所述函数在最接近零路径延时的末端开始等于零，在(波长相关的)零路径延时点处经过一半，并继续到具有相同斜率的一个，此时它保持不变。在不失一般性的情况下，可以假设参考延迟曲线的相位对于φj，j＝1开始最小为0，并且为了增加样本数j而单调地增加。然后，波长相关的斜坡可以如下面的等式(4)中定义。等式(4)定义了矩阵，所述矩阵可以与重建矩阵成元相乘，以适应不对称干涉图。

重建矩阵500的行也可以乘以窗口或切趾函数，只要它对于每个波长的零路径延时是对称的。逐行计算重建矩阵的一个优点是可以对每个波长应用不同尺寸的窗口函数。例如，由于跨lcvr的固有路径延时不均匀性可能限制较短波长的最佳可获得光谱分辨率，较短波长通常生成干涉图，其大部分信号能量位于零路径延时附近。因此，当从干涉图重建光谱的较短波长部分时，有利的是首先将干涉图乘以窗口函数，所述窗口函数仅包含存在来自较短波长的信号的那些部分。使窗口变大会增加噪声但不会增加信号，因为与信号不同，噪声通常跨所有路径延时分布。并且，为了避免在具有一个或多个相同窗口函数的不同位置处重复干涉图的乘法，窗口函数可以与重建矩阵500的行元素相乘。

如果是重建矩阵500和是与在由重建矩阵500的行表示各个波长的系统响应列的矩阵，然后重建矩阵500可以预先乘以对角化矩阵()^-1，以“对角化”重建。也就是说，全重构矩阵可以被设置为()^-1因此由系统响应矩阵乘法(或通过在给定波长下测量的响应)产生同一性。这类似于从干涉图重建光谱数据的最小二乘解决方案。另外，由于可以是病态的，可能有必要提供某种形式的正则化，以防止上述的矩阵求逆的发散。例如，可以在反转之前添加同一性的倍数：(+)^-1，其中，i是m×m的单位矩阵，β是乘法因子。重建矩阵500还可以包含关于干涉仪的光谱灵敏度的信息，以便均衡跨波长的系统响应。图8中的图表示出了系统响应矩阵b800。矩阵800的列是由对应于a的行中的每一个的波长504处的干涉仪的单位波长刺激生成的预期原始干涉图。

在图9中，一对堆叠曲线示出了如上所述的两个重建矩阵，并且与图4中的测量类似地绘制。曲线900的每一行是如等式(2)中的重建矩阵a的行，考虑非均匀延迟间隔、波长相关零路径延时和液晶色散。曲线902示出了额外处理的效果，其包含将每行乘以等式(4)的斜坡函数以避免对干涉图的对称部分进行双重计数，以及波长相关的窗口以分别定义每个波长的分辨率仓大小。

在图10中，流程图示出了根据示例实施例的方法。方法涉及确定1000干涉仪的一组参考延迟。例如，基于高光谱数据立方体的期望光谱范围，还确定1001对应于高光谱数据立方体的光谱切片的一组波长。形成重建矩阵1002。重建矩阵具有多行采样周期函数。所述重建矩阵的每一行对应于所述一组波长中的选定波长，并且所述重建矩阵的每一列对应于所述参考延迟中的选定延迟。周期函数具有对应行的作为参数的选定波长，并且在对应列中的每一个的参考延迟处进行采样。

例如通过光学检测器获得干涉图数据立方体1003。干涉图数据立方体包含一个或多个同时测量的干涉图的阵列。可以相对于光路延时对同时测量的干涉图进行非均匀地采样。干涉图数据立方体的每一行对应于选定的延迟中的一个，并且干涉图数据立方体的每一列对应于与同时测量的干涉图的组不同的干涉图。形成用于干涉图中的每一个的一组矩阵向量积1004。所述矩阵向量积中的每一个包含所述重建矩阵与所述干涉图数据立方体的列的矩阵乘法。所述一组矩阵向量积形成所述高光谱数据立方体。