用于快照光谱成像的设备和方法
【专利说明】
[0001]相关申请的交叉引用
[0002] 本申请涉及2013年6月18日提交的具有相同标题的美国临时专利申请号61/836， 218并且要求其优先权，其被全文合并在此以作参考。
技术领域
[0003] 这里所公开的实施例总体上涉及光谱成像(SI)设备、系统和方法，并且特别涉及 利用数字摄影机和基于压缩感知(CS)的空间-光谱立方体重建(SCR)算法的快照（"单个镜 头"）超光谱成像(HSI)。
【背景技术】
[0004] "光谱成像"通常被理解成指的是利用给定波长范围内的有限数目的波长(例如多 达10个波长）的成像，所述给定波长范围例如是可见（"VIS"）范围或近红外（"NIR"）范围。 "超光谱成像"通常被理解成指的是利用给定波长范围内的数目更多的波长的成像，例如10 个到数百个或数千个之间的波长。"快照" SI和HIS成像器在单个快照中实施对于空间和光 谱数据的同时(瞬时)采集。所采集的数据形成来源对象(其在这里也被简称作"对象"或"场 景"）的"空间-光谱立方体"（其在这里也被简称作"光谱立方体"或"数据立方体"）。"空间-光谱立方体"、"光谱立方体"和"数据立方体"在后文中可以互换使用。数据立方体包括两个 空间维度和一个光谱维度中的光强度数据，并且被表达成三维(3D)矩阵。
[0005] 标题为"Snapshot spectral imaging based on digital cameras(基于数字摄 影机的快照光谱成像)"的共同著作和转让的美国专利申请号13/752,56(其被公开为美国 专利公开号20130194481)被全文合并在此以作参考，其教导了包括插入在来源图像与像素 化(例如在数字摄影机中）图像传感器之间的光径中的成像透镜、发散图像传感器和受限等 距属性(RIP)漫射器的设备中的基于压缩感知(CS)的快照光谱成像(CS-SSI) AIP漫射器可 以是一维的（ID)。其在发散图像传感器处提供经过发散和漫射的图像（"DD图像"）。由于ID RIP漫射器光学属性，DD图像中的每一个像素包括来自DD图像中的相应一列的所有像素的 光谱和空间信息的线性混合。在US 20130194481中，利用基于CS的优化处理来实施数据立 方体的完全重建，以便补偿所述问题的欠定性质(underdetermined nature)。实施线性射 影的运算符可以被描述成"感知矩阵"，其行数少于列数并且在数据立方体上进行运算以形 成DD图像。如果感知矩阵满足RIP条件，则所述重建处理确保对于来源对象的完全重建。RIP 漫射器被设计成使得包括所述漫射器的光学成像系统的转移函数(其与所述感知矩阵完全 相同）在每一个单个波长处(或者在围绕某一单个波长选择的波段处)都满足RIP条件。
[0006] 在US 20130194481中提供的解决方案利用块Toeplitz矩阵实施ID CS-SCR，以便 实施顺序地应用于包括在垂直方向上串联的所有波段图像的一个阵列当中的各列的单一 ID变换。已经发现，在希望重建的信号所要求的稀疏度方面，对应于块Toeplitz矩阵的RIP 条件比对应于随机矩阵的RIP条件更难满足。
【发明内容】
[0007] 在各个实施例中公开了针对基于CS原理的HIS的方法和设备。在后面的描述中， "快照光谱成像器"、"SSI设备"和"SSI摄影机"可以互换使用。虽然这里所公开的设备和方 法也可以被用于具有更少数目的波长的光谱成像，但是所提到的始终是"HSI"。因此，在后 面的描述中，"光谱成像"可以被使用作为利用从三个波长（即红色(R)、绿色(G)和蓝色(B)) 到数百个以及甚至数千个波长的成像的一般术语。
[0008] 这里所公开的一种设备是快照超广谱成像器。因此，"用于HIS的设备"、"HIS设备" 和"快照超光谱成像器"可以互换使用。虽然集中在对于来源对象的光谱成像上，但是这里 所公开的方法和设备也可以被应用于在对象上的不同空间位置处具有多种光谱的灰度或 彩色图像。
[0009] 我们发现，通过对于表示不同波段的各个阵列单独应用二维（2D)小标架 (framelet)变换而不是这里所使用的顺序地成列应用ID变换，可以进一步改进在共同拥有 的US 20130194481中所描述的SCR。对于表示光谱立方体数据的不同波段的各个阵列单独 应用2D小标架变换在后文中被称作"2D CS-SCR"，其中包括对各个阵列应用直接和逆2D小 标架变换。直接和逆小标架变换被示例性地包括在分裂Bregman迭代中。Bregman迭代内部 的小标架变换使用分裂到波长(split-to-wavelength)波段而不是分裂到一个空间坐标末 端。这里所公开的2D CS-SCR提供了比US 20130194481中所描述的ID CS-SCR更快并且更好 的(在峰值信噪比或"PSNR"方面)的SCR。
[0010] 我们还发现，对于特定对象，通过在图像采集期间添加利用所添加的硬件(HW)光 学元件（"HW随机化器"）实施或者通过软件以算法方式（"SW随机化器"）实施的随机化运算， 可以进一步改进2D CS-SCR结果。在后面所公开的一些设备和方法实施例中，随机化器被添 加到US 20130194481中所描述的SSI设备。随机化器帮助重建非稀疏（"常规"）对象的光谱 图像。Hff随机化器可以被实施成图像传感器平面处的纤薄光学元件。随机化器使得到达图 像传感器的DD图像数据(对于Hff随机化器)或者利用图像传感器获得的DD图像数据(对于SW 随机化器)变成完全随机，并且得到"随机化图像"。这里所使用的"随机化图像"指的是在随 机化器对于DD图像的动作之后获得的图像数据。在一些实施例中，从统计总体 (statistical ensemble)取得随机化器的单个随机矩阵R。
[0011] 在一些实施例中，提供了具有最小硬件改变的基于数字摄影机的快照光谱成像设 备和方法。SSI处理包括在具有或不具有所添加的随机化的情况下从来源对象的DD图像实 施2D CS-SCR。
[0012] 在一个实例中，提供了用于在快照中获得来源对象的多幅光谱图像的设备，所述 设备包括:包括透镜和像素化图像传感器的数字摄影机的成像部分，所述成像部分被配置 成获得DD快照图像Y;以及数字处理器，其被配置成从快照图像Y实施2D CS-SCR，从而提供 多个光谱带中的来源对象的图像。
[0013] 在一个实例中，提供了一种用于在快照中获得来源对象的多幅光谱图像的方法， 其包括获得DD快照图像Y以及从快照图像Y实施2D CS-SCR的步骤，从而提供多个光谱带中 的来源对象的图像。在一些实施例中，通过利用包括透镜和位于图像传感器平面处的像素 化图像传感器的数字摄影机的成像部分对来源对象进行成像而获得快照图像Y，其中所述 DD图像是通过满足与感知矩阵A有关的RIP条件的RIP漫射器形成的。在这样的实施例中，2D CS-SCR包括把感知矩阵A转置成转置矩阵六1，将At应用于Y以获得AtY，对A tY应用2D直接稀疏 化变换D以获得重建数据立方体X的稀疏版本d，利用逆变换Ψ从d获得X，以及对X进行处理 以获得所述多个光谱带中的来源对象的图像。
[0014] 在一些实施例中，利用基于样条的标架从随机化图像重建光谱图像。在一些实施 例中，对来自几幅随机化单色图像的叠加的重建光谱图像施加基于样条的标架。
【附图说明】
[0015] 通过结合附图考虑后面的详细描述，这里所公开的各个方面、实施例和特征将变 得显而易见。在不同的附图中可以用相同的附图标记来标示相同的元件，其中：
[0016] 图IA示意性地示出了基于具有RIP漫射器并且没有随机化器的数字摄影机的这里 所公开的快照光谱成像(SSI)设备的一个实施例；
[0017] 图IB示出了图IA的设备的更多细节；
[0018] 图2A示意性地示出了基于具有RIP漫射器和SW随机化器的数字摄影机的这里所公 开的另一个SSI设备的另一个实施例；
[0019] 图2B示出了图2A的设备的更多细节；
[0020]图2C示意性地示出了基于具有RIP漫射器和HW随机化器的数字摄影机的这里所公 开的另一个SSI设备的另一个实施例；
[00211图2D示出了图2C的设备的更多细节；
[0022]图3A示出了对应于RIP漫射器设计的一个实施例的锯齿相位的曲线图；
[0023]图3B示出了对应于RIP漫射器设计的另一个实施例的像素的排列；
[0024]图3C示出了基于图2B的RIP漫射器的设计；
[0025]图3D示出了图3C的RIP漫射器设计的灰度表示；
[0026]图4示出了具有16x16像素的示例性随机化器设计；
[0027]图5A-D示出了四通道PR滤波器组的脉冲和量值响应的曲线图，其对于APZFrame的 一个示例性实施例实施了Bregman迭代内部的小标架变换；
[0028]图6A在流程图中示意性地示出了这里所公开的用于SSI的方法的一个实施例； [0029]图6B示出了图6A的流程图中的步骤508的细节；
[0030] 图6C示出了对应于分裂Bregman迭代的图6B中的步骤522的细节；
[0031]图7A-J示出了在利用装备有ID RIP漫射器的数字摄影机获得的快照图像上进行 的2D CC-SCR仿真的结果；
[0032]图8A-J示出了在利用装备有ID RIP漫射器和软件随机化器的数字摄影机获得的 快照图像上进行的2D CC-SCR仿真的结果；
[0033]图9A示意性地示出了这里所公开的SSI设备的另一个实施例；
[0034]图9B示意性地示出了这里所公开的SSI设备的另一个实施例；
[0035]图10示意性地示出了这里所公开的SSI设备的另一个实施例；
[0036]图11示意性地示出了这里所公开的SSI设备的另一个实施例；
[0037]图12示意性地示出了这里所公开的SSI设备的另一个实施例；
[0038]图13示意性地示出了这里所公开的SSI设备的另一个实施例。
【具体实施方式】
[0039]不具有随机化器的SSI设备
[0040]图IA和IB示意性地示出了基于具有RIP漫射器的数字摄影机的快照光谱成像 (SSI)设备的一个实施例100。设备100可以被视为光学耦合到位于摄影机与利用摄影机成 像的来源对象（图IB中的106)之间的RIP漫射器104的数字摄影机102。摄影机102可以包括 常规数字摄影机的组件，比如透镜(未示出）、图像传感器108和数字处理器110。所述数字摄 影机可以是任何已知的摄影机，比如SLR摄影机、视频摄影机、蜂窝电话摄影机或者使用在 胃窥镜或内窥镜中的类