微型快照式压缩光谱成像探测装置及探测方法

1.本发明属于光学遥感探测技术领域，特别涉及一种微型快照式压缩光谱成像探测装置及探测方法。


背景技术：

2.物体辐射的电磁波中含有随空间位置变化的光谱信息，可用于反演目标的形态及物理化学等特性。光谱成像技术是一种同时获取二维空间目标光谱信息的前沿遥感技术，对提高目标探测、识别及分类的效率和精准度具有一定潜力，在军事侦察、地球资源普查、环境卫生监测、自然灾害预报、大气探测、天文观测、机器视觉仿生、生物医学诊断等诸多领域都将具有重要的应用价值和前景。
3.光谱成像技术按获取二维光谱信息的时间分辨率来分，可分为时序式和快照式两大类。当前，大多数光谱成像技术都采用时序扫描方式(如画幅式、推扫式、或窗扫式)获取二维场景的光谱图像，需要从不同时刻获取的多帧图像数据中提取并重组二维空间目标的偏振光谱图像。时序获取技术不适于动态或快速变化目标，大气或周围环境的不稳定性也会影响成像质量，也难搭载于抖动比较大或机动性比较大的平台，易出现多维信息失配和混淆现象，造成图谱不一致等后期应用问题。
4.相比之下，快照式光谱成像技术可以在单次曝光时间内获取二维空间目标的光谱图像，具有快速实时探测优势，不仅能提高工作效率，还可有效避免序列测量时因环境变化而带来的影响，因此快照式光谱成像技术是当前和未来发展的主要方向，具有重要的应用潜力。
5.快照式光谱成像技术按照成像模式可分为：直接光谱成像和计算光谱成像两种。直接光谱成像主要是指光学系统获取的数据是所见即所得的，可以直接提供光谱图像，或者仅需要简单的数据重组过程。该类技术主要是：
6.美国专利us 8174694 b2、中国专利cn 103592030 b等介绍的积分视场光谱成像技术；
7.r.shogenji,y.kitamura,k.yamada,s.miyatake,j.tanida,“multispectral imaging using compact compound optics,”opt.express 12(8),1643(2004).以及b.geelen,n.tack,a.lambrechts,“a snapshot multispectral imager with integrated,tiled filters and optical duplication,”spie vol.8613,861314(2013).等介绍的滤光片阵列分孔径成像技术；
8.美国专利us 8081244 b2、us 8109634 b2等介绍的滤光片阵列分焦平面成像技术等。
9.其中，积分视场光谱成像技术往往需要色散光学，系统体积大，难以实现紧凑微型化。相比而言，基于滤光片阵列的快照式光谱成像技术，结构简单，可实现紧凑微型。但是，滤光片阵列分孔径光谱成像技术的光谱通道数受限于小口径窄带滤光片的加工和集成技术；若要获取高光谱分辨率，需要上百个滤光片集成一起，实现起来非常困难(参考：
p.lapray,x.wang,j.thomas,and p.gouton,“multispectral filter arrays:recent advances and practical implementation,”sensors 14,21626-21659(2014).)。而滤光片阵列分焦平面成像技术通常采用贝叶斯排列方法，将几个不同波段的窄带滤光片在焦平面上进行周期性排列，同样需要精密的加工和集成技术，而且仅能同时获取几个波段的光谱图像。线性渐变滤光片可以连续调制光谱，其制造具有技术成熟、工艺完备，物美价廉的优势。但是，它常被用于基于狭缝的推扫型高光谱成像系统中，通过系统与场景的相对移动，获取二维目标的高光谱信息。最近，线性渐变滤光片与特殊排布的镜头阵列组合，实现了高光谱成像能力，如专利cn107271039a，但是光谱通道与空间分辨率之间是互相制约的；增加光谱通道数，空间分辨率就要降低，反之亦然。
10.综合来看，直接光谱成像型一直存在成像空间范围、空间分辨率、光谱范围和光谱分辨率等多参数间的相互制约的瓶颈问题，难以同步提升所有性能参数，需根据应用场景设计参数指标，应用灵活度受限。此外，直接光谱成像型在数据采集时往往遵守奈奎斯特采样定理，导致数据采集量大，传输速率受限等问题。
11.计算光谱成像主要是指光学系统获取的数据不是所见即所得的，需要经由后期复杂繁重的重建算法处理，方可得到最终的光谱图像。该类技术主要涉及计算层析光谱成像(如专利us 6522403 b2)、压缩感知光谱成像(如专利us8553222b2)、干涉光谱成像(如：m.w.kudenov and e.l.dereniak,"compact real-time birefringent imaging spectrometer"opt.express 20,17973(2012).)等。干涉光谱成像主要基于傅里叶变换光谱学重建算法，具有多通道高通量高信噪比的优点；但是，由于需要生成关于零光程差对称的干涉图，且光程差的采样需要满足内奎斯特采样定理，采样数目较大，复原光谱分辨率取决于光程差采样数目和最大光程差，这就导致所需的干涉仪装置复杂。而偏振干涉仪具有比较紧凑的结构特性，越来越多地被用于干涉成像光谱系统中；但是当前偏振干涉仪中的双折射元件至少需要两片以上的组合，导致了结构复杂、加工困难、不经济实惠。计算层析光谱成像主要基于radon变换算法，因角度投影采样有限，变换域存在锥失问题，空间分辨率提升受限。
12.基于压缩感知和稀疏采样理论框架的压缩光谱成像可以利用简单的光学成像系统，在保持大空间分辨率的前提下，增加光谱通道数，主要依赖于光谱编码硬件和解码算法软件，已成为高光谱成像领域的发展重点和热点。编码孔径光谱成像是压缩光谱成像的一个典型代表，它利用编码孔径多复元技术，同时对空间维和光谱维进行混合编码，在信息采集时无需满足奈奎斯特定则(即欠定采样)，数据采集量少，后续根据成像物理模型和压缩感知原理，可重建出高光谱图像。但是该技术需要精密的成像、准直与再成像多次中继光学配置，结构复杂体积大，难以紧凑小型化。
13.可见，现有单一途径难以实现同时具有结构简单紧凑、快速便捷、经济实惠、分辨率高等优点的光谱成像技术，亟需一种新型的快照式光谱成像装置及其探测方法。


技术实现要素：

14.为了克服上述现有技术的缺点，本发明的目的在于提供一种微型快照式压缩光谱成像探测装置及探测方法，以解决上述存在的一个或多个技术问题。本发明同时具有结构简单超紧凑、快速便捷、经济实惠、分辨率高、性能同步提升等优点。
15.为了实现上述目的，本发明采用的技术方案是：
16.微型快照式压缩光谱成像探测装置，包括光谱混合编码阵列12、镜头阵列13和探测器14以及与探测器14连接的数据采集处理显示系统15；
17.所述光谱混合编码阵列12用于对目标发出的光束进行调制，沿光束方向，所述光谱混合编码阵列12的子单元具有强度反射率均在20％～80％之间的两个表面，且两个表面的间距大于波长量级，且各子单元中的两个表面的间距不同；
18.所述镜头阵列13具有与所述光谱混合编码阵列12的各个子单元一一对应的各个子镜头，每个的子镜头分别将相应的子单元输出的光束聚焦于探测器14的感光面上成像；
19.所述数据采集处理显示系统15用于采集探测器14获取的编码图像阵列。
20.在一个实施例中，所述光谱混合编码阵列12的各子单元为一个平面分束板一121，所述两个表面为平面分束板一121的前表面一1211和后表面二1212，所述两个表面的间距即平面分束板一121的厚度；
21.或者，
22.所述光谱混合编码阵列12的各子单元为沿入射光向依次设置的平面分束板二122和平面分束板三123，平面分束板二122的外表面一1221和平面分束板三123的外表面二1231相互平行，平面分束板二122的内表面一1222和平面分束板二122的内表面二1232相互平行，所述两个表面为内表面一1222和内表面二1232，所述两个表面的间距即内表面一1222和内表面二1232之间的间距。
23.在一个实施例中，所述平面分束板二122的外表面一1221和内表面一1222不平行，形成楔角以防止光线在其内部多次反射振荡；
24.和/或，
25.所述平面分束板三123的外表面二1231和内表面二1232不平行，形成楔角以防止光线在其内部多次反射振荡。
26.在一个实施例中，本发明所述微型快照式压缩光谱成像探测装置还包括：挡光孔阵列16；
27.所述镜头阵列13为透镜阵列；
28.所述探测器14为单一面阵探测器；
29.所述挡光孔阵列16设置于所述镜头阵列13与探测器14之间，用于限制视场范围，防止相邻子图像重叠。
30.在一个实施例中，本发明所述微型快照式压缩光谱成像探测装置还包括：准直光学系统11；
31.所述准直光学系统11包括：沿入射光向依次设置的物镜111、视场光阑112和准直镜113；其中，所述视场光阑112置于所述物镜111的像面上，所述物镜111的像面与所述准直镜113的前焦面重合；
32.所述准直光学系统11位于光谱混合编码阵列12和镜头阵列13前方，用于限制视场范围，防止相邻子图像重叠。
33.在一个实施例中，所述镜头阵列13是物镜阵列；所述探测器14为面阵探测器阵列。
34.本发明还提供能量利用所述微型快照式压缩光谱成像探测装置的探测方法，包括以下步骤：
35.目标发出的光束被光谱混合编码阵列12调制后，经镜头阵列13中各个子镜头聚焦于探测器14的感光面上成像，数据采集处理显示系统15控制探测器14快照一帧携带空间光谱信息的编码图像阵列，并提取编码子图像中各空间位置的强度g分布，利用已知光谱分布的标准光源标定出子图像中各空间位置的光谱调制矩阵h，将二维空间的入射光谱分布f与强度g和光谱调制矩阵h建立如下线性关系：
36.g＝hf，
37.利用压缩感知算法直接估计入射光谱分布f：
[0038][0039]
或者
[0040][0041]
其中γ是正则化参数，||
·
||1表示l1范数，φ是正则化函数。
[0042]
在一个实施例中，所述数据采集处理显示系统15包括：物理层神经网络和重建神经网络；
[0043]
所述物理层神经网络以所述两个表面的间隔为变量，用于模拟微型快照式压缩光谱成像探测装置获取子图像阵列的功能；
[0044]
所述重建神经网络以网络权值和偏置参数作为变量，用于重构高光谱图像立方体；
[0045]
所述数据采集处理显示系统15同时训练优化物理层神经网络和重建神经网络；
[0046]
在训练优化阶段，分别以最少化光谱混合编码阵列12子单元的个数为目标和以重构出高质量的光谱图像立方体为目标；
[0047]
训练出符合预设要求的光谱图像立方体时，确定光谱混合编码阵列12子单元的最优个数和厚度，同时获得重建神经网络的优化网络权值和偏置参数。
[0048]
在一个实施例中，在推理阶段，所述数据采集处理显示系统15利用重建神经网络152及其优化网络权值和偏置参数，从子图像阵列推理获得光谱图像立方体。
[0049]
与现有技术相比，本发明的有益效果是：
[0050]
本发明提供了一种微型快照式压缩光谱成像探测装置，同时具有结构简单超紧凑、经济实惠、时效性高、分辨率高、性能同步提升等特点。具体地，本发明融合光谱混合编码的多复元调制特点、压缩感知的稀疏采样和重构特色、深度神经网络的强大学习能力，简化系统结构，压缩系统尺寸，保留空间维信息，仅在光谱维进行多复元压缩编码采样，后续重建模型只需加强光谱维学习，从而减小模型复杂度需求，以提升重建质量和时效性；在光谱维最小化采样数，实现高压缩比，从而最大化成像空间范围和空间分辨率性能；在空间维优化采样通道，提高光谱多复元编码能力，最大化光谱范围和光谱分辨率性能。
[0051]
本发明中，光谱成像装置采用光谱混合编码阵列与镜头阵列的结合，结构上具有简单、超紧凑、微型化的优越性。
[0052]
本发明中，相对于基于窄带滤光阵列或色散元件的快照式光谱成像装置及方法来说，光谱混合编码阵列具有多通道、多复元、高通量、高信噪比的优越性。
[0053]
本发明中，利用深度神经网络对模拟光谱成像系统的物理神经网络和复原光谱图
像的重建神经网络同时训练，可得到适配的成像硬件系统和重建软件系统，为“黑箱操作”的深度神经网络赋予了物理意义。
[0054]
本发明中，在光谱图像重建阶段，压缩感知算法和深度神经网络算法可相互监督。
[0055]
本发明的探测方法中，探测器一次曝光周期内，即可获得携带光谱混合编码的子图像阵列。
[0056]
本发明中，利用模拟光谱成像系统将以最少化子单元个数和最大化重建光谱图像的质量为目标，得到最优的光谱混合编码阵列，空间分辨率得以提高。
[0057]
本发明中，相对时序式光谱成像系统来说，快照式系统单次曝光即可获取空间目标二维光谱图像信息，适用于探测动态或快变目标，能有效地避免由目标变化、抖动噪声或环境变化等因素所带来的负面影响，在天文观测、空间探测、地球遥感、机器视觉及生物医学诊断等领域具有潜在的应用价值。
附图说明
[0058]
图1是本发明微型快照式压缩光谱成像探测装置的结构示意图。
[0059]
图2是图1中本发明微型快照式压缩光谱成像探测装置中光谱混合编码阵列子单元中单一平面分束板的示意图。
[0060]
图3是图1中本发明微型快照式压缩光谱成像探测装置中光谱混合编码阵列子单元中两个平面分束板的示意图。
[0061]
图4是图1中本发明微型快照式压缩光谱成像探测装置中插入挡光阵列的侧视光路图。
[0062]
图5是图1中本发明微型快照式压缩光谱成像探测装置中镜头阵列前方加入准直光学系统的结构示意图。
[0063]
图中，11为准直光学系统、111为物镜、112为视场光阑、113为准直镜、12为光谱混合编码阵列、121为平面分束板、1211为121的前表面、1211为121的后表面、122为平面分束板、1221为122的外表面、1222为122的内表面、123为平面分束板、1231为123的外表面、1232为123的内表面、13为镜头阵列、14为探测器、15为数据采集处理显示系统。
具体实施方式
[0064]
下面结合附图和实施例详细说明本发明的实施方式。
[0065]
如前所述，现有快照式光谱成像技术中，直接光谱成像所需结构复杂，体积庞大，对加工精密要求极高，数据采集量大，传输效率受限，且多参数相互制约，限制了其应用灵活度。而计算光谱成像同样需要极大的采样数量，其对干涉仪的高要求也同样导致了结构复杂、加工困难。
[0066]
基于光谱混合编码阵列的压缩感知光谱成像，有望以简单紧凑的光学结构提升光谱通道数和空间分辨率；它主要是利用透射光谱的宽带性和多样性，在每个单元进行不同的光谱混合编码并提升光通量，综合所有单元的混合编码数据，利用去复元算法，即可重建出远多于阵列单元数的光谱通道图像；其关键之处在于光谱混合编码阵列的多样性，要确保各单元光谱混合编码相关度的最小化，以确保重建光谱的分辨率和质量；目前该方向尚处于探索阶段，光谱混合编码滤光片阵列的制作和集成工艺尚未成熟，获取宽谱段且光谱
透射互不相关的滤光片阵列的尚具有挑战性。
[0067]
压缩光谱的重建算法包括约束的凸优化、非凸优化、迭代阈值收缩等，重建算法的复杂度取决于光谱混合编码阵列的特性。最近几年，基于深度神经网络的机器学习，如深度学习，在计算成像与遥感等领域表现出非凡功效。利用先验数据学习训练的深度神经网络，最终能成为一种直接重建型的前馈神经网络结构，不仅能提高重建质量，而且还可减少重建时间。基于卷积神经网络的深度学习已被应用于多种压缩采样的光谱成像方案，具有解决成像时间分辨率、空间范围、空间分辨率、光谱范围和光谱分辨率等多参间制约问题的潜力，有望同步提升各参数指标，非常值得深入探究。
[0068]
据此，本发明提供了一种微型快照式压缩光谱成像探测装置，参阅图1所示，包含沿入射光向依次设置的光谱混合编码阵列12、镜头阵列13、探测器14和数据采集处理显示系统15。
[0069]
光谱混合编码阵列12设置于所述镜头阵列13前方，或者也可设置于所述镜头阵列13与所述探测器14之间。
[0070]
其中，光谱混合编码阵列12用于对目标发出的光束进行调制，光谱混合编码阵列12由若干呈阵列形式排列的子单元组成。其阵列形式可以是矩形、也可是环形等。沿光束方向，各子单元应具有强度反射率均在20％～80％之间的两个表面，且两个表面的间距大于波长量级，且各子单元中的两个表面的间距不同。
[0071]
镜头阵列13主要由若干子镜头组成，且子镜头与光谱混合编码阵列12的各个子单元呈一一对应的关系，每个的子镜头分别将相应的子单元输出的光束聚焦于探测器14的感光面上成像。容易理解，探测器14的感光面宜位于镜头阵列13的像面上。
[0072]
数据采集处理显示系统15与探测器14相连，主要用于采集探测器14获取的编码图像阵列，亦用于控制探测器14的快照操作，以得到一帧携带空间光谱信息的编码图像阵列，并可进一步计算处理得到入射光谱分布。
[0073]
本发明中，基于多光束干涉原理，两个表面的间距大于波长量级用以生成多个光谱透射峰，强度反射率均在20％～80％之间用以加大每个光谱透射峰的宽度，各子单元中的两个表面的间距不同用以产生不同的光谱透射单元以进行光谱编码。
[0074]
在本发明的实施例中，光谱混合编码阵列12的子单元的一种形式，其可以是单一实体，例如，参考图2，其为一个平面分束板一121。此时，前述的“两个表面”即为平面分束板一121的前表面一1211和后表面二1212，而“两个表面的间距”也即平面分束板一121的厚度，其中的“前”“后”依据入射光向定义。该结构采用单一实体，具有结构紧凑，鲁棒性高的特点。
[0075]
光谱混合编码阵列12的子单元的另一种形式，其可以由两个实体组成，且这两个实体沿入射光向具有间隔，例如，参考图3，其为平面分束板二122和平面分束板三123。沿入射光向，平面分束板二122处于平面分束板三123的前方，平面分束板二122的前方表面定义为外表面一1221，后方表面定义为内表面一1222；平面分束板三123的前方表面定义为内表面二1232，后方表面定义为外表面二1231。即，内表面一1222和内表面二1232相对。其中，两外表面相互平行，两内表面亦相互平行。此时，前述的“两个表面”即为内表面一1222和内表面二1232，而“两个表面的间距”也即内表面一1222和内表面二1232之间的间距。、该结构采用两个实体，具有调谐灵活，可重构的特点。
[0076]
在该形式结构中，外表面一1221和内表面一1222可以不平行，以形成微小楔角，防止光线在其内部多次反射振荡。同样地，外表面二1231和内表面二1232也可以不平行行，以形成微小楔角，防止光线在其内部多次反射振荡。容易理解，这两种不平行结构可以并存，也可任意择一。
[0077]
进一步地，请参阅图4，本发明的一个实施例中，还包括挡光孔阵列16；此时，镜头阵列13为透镜阵列；探测器14则选择单一面阵探测器，挡光孔阵列16的挡光孔数目与透镜阵列13的子透镜数目相同且一一对应。将挡光孔阵列16插入到透镜阵列13和探测器14之间，用于限制视场范围，防止相邻子图像重叠。
[0078]
请参阅图5，本发明实施例中，还包括准直光学系统11；准直光学系统11包括：沿入射光向依次设置的物镜111、视场光阑112和准直镜113；且视场光阑112置于物镜111的像面上，物镜111的像面与准直镜113的前焦面重合；准直光学系统11位于光谱混合编码阵列12和镜头阵列13前方，用于限制视场范围，防止相邻子图像重叠。
[0079]
请参阅图1，本发明的一个实施例中，镜头阵列13是物镜阵列，探测器14为面阵探测器阵列，各单元一一对应。每个物镜单元将目标投影到其对应的面阵探测器单元上，独立采集经对应光谱编码单元调制后的目标影像单元，所有单元可并行同时控制采集，各单元的面阵探测器具有高分辨和高速采集图像的能力，因此系统整体也具有实时快速高分辨的图像采集特点。
[0080]
基于此，本发明微型快照式压缩光谱成像探测装置的探测方法包括以下步骤：
[0081]
来自二维空间目标的光束被光谱混合编码阵列12调制后，经镜头阵列13中各个子镜头聚焦于探测器14的感光面上成像，数据采集处理显示系统15控制探测器14快照一帧携带空间光谱信息的编码图像阵列。
[0082]
本发明实施例中，数据采集处理显示系统15提取子图像中各空间位置的强度g分布，并利用已知光谱分布的标准光源标定出子图像中各空间位置的光谱调制矩阵h，将二维空间的入射光谱分布f与强度g和光谱调制矩阵h建立如下线性关系：
[0083]
g＝hf，
[0084]
本发明实施例中，可以利用压缩感知算法直接估计入射光谱分布f：
[0085][0086]
或者
[0087][0088]
其中γ是正则化参数，||
·
||1表示l1范数，φ是正则化函数；
[0089]
或者，本发明实施例中，利用稀疏基w和信号的稀疏表示θ来间接估计入射光谱分布f：
[0090][0091]
或者
[0092][0093]
求解计算器可以是gpsr算法或twist算法或其他。
[0094]
本发明实施例中，数据采集处理显示系统15可以包括：物理层神经网络和重建神经网络；
[0095]
本发明实施例中，物理层神经网络以光谱混合编码阵列12子单元中两平面分束板的间隔为变量，用于模拟微型快照式压缩光谱成像探测装置获取子图像阵列的功能；重建神经网络以网络权值和偏置参数作为变量，用于重构高光谱图像立方体；
[0096]
本发明实施例中，在训练优化阶段，数据采集处理显示系统15同时训练优化物理层神经网络和重建神经网络，分别以最少化光谱混合编码阵列12子单元的个数为目标和以重构出高质量的光谱图像立方体为目标，训练出符合预设要求的光谱图像立方体时，确定光谱混合编码阵列12子单元的最优个数和厚度，同时获得重建神经网络的优化网络权值和偏置参数。
[0097]
本发明实施例中，在推理阶段，数据采集处理显示系统15利用重建神经网络及其优化网络权值和偏置参数，从子图像阵列推理获得光谱图像立方体。
[0098]
本发明实施例中，光谱成像系统采用光谱混合编码阵列与透镜阵列的结合，结构上具有简单、超紧凑、微型化的优越性。相对于基于窄带滤光阵列或色散元件的快照式光谱成像装置及方法来说，光谱混合编码阵列具有多通道、多复元、高通量、高信噪比的优越性。利用深度神经网络对模拟光谱成像系统的物理神经网络和复原光谱图像的重建神经网络同时训练，可得到适配的成像硬件系统和重建软件系统，为“黑箱操作”的深度神经网络赋予了物理意义。在光谱图像重建阶段，压缩感知算法和深度神经网络科可以互相监督。相对时序式光谱成像系统来说，快照式系统单次曝光即可获取空间目标二维光谱图像信息，适用于探测动态或快变目标、能有效地避免由目标变化、抖动噪声、或环境变化等因素所带来的负面影响。
[0099]
综上所述，本发明公开微型快照式压缩光谱成像装置及探测方法，包含沿入射光向依次设置的光谱混合编码阵列、透镜阵列、探测器、数据采集处理显示系统；光谱混合编码阵列的各子单元具有不同的伪随机光谱透射特性，以形成不相关的随机调制采样单元，从而以最少单元数实现高压缩比光谱采样，并确保重建光谱的分辨率和质量，以及重建算法的收敛速度，进而以较少的阵列构建出紧凑小型的光谱成像系统。探测器与数据采集处理显示系统相连接；数据采集处理显示系统用于控制探测器在一次曝光周期内，快照一帧携带光谱混合编码的图像阵列，利用压缩感知重建算法或深度神经网络即可重构出光谱图像。本发明同时具有结构简单超紧凑、经济实惠、时效性高、分辨率高、性能同步提升等优点。
[0100]
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。