一种基于打印掩膜的光谱重建系统及其重建方法与流程

本发明涉及计算摄像学领域，尤其涉及一种基于打印掩膜的轻量级紧凑型光谱重建系统及其重建方法。

背景技术：

高光谱图像可以为各种计算机视觉任务提供丰富的光谱特征。然而，由于高光谱图像采集需要专业而昂贵的硬件，严重阻碍了高光谱图像的广泛应用。

使用2d传感器来采集三维光谱数据，务必要涉及到光谱维度信息和空间维度信息的折中选择。基于扫描原理的传统采集方法虽然可以恢复高光谱精度，但是牺牲了时间维度，而且需要高精度的位移云台来配合，不适合移动采集和动态采集。

基于色散的采集方法一般会借助于棱镜和光栅等专业定制的光学设备将自然光色散开来，然后牺牲空间分辨率来获取光谱维度信息，基于此方法的采集系统有棱镜掩膜式高光谱采集系统(pmis)，计算机断层扫描成像光谱仪(ctis)，编码孔径快照光谱成像仪(cassi)等。

基于滤波的光谱成像方法通过转换不同的滤波片采集不同波段的信息来达到光谱采集的目的，这种方法往往需要牺牲时间分辨率，且做不到实时采集，无法应对动态场景需求，例如燃烧场光谱分析，追踪之类的任务；此类方法主要有傅立叶光谱滤波器阵列光谱成像仪等。

近年来，一些基于学习的方法利用rgb三通道图片来重建光谱数据的方法也逐渐发展起来，这为轻量化光谱成像仪器提供了一种思路，但是，三个非相关的观测基不足以恢复出光谱细节特征，也就是光谱维度的精度大大损失了。

此外，现有的高精度光谱成像采集器件往往需要复杂的标定的程序，硬件设计复杂，多数需要定制，基于编码方式的采集方法往往做不到兼顾光谱分辨率和空间分辨率，且基于优化的重建方法实时性不高，大大限制了光谱的广泛应用和推广。

技术实现要素：

针对以上现有技术中存在的问题，本发明提供一种基于打印掩膜的光谱重建系统及其方法，通过设计一种紧凑型便携式高光谱成像采集仪器，能实现高精度光谱重建。

为了达到上述发明目的，本发明系统采用的技术方案为：

一种基于打印掩膜的光谱重建系统，包括镜头、掩膜和成像传感器，其中，掩膜固定在成像传感器上，所述掩膜由多层单色墨水打印在透明介质上面形成，墨水的液滴呈随机叠加状态。

本发明一种基于打印掩膜的光谱重建方法，包括如下步骤：

步骤1，建立单层单色掩膜打印的仿真模型，用于模拟打印机打印掩膜的效果，掩膜中第i层墨水的透射矩阵li的仿真模型如下：

利用0-1分布表示墨滴中心点的位置的随机性，其中有墨滴分布的点的概率为p，使用卷积核k表示墨滴的形状，墨滴的直径为d，单层掩膜的透射曲线为*表示卷积操作，h表示掩膜的长，w表示掩膜的宽，m(h,w,p)表示以概率p分布的随机矩阵；

步骤2，利用打印机喷头在透明介质上打印多层单色的墨滴，根据打印的墨滴叠加之后的透射曲线呈乘性关系的特性，建立混合色掩膜打印的仿真模型：

其中，l为打印的层数，t为掩膜的透射曲线矩阵；

步骤3，墨水调研及透射曲线分析：利用光谱分析仪器得到n种不同颜色墨水的墨滴的光谱透射曲线计算皮尔逊相关系数ρ，具体如下式所示：

其中tim是向量的元素，tjm是向量的元素；根据相关系数ρ的大小，选择相关性最小的几种颜色的墨水；

步骤4，针对选择的几种颜色的墨水，根据步骤3确定最佳观测基，也即是相关性最小的墨水的透射曲线，然后基于带有惩罚项的最小化误差项e求解光谱数据s，最小化误差项e的计算公式如下：

e＝||∑ts-y1+βt2

其中，y表示透过掩膜进行编码之后的观测值，β为乘法项系数；同时计算透射曲线矩阵t的秩，根据求解的精度以及秩的饱和程度选择最佳打印方案；

步骤5，根据选择的最佳打印方案，将墨水装入打印机，按照打印方案进行掩膜的制作；将制作好的掩膜固定在传感器上，加上镜头之后进行系统的调试，然后采集编码图像，编码成像模型为：

x＝∫λt(h,w,λ)s(h,w,λ)

其中，λ为波长，s(h,w,λ)表示要重建的光谱数据，t(h,w,λ)为掩膜的透射曲线矩阵t；

步骤6，对数据库预处理，进行光谱数据的增强筛选，形成训练对，卷积神经网络的输入为编码图像x，输出为光谱数据s；对卷积神经网络进行训练，直至模型收敛，得到一个训练好的模型；

步骤7，将步骤5采集到的编码图像，输入到步骤6训练好的模型中，重构得到三维光谱数据。

本发明利用制备的掩膜进行光谱重建的方法，不仅可以实现光谱成像采集仪器的轻量级化，并且高秩特点保证了其光谱细节特征的重建，对网络的剪枝轻易化等操作可以实现在短时间内重构出高光谱数据。

附图说明

图1是本发明实施例中爱普生墨水的青色和品红叠加之后的透射曲线。

图2是本发明仿真掩膜的示意图，图中方框部分为局部放大图。其中，(a)表示直径为8个像元尺寸，打印密度为10％，使用打印颜色为2种；(b)表示直径为4个像元尺寸，打印密度为1％，使用打印颜色为7种；(c)表示直径为4个像元尺寸，打印密度为1％，使用打印颜色为10种。

图3是本发明基于打印掩膜的采集系统简略图，1-镜头，2-传感器，3-掩膜。

图4是本发明光谱重建方法的流程图。

具体实施方式

本发明的技术思路如下：一般情况下，彩色商用打印机的墨水有三色、六色、八色模式。不同颜色的墨水具有不同的光谱透射响应。在微米级别，打印机喷头喷出的墨滴是随机分布的，打印过程中会产生不同交叠的色块，经验证这些交叠的像素块的光谱透射曲线与原有的像素块是非相关的，基于这一有趣且未引起关注的现象，在透明介质上打印多层则会产生大量非相关的自由观测基。因此，使用多个随机打印的消费者级彩色打印机作为辅助，多次将墨滴打印在高透光介质上，制作一个简易且高秩的掩膜，然后将掩膜固定在传感器上，形成一种简单、低成本的高光谱编码图像捕获方案。最后，利用基于卷积神经网络(convolutionalneuralnetwork,cnn)的深度解码模型，通过大量数据的学习，得到一个训练好的模型，重构高光谱数据。

本实施例的光谱采集及重建方法具体包括如下步骤：

步骤1，探索打印机喷头打印的墨滴…(代表墨滴的代号)叠加特性，使用专业光谱点测仪器asd进行测量了爱普生墨水的青色和品红叠加之后的透射曲线，以及使用下式计算了理论曲线，发现两者吻合程度极高(如图1所示)，可以视为墨滴叠加之后的透射曲线呈现乘性关系。如下式所示，墨滴叠加之后产生新的墨滴的透射响应计算公式如下，其中，·表示点乘；

步骤2，建立单层单色掩膜打印的仿真模型

为了模拟打印机打印掩膜的效果，提出了打印掩膜仿真模型。利用0-1分布表示墨滴圆心点的位置的随机性，其中有墨滴分布的点的概率为p，因墨滴近似圆形分布，使用圆形卷积核k表示墨滴的形状，直径为d，该层的透射曲线为需注意的是，该方法不限于圆形，卷积核可以设置为各种符合墨滴的形状。仿真模型如下式，其中*表示卷积操作，m(h,w,p)表示以概率密度为p分布的随机矩阵(只包含0-1在内，p指1的概率)：

步骤3，建立混合色掩膜打印的仿真模型

基于步骤1中的乘性法则，混合色掩膜可以看成由多种单色掩膜多次打印的结果，也即是，最终掩膜模型如下式，l为打印的层数，t为掩膜的透射曲线矩阵，最终结果如图2所示：

步骤4，墨水调研及透射曲线分析，调研了爱普生专用打印机八色墨水、凌美各色墨水、派克墨水等，包括品红、青色、浅红、浅青、黄色、土黄、浅黄、绿色、浅绿色、紫色、深蓝、蓝色橙色、红色、橙红色、粉红色等不同颜色。利用光谱分析仪器得到n种不同颜色和材质的墨水的光谱透射曲线计算皮尔逊相关系数ρ，具体如下式所示，其中tim是向量的元素，tjm是向量的元素。选择相关性最小的几种；

步骤5，针对选择的几种墨水，利用步骤2和3的仿真模型模拟真实打印掩膜，然后基于带有惩罚项的最小二乘法最小化误差项e求解光谱数据s，其中，e的计算公式如下：

e＝||∑ts-y||1+β||t||2

y表示透过掩膜编码之后的观测值，β为乘法项系数，一般设为10^(-3)。并且同时计算透射矩阵的秩，根据求解的精度和秩的饱和程度选择最佳打印方案，根据所调研的墨水的特性，最终打印方案确定为：所用打印墨水为：爱普生品红、青色、黄色，凌美紫色、绿色、蓝色，派克红色、橙色等八种墨水，所用打印设备为三台爱普生打印机，每个墨盒里面装一种颜色，打印方法为，每次打印一种墨水，打印密度设置为1％，每种墨水打印两层，打印介质为透明高通光量且不易变形的胶片，需要注意的是，该方案可以实现掩膜的制作，但该发明不仅限于此打印方案。

步骤6，采集设备调试

根据选定的最佳打印方案，将选出的墨水装入打印机，然后按照打印方案进行掩膜3的制作，掩膜3的尺寸与传感器的尺寸一致。将制作好的掩膜3固定在传感器2前，加上镜头1之后进行设备的调试，如图3所示。采集编码图像。编码成像模型为：

x＝∫λt(h,w,λ)s(h,w,λ)

步骤7，基于cnn的重建算法。首先建立多层卷积神经网络，使用多尺度网络模型或者现有的u-net进行模型优化，设计新型光谱维度的优化方程lλ，如下式，

其中f是训练好的神经网络。为了削减模型参数和规模，对网络中的卷积单元使用轻量级的xception模块替代，并对模型进行剪枝量化操作以实现模型参数的压缩。利用现有的光谱数据库，例如哥伦比亚大学的光谱数据集，哈佛、荷兰等高校或者研究机构等发表的数据集，也可自行利用专业采集设备搜集数据。根据收集的数据库预处理，进行光谱数据的增强筛选，形成训练对，输入为编码图像x，输出为光谱数据s，进行训练，直至模型收敛，得到一个训练好的模型。

步骤8，将实际调试好的系统采集到的编码图片，输入到训练好的网络模型中，重构得到三维光谱数据。