一种基于元学习的光谱重建方法与流程

1.本发明涉及光谱反射率重建技术领域，具体涉及一种基于元学习的光谱重建方法。


背景技术：

2.在工业检测、化学和生物分析、以及地质勘探等领域，光谱仪已经成为不可缺少的仪器。近年来，快速发展的各种便携设备和片上集成系统对微型化、高分辨率及宽带响应的高性能光谱仪的需求日益迫切。传统台式光谱仪利用光栅或色散元件将入射光的不同波长成分在空间中展开，并利用光电探测器阵列进行探测，来获得光谱信息。然而这些复杂的光路设计和光学元件使得光谱仪的微型化困难重重，所以传统策略是牺牲部分性能，利用先进微纳米加工技术将传统分光或色散元件替换成更小型色散光学元件，例如光子晶体，超表面，微型干涉仪等。这些技术可将光谱仪尺寸缩小至毫米量级，但进一步小型化则是一个极大的挑战。近期，计算重构光谱技术被成功应用于光谱仪的微型化，通过预校准，并根据测量数据特征，可实现基于计算重构算法的未知光谱重构。目前这些光谱仪的性能还十分受限，分辨率和工作带宽通常受到探测器数量及工作温度等条件影响。
3.在所有现有的微型光谱仪中，基于吸收滤光器的光谱仪是最有前途的候选者之一，它使用吸收滤光器作为光谱采样通道，并通过重建方法从通道测量中恢复光谱。在以前的研究中已经采用了几种重建算法模型，主要包括最小二乘、最小均方、模拟退火、tikhonov正则化、截断奇异值分解、直接二元搜索和稀疏优化等；也有使用将传统算法与深度学习网络模型相结合或者完全使用深度学习网络模型的光谱重建案例。但以上模型都是只是使用一套训练好参数的模型去进行光谱重建，但在应对实际硬件制造时会存在外部噪声、随机制造误差、膨胀效应等问题，模型并不能灵活的对不同干扰因素进行调整，重建出的光谱效果也会受到影响，使得重构精度不高。元学习的思想是指训练深度学习网络自己学会学习，得到一个适应性参数，目前其在图像领域、自适应去噪处理中已经得以应用。但是在光谱重构中，网络首先要利用稀疏采样到高分辨光谱数据，在大量未知干扰引入时，其对此映射关系的影响是巨大的，这也就使得算法重构失效，大大限制的重构算法的实际引用。
4.因此，如何解决光谱重建过程中在实际测量时采样数据存在未知误差引入，模型不能灵活的对不同干扰因素进行调整的问题，实现不同采样数据可动态调整网络参数的光谱重建网络模型，达到提高光谱重建网络模型的光谱重建精度和良好的抗干扰能力，成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明的目的在于：针对现有的光谱重构算法及光谱重构网络模型在应对存在硬件制造误差时的重建效果受影响的问题，能够在波长为2500-5000nm的范围中使用的一种基于元学习的光谱重建方法，使用经过微型光谱仪采样后的数据进行光谱重建。
6.为此，本发明的上述目的通过以下技术方案实现：
7.在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：
8.一种基于元学习的光谱重建方法，其特征在于，按照以下步骤具体实施：
9.步骤一，构建基于元学习的光谱重建网络模型，包括两部分内容：一是参数预测网络，用残差网络进行特征提取和参数预测，利用元学习领域中的超网络结构，利用其参数预测的能力，设计并引入了卷积核参数预测网络，为出现不同干扰因素的光谱重建预测非共享的卷积核参数，提取更丰富的特征信息；二是光谱重建网络，其包括扩展层、上采样网络、深度复原层和调整层，基于超分辨领域中的上采样思想，采用线性插值方法作为上采样方法，通过上采样算法将稀疏特征映射成密度更高的特征，以重建出精度更高、更加准确的光谱，光谱重建网络均方误差作为损失函数；
10.步骤二，训练光谱重建网络，将醇类、苯类、酸类三类物质经过傅里叶变换红外光谱仪得到的真实谱图数据作为原始对比数据，将三类物质经过微型光谱仪采样后的数据作为训练数据，构建训练集；采用自适应梯度下降算法优化损失函数，获得光谱重建网络权重；
11.步骤三，光谱重建，对经过微型光谱仪采样后得到的数据进行光谱重建，将微型光谱仪采样后得到的数据作为输入数据输入完成训练的光谱重建网络中进行计算，得到重构的谱图数据。
12.作为本发明的优选技术方案：所述残差网络包含局部残差和全局残差两个部分，分别用于学习局部残差和全局残差；将扩展层输出数据作为此残差网络的输入数据；
13.局部残差由多个残差块级联构成，每个残差块的处理过程分为两部分，一部分对输入数据采取卷积、relu激活和卷积的操作，得到该部分的输出；另一部分则采用跳跃式连接，直接将输入数据作为该部分的输出；再经过求和层对两部分输出求和，得到一个局部残差块的输出；残差块的卷积核的参数为3
×
1，通道数为64，采用16个相同的残差块级联构成局部残差模块；
14.全局残差与局部残差结构类似且包含局部残差，一部分同样采用跳跃式连接，直接将输入数据作为输出；另一部分的输出即为局部残差的输出，两部分相加，得到全局残差模块的输出，即整个残差网络的输出，然后将此输出作为上采样网络中一维卷积层的参数。
15.作为本发明的优选技术方案：所述光谱重建网络包括扩展层、上采样网络、深度复原层和调整层；
16.在所述扩展层通过卷积操作，将通道数从1扩展到64，以增加模型的容量；该层滤波器的大小为3
×
1，通道数为64；
17.上采样网络由一维卷积层和上采样算法组成，其中一维卷积层的即为参数预测网络的输出。根据光谱数据的连续特性，采用线性插值算法将数据线性放大到指定倍数，即2倍；
18.深度复原层：经过上采样网络后，并没有改变卷积网络结构的深度，深度仍然为扩展层扩展后的深度，以将输出数据恢复到正常深度；该层卷积核的大小仍为3
×
1，通道数为1；
19.调整层：采用一个全连接层进行最终数据量调整，使得网络输出数据与原始对比数据的数据量保持一致，以便于网络训练以及网络重构效果对比。
20.作为本发明的优选技术方案：步骤二包括以下阶段，
21.1)构建训练集：
22.将醇类、苯类、酸类三类物质经过傅里叶变换红外光谱仪得到的真实谱图数据作为原始对比数据，将三类物质经过微型光谱仪采样后的数据作为训练数据，构建训练集；所述的微型光谱仪为需要进行谱图重构微型光谱仪；
23.2)构建损失函数：采用均方误差mse作为网络损失函数，均方误差损失函数的计算公式为：
[0024][0025]
其中，n为原始谱图数据个数，[x1,x2……
xn]为原始谱图数据，[x
′1,x
′2……
x
′n]为重构的谱图数据；
[0026]
3)训练方法：设置初始学习率为1
×
10-5
，每批数据量(batch-size)为4；网络采用自适应矩估计adam算法优化损失函数；每次迭代使用batch-size个样本来对参数进行更新，其中adam会通过计算梯度的一阶矩估计和二阶矩估计而为不同的网络参数设计独立的自适应性学习率。
[0027]
与现有技术相比，本发明提供的一种基于元学习的光谱重建方法，利用元学习的参数预测能力，通过设计并引入了卷积核参数预测网络，为出现不同干扰因素的光谱重建预测非共享的卷积核参数，提取更丰富的特征信息，在不提升硬件系统的条件下，进一步提高了光谱重建网络模型的光谱重建效果和良好的抗干扰能力，实现波长范围为2500-5000nm的谱图重构。本发明引入参数预测网络，为光谱重建网络动态生成非共享的卷积核参数，采用线性插值方法实现可靠的数据上采样，整体提升了此网络模型的重构能力和抗干扰能力。
附图说明
[0028]
图1为本发明的一种基于元学习的光谱重建方法的整体流程图；
[0029]
图2为本发明的谱图重建网络模型的结构流程图；
[0030]
图3为本发明实施例参数预测网络的结构流程图；
[0031]
图4为本发明实施例上采样网络的结构流程图。
具体实施方式
[0032]
下面结合附图和具体实施例对本发明作进一步详细地描述。
[0033]
实施例1
[0034]
结合图1-图4所示，本发明的一种基于元学习的光谱重建方法，按照以下步骤具体实施：
[0035]
步骤一，构建基于元学习的光谱重建网络模型：
[0036]
其中，谱图重建网络模型分为两部分：一是参数预测网络，采用残差网络进行特征提取和参数预测，利用元学习领域中的超网络结构，利用其参数预测的能力，设计并引入了卷积核参数预测网络，为出现不同干扰因素的光谱重建预测非共享的卷积核参数，提取更
丰富的特征信息；二是光谱重建网络，其包括扩展层、上采样网络、深度复原层和调整层，基于超分辨领域中的上采样思想，采用线性插值方法作为上采样方法，在上采样过程中，考虑到线性插值法的计算量较小、计算速度高且光谱数据为一维数据存在一定的线性特征，选取出了更适合线性插值法作为光谱重建任务的上采样算法；所述的光谱重建网络均方误差(mse)作为损失函数。
[0037]
残差网络包含局部残差部分和全局残差两个部分，分别用于学习局部残差和全局残差，将扩展层输出数据作为此残差网络的输入数据。它不用再学习硬件采样数据和光谱数据之间复杂的对应关系，而是学习他们之间存在的残差关系，提取出更多的特征信息。由于对应数据残差比较小，并且有些对应数据的差值接近于零，所以可以使网络模型的复杂度和学习难度有所降低，同时网络模型的深度可以深至101层，用于提高网络精度。
[0038]
局部残差由多个残差块级联构成，每个残差块的处理过程分为两部分，一部分对输入数据采取卷积、relu激活和卷积的操作，得到该部分的输出；另一部分则采用跳跃式连接，直接将输入数据作为该部分的输出；再经过求和层对两部分输出求和，即可得到一个局部残差块的输出；残差块的卷积核的参数为3
×
1，通道数为64，考虑到一维信号的数据特征及整体复杂程度，通过减小残差网络层，仅采用16个相同的残差块级联构成局部残差模块，以此达到提高训练速度、减小网络参数量的效果。
[0039]
全局残差与局部残差结构类似且包含局部残差，一部分同样采用跳跃式连接，直接将输入数据作为输出；另一部分的输出即为局部残差的输出，两部分相加，得到全局残差模块的输出，即整个残差网络的输出。然后将此输出作为上采样网络中一维卷积层的参数。
[0040]
光谱重建网络包括扩展层、上采样网络、深度复原层和调整层。其中，扩展层：在扩展层，通过卷积操作，将通道数从1扩展到64，以增加模型的容量；该层滤波器的大小为3
×
1，通道数为64。上采样网络由一维卷积层和上采样算法组成。其中一维卷积层的即为参数预测网络的输出。根据光谱数据的连续特性，采用线性插值算法将数据线性放大到指定倍数，比如2倍。深度复原层：经过上采样网络后，并没有改变卷积网络结构的深度，深度仍然为扩展层扩展后的深度，因此，构建该深度复原层对深度进行缩减，相当于扩展层步骤的逆操作，目的为将输出数据恢复到正常深度；该层卷积核的大小仍为3
×
1，但深度为1。调整层采用一个全连接层进行最终数据量调整，使得网络输出数据与原始对比数据的数据量保持一致，以便于网络训练以及网络重构效果对比。
[0041]
步骤二，训练光谱重建网络，对构建用于微型光谱仪的谱图重建网络模型进行训练，包括构建训练集和构建损失函数。
[0042]
构建训练集是指将醇类、苯类、酸类三类物质经过傅里叶变换红外光谱仪得到的真实谱图数据作为原始对比数据，将三类物质经过微型光谱仪采样后的数据作为训练数据，构建训练集。其中，微型光谱仪为需要进行谱图重构微型光谱仪。
[0043]
构建损失函数：采用自适应梯度下降算法优化损失函数，获得光谱重建网络权重。
[0044]
构建损失函数采用均方误差mse作为网络损失函数，均方误差损失函数的计算公式为：
[0045]
[0046]
其中，n为原始谱图数据个数，[x1,x2
……
xn]为原始谱图数据，[x1
′
,x2
′……
xn
′
]为重构的谱图数据。
[0047]
训练方法：设置初始学习率为1
×
10-5，每批数据量(batch-size)为4；网络采用自适应矩估计adam算法优化损失函数,adam算法梯度的对角缩放具有不变性，因此它非常适用于解决含大规模数据和参数的优化问题；每次迭代使用batch-size个样本来对参数进行更新，其中adam会通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，所以其在稀疏梯度问题上以及在在线和非稳态(噪声)问题上有很有优秀的性能；由于其具备收敛速度快、所需内存少等优点，因此有着较快的训练速度.
[0048]
步骤三，光谱重建，用训练好的网络模型进行谱图重构，具体包括：
[0049]
根据完成训练得到的网络权重和特征，对经过微型光谱仪采样后得到的数据进行谱图重构，将微型光谱仪采样后得到的数据作为输入数据输入谱图重建网络模型中进行重构，得到准确的重构输出数据。
[0050]
与现有技术中的与现有技术相比，本发明的一种基于元学习的光谱重建方法，具有以下显著优点：
[0051]
(1)本发明在不提升硬件系统的条件下，将图片超分辨思想引入进来，采用深度学习的方法，克服传统重构算法弊端，显著提升重构效果，实现波长范围为2500-5000nm的谱图重构。
[0052]
(2)本发明引入残差网络来提高训练速度，采用线性插值方法实现可靠的数据上采样，整体提升了此网络模型的重构能力和鲁棒性。
[0053]
上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都落入本发明的保护范围。