一种基于卷积神经网络的光谱成像系统的编码优化方法与流程

本发明专利涉及一种用于光谱成像的高光谱图像编码优化方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术：
：高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。采集得到的高光谱图像被称为数据立方体，包含场景的大量光照和材料信息。该技术已经被应用于遥感、计算机视觉、医疗诊断等多个领域。目前存在的二维成像传感器不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。近年来，随着计算成像技术的飞速发展，基于多种光学设计和精细重建算法的计算光谱成像技术得到广泛应用。与传统光谱成像系统相比，计算光谱成像能够获得更高时间分辨率、空间分辨率和光谱分辨率的高光谱图像。基于压缩感知理论，ashwinwagadarikar等人提出的编码孔径快照光谱成像仪(codedaperturesnapshotspectralimager,cassi)利用二值化的编码孔径和色散介质对目标场景进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重建潜在的三维高光谱图像。由于重建问题是一个不确定问题，这限制了重建结果的精确度。为了提升cassi系统的精确度，目前的方法主要分别考虑成像过程和重建过程。在成像过程中，为了更加有效地编码高光谱图像信息，不同的编码孔径模式被提出。在重建过程中，随着压缩感知理论的发展，各种精心设计的重建算法被提出。由于没有对成像过程和重建过程一起考虑，而这两个过程一起决定了重建结果的精确度，所以目前的方法在一定程度上限制了重建精确度的提升。根据压缩感知理论，将高光谱数据映射到压缩图像的观测矩阵在cassi系统中扮演着重要的角色，影响着重建高光谱图像的质量。在探测器和色散介质确定的情况下，观测矩阵被实体的编码孔径唯一确定。编码孔径的初始设计采用了随机二进制实体，然而随机的编码孔径并没有充分利用cassi系统感知机制的结构，这导致重建的结果是次优的。arguello等人从分析观测矩阵的等距特性开始优化编码孔径，提出将编码孔径优化问题转化为秩最小问题，并采用通用算法求解。但是此方法侧重于光谱的选择，这就需要不止一次的拍摄，因为需要对不同镜头的多次拍摄进行操作，才能得到一个新的包含且仅包含所需光谱波段信息的测量结果。所以此应该只适用于多帧系统。随着微光刻技术和涂层技术的发展，使得彩色编码孔径的设计成为可能，这也被引入到cassi系统中。parada-mayorga转而分析观测矩阵的相干性而不是等距特性，并提出了彩色编码孔径图的优化等价于相干最小化问题。ramirez和arguello提出了观测矩阵的gram矩阵的实体分布模型，设计彩色编码孔径使矩阵的方差最小。然而对于这些方法，在优化开始之前需要确定一个确定的稀疏矩阵。最近的研究表明，固定稀疏矩阵会产生超优重建结果。相反，盲压缩感知和在线字典学习方法显示出了更高质量的性能，由于这些方法可以根据场景特征自适应地学习稀疏基。从这个意义上说，在成像前是没有稀疏基的，因此不能用来设计编码孔径。基于卷积神经网络的方法可以有效地学习复杂特征并已经广泛应用于高光谱图像处理。xiong首先将rgb图像通过简单的插值或者cassi图像通过重建算法得到初始的高光谱图像，然后采用基于卷积神经网络的方法对初始化的结果进行增强，得到高质量的高光谱图像。choi通过构建卷积自编码器而不是字典学习来表示非线性光谱表示，并与空间域中梯度稀疏性共同正则化，从而从压缩图像重建高光谱图像。这两种方法都可以用于从cassi系统重建高光谱图像，但都借用传统的压缩感知重建算法。技术实现要素：针对现有算法存在的没有考虑成像过程、重建图像质量低等问题。本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法要解决的技术问题是：基于卷积神经网络实现光谱成像系统的编码优化，进而提高光谱成像系统的重建图像的精度，具有重建速度快，成像质量高等优点。为达到以上目的，本发明采用以下技术方案。本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，应用于基于编码孔径快照光谱成像系统，将高光谱图像成像过程与重建过程一起考虑，优化重建网络的同时优化编码网络，并使用gpu完成对整个网络的优化求解：使用cudnn库加速网络运行速度；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量地完成cassi光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于载人航天、地质勘测和植被研究等多个领域。本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，包括以下步骤：步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像s分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络。步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(codedaperturesnapshotspectralimager,cassi)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像s大小为m×n×k，高光谱图像s上任意一点的像素值为s(m,n,k)，1≤m≤m,1≤n≤n,1≤k≤k。其中，m×n表示高光谱图像的空间分辨率，k表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪cassi会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪cassi的数学模型为：公式(1)中y(m,n)表示二维压缩光谱采样图像，s(m,n,k)表示目标场景的三维高光谱图像，t(m,n)表示0-1编码模板。将公式(1)写成矩阵形式为：y＝φs(2)公式(2)中y表示二维压缩光谱采样图像，φ表示cassi系统的观测矩阵，s表示目标场景的高光谱图像。将使用基于块计算代替基于整张图计算。将整张高光谱图像s划分为多个p×p×k(p<m,p<n)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(p+k-1)×p的图像块。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。于是采用p×p的压缩图像块，反推能够得k个偏移光谱的平行六面体。将p×p的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：在b1中的每个bp＝0or1(p＝1,…,p2)，且b1矩阵中的值会在网络中被学习。其余的bk为b1的循环偏移，表示为：针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分。即实现构建编码网络。步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络。步骤102所述空间网络用于学习二维压缩图像与重建平行六面体之间的空间相关性，使用p×3的卷积计算重建结果的每一行，使用relu作为网络的激活函数。步骤102所述光谱网络用于学习二维压缩图像与重建平行六面体之间的光谱相关性，对空间网络的重建结果分通道处理，利用相邻的通道重建中间的通道，使用relu作为网络的激活函数。至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建。步骤103：将每张训练图像划分为多个p×p的平行六面体块，设置步长保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板。将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：公式(6)中表示网络的第l个输出，sl表示与其相关的真值，l表示训练的数据量。为保证b1中的值是0或者1，采用如下方式学习bb：公式(7)中br表示b1中将更新的实数值，bb表示b1中进行编码的实际值。在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像y分成若干个p×p大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。作为优选，使用gpu完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cudnn库来加速卷积神经网络。有益效果：1、本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像s分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络，将高光谱图像的成像过程中的编码模板放入网络中优化，而不再是使用随机的编码模板，因此能够得到最优的编码模板，并且重建效率得到有效提升。2、本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，将高光谱图像重建的成像过程和重建过程同时考虑，联合训练编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板，而不再是单独考虑成像过程或者重建过程，能够提高空间分辨率和光谱保真度。3、本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，使用gpu完成高光谱图像的重建过程，并利用cudnn库来加速卷积神经网络，大幅度降低cassi系统的重建时间。4、本发明公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，采用逐块处理的方式，计算所需的显存小，对gpu要求相对比较低，训练完成后使用中端显卡就能够完成高光谱图像的重建。附图说明图1是本发明公开的基于卷积神经网络的光谱成像系统的编码优化方法的总流程图；图2是本发明中用于cassi光谱成像的系统结构图；图3是本发明中cassi光谱成像系统基于块的前向模型，其中：图3-a为正立方体的前向模型，图3-b为平行六面体的前向模型；图4是本发明中所使用的编码网络；图5是本发明中所使用的重建网络，包含空间网络和光谱网络两个子网络。图6是本发明和对比算法的重建结果图，其中图6-a、图6-b为600nm处随机编码的重建结果，图6-c、图6-d为600nm处本发明的重建结果，图6-e、图6-f为600nm处的原始高光谱图像。具体实施方式为了更好地说明本发明的目的和优点，下面结合附图和实例对
发明内容做进一步说明。实施例1：本实施例公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，应用于编码孔径快照光谱成像系统，即cassi系统，最早由ashwinwagadarikar等人提出(详见wagadarikara,johnr,willettr,bradyd.singledisperserdesignforcodedaperturesnapshotspectralimaging[j].appliedoptics.2008,47(10):b44-b51.)。cassi系统利用二值化的编码孔径和色散介质对目标场景进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重建潜在的三维高光谱图像。如图1所示，本实施例公开的一种基于卷积神经网络的光谱成像系统的编码优化方法，具体实现步骤如下：步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像s分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络。步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(codedaperturesnapshotspectralimager,cassi)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成，如图2所示。目标场景的高光谱图像s大小为m×n×k，高光谱图像s上任意一点的像素值为s(m,n,k)，1≤m≤m,1≤n≤n,1≤k≤k。其中，m×n表示高光谱图像的空间分辨率，k表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪cassi会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪cassi的数学模型为：公式(1)中y(m,n)表示二维压缩光谱采样图像，s(m,n,k)表示目标场景的三维高光谱图像，t(m,n)表示0-1编码模板。将公式(1)写成矩阵形式为：y＝φs(2)公式(2)中y表示二维压缩光谱采样图像，φ表示cassi系统的观测矩阵，s表示目标场景的高光谱图像。将使用基于块计算代替基于整张图计算。将整张高光谱图像s划分为多个p×p×k(p<m,p<n)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(p+k-1)×p的图像块，如图3-a所示。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。于是采用p×p的压缩图像块，反推能够得k个偏移光谱的平行六面体，如图3-b所示。将p×p的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：在b1中的每个bp＝0or1(p＝1,…,p2)，且b1矩阵中的值会在网络中被学习。其余的bk为b1的循环偏移，表示为：针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分。即实现构建编码网络，如图4所示。步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络。步骤102所述空间网络用于学习二维压缩图像与重建平行六面体之间的空间相关性，使用p×3的卷积计算重建结果的每一行，使用relu作为网络的激活函数。步骤102所述光谱网络用于学习二维压缩图像与重建平行六面体之间的光谱相关性，对空间网络的重建结果分通道处理，利用相邻的通道重建中间的通道，使用relu作为网络的激活函数。至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建，如图5所示。步骤103：将每张训练图像划分为多个p×p的平行六面体块，设置步长为0.5p,保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。步骤104所述学习率初始化为10-4，在训练数据集上每训练10个轮次下降为原来的0.1倍。步骤104所述批处理大小设置为128，表示单次迭代优化所处理的图像块数量。步骤104所述权值初始化方式设置为xavier初始化方法，权值衰减系数设置为5×10-4。步骤104所述优化方法设置为带冲量的随机梯度下降，冲量设置为0.9。步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板。将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：公式(6)中表示网络的第l个输出，sl表示与其相关的真值，l表示训练的数据量。为保证b1中的值是0或者1，采用如下方式学习bb：公式(7)中br表示b1中将更新的实数值，bb表示b1中进行编码的实际值。在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像y分成若干个p×p大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。为说明本发明的效果，本实施例将在实验条件相同的情况下对两种方法进行对比。1.实验条件本实验的硬件测试条件为：interi76800k，内存64g。gpu为titanx，显存12g，cuda8.0。测试所用高光谱图片来自于icvl和harvard数据集。输入的cassi压缩光谱采样图像大小为512×542；重建以后得到的高光谱图像大小为512×512×31。2.实验结果为了验证本发明的有效性，在icvl和harvard数据集上，本发明公开的方法和对比方法的重建性能。为了定量的衡量重建结果的质量，使用峰值信噪比(peaksignaltonoiseratio，psnr)和结构相似性(structuralsimilarity,ssim)衡量重建结果的空间质量和视觉效果；使用光谱角制图(spectralanglemapping，sam)(详见krusefa,lefkoffab,boardmanjw,etal.thespectralimageprocessingsystem(sips)—interactivevisualizationandanalysisofimagingspectrometerdata[j].remotesensingofenvironment,1993,44(2-3):145-163.)衡量重建结果的光谱保真度。首先是两种算法的在icvl数据集上的重建结果，结果如表1所示：表1icvl数据集上重建结果两种算法的在harvard数据集上的重建结果，结果如表1所示：表2harvard数据集上重建结果随机编码本发明psnr30.3431.36ssim0.9640.973sam0.1150.104从表1和表2的结果可以看出，本发明公开的算法能够达到非常好的重建效果，在不同数据库下其重建结果均高于随机编码的结果。图6-a、图6-b为测试图片使用随机编码仿真重建后，波长为600nm时的结果；图6-c、图6-d为测试图片使用本发明仿真重建后，波长为600nm时的结果，图6-e、图6-f为测试图片波长为600nm时的原始高光谱图像。可以看出，本发明公开的方法重建的结果更加清楚，在视觉上的效果要优于其他算法。以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12