基于深度学习的高光谱图像无损压缩方法与流程

本发明属于图像处理技术领域，涉及图像的无损压缩，具体是一种基于深度学习的高光谱图像的无损压缩方法，用于高光谱图像压缩。

背景技术

伴随着高光谱遥感技术的快速发展，高光谱图像的空间分辨率与谱间分辨率也在不断提高，导致高光谱数据的规模持续增大。通常成像光谱仪均采用机载或者星载的方式获取影响数据，那么对于卫星数据链路而言，海量的高光谱影像数据获取与传输之间的矛盾日益加剧，从而制约高光谱遥感技术的发展。因此，为了高光谱遥感技术的长远发展，研究高效的高光谱压缩技术就显得尤为重要。

目前，高光谱图像压缩方法主要是利用当前像素值的邻域像素值对其进行线性或非线性预测，通过对预测差值(预测值与真实值的差)的编码，使原本需要传输的码率降低，从而达到压缩的目的。其中，预测方法中使用比较广泛的是基于差分脉冲编码(dpcm)预测，该方法通过谱聚类预处理，然后在每个类中实现谱间最优线性预测，最后对预测残差进行熵编码，获得了当时几乎最高的无损压缩效果。

dpcm实现了高光谱图像的无损压缩，但是其方法对用于预测的光谱波段的信息利用不是很充分，模型的泛化能力以及预测准确率都有待提高。

技术实现要素：

本发明的目的在于克服上述已有技术的缺点和不足，提出一种充分利用光谱波段信息，泛化能力强的基于深度学习的高光谱图像无损压缩方法。

本发明是一种基于深度学习的高光谱图像无损压缩方法，其特征在于，包括有如下步骤：

(1)对原始的高光谱图像中的所有谱线进行聚类：输入待压缩的高光谱图像，该图像有m个波段；

(2)对聚类后的谱线应用深度循环神经网络进行预测：整体采用分段预测，第一波段采用谱内预测即采用相邻像素预测的方式进行波段内预测，第二波段到第m波段分别将深度循环神经网络和传统的最小二乘法作为预测器进行预测，得到初始预测图像和过渡预测图像；

(3)应用预测出的图像和原始图像得出残差图像：将初始预测图像、过渡预测图像分别与原始高光谱图像相减得到初始残差图像和过渡残差图像；对比初始残差图像和过渡残差图像的每个像素，选择残差像素值较小的点，得出最终的残差图像；

(4)对生成的残差图像进行算术编码，得到需要传输的码流文件；

(5)对生成的码流文件进行解码得到还原的高光谱原始图像。

本发明应用深度循环卷积网络与传统方法结合的方式保持信息的完整及正确性，提高压缩率，节约存储和传输空间。

本发明与现有技术相比具有以下优点：

a.本发明通过对高光谱图像建立预测模型进行压缩，以传统方式与深度学习结合的方式提高了压缩效率，同时通过利用当前波段的前n波段建立，建立预测模型，并调节预测模型中的阶数值，提高了压缩精度。

b.本发明采用了深度循环神经网络作为预测器，其具有记忆性的结构克服了传统方法提取信息的局限性，将高光谱图像中数据的信息充分利用，得到较为准确的结果。

c.本发明使用了具有记忆功能的lstm模块作为深度循环卷积网络预测器的基本单元，其复杂的结构提高了模型提取特征的能力，从而充分利用了光谱信息。

d.实验结果表明，本发明与c-dpcm等压缩方法相比，无损压缩性能较优。在本发明对五张图的平均压缩比特率比传统方法提高了0.09bpppb(bitsperpixelperband)。

e.本发明通过聚类这种预处理方式，将光谱信息分类，简化了模型的训练过程，同时增加了模型的泛化能力。

附图说明

图1是本发明的流程图；

图2是用本发明对一段光谱数据进行预测的结果；

图3是本发明中使用的深度循环神经网络的结构图。

具体实施方式

下面结合附图和实例对本发明详细说明：

实施例1

目前，高光谱遥感技术正处于遥感技术的前沿领域，国内外均投入了大量的人力和物力资源对其进行研究，但是在高光谱成像仪获取的数据的实时传输方面还面临着巨大的困难，针对这一问题本发明从图像无损压缩的角度展开研究，着眼更高效的无损压缩方法，提出基于深度学习的高光谱图像无损压缩方法，参见图1，包括有如下步骤：

(1)对原始的高光谱图像中的所有谱线进行聚类：输入待压缩的高光谱图像，该图像有m个波段。高光谱图像数据波段标准差大，信息量丰富；而波段间相关系数小，波段信息冗余度小，本例中波段数m为200。

(2)对聚类后的谱线应用深度循环神经网络进行预测：整体采用分段预测，第一波段采用谱内预测即采用相邻像素预测的方式进行波段内预测，第二波段到第m波段分别将深度循环神经网络和传统的最小二乘法作为预测器进行预测，得到初始预测图像和过渡预测图像。本例中的深度循环神经网络使用采用长短时间记忆(lstm)模块，得出的结果中初始预测图像与过渡预测图像的规格均与原始高光谱图像相同。

(3)应用预测出的图像和原始图像得出残差图像：将初始预测图像、过渡预测图像分别与原始高光谱图像运算得到初始残差图像和过渡残差图像，本例中直接采用相减的方法得出残差图像；对比初始残差图像和过渡残差图像的每个像素，选择残差像素值较小的点，得出最终的残差图像，即生成了最终的残差图像。

(4)对生成的残差图像进行熵编码，得到需要传输的码流文件。熵编码是常用的无损压缩编码方式，它是一种编码过程中按熵原理不丢失任何信息的编码，本例中采用算术编码，将第一波段的第一个像素点与最终的残差图像编码为需要传输的码流文件。

(5)对生成的码流文件进行解码得到还原的高光谱原始图像，解码方式是上述压缩编码的逆过程。

本发明通过对高光谱图像建立预测模型进行压缩，以传统方式与深度学习结合的方式提高了压缩效率，同时通过利用当前波段的前n波段建立预测模型，并调节预测模型中的阶数值，提高了压缩精度。

实施例2

基于深度学习的高光谱图像无损压缩方法同实施例1，步骤(2)中所述的对聚类后的谱线应用深度循环神经网络进行预测，包括有如下步骤：

(2a)对第一波段采用谱内预测即采用相邻像素预测的方式进行波段内预测，即第一条谱线的第一波段像素值作为残差直接编码传输，第二条谱线的第一波段由第一条谱线预测，用这种方式得到所有谱线的第一波段。本例中所使用的相邻像素预测，即采用jpeg-ls压缩标准的核心算法loco-i进行波段内预测，其公式为

(2b)从第二波段开始根据设定的预测阶数采用循环神经网络进行预测训练，当当前预测波段小于设定的预测阶数n时，采用当前波段前面的所有波段作为序列输入进行预测；当当前波段大于等于所设定的预测阶数n时，采用当前波段的前n个波段进行预测。预测阶数是压缩过程中重要的参数，当预测阶数较大时，压缩所需要的边信息就越大，压缩效果就越差；当预测阶数较小时，预测器算法能计算的信息越少，压缩效果也将下降，本例中预测阶数n为8。

(2c)利用步骤(2b)中训练得到的网络，对所有的数据进行预测，从而得到原始图像对应的初始预测图像，其谱线参见图2，图2中truedata为原始数据，prediction为本发明预测结果，图中可见本发明的预测结果与原始数据大致吻合。本例中训练样本数据中的高光谱波段数据作为训练输入，验证样本数据在训练网络的过程中每次迭代后进行测试，最终比较试验误差testloss和训练误差trainloss。当testloss不再降低时，终止网络训练。

(2d)采用传统方法得到原始图像对应的过渡预测图像，本例中传统方法采用线性预测编码方法。

步骤(2b)中使用的循环神经网络结构训练10epochs，使用动态学习率adam方法，即利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。在训练的每一步过程中，依据最小二乘法计算误差向量，根据标准反向传播算法更新权重。

本发明使用了具有记忆功能的lstm模块作为深度循环卷积网络预测器的基本单元，其复杂的结构提高了模型提取特征的能力，从而充分利用了光谱信息。采用了深度循环神经网络作为预测器，克服了传统方法提取信息的局限性，将高光谱图像中数据的信息充分利用，得到较为准确的结果。

实施例3

基于深度学习的高光谱图像无损压缩方法同实施例1-2，步骤(2b)所述的循环神经网络的网络结构，神经网络的结构示意如附图3所示，其中从输入到输出依次包括以下部分：1个输入层，3个隐藏层，1个全连接层，一个输出层，使用softmax进行分类。本例中采用扩张型网络，其输入层有20个单元，每个隐藏层有40个单元，隐藏层之后的全连接层将隐藏层提取的特征做一个融合，得到输出层的一个单元。

本发明相比传统方法具有更高效的学习效率，隐藏层使用扩张型网络，即隐藏层使用的单元数量输入层，增加模型提取特征的能力，避免了传统方法简单低效的学习。

实施例4

基于深度学习的高光谱图像无损压缩方法同实施例1-3，本发明的隐藏层：采用长短时记忆(lstm)单元，该单元具有三个门：输入门表示是否允许新的波段数据信息加入到当前隐藏层节点中，这样可以摈弃一些没用的输入信息；遗忘门表示是否保留当前隐藏层节点存储的历史波段数据；输出门表示是否将当前节点输出值输出给下一层。

长短时记忆lstm单元具体公式表示如下：

xt∈r^d:lstm模块的输入向量；

ft∈r^h:忘记门的激活向量；

it∈r^h:输入门的激活向量；

ot∈r^h:输出门的激活向量；

ht∈r^h:lstm模块的输出向量。

本发明使用了具有记忆功能的lstm模块作为深度循环卷积网络预测器的基本单元，其复杂的结构提高了模型提取特征的能力，充分利用了高光谱图像中的光谱信息。

实施例5

基于深度学习的高光谱图像无损压缩方法同实施例1-4，步骤(5)所述的对生成的码流文件进行解码得到还原的高光谱原始图像，包括如下步骤：

(5a)根据解码端收到的比特流，进行算术解码得到残差值e^x。接收到的比特流包括第一波段的第一个像素点与最终的残差图像。

(5b)利用解压后的第一个波段的第一个点，用相邻像素预测法预测第一个波段。

(5c)采用传统预测方法将前16的波段的值预测出来，16为本例中的预测阶数。

(5d)16波段以后的值，用编码预测阶段训练得到的深度神经网络与传统dpcm方法交替解码得到：即分别用两种方法预测同一个值，并比较其大小，选择较小的值作为其预测值，重复该步骤直到预测出所有值。

(5e)将解码得到的残差值e^x与预测得到的预测值xe相加，得到该高光谱图像值x，即：

x＝e^x+xe

解码后，完成整个基于高光谱图像的无损压缩全过程。

下面给出一个更加详尽的例子，对本发明进一步说明

实施例6

基于深度学习的高光谱图像无损压缩方法同实施例1-5，

步骤1，对原始高光谱图像中的所有谱线进行聚类。

假设待分类的每条光谱线上的像素值组成特征矢量集为{x1,x2,...,xn}，n为高光谱图像的所有谱线数目。

(1a)选取k个特征矢量作为初始聚类的中心；

(1b)计算每一个待分类的光谱曲线特征矢量与初始聚类中心的方差，将每一条光谱曲线分给与其方差最小的类，记如果dmin＝dij,(i＝1,2,...,n)，则xi∈cj；

(1c)对聚类完的每一类光谱曲线矢量根据式(2-6)重新计算聚类中心，并将该中心作为新的聚类中心，式(2-6)中m为j类中所含的光谱曲线数量数目；

(1d)重复进行步骤(1b)和(1c)，直到新得到的聚类中心与上一次的聚类中心完全重合为止。

步骤2，对聚类后的谱线按如下过程进行预测，求得估计信号，由估计信号进一步求得残差信号。

(2a)对第一波段采用谱内预测即采用相邻像素预测的方式进行波段内预测，即第一条谱线的第一波段像素值最为残差直接编码传输，第二条谱线的第一波段由第一条谱线预测，所有谱线的第一波段均按照这种方式预测。

(2b)从第二波段开始根据设定的预测阶数采用循环神经网络进行预测，当当前预测波段小于设定的预测阶数时，采用当前波段前面的所有波段进行作为序列输入进行预测；当当前波段大于等于所设定的预测阶数时，采用当前波段的前n个波段进行预测，其中n为所设定的预测阶数大小。

(2c)利用步骤(2b)中训练得到的网络，对所有的数据进行预测，参见图2，得到原始图像对应的初始预测图像。

(2d)采用传统的dpcm方法得到原始图像对应的过渡预测图像。

步骤3，将初始预测图像、过渡预测图像分别与原始高光谱图像相减得到初始残差图像和过渡残差图像；前n个波段直接采用过渡残差图像的值，n个波段以后对比初始残差图像和过渡残差图像的每个像素，选择残差像素较小的点，得出最终的残差图像。

步骤4，对生成的残差图像和预测系数等进行算术编码，得到需要传输的文件；

步骤5,解压缩过程如下：

(5a)根据解码端收到的比特流，进行算术解码得到的残差信号值ex；

(5b)利用解压后的第一个波段的第一个点，预测第一个波段。

(5c)采用原始预测方法将前n个波段的值预测出来，n为预测阶数。

(5d)n波段以后的值，用编码预测阶段训练得到的深度神经网络与传统dpcm方法交替解码得到：即分别用两种方法预测同一个值，并比较其大小，选择较小的值作为其预测值，重复该步骤直到预测出所有值。

(5e)将解码得到的残差值ex与预测得到的预测值xe相加，得到该高光谱图像值x，

x＝ex+xe

解码后，完成整个基于高光谱图像的无损压缩全过程。本发明通过聚类这种预处理方式，将光谱信息分为16类，简化了模型的训练过程，同时增加了模型的泛化能力。

本发明通过对高光谱图像建立预测模型进行压缩，以传统方式与深度学习结合的方式提高了压缩效率，同时通过利用当前波段的前n波段建立，建立预测模型，并调节预测模型中的阶数值，提高了压缩精度。

下面通过实验数据对本发明的技术效果再做说明：

实施例7

基于深度学习的高光谱图像无损压缩方法同实施例1-6，本发明中高光谱图像无损压缩算法的实验数据来自于美国国家航空航天局(nasa)提供的一组2006年aviris测试图像，这些图像是采用bsq格式存储的，bsq格式是按波段顺序排序的，各波段内按行顺序排列，每行中按列顺序排列，其中有5幅已校正过的图像的结果列于表1中。

表1对2006aviris图像集中5幅已校正图像的无损压缩效果比较，单位bpppb(bitsperpixelperband)

从上述实验结果的比较中，可以看出，本发明对五张图的压缩效果均有所提高，其中，本发明在scence10这幅图的压缩效果最好，提高了0.14bpppb(bitsperpixelperband)。本发明平均压缩比特率比传统方法提高了0.09bpppb(bitsperpixelperband)。

本发明采用了深度循环神经网络作为预测器，其具有记忆性的结构克服了传统方法提取信息的局限性，将高光谱图像中数据的信息充分利用，得到较为准确的结果。

简而言之，本发明公开的基于深度学习的高光谱图像无损压缩方法，属于图像压缩领域。解决了传统方法光谱信息利用不充分和模型泛化能力低的问题。实现步骤包括：应用深度学习中循环神经网络建立预测模型，对获取到的高光谱图像中的每个像素进行预测训练，生成预测图像和预测网络；对高光谱图像和预测图像进行做差，生成残差图像；对残差图像进行算术编码，生成码流文件；对码流文件进行解码得到解码图像；使用训练好的网络进行预测，得到预测图像；将预测图像与解码图像相加，得到原始的高光谱图像。本发明将深度学习与传统方法相结合，网络中采用有记忆性结构的单元，通过大量的训练，充分利用了光谱信息，增加了模型的泛化能力，提高了压缩效率。应用在高光谱图像压缩领域。