基于联合生成对抗网络的大倍率遥感影像压缩方法与流程

本发明属于影像处理技术领域，涉及影像的大倍率压缩，具体是一种基于生成对抗网络的遥感影像大倍率压缩方法，用于遥感影像压缩。

背景技术：

随着在轨遥感卫星数目的增加和成像分辨率的增加，星上采集的遥感影像数据越来越多，对更高倍率数据压缩技术的需求日益迫切。发展遥感影像的大倍率压缩技术，有利于节省信道容量，在下行传输带宽限制下及时将星上数据传回地面，影像这在国防、社会科学、环境保护、城市规划等领域有着重要作用。

目前，遥感影像影像的大倍率压缩方法主要采用jpeg2000方法，该方法是基于小波变换的影像压缩标准，由联合摄影专家组组织创建和维护，获得了目前几乎最好的大倍率压缩效果。但是由于高分辨卫星遥感数据的多物理属性上存在潜在的稀疏性，所以遥感影像压缩有着其固有的许多难点：遥感影像规模大，冗余性强，需求离线压缩，稳定性强，大倍率等，使得针对遥感影像所作的遥感影像压缩技术还很少，大倍率遥感影像压缩技术更是寥寥无几。

jpeg2000实现了遥感影像的大倍率压缩，但是其方法只是利用了影像自身的相关性，而没有利用遥感影像这类影像间相关性来减少编码过程的冗余。而且，jpeg2000在压缩倍率很大时，其主观性能，比如视觉信息保真度差。

技术实现要素：

本发明的目的在于克服上述已有技术的缺点和不足，提出一种充分利用遥感影像像素间相关性联合生成对抗网络的大倍率遥感影像压缩方法，该方法在大倍率压缩时能达到更好的主观效果。

本发明是一种基于联合生成对抗网络的大倍率遥感影像压缩方法，其特征在于，包括有如下步骤：

(1)对原始的遥感影像数据集进行预处理：输入需要压缩的遥感影像，经过归一化、滑窗切分得到待训练的数据集；

(2)构建联合生成对抗网络：联合生成对抗网络的第一层至第五层为编码网络，用于对遥感影像的编码；联合生成对抗网络的第六层至第十一层为解码网络，用于对遥感影像的解码；其中第一层到第四层分别与第十一层到第七层相对应的大小相同的特征图形成联合对抗网络的两个输入，联合对抗网络与编码网络、解码网络一同构成联合生成对抗网络；

(3)对预处理后的遥感影像数据集输入联合生成对抗网络进行训练，得到训练好的网络模型：该网络模型依次包括编码网络，量化器，解码网络，对抗网络四个部分；

(4)用训练得到的联合生成对抗网络中的编码网络进行大倍率遥感影像压缩：输入原始的待压缩遥感影像，经过预处理之后，输入训练好的模型中，经过编码网络和量化器得到联合生成对抗网络的编码结果；

(5)对联合生成对抗网络编码结果进行无损熵编码，得到待传输的码流文件；

(6)用训练得到的联合生成对抗网络中的解码网络进行传输得到的码流文件的解压缩：将收到的码流文件输入到解码网络中，得到压缩后复原的遥感影像。

本发明应用生成对抗网络提取遥感影像间的相关性来提高压缩率，节约存储和传输空间。

本发明与现有技术相比具有以下优点：

a.本发明提出的联合生成对抗网络将编解码网络对称结构分别进行对抗训练，使得编解码网络在训练中趋于互逆，有利于改善网络的过拟合问题，通过训练使得模型同时提取影像本身的相关性和遥感影像之间的相关性，提高了大倍率压缩下视觉保真度。

b.本发明采用了联合生成对抗模型进行训练，其对损失函数的高效刻画克服了传统方法中人工定义损失函数的局限性，将遥感影像的特征信息充分利用，得到较为高效的压缩模型。

c.本发明使用了具有强大特征表征能力的残差网络模块作为编码网络和解码网络的组成结构，其复杂的结构提高了模型提取特征的能力，从而充分利用了遥感影像间的相关性。

d.实验结果表明，本发明在特定的遥感影像上与jpeg2000等压缩方法相比，大倍率压缩时视觉信息保真度更高。

附图说明

图1是本发明的流程图；

图2是用本发明256倍率下，对高分影像的压缩重构结果，图2a是编号为num1的遥感影像原图，图2b为用本发明的方法对图2a压缩结果进行重构得到的结果图，图2c为用jpeg2000的方法对图2a压缩结果进行重构得到的结果图；

图3是用本发明256倍率下，对高分影像的压缩重构结果，图3a是编号为num2的遥感影像原图，图3b为用本发明的方法对图3a压缩结果进行重构得到的结果图,图3c为用jpeg2000的方法对图3a压缩结果进行重构得到的结果图；

图4是用本发明256倍率下，对高分影像的压缩重构结果，图4a是编号为num3的遥感影像原图，图4b为用本发明的方法对图4a压缩结果进行重构得到的结果图,图4c为用jpeg2000的方法对图4a压缩结果进行重构得到的结果图；

图5是本发明中使用的残差结构图。

具体实施方式

下面结合附图和实例对本发明详细说明：

实施例1

目前，遥感影像压缩正处于遥感技术的前沿领域，国内外均投入了大量的人力和物力资源对其进行研究，但是遥感影像数据的实时传输方面还面临着巨大的困难，针对这一问题本发明从影像的角度展开研究，着眼更高效的大倍率压缩方法，提出基于联合生成对抗网络的遥感影像大倍率压缩方法。

本发明是一种基于联合生成对抗网络的大倍率遥感影像压缩方法，参见图1，包括有如下步骤：

(1)对原始的遥感影像数据集进行预处理：输入需要压缩的遥感影像，经过归一化、滑窗切分得到待训练的数据集。得到预处理后的遥感影像数据集；遥感影像通常尺寸都很大，由于计算力的限制，需要把影像切分之后再输入到网络中去。

(2)构建联合生成对抗网络：本发明的联合生成对抗网络面向遥感影像压缩，参见图1，联合生成对抗网络的第一层至第五层为编码网络，用于对遥感影像的编码；联合生成对抗网络的第六层至第十一层为解码网络，用于对遥感影像的解码；其中第一层到第四层分别与第十一层到第七层相对应的大小相同的特征图形成联合对抗网络的两个输入，联合对抗网络与编码网络、解码网络一同构成联合生成对抗网络，编码网络与解码网络互为逆过程，再联合生成对抗网络的训练模式下逐渐趋向于可逆的结构。

(3)对预处理后的遥感影像数据集输入联合生成对抗网络进行训练，得到训练好的网络模型。参见图1，该网络模型依次包括编码网络，量化器，解码网络，对抗网络四个部分；其中编码网络、量化器与解码网络构成压缩模型，对抗网络用于训练中修正模型参数。参见图1，本发明使用联合生成对抗网络遥感影像建立模型进行压缩，该网络将编解码网络对称结构分别进行对抗训练，使得编解码网络在训练中趋于互逆，有利于解决网络的过拟合问题，通过训练使得模型同时提取影像本身的相关性和遥感影像之间的相关性，提高了大倍率压缩下视觉保真度。

(4)用训练得到的联合生成对抗网络中的编码网络进行大倍率遥感影像压缩：输入原始的待压缩遥感影像，经过步骤(1)中的预处理之后，输入步骤(3)中训练好的模型中，经过编码网络和量化器得到联合生成对抗网络的编码结果；该编码结果的尺寸对应于原图的尺寸形成固定的压缩码率。

(5)对联合生成对抗网络编码结果进行无损熵编码，得到压缩后遥感影像待传输的码流文件。本例中对联合生成对抗网络编码结果采用霍夫曼无损熵编码。除了霍夫曼无损熵编码，本发明还可以用算术编码实现无损熵编码。

(6)用步骤(3)中训练得到的联合生成对抗网络中的解码网络进行传输得到的码流文件的解压缩：将收到的码流文件输入到解码网络中，完成大倍率压缩过程，得到遥感影像压缩后复原的遥感影像。

本发明通过对遥感影像数据集建立模型进行压缩，以深度学习为基础，以影像间的相关性与影像本身的相关性相结合的方式提高了压缩精度，同时通过利用无损熵编码进行编码的二次压缩，提高了压缩效率。

实施例2

基于联合生成对抗网络的遥感影像大倍率压缩方法同实施例1，其中步骤(1)中所述的对原始的遥感影像数据集进行预处理，包括有如下步骤：

(1a)对原始的遥感影像进行滑窗切分形成训练数据集；

(1b)对切分后的数据集进行归一化：得到预处理后的遥感影像数据集；归一化函数为

其中，x^*表示归一化之后的值，min表示影像像素的最小值，max表示影像像素的最大值。

本发明采用滑窗切分的方式扩充训练数据集，通过制作多样的数据集，提升压缩模型的泛化能力。

实施例3

基于联合生成对抗网络的遥感影像大倍率压缩方法同实施例1-2，其中步骤(3)所述的对预处理后的遥感影像数据集输入联合生成对抗网络进行训练，具体包括以下步骤

(3a)联合生成对抗网络包括编码网络、量值化器、解码网络和多结构对抗网络四个部分；其中编码网络、量化器和解码网络构成压缩模型，联合对抗网络在训练中与解码网络进行生成对抗用以调整编码网络与解码网络的参数；训练中的损失函数为：

其中，g代表编码网络与解码网络，di代码各个阶段的对抗网络，f(y)＝(y-1)²，g(y)＝y²，d(x,y)代表最小二乘法误差向量。

(3b)在训练的每一步过程中，除了对抗损失之外，还加入最小二乘法计算误差向量，根据标准反向传播算法更新权重。

(3c)解码网络中各个层次产生的特征图与对应解码网络中对应大小的特征图分别输入单个对抗网络中，形成联合对抗网络。每个对抗网络的目标是最大化该阶段的最大化生成图像与原始图像的差别，编码网络与解码网络负责最小化生成图像与原始图像的差别。

本发明相比传统方法具有更高效的学习效率，训练10次，使用动态学习率adam方法，即利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。本发明在训练的每一步过程中，除了对抗损失之外，还加入最小二乘法计算误差向量，根据标准反向传播算法更新权重，增加模型提取特征的能力，避免了传统方法简单低效的学习。

实施例4

基于联合生成对抗网络的遥感影像大倍率压缩方法同实施例1-3，所述的编码网络：参见图1，其中的卷积层采用五个卷积层，每个卷积层都用步数为2的滤波器，激活函数选用修正线性函数(relu)，卷积层的最后一层加入残差网络结构。

本发明使用了具有优秀特征提取功能的残差网络模块作为编码网络的其中一个单元，参见图3，其复杂的结构提高了模型提取特征的能力，充分利用了遥感影像中的相关信息。本例中采用步数为2的滤波器，代替传统的下采样层，提高模型提取特征的能力，从而提高模型的压缩效率。

实施例5

基于深度学习的高光谱影像无损压缩方法同实施例1-4，本发明中的量化器：量化器采用softmax层，对每个像素进行量化。

本发明用softmax层分类进行量化过程，这样既可以解决传统量化方法不可微的问题，又可以在网络训练中起关键的连接作用，使得网络可以端对端的训练。

实施例6

基于联合生成对抗网络的遥感影像大倍率压缩方法同实施例1-5，本发明的解码网络采用五层反卷积层，参见图1，每个卷积层都用步数为2的滤波器，卷积层的第一层加入残差网络结构。解码网络与编码网络成互逆结构。

解码后，完成整个基于遥感影像的大倍率压缩全过程。

当前深度学习已经再自然影像压缩领域展现了它的发展潜力，本发明通过深度学习技术与大规模遥感影像的结合，构建深度网络可以很好的实现遥感影像的大倍率压缩需求。使用深度学习技术对遥感技术进行压缩，有利于提取到遥感影像内部的冗余特征，有利于节省带宽容量，解决航天工业遥感影像时间分辨率、空间分辨率的发展瓶颈。

下面通过实验数据对本发明的技术效果再做说明：

实施例7

基于联合生成对抗网络的遥感影像大倍率压缩方法同实施例1-6，本发明中遥感影像大倍率压缩使用高分2号数据，通过切分数据扩充得到10000张训练图片与300张测试图片，在有两块gtx1080显卡的服务器的tensorflow实验平台下进行实验。表1中列出了本发明的压缩方法和jpeg2000的压缩方法分别对高分2号数据进行压缩的效果比较，其中压缩效果采用视觉信息保真度、结构相似性、峰值信噪比、相关极性边缘相干这四个指标来表示。

表1对高分2号遥感影像256倍率压缩效果比较，

从上述实验结果的比较中，可以看出，本发明对num1—num3三张遥感影像的压缩效果均有所提高，视觉信息保真度、相关极性边缘相干这两个指标均高于同倍率的jpeg2000，结构相似性和峰值信噪比均与jpeg2000方法的结果相似。其中，num2的结构相似性指标也超过了jpeg2000。

本发明采用了生成对抗的方式进行训练，其高效的梯度传递克服了传统方法提取信息的局限性，将遥感影像间的数据信息充分利用，得到较为准确的结果。

简而言之，本发明公开的基于联合生成对抗网络的大倍率遥感影像压缩方法，属于影像压缩领域。解决了传统方法不利用遥感影像间相关性，以及大倍率压缩下视觉保真度明显下降等问题。实现步骤包括：对原始的遥感影像数据集进行预处理：输入待压缩的遥感影像，得到预处理后的遥感影像；构建联合生成对抗网络：联合生成对抗网络的第一层至第五层为编码网络，用于对遥感影像的编码；联合生成对抗网络的第六层至第十一层为解码网络，用于对遥感影像的解码；其中第一层到第四层分别与第十一层到第七层相对应的大小相同的特征图形成联合对抗网络的两个输入，联合对抗网络与编码网络、解码网络一同构成联合生成对抗网络对预处理后的遥感影像数据集输入联合生成对抗网络进行训练，得到训练好的网络模型：该网络包括编码网络，二值化器，解码网络，对抗网络四个部分；用训练得到的网络进行大倍率遥感影像压缩：输入原始的待压缩遥感影像，经过预处理之后，输入训练好的模型中，经过编码网络和二值化器得到待传输的码流文件；对网络编码结果进行熵编码，得到待传输的码流文件；用训练得到的网络进行码流文件的解压缩：将收到的码流文件输入到解码网络中，得到复原的遥感影像。本发明使用联合生成对抗网络遥感影像建立模型进行压缩，该网络将编解码网络对称结构分别进行对抗训练，使得编解码网络在训练中趋于互逆，有利于解决网络的过拟合问题，通过训练使得模型同时提取影像本身的相关性和遥感影像之间的相关性，提高了大倍率压缩下视觉保真度。应用于影像压缩领域。