一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法与流程

本发明涉及遥感图像领域，特别涉及一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。

背景技术：

随着遥感应用领域日益发展，多光谱图像已不足以满足当前需求，光谱分辨率更高的高光谱图像成为重点研究对象。高光谱图像虽然光谱分辨率高，但是其较低的空间分辨率一直限制其广泛应用。为了提升高光谱图像的空间分辨率，可通过两种途径：超分辨率和全色锐化。前者将低分辨率的高光谱图像作为输入，利用其固有特性作为先验信息，直接进行锐化处理；后者将低空间分辨率的高光谱图像和高空间分辨率的全色图像作为输入，利用图像融合将全色图像的空间细节信息注入至高光谱图像中，以提升其空间分辨率。两种方法相比，全色锐化相当于在超分辨率的基础上，加入全色图像的导向作用，能进一步提升锐化效果。全色锐化的代表算法有矩阵分解、贝叶斯算法和导向滤波器等，这些方法都在有效地提升高光谱图像的空间分辨率，但均存在较为显著的光谱失真现象，即锐化后图像的光谱特性发生了较为明显的改变。因此，对于高光谱图像全色锐化算法，亟待解决的问题是如何实现既能提升高光谱图像的空间分辨率，同时又能很好地保持光谱特性。

近年来，由于其强大的学习能力，卷积神经网络技术受到了图像处理领域的广泛重视。本发明基于卷积神经网络来设计高性能的高光谱图像全色锐化方法。考虑到高光谱图像的光谱波段覆盖范围广，且相邻波段间相似度高，使得全色图像难以精确地修复每个波段的空间细节信息，因此本发明提出一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。通过将高光谱图像所缺失的细节信息逐层分解，使得每层网络的学习更具有针对性，最后将不同层次的细节信息综合在一起，得到高空间分辨率的高光谱图像，这样不仅能使其光谱特性不受破坏，而且使得整个网络能够合理地分配资源去学习高光谱图像所缺失的空间细节信息，大大降低了网络的训练耗时。

技术实现要素：

本发明是为了增强卷积神经网络应用于高光谱图像全色锐化时的空间信息修复能力和光谱信息保护能力，提供了一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。

本发明的目的至少通过如下技术方案之一实现：

一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，包括以下步骤：

步骤1：读取原始高光谱图像数据合成全色图像数据其中l和w分别表示高光谱图像的长和宽，b表示波段数；表示全体实数集合；

步骤2：选取高光谱图像数据训练区域，将高光谱图像数据训练区域及其对应的全色图像数据区域作为训练样本对，进行预处理后，对训练样本对进行分块采样，得到多个训练样本块；

步骤3：构建基于细节内嵌注入的卷积神经网络；

步骤4：利用零均值的高斯分布随机初始化各卷积核的权重矩阵w和偏置矩阵b；

步骤5：选用欧式距离损失函数对卷积神经网络进行训练，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；

步骤6：采用随机梯度下降算法对权重和偏置进行迭代更新优化，当训练误差维持在可接受范围内时，此时的各卷积核的权重矩阵和偏置矩阵为最优解，即得到基于细节内嵌注入的最优卷积神经网络；

步骤7：选取原始高光谱图像数据测试区域及与其相应的全色图像数据区域作为测试样本；

步骤8：将步骤7的测试样本对直接输入到步骤6得到的基于细节内嵌注入的最优卷积神经网络，即可得到高空间分辨率的高光谱图像。

进一步地，步骤1中，对获取的高光谱图像数据中可见光谱范围内的波段进行等权求和，得到相应的全色图像

进一步地，步骤2具体包括以下步骤：

步骤2.1预处理：选取原始高光谱图像数据的部分区域作为训练区域，利用高斯滤波器对其进行平滑处理，再进行s倍的下采样，得到低分辨率地高光谱图像训练样本其中满足表达式：l＝sl，w＝sw，接着对进行s倍的上采样，得到是指对低分辨率的高光谱图像数据训练区域进行上采样后得到的图像；

步骤2.2分块采样：以设定个数像素点为间隔，分别对训练样本对和进行采样，把它们分别分成多个具有少量像素点的样本块和i是样本块的序号；表示第i个高光谱图像数据样本块；同理，表示第i个全色图像数据样本块。

进一步地，步骤3中，所述基于细节内嵌注入的卷积神经网络包括以下结构：

光谱推断层conv1，输入高光谱训练数据将其与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图可表示为：

其中y1⁽ⁱ⁾表示光谱推断层conv1输出的特征图，w1和b1分别表示conv1的权重矩阵和偏置矩阵，表示线性整流函数；

光谱推断层conv2，输入光谱推断层conv1的输出，与32个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图y2⁽ⁱ⁾，本层与conv1协同作用，用于对高光谱图像的波段有效成分进行推断处理，剔除冗余的光谱波段；具体表示为：

w2和b2分别表示conv2的权重矩阵和偏置矩阵；

空间推断层conv3，输入全色训练数据与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到16个特征图y3⁽ⁱ⁾；具体表示为：

w3和b3分别表示conv3的权重矩阵和偏置矩阵；

空间推断层conv4，输入空间推断层conv3的输出，与32个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图y4⁽ⁱ⁾，本层与conv3协同作用，用于将全色图像转换为特征图的形式，能够有效地提取其空间信息；具体表示为：

w4和b4分别表示conv4的权重矩阵和偏置矩阵；

拼接层concat，输入y2⁽ⁱ⁾和y4⁽ⁱ⁾，将两者在光谱维度进行拼接，输出具有64个波段的数据；

细节学习层conv5，输入拼接层concat的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图y5⁽ⁱ⁾；具体表示为：

其中，[,]表示拼接，w5和b5分别表示conv5的权重矩阵和偏置矩阵；

细节学习层conv6，输入细节学习层conv5的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图y6⁽ⁱ⁾；具体表示为：

w6和b6分别表示conv6的权重矩阵和偏置矩阵；

底层细节注入层conv7，输入细节学习层conv6的输出，与32个空间大小为3×3的卷积核进行卷积运算，并与y2⁽ⁱ⁾进行逐像素点相加，输出32个特征图y7⁽ⁱ⁾；具体表示为：

w7和b7分别表示conv7的权重矩阵和偏置矩阵；

中层细节注入层conv8，输入底层细节注入层conv7的输出，与64个空间大小为1×1的卷积核进行卷积运算，并与y1⁽ⁱ⁾进行逐像素点相加，输出64个特征图y8⁽ⁱ⁾；具体表示为：

w8和b8分别表示conv8的权重矩阵和偏置矩阵；

顶层细节注入层conv9，输入中层细节注入层conv8的输出，与b个空间大小为1×1的卷积核进行卷积运算，并与进行逐像素点相加，输出b个特征图y9⁽ⁱ⁾；具体表示为：

w9和b9分别表示conv9的权重矩阵和偏置矩阵。

进一步地，步骤4中，所述权重矩阵w包括w1、w2、w3、w4、w5、w6、w7、w8、w9；所述偏置矩阵b包括b1、b2、b3、b4、b5、b6、b7、b8、b9。

进一步地，步骤5中，细节内嵌注入的卷积神经网络训练时所选用的欧式距离损失函数表达式为：

其中θ表示卷积神经网络需要优化的参数集合，np表示训练样本的总量，‖·‖f表示矩阵的f-范数。

本发明的主要有益效果主要体现在：

(1)本发明提出的网络结构先对高光谱图像和全色图像分别进行光谱推断和空间推断，利用自学习得到的卷积核模板对高光谱图像的光谱信息进行压缩，剔除冗余的波段；同时，利用自学习得到的卷积核模板对全色图像进行处理，提取其内含的空间信息，转换成特征图的形式，有利于后续的细节学习；

(2)本发明将低分辨率高光谱图像所缺失的细节信息进行分解，让卷积神经网络的不同部分负责学习其不同层次的细节，最后将它们综合在一起，构成完整的细节信息。相对于直接让网络学习完整的细节信息，本发明的结构能够让网络合理地分配资源，大大缓解了顶层细节学习的压力，同时也降低了网络训练的耗时。

附图说明：

图1为本发明实施例中基于细节内嵌注入的卷积神经网络的高光谱图像锐化方法的流程图。

图2为本发明实施例中基于细节内嵌注入的卷积神经网络的结构图。

图3a为arivis高光谱参照图，图3b为采用双三次插值处理后的图像，图3c为采用矩阵分解算法处理后的图像，图3d为采用贝叶斯算法处理后的图像，图3e为采用本实施例所述方法处理后的图像。

图4为本发明实施例中的灰度差值统计直方图。

具体实施方式

下面结合实施例及附图对本发明的具体实施作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，如图1所示，包括以下步骤：

步骤1：读取原始高光谱图像数据合成全色图像数据其中l和w分别表示高光谱图像的长和宽，b表示波段数；表示全体实数集合；

对获取的高光谱图像数据中可见光谱范围内的波段进行等权求和，得到相应的全色图像

步骤2：选取高光谱图像数据训练区域，将高光谱图像数据训练区域及其对应的全色图像数据区域作为训练样本对，进行预处理后，对训练样本对进行分块采样，得到多个训练样本块；具体包括以下步骤：

步骤2.1预处理：选取原始高光谱图像数据的部分区域作为训练区域，利用高斯滤波器对其进行平滑处理，再进行s倍的下采样，得到低分辨率地高光谱图像训练样本其中满足表达式：l＝sl，w＝sw，接着对进行s倍的上采样，得到是指对低分辨率的高光谱图像数据训练区域进行上采样后得到的图像；

步骤2.2分块采样：本实施例中，以5个像素点为间隔，分别对训练样本对和进行采样，把它们分别分成多个具有少量像素点的样本块和i是样本块的序号；表示第i个高光谱图像数据样本块；同理，表示第i个全色图像数据样本块。

步骤3：构建基于细节内嵌注入的卷积神经网络；所述基于细节内嵌注入的卷积神经网络包括以下结构：

光谱推断层conv1，输入高光谱训练数据将其与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图y1⁽ⁱ⁾；可表示为：

其中y1⁽ⁱ⁾表示光谱推断层conv1输出的特征图，w1和b1分别表示conv1的权重矩阵和偏置矩阵，表示线性整流函数；

光谱推断层conv2，输入光谱推断层conv1的输出，与32个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图y2⁽ⁱ⁾，本层与conv1协同作用，用于对高光谱图像的波段有效成分进行推断处理，剔除冗余的光谱波段；具体表示为：

w2和b2分别表示conv2的权重矩阵和偏置矩阵；

空间推断层conv3，输入全色训练数据与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到16个特征图y3⁽ⁱ⁾；具体表示为：

w3和b3分别表示conv3的权重矩阵和偏置矩阵；

空间推断层conv4，输入空间推断层conv3的输出，与32个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图y4⁽ⁱ⁾，本层与conv3协同作用，用于将全色图像转换为特征图的形式，能够有效地提取其空间信息；具体表示为：

w4和b4分别表示conv4的权重矩阵和偏置矩阵；

拼接层concat，输入y2⁽ⁱ⁾和y4⁽ⁱ⁾，将两者在光谱维度进行拼接，输出具有64个波段的数据；

细节学习层conv5，输入拼接层concat的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图y5⁽ⁱ⁾；具体表示为：

其中，[,]表示拼接，w5和b5分别表示conv5的权重矩阵和偏置矩阵；

细节学习层conv6，输入细节学习层conv5的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图y6⁽ⁱ⁾；具体表示为：

w6和b6分别表示conv6的权重矩阵和偏置矩阵；

底层细节注入层conv7，输入细节学习层conv6的输出，与32个空间大小为3×3的卷积核进行卷积运算，并与y2⁽ⁱ⁾进行逐像素点相加，输出32个特征图y7⁽ⁱ⁾；具体表示为：

w7和b7分别表示conv7的权重矩阵和偏置矩阵；

中层细节注入层conv8，输入底层细节注入层conv7的输出，与64个空间大小为1×1的卷积核进行卷积运算，并与y1⁽ⁱ⁾进行逐像素点相加，输出64个特征图y8⁽ⁱ⁾；具体表示为：

w8和b8分别表示conv8的权重矩阵和偏置矩阵；

顶层细节注入层conv9，输入中层细节注入层conv8的输出，与b个空间大小为1×1的卷积核进行卷积运算，并与进行逐像素点相加，输出b个特征图y9⁽ⁱ⁾；具体表示为：

w9和b9分别表示conv9的权重矩阵和偏置矩阵。

步骤4：利用零均值的高斯分布随机初始化各卷积核的权重矩阵w和偏置矩阵b；

所述权重矩阵w包括w1、w2、w3、w4、w5、w6、w7、w8、w9；所述偏置矩阵b包括b1、b2、b3、b4、b5、b6、b7、b8、b9。

步骤5：选用欧式距离损失函数对卷积神经网络进行训练，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；

细节内嵌注入的卷积神经网络训练时所选用的欧式距离损失函数表达式为：

其中θ表示卷积神经网络需要优化的参数集合，np表示训练样本的总量，‖·‖f表示矩阵的f-范数。

步骤6：采用随机梯度下降算法对权重和偏置进行迭代更新优化，当训练误差维持在可接受范围内时，此时的各卷积核的权重矩阵和偏置矩阵为最优解，即得到基于细节内嵌注入的最优卷积神经网络。

步骤7：选取原始高光谱图像数据测试区域及与其相应的全色图像数据区域作为测试样本。

步骤8：将步骤7的测试样本对直接输入到步骤6得到的基于细节内嵌注入的最优卷积神经网络，即可得到高空间分辨率的高光谱图像。

本实施例中，采用来自aviris成像光谱仪航拍得到的高光谱图像数据。这幅图像最初由224个波段组成，在去除低质量的噪声波段之后，取其中的176个波段作为测试样本。全色图像和高光谱图像空间分辨率之比为5:1，全色图像的尺寸为395*185，高光谱图像的尺寸为79*37。

图3a为aviris高光谱参照图，图3b为采用双三次插值处理后的图像，3c为采用矩阵分解算法处理后的图像，图3d为采用贝叶斯算法处理后的图像，图3e为采用本实施例所述方法处理后的图像。从图中可以看出：利用双三次插值得到的锐化结果与参考图相比较，空间细节修复程度较差，存在明显的模糊现象；基于矩阵分解和贝叶斯算法所得到的锐化结果相对较好，但仍存在光谱失真现象，即灰度值的不同；而本实施例所提出的算法得到的结果更加接近于参考图，空间细节修复程度较好，说明本实施例具有相较于现有算法，具有更佳的锐化效果。

为了更进一步对比图3b、图3c、图3d、图3e与图(a)的差异，分别将各图与图3a作差，即两幅图进行逐个像素点相减，得到两幅图的在各个像素点的差异。再将所有的差异值求和，得到图4的统计直方图。从图中可以看出，本实施例所得到的图像与参考图的差异值最小，即本发明具有更好的锐化效果。