一种基于深度可分离CNN模型的遥感图像融合方法

本发明属于遥感图像处理技术领域，具体涉及一种基于深度可分离cnn模型的遥感图像融合方法。

背景技术：

遥感数据在各行业需求巨大。但由于多种原因，如场景的复杂性、输入数据集的时间和光谱变换、不同的空间数据标准、特定的数据以及特定的空间对象分类和分类体系等，遥感数据在精度和形式上存在很多差异。如今，在地球以外的各种观测平台上，已经有许多具有不同功能的遥感卫星。这些卫星可以提供不同的空间、时间和光谱图像，即遥感图像。由于卫星传感器的局限性，遥感卫星不能同时获得高光谱图像和高空间分辨率图像，只能分别获得高光谱的多光谱图像和高空间分辨率的全色图像。但是在实际应用中，既需要高光谱分辨率的图像，又需要高空间分辨率的图像，这使得图像融合具有重要的应用价值。

地理信息数据具有不同分辨率、不同精度、不同覆盖范围等多尺度特征，数字电网中的地理信息数据主要包括遥感影像数据、航飞数据、数字高程模型等数据，在实际应用中往往需要同时具备高光谱分辨率和高空间分辨率两种信息的图像。目前传统的融合算法还存在着融合精度不高，速度较慢的问题，导致融合效果不是很理想。

所以，需要一个新的技术方案来解决这个问题。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，提供一种基于深度可分离cnn模型的遥感图像融合方法，以解决目前传统的融合算法还存在着多光谱和全色图像融合精度不高，速度较慢的问题。

技术方案：为实现上述目的，本发明提供一种基于深度可分离cnn模型的遥感图像融合方法，包括如下步骤：

s1：通过预处理后的原始彩色图像，构建融合模型训练集图像；

s2：根据融合模型训练集图像，训练深度可分离cnn模型；

s3：获取全色图像和多光谱图像，通过预处理将全色图像转换成prepan图像，将多光谱图像上采样至prepan图像大小；

s4：将prepan图像和上采样至prepan图像大小的多光谱图像送入训练好的深度可分离cnn模型；

s5：通过深度可分离cnn模型获取到全色图像和多光谱图像的融合图像。

进一步地，所述步骤s1中融合模型训练集图像的构建方法为：

a1：对获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；

a2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在hls空间的l分量作为训练集prepan图像。

进一步地，所述步骤a1具体为：

b1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：

f(i+u,j+v)＝abc

其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；s(x)为插值核；

b2：根据以下公式，对步骤b1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：

f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)

其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。

进一步地，所述步骤a2具体为：

根据以下公式，计算原始彩色图像在hls空间的l分量作为训练集prepan图像：

其中，max(r,g,b)为原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最大值，min(r,g,b)为原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最小值。

进一步地，所述步骤s2中深度可分离cnn模型的训练方法为：

c1：搭建深度可分离cnn模型；

c2：将步骤a1获得的多光谱图像和步骤a2获得的prepan图像送入步骤c1搭建的深度可分离cnn模型，并进行模型训练。

进一步地，所述步骤c1中深度可分离cnn模型的搭建方法为：

假设f(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为p(i,j)和m(i,j)，为了计算f(i,j)，考虑p(i,j)和m(i,j)的临近像素，计算待融合像素np(i,j)和nm(i,j)，再通过np(i,j)和nm(i,j)来计算融合像素f(i,j)；

将全色图像和多光谱图像分别进行深度可分离卷积运算，得到np和nm，然后利用1*1大小的卷积核来对np和nm卷积得到融合图像f，在卷积后进行非线性运算，最终的卷积运算定义为：

其中x为卷积输入，w为卷积核，relu为非线性激活函数：

relu(x)＝max{0，x}

ms¹中的待融合像素是在原始多光谱图像中每个像素考虑其邻近n*n个窗口中的像素卷积计算而来，ms²至ms⁵则是分别在前一次卷积的结果上再进行一次n*n卷积；随着层数的增加，生成图像中的待融合像素对应于原始图像中的像素区域越大；pan¹至pan⁵同理，计算如下：

其中pan^o＝pan，ms^o＝ms，w为卷积核，o为卷积运算；

panms¹至panms⁵以及fusion是在原始ms图像和pan图像融合像素的基础上，在不同大小相邻区域的影响下，进行卷积运算的结果，每一级融合都会考虑到上一级融合的结果，可视为一种特殊的多尺度融合，最终的融合图像fusion则是在不同尺度下融合图像整合的结果；panms^k和fusion的计算分别为：

其中，pan^o＝pan，ms^o＝ms，panms^o为空，[]运算是特征map通道方向的拼接，o运算是卷积运算。

进一步地，所述步骤s3中prepan图像的获取过程为：

d1：根据以下公式，计算获取的多光谱图像在hls空间的l分量作为lms图像：

其中，max(r,g,b)为原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最大值，min(r,g,b)为所述数据集中原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最小值；

d2：根据以下公式，将全色图像和步骤d1获取的lms图像先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带：

其中，和pan⁰分别是lms和pan的低频子带，(1<i<n)和panⁱ(1<i<n)分别代表是lms和pan的第i个高频子带，nsct是非下采样轮廓波变换，利用非下采样金字塔分解和非下采样方向滤波器组，可以在不同尺度下得到图像多个方向上的轮廓信息；对于非下采样金字塔分解，经过三级分解可以得到三个高频带通和一个低频带通，并且低频带通包含了图像的光谱信息；

d3：将全色图像进行nsct分解后的低频子带pan⁰替换为lms分解后的低频子带

d4：根据以下公式，使用nsct逆变换来重构lfusion，lfusion也就是融合模型中的prepan：

其中，insct为nsct逆变换。

进一步地，所述步骤s3中将多光谱图像上采样至prepan图像大小的方法为：

根据以下公式，将获取的多光谱图像上采样至获取的prepan图像大小：

f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)

其中，f(i+u,j+v)为获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值，点(i,j)是第i行和第j列的像素点。

本发明提供一种基于深度可分离cnn模型的遥感图像融合方法。首先在数据集中获取原始彩色图像，对原始彩色图像进行预处理，构建融合模型训练集图像；然后，搭建深度可分离卷积cnn模型，利用融合模型训练集图像训练深度可分离卷积cnn模型。最后，对全色图像和多光谱图像进行处理，并送入深度可分离卷积cnn模型，得到同时具备高光谱分辨率和高空间分辨率两种信息的融合图像。

本发明的设计原理可细分为如下四点：

(1)提供了一种图像预处理的方法，从数据集中获得原始彩色图像，对原始彩色图像进行预处理，构建融合模型训练集图像。

(2)提供了一种基于深度可分离cnn模型，使用深度可分离卷积并加深卷积层数，使得融合结果更准确，速度更快。

(3)提供了一种图像预处理的方法，通过预处理将全色图像转换成prepan图。

(4)提供了一种图像融合方法，使用深度可分离cnn融合遥感图像中的多光谱与全色图像，提升了图像融合精度，加快了融合速度。

有益效果：本发明与现有技术相比，将深度可分离cnn模型应用于全色图像和多光谱图像的融合，在提高融合图像的精度的同时，也加快了融合速度，解决了目前传统的融合算法还存在着多光谱和全色图像融合精度不高，速度较慢的问题，能够得到同时具备高光谱分辨率和高空间分辨率两种信息的融合图像，提高了融合质量，提升了融合效果，对遥感图像的应用具有极大的意义。

附图说明

图1是本发明方法的工作流程示意图；

图2是本发明实施例提供的一种downsampledimagenet数据集提供训练集原始彩色图像；

图3是本发明实施例提供的一种数据集中获得原始彩色图像进行下采样和上采样后得到的训练集多光谱图像；

图4是本发明实施例提供的一种数据集中获得原始彩色图像在hls空间的l分量作为训练集prepan图像；

图5是本发明实施例提供的一种获取全色图像转换成的prepan图像；

图6是本发明实施例提供的一种获取多光谱图像并上采样至prepan图像大小；

图7是本发明实施例提供的一种将prepan图像和上采样至prepan图像大小的多光谱图像经深度可分离cnn模型融合后图像。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种基于深度可分离cnn模型的遥感图像融合方法，本实施例中将该方案应用于全色图像和多光谱图像的融合，由downsampledimagenet数据集提供训练集原始彩色图像，由地理空间数据云数据库提供全色图像和多光谱图像。通过上位机软件对含菌落的培养皿的彩色图像进行图像处理，利用液晶显示屏进行处理结果显示，上位机的主频为2.8hz，内存为8g。

参照图1，包括如下步骤：

s1：从downsampledimagenet数据集中获得原始彩色图像，对原始彩色图像进行预处理，构建融合模型训练集图像；

s2：根据融合模型训练集图像，训练深度可分离cnn模型；

s3：获取全色图像和多光谱图像，通过预处理将全色图像转换成prepan图像，将多光谱图像上采样至prepan图像大小；

s4：将prepan图像和上采样至prepan图像大小的多光谱图像送入训练好的深度可分离cnn模型；

s5：通过深度可分离cnn模型获取到全色图像和多光谱图像的融合图像，显示并保存该融合图像。

本实施例中步骤s1具体为：

a1：对数据集中获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；

这里原始彩色图像如图2所示，获取的训练集多光谱图像如图3所示。

a2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在hls空间的l分量作为训练集prepan图像，具体如图4所示。

本实施例中步骤a1具体为：

b1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：

f(i+u，j+v)＝abc

其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；s(x)为插值核；

b2：根据以下公式，对步骤b1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：

f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)

其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。

步骤a2具体为：

根据以下公式，计算原始彩色图像在hls空间的l分量作为训练集prepan图像：

其中，max(r,g,b)为原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最大值，min(r,g,b)为原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最小值。

本实施例步骤s2中深度可分离cnn模型的训练方法为：

c1：搭建深度可分离cnn模型；

c2：将步骤a1获得的多光谱图像和步骤a2获得的prepan图像送入步骤c1搭建的深度可分离cnn模型，并进行模型训练。

步骤c1中深度可分离cnn模型的搭建方法为：

假设f(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为p(i,j)和m(i,j)，为了计算f(i,j)，考虑p(i,j)和m(i,j)的临近像素，计算待融合像素np(i,j)和nm(i,j)，再通过np(i,j)和nm(i,j)来计算融合像素f(i,j)；

将全色图像和多光谱图像分别进行深度可分离卷积运算，得到np和nm，然后利用1*1大小的卷积核来对np和nm卷积得到融合图像f，在卷积后进行非线性运算，最终的卷积运算定义为：

其中x为卷积输入，w为卷积核，relu为非线性激活函数：

relu(x)＝max{0，x}

ms¹中的待融合像素是在原始多光谱图像中每个像素考虑其邻近n*n个窗口中的像素卷积计算而来，ms²至ms⁵则是分别在前一次卷积的结果上再进行一次n*n卷积；随着层数的增加，生成图像中的待融合像素对应于原始图像中的像素区域越大；pan¹至pan⁵同理，计算如下：

其中pano＝pan，mso＝ms，w为卷积核，o为卷积运算；

panms¹至panms⁵以及fusion是在原始ms图像和pan图像融合像素的基础上，在不同大小相邻区域的影响下，进行卷积运算的结果，每一级融合都会考虑到上一级融合的结果，可视为一种特殊的多尺度融合，最终的融合图像fusion则是在不同尺度下融合图像整合的结果；panms^k和fusion的计算分别为：

其中，pan^o＝pan，ms^o＝ms，panms^o为空，[]运算是特征map通道方向的拼接，o运算是卷积运算。

本实施例的步骤s3中prepan图像的获取过程为：

d1：根据以下公式，计算获取的多光谱图像在hls空间的l分量作为lms图像：

其中，max(r,g,b)为原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最大值，min(r,g,b)为数据集中原始彩色图像在红(r)、绿(g)、蓝(b)三个颜色通道中的最小值；

d2：根据以下公式，将全色图像和步骤d1获取的lms图像先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带：

其中，和pan⁰分别是lms和pan的低频子带，(1<i<n)和panⁱ(1<i<n)分别代表是lms和pan的第i个高频子带，nsct是非下采样轮廓波变换，利用非下采样金字塔分解和非下采样方向滤波器组，可以在不同尺度下得到图像多个方向上的轮廓信息；对于非下采样金字塔分解，经过三级分解可以得到三个高频带通和一个低频带通，并且低频带通包含了图像的光谱信息；

d3：将全色图像进行nsct分解后的低频子带pan⁰替换为lms分解后的低频子带

d4：根据以下公式，使用nsct逆变换来重构lfusion，lfusion也就是融合模型中的prepan：

其中，insct为nsct逆变换。

获取到如图5所示的prepan图像。

本实施例的步骤s3中将多光谱图像上采样至prepan图像大小的方法为：

根据以下公式，将获取的多光谱图像上采样至获取的prepan图像大小：

f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)

其中，f(i+u,j+v)为获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值，点(i,j)是第i行和第j列的像素点。

图6为本实施例中上采样至prepan图像大小的多光谱图像。

本实施例中最终经过步骤s5获取到如图7所示的将prepan图像和上采样至prepan图像大小的多光谱图像经深度可分离cnn模型融合后图像。

本实施例还提供一种基于深度可分离cnn模型的遥感图像融合系统，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，实现信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行所述计算机程序指令时，执行本发明方法的步骤。

本实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时可实现以上所描述的方法。所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如cd、dvd或蓝光光盘)等。计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(bios)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。