一种遥感图像去雾方法及系统与流程

本申请涉及遥感图像去雾领域，特别涉及一种遥感图像去雾方法、系统、电子设备及计算机可读存储介质。

背景技术：

随着高分辨率光学卫星的高速发展，遥感影像分辨率显著提升，高分辨率的影像数据急剧增加。基于对地观测卫星的高分辨率光学遥感影像数据被应用于以军事安全和民用服务为主的不同研究领域中。然而，遥感图像获取时，由于不同的拍摄地点、拍摄时间下天气状况不同，影像质量易受云、雾以及霾等因素的影响，且遥感图像中不同区域具有不同的云雾厚度，图像中被厚的云雾遮挡的影像极少反射地物信息，对之后的针对地物信息进行处理中无法使用，应该将该部分予以剔除，而薄雾只是在一定程度上造成影像质量不均匀和遥感图像中目标细节模糊，故通常只针对图像中有薄雾的图像区域进行去雾。

遥感图像去除薄雾的算法基础是一个名为大气散射的物理模型，传统的去除薄雾痕迹技术的时效性很难适应海量的高分辨率遥感影像数据，其所依赖的特征表达均为人工设计，非常耗时且强烈依赖于专业知识和数据本身特征，也就是说相关技术难以保留更多更清晰的地物信息。

因此，如何对遥感图像进行去雾，进而保留更多更清晰的地物信息是本领域技术人员亟需解决的技术问题。

技术实现要素：

本申请的目的是提供一种遥感图像去雾方法、系统、电子设备及计算机可读存储介质，能够对遥感图像进行去雾，进而保留更多更清晰的地物信息。

为解决上述技术问题，本申请提供一种遥感图像去雾方法，包括：

利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像；

将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像；

将各个所述目标部分遥感图像与所述遥感图像进行拼接，得到去雾后的遥感图像。

可选的，所述利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像，包括：

将所述遥感图像依次经过卷积层、区域候选网络层处理，得到所述遥感图像对应的特征图；

将所述特征图经过roialign层处理，得到预设尺寸特征图；

将所述预设尺寸特征图经过全连接层处理，确定所述云雾区域；

对所述云雾区域进行分割，得到所述部分遥感图像。

可选的，所述将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像，包括：

利用所述dcpdn模型中的金字塔密集连接的编码器-解码器对所述部分遥感图像进行处理，得到对应的透视图；

利用所述dcpdn模型中的u-net网络对所述部分遥感图像进行处理，得到对应的大气光图；

将所述透视图、所述大气光图输入大气光模型中进行去雾处理，得到去雾图像。

可选的，所述得到去雾图像之后，还包括：

利用预设的判别器确定所述去雾图像、所述透视图的真伪。

本申请还提供一种遥感图像去雾系统，包括：

部分遥感图像获取模块，用于利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像；

目标部分遥感图像获取模块，用于将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像；

拼接模块，用于将各个所述目标部分遥感图像与所述遥感图像进行拼接，得到去雾后的遥感图像。

可选的，所述部分遥感图像获取模块，包括：

特征图获取单元，用于将所述遥感图像依次经过卷积层、区域候选网络层处理，得到所述遥感图像对应的特征图；

预设尺寸特征图获取单元，用于将所述特征图经过roialign层处理，得到预设尺寸特征图；

云雾区域确定单元，用于将所述预设尺寸特征图经过全连接层处理，确定所述云雾区域；

部分遥感图像获取单元，用于对所述云雾区域进行分割，得到所述部分遥感图像。

可选的，所述目标部分遥感图像获取模块，包括：

透视图获取单元，用于利用所述dcpdn模型中的金字塔密集连接的编码器-解码器对所述部分遥感图像进行处理，得到对应的透视图；

大气光图获取单元，用于利用所述dcpdn模型中的u-net网络对所述部分遥感图像进行处理，得到对应的大气光图；

去雾图像获取单元，用于将所述透视图、所述大气光图输入大气光模型中进行去雾处理，得到去雾图像。

可选的，该遥感图像去雾系统还包括：

真伪判断模块，用于利用预设的判别器确定所述去雾图像、所述透视图的真伪。

本申请还提供一种电子设备，包括：

存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的遥感图像去雾方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的遥感图像去雾方法的步骤。

本申请所提供的一种遥感图像去雾方法，包括：利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像；将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像；将各个所述目标部分遥感图像与所述遥感图像进行拼接，得到去雾后的遥感图像。

该方法利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，然后对各个不同云雾厚度的不同区域分别做去雾处理，能够对遥感图像进行去雾，进而保留更多更清晰的地物信息。本申请还提供一种遥感图像去雾系统、电子设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种遥感图像去雾方法的流程图；

图2为本申请实施例所提供的一种maskr-cnn网络结构图；

图3为本申请实施例所提供的一种dcpdn网络结构图；

图4为本申请实施例所提供的一种遥感图像去雾系统的结构框图。

具体实施方式

本申请的核心是提供一种遥感图像去雾方法，能够对遥感图像进行去雾，进而保留更多更清晰的地物信息。本申请的另一核心是提供一种遥感图像去雾系统、电子设备及计算机可读存储介质。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着高分辨率光学卫星的高速发展，遥感影像分辨率显著提升，高分辨率的影像数据急剧增加。基于对地观测卫星的高分辨率光学遥感影像数据被应用于以军事安全和民用服务为主的不同研究领域中。然而，遥感图像获取时，由于不同的拍摄地点、拍摄时间下天气状况不同，影像质量易受云、雾以及霾等因素的影响，且遥感图像中不同区域具有不同的云雾厚度，图像中被厚的云雾遮挡的影像极少反射地物信息，对之后的针对地物信息进行处理中无法使用，应该将该部分予以剔除，而薄雾只是在一定程度上造成影像质量不均匀和遥感图像中目标细节模糊，故通常只针对图像中有薄雾的图像区域进行去雾。

遥感图像去除薄雾的算法基础是一个名为大气散射的物理模型，传统的去除薄雾痕迹技术的时效性很难适应海量的高分辨率遥感影像数据，其所依赖的特征表达均为人工设计，非常耗时且强烈依赖于专业知识和数据本身特征，也就是说相关技术难以保留更多更清晰的地物信息。本申请提供的一种遥感图像去雾方法，能够对遥感图像进行去雾，进而保留更多更清晰的地物信息。具体请参考图1，图1为本申请实施例所提供的一种遥感图像去雾方法的流程图，该遥感图像去雾方法具体包括：

s101、利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像；

在一种实施例中，上述利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像，包括：将遥感图像依次经过卷积层、区域候选网络层处理，得到遥感图像对应的特征图；将特征图经过roialign层处理，得到预设尺寸特征图；将预设尺寸特征图经过全连接层处理，确定云雾区域；对云雾区域进行分割，得到部分遥感图像。具体地，在maskr-cnn中，首先因为内存承受不了大尺寸遥感图像且不同的遥感图像的尺寸也不相同，为了不给模型的计算和存储带来较大的开销且增强本算法的鲁棒性，本算法对大尺寸的遥感图像做随机切割，即随机生成x,y坐标，然后抠出该坐标下256*256的小图，在切割时留下padding，使将处理完的小图拼接起来时，避免出现拼接痕迹明显的问题。将小图分别送入maskr-cnn的卷积神经网络部分(cnn)进行特征提取，接着用特征金字塔网络(fpn)生成建议窗口(proposals)，每张图片上生成n个建议窗口，之后把建议窗口映射到cnn的最后一层卷积的特征图(featuremap)上，通过roialign层使每个roi生成固定尺寸的featuremap，最后利用全连接分类，框出小图中具有云雾信息的区域，用训练时输出的mask预测特征图进行回归，并且在像素层面将具有不同云雾信息的区域分割出来，maskr-cnn网络结构如图2所示，图2为本申请实施例所提供的一种maskr-cnn网络结构图，由图2可知，先是输入图像，依次经过卷积层、区域候选网络层处理，得到遥感图像对应的特征图，将特征图经过roialign层处理，得到预设尺寸的特征图，将预设尺寸的特征图经过全连接层处理，最后输出图像。

s102、将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像；

在一种实施例中，上述将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像，包括：利用dcpdn模型中的金字塔密集连接的编码器-解码器对部分遥感图像进行处理，得到对应的透视图；利用dcpdn模型中的u-net网络对部分遥感图像进行处理，得到对应的大气光图；将透视图、大气光图输入大气光模型中进行去雾处理，得到去雾图像。进一步地，得到去雾图像之后，还包括：利用预设的判别器确定去雾图像、透视图的真伪。

具体地，dcpdn模型是遵循大气散射模型来进行去雾的，这个模型是一种物理驱动模型，它认为有雾图像的形成是被雾削弱的物体反射的光线和被雾反射的大气光进去摄像机共同组成的，我们把雾的削弱和放射性能用t(x)表示，它与物体到摄像机的景深有关，对于景深d(x)和雾带来的散射系数β有如下式所示：

t(x)＝e^-βd(x)(1)

所以如果有物体的景深，就可以用随机的散射系数β和大气光α来从清晰图片j(x)中模拟带雾图片i(x)，该模型如下式所示：

i(x)＝j(x)t(x)+α(1-t(x))(2)

利用大气散射模型去雾的模型应计算出成雾的透射图t(x)以及大气光参数α。

dcpdn去雾模型可以共同学习透射图、大气光图以及去雾，实现端到端的学习。将上述遥感小图中利用maskr-cnn分割出带有薄雾信息的遥感图像部分送入dcpdn模型中进行去雾。首先利用具有多级金字塔池化模块且边缘保持密集连接的编码器-解码器结构来估计透射图t(x)的同时，利用u-net结构来估计出大气光参数α，并且将该值作为一个像素点的值平铺成二维图像，即同质大气光图a，方便之后利用大气光模型的去雾操作。接着将得到的透射图t(x)以及大气光图a送入大气光模型中进行去雾，最后将估计的透射图t(x)与生成的去雾图像之间的相互结构信息结合起来，用一种基于生成对抗网络框架的联合鉴别器，以确定相应的去雾图像和估计的透射图t(x)的真假，通过在透射图t(x)和去雾图像层面上进行对比实验评估，证明了去雾图像的真实性以及dcpdn各个模块的有效性。

dcpdn网络结构如图3所示，图3为本申请实施例所提供的一种dcpdn网络结构图，由图3可知，利用金字塔密集连接的编码器-解码器对薄雾图像进行处理，得到对应的透视图；利用u-net网络对薄雾图像进行处理，得到对应的大气光图；将透视图、大气光图输入大气光模型(即)中进行去雾处理，得到去雾图像。最后将透射图与去雾图像之间的相互结构信息结合起来，利用预设的判别器确定去雾图像、透视图的真伪。

s103、将各个目标部分遥感图像与遥感图像进行拼接，得到去雾后的遥感图像。

具体地，本算法首先利用对之前的大尺寸遥感图像做padding0操作得到的一张遥感大图，生成一个与该大图一样大的全0图b，且将每一张遥感小图做padding0操作得到的一张遥感小图，生成一个与该小图一样大的全0图c，将去过雾的遥感图像部分放在图c的相应位置拼接起来。当每一张小图都处理完毕后，将处理完的小图放在图b的相应位置上，且对中间重合的像素取平均值，依次进行，最终得到分割出带有云雾信息区域的遥感大图。

针对上述遥感图像去雾方法，下面以一种优选实施例进行说明：首先将整幅遥感图像送入maskr-cnn进行云雾目标检测；然后将具有薄雾的遥感图像部分送入dcpdn中进行去雾；最后去除具有云的遥感图像部分，将去过雾的遥感图像部分与原图拼接起来，得到清晰的整幅遥感图像。其中，利用maskr-cnn对整幅遥感图像的云雾区域进行检测，框出该区域并且标记出该区域是云还是雾；利用dcpdn中的金字塔密集连接的编码器-解码器网络结构对具有薄雾的遥感图像部分估计出该图像部分对应的透射图；利用dcpdn中的u-net网络结构对具有薄雾的遥感图像部分估计出对应的大气光数值，并且使其变成每个像素点都为该值的二维图；利用直接嵌入网络的大气散射模型接收之前的网络层传输过来的透射图以及大气光图得到去雾后的遥感图像部分；将整幅遥感图像中标签为云的标记框处的图像像素值归零，将去雾过后的遥感图像部分与原图进行拼接。

maskr-cnn在目标检测、分类领域取得了很好的效果，在目标检测、分类的基础上还加上了像素级目标分割的功能，本算法利用maskr-cnn对大幅的遥感图像进行云雾区域的检测及分割，最终对分割出来的带有云雾信息的遥感图像区域进行去雾处理。卷积神经网络技术在图像的深层次的特征提取方面有着传统方法无可比拟的先天优势，随着深度学习的理论和技术不断发展，遥感图像去除薄雾的相关算法得到了飞速发展，本算法采用最近在去雾领域取得很好效果的dcpdn模型，这是一种端对端的去雾方法，可以将利用大气散射模型去雾需要的透射图、大气光图还有去雾过程共同学习，并且将大气散射模型直接嵌入网络中来实现端对端的学习，具有更好是实时性。遥感图像去雾的一个关键点是如何应对具有不同云雾厚度的不同区域做出最优的处理方案。首先利用maskr-cnn算法将遥感图像中有云雾的区域识别、分割出来且标上云雾信息，再将其送入具有去雾的物理驱动散射模型的dcpdn中，这突破了仅仅只对单幅图像做去雾处理的局限，针对图像的不同区域做去雾处理，使得去雾过后的图像信息保留更加完整、更为清晰。

本发明公开了一种基于dcpdn的遥感图像局部云雾感知与去雾方法，主要针对遥感图像获取时，由于不同的拍摄地点、拍摄时间下天气状况不同，影像质量受到不同程度的云、雾、霾等因素的影响，被厚的云雾遮挡的和被薄雾遮挡的遥感图像部分应做不同的处理，因为厚的云雾遮挡的图像部分反射的地物信息过少，在后续图像处理的过程中无法使用，应将该遥感图像部分剔除，而被薄雾遮挡的部分只是在一定程度上使得遥感图像中目标细节模糊，将这部分的遥感图像部分予以去雾。本发明提出的基于dcpdn的遥感图像局部云雾感知与去雾算法，首先利用maskr-cnn识别遥感图像中各个有云雾遮挡的部分，并且将这些部分标记框出来，同时利用maskr-cnn标记出这些框的标签，标签分为厚的云雾和薄雾两种，将被标记为薄雾的遥感图像部分送入去雾的网络模型中，研究选用目前较为流行的密集连接的金字塔去雾网络(dcpdn)来将具有薄雾的遥感图像部分进行去雾，该方法不同于将单幅图像去雾的方法应用于不同区域具有不同云雾厚度的遥感图像，本方法检测出具有云雾的区域，针对该区域中的云雾厚度做相应的处理，避免因对整幅遥感图像去雾而损失目标信息，并且能针对不同区域做出最佳的去雾处理，更加真实地还原遥感图像信息。

下面对本申请实施例提供的一种遥感图像去雾系统、电子设备及计算机可读存储介质进行介绍，下文描述的遥感图像去雾系统、电子设备及计算机可读存储介质与上文描述的遥感图像去雾方法可相互对应参照。

请参考图4，图4为本申请实施例所提供的一种遥感图像去雾系统的结构框图；该遥感图像去雾系统包括：

部分遥感图像获取模块401，用于利用maskr-cnn模型对遥感图像进行云雾区域的检测及分割，得到各个包含雾区域的部分遥感图像；

目标部分遥感图像获取模块402，用于将各个部分遥感图像输入预设的dcpdn模型进行去雾处理，得到对应的目标部分遥感图像；

拼接模块403，用于将各个目标部分遥感图像与遥感图像进行拼接，得到去雾后的遥感图像。

基于上述实施例，本实施例中部分遥感图像获取模块401，包括：

特征图获取单元，用于将遥感图像依次经过卷积层、区域候选网络层处理，得到遥感图像对应的特征图；

预设尺寸特征图获取单元，用于将特征图经过roialign层处理，得到预设尺寸特征图；

云雾区域确定单元，用于将预设尺寸特征图经过全连接层处理，确定云雾区域；

部分遥感图像获取单元，用于对云雾区域进行分割，得到部分遥感图像。

基于上述实施例，本实施例中目标部分遥感图像获取模块402，包括：

透视图获取单元，用于利用dcpdn模型中的金字塔密集连接的编码器-解码器对部分遥感图像进行处理，得到对应的透视图；

大气光图获取单元，用于利用dcpdn模型中的u-net网络对部分遥感图像进行处理，得到对应的大气光图；

去雾图像获取单元，用于将透视图、大气光图输入大气光模型中进行去雾处理，得到去雾图像。

基于上述实施例，本实施例中该遥感图像去雾系统还包括：

真伪判断模块，用于利用预设的判别器确定去雾图像、透视图的真伪。

本申请还提供一种电子设备，包括：存储器和处理器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序时实现上述任意实施例的遥感图像去雾方法的步骤。

本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的遥感图像去雾方法的步骤。

该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种遥感图像去雾方法、系统、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。