布局优先的多尺度解耦海洋遥感图像上色方法及系统

1.本发明属于图像处理技术领域，特别涉及布局优先的多尺度解耦海洋遥感图像上色方法及系统。


背景技术：

2.海洋遥感图像上色是利用灰度遥感图像生成彩色遥感图像的过程，灰度遥感图像的彩色化能够增加对遥感图像的解译、分析能力。传统的上色方法使用单一尺度的生成网络实现着色过程，使得着色缺乏空间一致性。由于海洋遥感图像具有空间布局失衡的特点，前沿的遥感图像上色方法以生成对抗网络为基本架构，通过设计基于u-net的多尺度生成器实现上色。其优势在于利用多尺度生成器中的宏观尺度约束微观尺度，一定程度上保证了图像空间布局的一致性。
3.但是，现有方法存在以下问题：第一，忽略了地理空间布局一致性约束。现有的上色方法虽然采用多尺度建模的方式，可以提升大尺度目标刻画的空间一致性，但由于缺乏布局（天空、海面、陆地）的一致性约束，无法保证具有超大面积连续区域的海洋遥感图像空间布局的一致性。例如，在连续的海面区域上，由于海面水体的强反射造成的光斑易被错误分类为船舶或冰面，而现有方法中并未充分利用布局信息进行消歧，导致上色错误。
4.第二，未进行尺度解耦，大尺度中包含大量噪声。大尺度直接在下采样后的灰度图中提取上色特征，导致大尺度所提取的特征中仍包含大量小尺度信息，而这些小尺度信息对于大尺度来说属于冗余噪声，不利于保证海洋遥感图像的空间一致性。
5.第三，在多尺度信息融合过程中，现有方法大多同时考虑多个尺度特征实现上色，未能考虑不同场景下不同尺度对着色结果的影响。例如，在小尺度上是船舶的像素，在大尺度上易被判断为海洋，此时，小尺度的指导作用更强；但对于歧义像素，例如光斑像素，在小尺度（高精度遥感图像）上被误判为船舶，但降采样后被消除，因此在大尺度（低精度遥感图像）层面该像素被判断是海洋，此时大尺度的指导性更强。由于在海洋遥感图像中，大尺度场景更为常见，因此应更加关注大尺度特征。现有方法仅通过将两个尺度特征对应元素相加实现融合操作，未能考虑海洋遥感图像上色过程中大尺度特征的主导作用。


技术实现要素：

6.针对现有技术存在的不足，本发明提供布局优先的多尺度解耦海洋遥感图像上色方法及系统，通过布局划分模块约束语义特征生成从而约束着色，保证着色的一致性；通过多尺度解耦方法，解决了布局划分模块和语义约束模块中噪声引入的问题，获得用于布局划分和语义分割的初始特征，从而生成高效的布局划分以及语义分割特征用于指导图像上色，以保证着色空间一致性。
7.为了解决上述技术问题，本发明采用的技术方案是：本发明首先提供一种布局优先的多尺度解耦海洋遥感图像上色方法，基于生成对
抗网络架构，通过生成器g生成彩色图像，通过判别器d判别真实图像与生成图像，具体包括以下步骤：步骤1、输入图像：输入图像为原始灰度图及下采样为不同尺度的两个灰度图、，其中、、的尺度依次减小；步骤2、设计多尺度解耦特征提取模块，对步骤1的输入图像处理，提取多尺度解耦特征；所述多尺度解耦特征提取模块包括多尺度特征解耦模块、布局划分模块、语义约束模块和图像着色模块，所述多尺度特征解耦模块包括两个相同结构的多尺度特征解耦模块ⅰ和多尺度特征解耦模块ⅱ，进行多尺度特征解耦；在提取多尺度解耦特征时，具体如下：步骤2.1、将步骤1的不同尺度的输入图像输入多尺度特征解耦模块进行多尺度特征解耦，分别生成针对尺度任务的解耦特征；步骤2.2、将步骤2.1生成的解耦特征经过布局划分、语义约束以及图像着色处理，生成布局划分特征、语义特征以及着色特征，其中，原始灰度图得到的特征直接输入图像着色模块，多尺度特征解耦模块ⅰ输出的解耦特征输入语义约束模块，多尺度特征解耦模块ⅱ输出的解耦特征输入布局划分模块；步骤3、设计布局优先的多尺度特征融合模块，利用增强的布局划分特征指导语义特征，随后利用包含布局约束的语义特征指导着色特征，对步骤2提取的多尺度解耦特征进行融合；步骤4、生成彩色图像；步骤5、将步骤4生成的彩色图像和原始彩色图像通过判别器d进行判别，输出判别结果。
8.进一步的，步骤2.1中，多尺度特征解耦模块进行多尺度特征解耦，具体操作如下：首先，对步骤1的原始灰度图及下采样为不同尺度的两个灰度图、分别进行卷积操作得到初始上色特征、初始语义特征以及初始布局特征；其次，利用特征图完成多尺度特征解耦，具体地，在多尺度特征解耦模块ⅰ中，特征通过平均池化后得到特征，用特征减去特征，得到解耦特征；同样的，将特征上采样得到特征，用特征减去特征，得到解耦特征；将与相加获得解耦特征；公式表示为：其中，表示对特征上采样操作；表示对特征平均池化操作；同样的，特征与特征通过与多尺度特征解耦模块ⅰ结构相同的多尺度特征解耦模块ⅱ进行特征解耦，具体地，在多尺度特征解耦模块ⅱ中，特征通过平均池化后得到特征，用特征减去特征，得到解耦特征；同样的，将特征上采样得到特征，用特征减去特征，得到解耦特征；将与相加获得解耦特征；公式表示为：
其中，表示对特征上采样操作；表示对特征平均池化操作。
9.进一步的，步骤2.2中所述布局划分模块包括两个操作，其一，通过预训练的用于语义分割任务的u-net网络提取语义特征，其二，根据相关性计算合并相似的语义区域从而生成布局分割图。
10.进一步的，步骤2.2中所述布局划分模块的具体操作如下：首先，通过预训练的u-net网络生成语义分割图，将预训练的u-net网络提取的最后一层特征取出，在特征中，对语义分割图中每个语义区域对应位置中包含的特征值取平均，计算出每个语义区域的质心；另外，将特征划分成q2/r2个r*r大小的块，q*q为特征的尺寸，r*r为每个块的尺寸，r等于特征尺寸大小的公因数，每个块用该块所属语义区域的质心表示，用块p的质心与周围8个块的质心分别做差取绝对值，得到一个对于块p的8维特征表示；其次，合并相似语义区域生成布局划分特征：若相邻的两个块a、b不属于同一个语义，那么计算这两个块a、b之间的余弦相似度，计算公式为：其中，表示块a的第ｚ维向量，表示块b的第ｚ维向量，公式通过计算余弦相似度计算块a和b的相似性，ｚ是８维向量上的第几维；若余弦相似度大于阈值，合并这两个块所属的语义区域，生成布局划分特征，具体合并方法为：计算这两个语义区域质心的均值z，将这两个语义区域中包含的像素设为z以获得一个表示布局划分的特征。
11.进一步的，步骤3中所述布局优先的多尺度特征融合模块，具体操作如下：步骤3.1、将布局划分模块的输出特征进行sigmoid函数处理，将显著性弱的布局划分特征进行加强以防止其丢失；步骤3.2、将步骤3.1处理后的特征与语义约束模块的输出特征进行对应元素相乘，从而通过布局约束生成语义特征；步骤3.3、将步骤3.2得到的具有布局约束的语义特征进行tanh函数处理，实现特征的映射，随后与图像着色模块的生成特征相乘以约束最终上色。
12.进一步的，通过生成器g与判别器d博弈的方法优化网络，具体如下：首先，训练生成器g，此时判别器固定不动，训练生成器g时，有以下公式：首先，训练生成器g，此时判别器固定不动，训练生成器g时，有以下公式：公式（1）中，x1为大尺度的样本，x2为中尺度的样本，x3为小尺度的样本，为函数
关于x1~p(x1)，x2~p(x2)，x3~p(x3)的期望值，p(.)表示概率分布，为生成的彩色图像样本，y为原始图像，表示判别器d对生成图像进行判别；为判别器判别生成图像为真的概率；当训练生成器g时，越小越好；公式（2）中，是生成彩色图像的l1损失函数，它是把生成图像与真实图像对应像素值的绝对差值的总和最小化，λ为超参数，公式（3）中为交叉熵损失，用于中尺度生成的语义分割图，其中，表示中尺度网络的输出，即类别为i的概率，i为语义类别，m为所有语义类别总数，y2为中尺度语义分割结果的真值；由此，得到一个目标函数（4），公式（4）中，是判别器d的模型参数，是小尺度的模型参数、是中尺度的模型参数、是大尺度的模型参数，为生成器g的损失；然后，训练判别器d，此时生成器固定不动，训练判别器d时，有以下公式：公式（5）中，为函数关于y的期望值，p(.)表示概率分布，表示判别器d对真实图像y1进行判别，为判别器d判别真实图像y1为真的概率，越大越好；公式（6）中，为函数关于x1~p(x1)，x2~p(x2)，x3~p(x3)的期望值，p(.)表示概率分布，表示判别器对生成图像进行判别，为判别器d判别生成图像为真的概率，越大越好；由此，得到一个目标函数（7），公式（7）中，为判别器d的损失。
13.本发明还提供一种布局优先的多尺度解耦海洋遥感图像上色系统，用于实施如前所述的布局优先的多尺度解耦海洋遥感图像上色方法，包括输入模块、生成器和判别器，所述输入模块将不同尺度的灰度图输入生成器，所述生成器用于生成彩色图像，包括多尺度解耦特征提取模块、布局优先的多尺度特征融合模块和最终着色模块，所述多尺度解耦特征提取模块包括多尺度特征解耦模块、布局划分模块、语义约束模块和图像着色模块，其中多尺度特征解耦模块将输入图像进行多尺度特征解耦，分别生成针对尺度任务的解耦特征，分别经过布局划分模块、语义约束模块和图像着色模块处理，生成布局划分特征、语义特征以及着色特征；所述布局优先的多尺度特征融合模块利用增强的布局划分特征指导语义特征、利用包含布局约束的语义特征指导着色特征，对多尺度解耦特征提取模块提取的多尺度解耦特征进行融合，通过最终着色模块生成彩色图像；所述判别器用于将生成器生成的彩色图像与原始彩色图像进行判别对比，输出判别结果。
14.与现有技术相比，本发明优点在于：（1）本发明设计了布局划分模块，利用其约束语义特征生成从而约束着色，保证了
着色的一致性。将语义特征划分成为多个相同大小的块，每个块用该块所属语义区域的质心表示，每个块通过计算与周围块的关系来表征（用一个块的质心与周围8个块的质心分别做差取绝对值，得到一个对于该块的8维特征表示）。与只通过自身表征的方法相比，这种利用周围环境表征的方式建立了特征之间的关联描述，具有更高的鲁棒性。其次，计算属于不同语义区域的相邻块间的相关性并对相关的语义区域进行合并，通过无监督的方式生成布局划分特征，解决了布局划分缺少标签的难题，同时提升了网络的泛化性。
15.（2）本发明使用多尺度特征解耦的方法，解决了布局划分特模块和语义约束模块中噪声引入的问题，以挖掘各尺度潜在特征用于针对尺度任务建模。在初始语义特征中利用初始着色特征去除冗余噪声，获得解耦语义特征；在初始布局特征中利用解耦语义特征去除冗余噪声，获得解耦布局特征。通过这种多尺度解耦方法，获得用于布局划分和语义分割的初始特征，从而生成高效的布局划分以及语义分割特征用于指导图像上色，以保证着色空间一致性，也就是说计算小尺度特征与上采样后的大尺度特征的差，同时，计算下采样后的小尺度特征与大尺度特征的差，运用两种不同的方式对宏观特征进行充分解耦，以更好的去除噪声。（3）本发明通过布局优先的方法实现多尺度特征融合，增强布局特征的主导作用。首先，对布局划分特征进行sigmoid函数激活，并与语义特征相乘进行融合操作，强化布局信息，约束语义特征生成，保证生成语义的合理性，加强了海洋遥感图像上色过程中大尺度特征的主导作用；其次，对语义特征进行tanh函数处理，保留了较为准确的语义信息，将处理后的特征与着色特征相乘用于最终上色。这种强调布局的融合方法有利于保证包含更多大尺度场景的海洋遥感图像的空间一致性。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例的布局优先的多尺度解耦海洋遥感图像上色系统的结构图；图2为本发明实施例的多尺度特征解耦模块示意图。
具体实施方式
18.下面结合附图及具体实施例对本发明作进一步的说明。
19.实施例1结合图1-图2所示，本实施例设计了一种布局优先的多尺度解耦海洋遥感图像上色方法，基于生成对抗网络架构，通过生成器g生成彩色图像，通过判别器d判别真实图像与生成图像，具体包括以下步骤：步骤1、输入图像：输入图像为原始灰度图及下采样为不同尺度的两个灰度图、，其中、、的尺度依次减小。
20.在使用时，对于输入的原始灰度图，可以下采样为不同尺度的多个灰度图，为便于理解，本实施例仅以三个不同尺度为例说明，本实施例采用的灰度图为原始灰度图及
下采样为原始灰度图2/1和4/1的灰度图，三个尺度的图像输入大小分别为256*256、128*128、64*64。
21.步骤2、设计多尺度解耦特征提取模块，对步骤1的输入图像处理，提取多尺度解耦特征；所述多尺度解耦特征提取模块包括多尺度特征解耦模块、布局划分模块、语义约束模块和图像着色模块，其中，图像着色模块与语义约束模块采用u-net结构，可参考现有技术，此处不再赘述，布局划分模块见步骤2.2中介绍。所述多尺度特征解耦模块包括两个相同结构的多尺度特征解耦模块ⅰ和多尺度特征解耦模块ⅱ，进行多尺度特征解耦；在提取多尺度解耦特征时，具体如下：步骤2.1、将步骤1的不同尺度的输入图像输入多尺度特征解耦模块进行多尺度特征解耦，分别生成针对尺度任务的解耦特征。该步骤利用不同尺度特征实现特征解耦，解决了宏观尺度中引入大量噪声的问题。
22.本步骤2.1中，多尺度特征解耦模块进行多尺度特征解耦，具体操作如下：首先，对步骤1的原始灰度图、下采样2倍的灰度图、下采样4倍的灰度图分别进行卷积操作得到初始上色特征、初始语义特征以及初始布局特征；其次，利用特征图完成多尺度特征解耦，具体地，在多尺度特征解耦模块ⅰ中，特征通过平均池化后得到特征，用特征减去特征，得到解耦特征；同样的，将特征上采样得到特征，用特征减去特征，得到解耦特征；将与相加获得解耦特征；公式表示为：其中，表示对特征上采样操作；表示对特征平均池化操作；同样的，特征与特征通过与多尺度特征解耦模块ⅰ结构相同的多尺度特征解耦模块ⅱ进行特征解耦，具体地，在多尺度特征解耦模块ⅱ中，特征通过平均池化后得到特征，用特征减去特征，得到解耦特征；同样的，将特征上采样得到特征，用特征减去特征，得到解耦特征；将与相加获得解耦特征；公式表示为：其中，表示对特征上采样操作；表示对特征平均池化操作。
23.步骤2.2、将步骤2.1生成的解耦特征经过布局划分、语义约束以及图像着色处理，生成布局划分特征、语义特征以及着色特征，其中，原始灰度图得到的特征直接输入图像着色模块，多尺度特征解耦模块ⅰ输出的解耦特征输入语义约束模块，多尺度特征解耦模块ⅱ输出的解耦特征输入布局划分模块。每个尺度中，图像着色模块、语义约束模块和布局划分模块每个模块的输入和输出都和该尺度的输入大小是一样的，本实施例图像着色模块、语义约束模块和布局划分模块的输入和输出大小分别是256*256、128*128、64*64。
24.本步骤2.2中所述布局划分模块包括两个操作，其一，通过预训练的用于语义分割任务的u-net网络提取语义特征，其二，根据相关性计算合并相似的语义区域从而生成布局分割图。
25.布局划分模块的具体操作如下：首先，通过预训练的u-net网络生成语义分割图，将预训练的u-net网络提取的最后一层特征取出，在特征中，对语义分割图中每个语义区域对应位置中包含的特征值取平均，计算出每个语义区域的质心。另外，将特征划分成q2/r2个r*r大小的块，q*q为特征的尺寸，r*r为每个块的尺寸，r等于特征尺寸大小的公因数（边长随着第三个尺度输入大小的变化而变化），用以保证整张图能被正好划分，本实施例是64*64，每个块用该块所属语义区域的质心表示，用块p的质心与周围8个块的质心分别做差取绝对值，得到一个对于块p的8维特征表示。例如块p的位置为(x,y)，质心为i，位置为(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y-1)、(x,y+1)、(x+1,y-1)、(x+1,y)、(x+1,y+1)的块的质心分别为a、b、c、d、e、f、g、h，则块p表示为8维向量(|i-a|,|i-b|,|i-c|,|i-d|,|i-e|,|i-f|,|i-g|,|i-h|)。
26.其次，合并相似语义区域生成布局划分特征：若相邻的两个块a、b不属于同一个语义，那么计算这两个块a、b之间的余弦相似度，计算公式为：其中，其中，表示块a的第ｚ维向量，表示块b的第ｚ维向量，公式通过计算余弦相似度计算块a和b的相似性，ｚ是８维向量上的第几维；若余弦相似度大于阈值，合并这两个块所属的语义区域，具体合并方法为：计算这两个语义区域质心的均值z，将这两个语义区域中包含的像素设为z以获得一个表示布局划分的特征。
27.步骤3、设计布局优先的多尺度特征融合模块，利用增强的布局划分特征指导语义特征，随后利用包含布局约束的语义特征指导着色特征，对步骤2提取的多尺度解耦特征进行融合。具体操作如下：步骤3.1、将布局划分模块的输出特征进行sigmoid函数处理，将显著性弱的布局划分特征进行加强以防止其丢失，加强了海洋遥感图像上色过程中大尺度特征的主导作用；步骤3.2、将步骤3.1处理后的特征与语义约束模块的输出特征进行对应元素相乘，从而通过布局约束网络生成合理的语义特征；步骤3.3、将步骤3.2得到的具有布局约束的语义特征进行tanh函数处理，实现特征的常规映射，随后与图像着色模块的生成特征相乘以约束最终上色。通过利用不同的激活函数，强化了海洋遥感图像上色过程中大尺度特征的主导作用，从而保证了上色的空间一致性。
28.步骤4、生成彩色图像。
29.步骤5、将步骤4生成的彩色图像和原始彩色图像通过判别器d进行判别，输出判别结果。
30.下面介绍下本发明生成器g与判别器d的训练和损失函数。本发明通过生成器g与判别器d博弈的方法优化网络，具体如下：
首先，训练生成器g，此时判别器固定不动，训练生成器g时，有以下公式：首先，训练生成器g，此时判别器固定不动，训练生成器g时，有以下公式：公式（1）中，x1为大尺度的样本，x2为中尺度的样本，x3为小尺度的样本，为函数关于x1~p(x1)，x2~p(x2)，x3~p(x3)的期望值，p(.)表示概率分布，为生成的彩色图像样本，y为原始图像，表示判别器d对生成图像进行判别；为判别器判别生成图像为真的概率；当训练生成器g时，越小越好；公式（2）中，是生成彩色图像的l1损失函数，它是把生成图像与真实图像对应像素值的绝对差值的总和最小化，λ为超参数，公式（3）中为交叉熵损失，用于中尺度生成的语义分割图，其中，表示中尺度网络的输出，即类别为i的概率，i为语义类别，m为所有语义类别总数，y2为中尺度语义分割结果的真值；由此，得到一个目标函数（4），公式（4）中，是判别器d的模型参数，是小尺度的模型参数、是中尺度的模型参数、是大尺度的模型参数，为生成器g的损失，该目标函数（4）是最小化判别器d给生成图像的得分和最小化生成图像和真实图像的对应像素差值；然后，训练判别器d，此时生成器固定不动，训练判别器d时，有以下公式：公式（5）中，为函数关于y的期望值，p(.)表示概率分布，表示判别器d对真实图像y1进行判别，为判别器d判别真实图像y1为真的概率，因此越大越好；公式（6）中，为函数关于x1~p(x1)，x2~p(x2)，x3~p(x3)的期望值，p(.)表示概率分布，表示判别器对生成图像进行判别，为判别器d判别生成图像为真的概率，越大越好；由此，得到一个目标函数（7），公式（7）中，为判别器d的损失，该目标函数（7）是最大化判别器d给真实图像的得分、最小化判别器d给生成图片的得分。
31.其中本发明的训练过程及各损失函数的计算可参考现有技术，此处仅简单介绍，不做过多赘述。
32.作为一个优选的实施方式，本实施例使用nwpu-reric45数据集。该数据集由45个场景类别组成，每个类别由700张图像组成，共有31,500张大小为256*256的图像。分别在每个类别中使用500、100和100张图像作为训练集、测试机器和验证集。使用adam优化器，超参
数λ设置为100。本网络采用端到端分批次训练方法，每个批次设置为8。
33.实施例2本实施例提供一种布局优先的多尺度解耦海洋遥感图像上色系统，包括输入模块、生成器和判别器，所述输入模块将不同尺度的灰度图输入生成器，所述生成器用于生成彩色图像，包括多尺度解耦特征提取模块、布局优先的多尺度特征融合模块和最终着色模块，所述多尺度解耦特征提取模块包括多尺度特征解耦模块、布局划分模块、语义约束模块和图像着色模块，其中多尺度特征解耦模块将输入图像进行多尺度特征解耦，分别生成针对尺度任务的解耦特征，分别经过布局划分模块、语义约束模块和图像着色模块处理，生成布局划分特征、语义特征以及着色特征；所述布局优先的多尺度特征融合模块利用增强的布局划分特征指导语义特征、利用包含布局约束的语义特征指导着色特征，对多尺度解耦特征提取模块提取的多尺度解耦特征进行融合，通过最终着色模块生成彩色图像；所述判别器用于将生成器生成的彩色图像与原始彩色图像进行判别对比，输出判别结果。该系统用于实施布局优先的多尺度解耦海洋遥感图像上色方法，各模块的功能及上色方法步骤可同实施例1部分的记载，此处不再赘述。
34.综上所述，本发明设计了多尺度解耦特征提取模块和布局优先的多尺度特征融合模块，对于输入的不同尺度的灰度图，首先，通过多尺度特征解耦模块分别生成针对尺度任务的解耦特征；其次，解耦特征通过布局划分模块、语义约束模块以及图像着色模块生成布局划分特征，语义特征以及着色特征；随后，布局优先的多尺度特征融合模块利用增强的布局划分特征指导语义特征，随后利用包含布局约束的语义特征指导着色特征；最后利用最终着色模块实现彩色图的生成。通过本发明解决了海洋遥感图像空间布局一致性问题，下采样后的大尺度特征提取过程中包含大量噪声的问题以及多尺度信息利用过程中，大尺度对小尺度约束弱的问题。
35.当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。