一种面向伪装评估的遥感图像外推方法与流程

本发明属于遥感图像生成领域，特别是指一种面向伪装评估的遥感图像外推方法。

背景技术：

1、伪装图像在对抗识别、隐私保护领域得到广泛应用，伪装评估是对伪装效果进行评价的有效手段，伪装措施的主要目的是消除伪装对象和背景之间差异，提高二者在纹理、结构、亮度、颜色等维度的相似度，然而，伪装对象的机动性和背景的时变性，使得伪装措施需要临机调整，调整后的伪装措施需要及时进行伪装评估。

2、目前，伪装评估的一般方法是在背景中选取伪装对象周围的8邻域、4邻域区域进行相似度计算，这种“伪装措施部署-目标背景选取-伪装效果评估”的流程受多个环节的制约，效率低下。为此，采用面向伪装评估的遥感图像外推方法，可以根据提示词自动生成伪装对象周围的背景，然后，直接计算生成背景与计划部署目标的背景之间的相似度，即可快速获得伪装评估结果，提升伪装评估的速度和灵活度。

技术实现思路

1、有鉴于此，本发明提出了一种面向伪装评估的遥感图像外推方法，该方法能够提升传统伪装评估流程的效率，无需挪动伪装目标即可对不同背景下的伪装效果进行评估。

2、为了实现上述目的，本发明采用的技术方案为：

3、一种面向伪装评估的遥感图像外推方法，包括以下步骤：

4、步骤1，搭建两阶段图像外推框架，框架包含4个具有可训练参数的模型，分别为图像编码器、去噪网络、图像解码器、文本编码器，外推框架的输入包括遥感图像、画布、提示文本和随机噪声，其中，遥感图像在训练阶段为经过原始遥感图像裁剪后的遥感图像，在预测阶段为需要进行外推的遥感图像，画布在训练阶段其尺寸与原始遥感图像保持一致，在预测阶段尺寸通过人为设定，提示文本的内容是对外推图像新产生内容的自然语言描述，随机噪声用于增加生成图像的随机性和多样性；

5、步骤2，原始遥感图像裁剪后得到裁剪遥感图像，设置裁剪量为0，即原始遥感图像与裁剪遥感图像一致，画布大小与裁剪遥感图像尺寸一致，冻结图像编码器、去噪网络、图像解码器中的可训练参数，损失函数设置为原始遥感图像与生成图像之间的图像相似度，通过迭代优化，更新文本编码器中的模型参数，实现文本编码优化；

6、步骤3，利用光学遥感卫星和无人机平台对需要进行遥感图像外推的场景或目标进行数据采集得到原始遥感图像，通过图像裁剪得到裁剪遥感图像，并将原始遥感图像所有像素值置0作为画布，同时用文本对原始遥感图像和裁剪内容进行自然语言描述，形成“原始遥感图像-画布-裁剪遥感图像-提示文本”数据对，重复以上操作，构建2000组数据对，得到训练数据集；

7、步骤4，利用图像编码器和图像解码器对步骤3所采集的原始遥感图像进行编解码，对于解码后的图像，通过人工挑选符合人类偏好的图像，并按照步骤3中的数据集构建流程对挑选后的图像进行画布生成、裁剪、自然语言描述，形成数据对，将数据对添加到训练数据集中，得到新的数据集；

8、步骤5，从步骤4所得到的数据集中抽取训练数据，将裁剪遥感图像和画布输入到图像编码器得到图像特征，将提示文本输入到文本编码器得到文本特征，将图像特征、文本特征、随机噪声输入到去噪网络得到去噪图像特征，将去噪图像特征输入到图像解码器，经过解码输出生成图像，冻结图像编码器、图像解码器、文本编码器的可训练参数，通过优化生成图像与原始遥感图像之前的相似度，更新去噪网络的模型参数；

9、步骤6，选取一幅需要外推的遥感图像，根据其尺寸设置第一幅画布，第一幅画布的横纵尺寸均比遥感图像大80像素，并编写一句自然语言描述作为提示文本，随机生成随机噪声，将遥感图像、第一幅画布、随机噪声、提示文本输入到图像外推网络中，产生第一阶段生成图像，接着将第一阶段生成图像作为需要外推的遥感图像，设置第二幅画布，画布尺寸同样延展80像素，将第一阶段生成图像、第二幅画布、随机噪声、提示文本输入到外推网络中，产生第二阶段生成图像，即最终的生成图像。

10、进一步地，步骤1中的图像编码器和图像解码器分别采用vae网络中的编码器部分和解码器部分，文本编码器采用bert模型，去噪网络采用unet。

11、进一步地，步骤1中的自然语言描述包括需要新加入的目标、背景、目标之间的相对位置、目标的属性、背景的属性。

12、进一步地，步骤4中编解码的具体方式为：将画布大小设置为与遥感图像尺寸相同，将遥感图像和画布输入到图像编码器，得到图像特征，跳过去噪网络，直接将图像特征输入到图像解码器中，通过解码得到生成图像。

13、本发明相对于现有技术的有益效果为：

14、(1)本发明能够简化伪装评估的流程，提升伪装评估的效率。

15、(2)本发明无需挪动伪装目标即可对不同背景下的伪装效果进行评估。

16、(3)本发明能够根据外推画布、提示词生成任意逼真背景。

技术特征：

1.一种面向伪装评估的遥感图像外推方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种面向伪装评估的遥感图像外推方法，其特征在于，步骤1中的图像编码器和图像解码器分别采用vae网络中的编码器部分和解码器部分，文本编码器采用bert模型，去噪网络采用unet。

3.根据权利要求1所述的一种面向伪装评估的遥感图像外推方法，其特征在于，步骤1中的自然语言描述包括需要新加入的目标、背景、目标之间的相对位置、目标的属性、背景的属性。

4.根据权利要求1所述的一种面向伪装评估的遥感图像外推方法，其特征在于，步骤4中编解码的具体方式为：将画布大小设置为与遥感图像尺寸相同，将遥感图像和画布输入到图像编码器，得到图像特征，跳过去噪网络，直接将图像特征输入到图像解码器中，通过解码得到生成图像。

技术总结
本发明提供一种面向伪装评估的遥感图像外推方法，属于遥感图像生成领域。本发明首先搭建两阶段图像外推框架；其次进行文本编码优化，对文本编码器参数进行更新；然后构建面向伪装评估的遥感图像外推数据集，形成“原始遥感图像‑画布‑裁剪遥感图像‑提示文本”数据对，并对数据集引入人类偏好；接着进行两阶段图像外推训练；最后根据应用需求选取一幅需要外推的原始遥感图像，并设定外推画布，并编写一句自然语言描述，将其作为图像外推的提示生成外推遥感图像。本发明可以根据提示词自动生成伪装对象周围的背景，进而快速获得伪装评估结果。

技术研发人员：张晓男,王慧龙,孙方德,王港
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：
技术公布日：2024/3/27