一种融合AI大模型与语义分割技术的影像样本扩展方法、系统与流程

【】本发明属于遥感，具体涉及一种融合ai大模型与语义分割技术的影像样本扩展方法、系统。

背景技术

0、
背景技术：

1、中国南方广西喀斯特地区是一个地形地貌复杂的区域，包括了大量的岩溶地貌类型和地下水系统，地形多样性和变化性较高。在这种复杂的环境下进行地物识别、变化检测等任务需要采用能够处理大规模图像数据的深度学习模型和大量高质量的遥感影像。然而，目前使用的大部分分割模型无法很好地适用于南方喀斯特地区的复杂地形，主要存在以下问题：(1)遥感影像质量问题：噪声多、广西常年多云、多雨，导致样本类别不平衡且匮乏；(2)深度学习无法充分挖掘影像中的南方小目标的特征信息，对小目标地物的检测能力较弱，因此提取地物的边缘效果差；(3)智能分割对象的范围常常因为地物分布不均匀而导致无法准确识别，出现漏提、误提的问题严重。像segformer、swin transformer、convnext的大网络模型，在广西这样的南方复杂地势区域，往往无法发挥出强大的地物检测能力。

技术实现思路

0、
技术实现要素：

1、针对上述问题，本发明提供一种融合ai大模型与语义分割技术的影像样本扩展方法、系统，旨在克服标注遥感图像困难和构建遥感样本库的高成本问题。该方法利用sam和高分辨率遥感影像生成的精细图像分割掩码，结合现有的语义分割模型提供的丰富语义注释，生成大规模的遥感分割数据集，极大地扩展语义遥感样本库数量。

2、本发明是通过以下技术方案实现的，一种融合ai大模型与语义分割技术的影像样本扩展方法，包括以下步骤：

3、s1准备遥感分割影像及预处理；

4、s2选择适合的sam模型；

5、s3选择语义分割模型；

6、s4生成掩码和预测语义类别；

7、s5融合mask分支和语义分割分支相交区域的信息；

8、s6形成平台系统并部署到实际应用中；

9、s7持续优化和更新模型。

10、特别的，所述s1具体按照以下方案实施：

11、s11准备需要分割的遥感图像和用于语义分割模型训练的数据集，按照6：3：1的比例划分为训练集、验证集和测试集；

12、s12对遥感影像进行预处理，包括：

13、(1)数据清洗：移除损坏或不完整的图像，处理异常值或异常标签；

14、(2)数据标准化：对图像进行均值归一化和标准差归一化，以使图像像素具有零均值和统一方差，该步骤有助于模型的训练收敛更快，并且可以提高模型的稳定性；

15、(3)图像大小调整：将输入图像的大小调整为固定的尺寸，深度学习模型通常要求输入数据具有相同的维度；

16、(4)数据增强：图像增强通过对训练数据进行一系列随机变换，增加了数据的多样性，所述随机变换包括旋转、翻转、缩放、裁剪、亮度调整。

17、特别的，所述s2中sam包含vit-h模型，vit-l模型和vit-b模型，分别代表不同规模的vision transformer架构，通过自注意力机制来实现对图像的语义理解和对象掩码生成。

18、特别的，所述s3具体按照以下方案实施：

19、根据任务需求选择已使用mmsegmentation框架训练好的语义分割模型，该训练模型不需要很好的效果(边界预测效果差、预测的图斑不完整)，但能够准确预测类别。

20、特别的，所述s4具体按照以下方案实施：

21、使用sam对遥感影像进行高精度的图像分割，产生更精确的掩膜边界，使用训练好的语义分割模型进行像素级的预测，获得遥感图像的类别信息。

22、特别的，所述s5具体按照以下方案实施：

23、s51将获得mask branch分支得到的mask结果做一个bool运算，然后将semanticbranch分支得到的类别信息映射到mask上，该步骤得到了两个分支的相交区域；

24、s52对每一个堆叠的mask根据面积进行降序排序，对每一个mask进行类别判断，当一个mask只映射到一个语义类别时，将该类别赋值给这一个mask，当一个mask对应多个语义类别时，利用top-k算法得到在该mask中映射个数最多的类别，将top-1的类别信息赋值给该mask；

25、s53将得到语义类别信息的掩码编码为一种特定的格式，用于存储每个语义类别的掩码信息，并生成准确边界的语义分割图像。

26、特别的，

27、其特征在于，所述s6中的平台系统包括：

28、s61通过加载数据的路径，在右侧页面中可视化需要分割的遥感图像，展示窗口提供列表点选功能来切换单张图像的可视化和分割操作的数据加载模块；

29、s62通过自注意力机制对遥感图像生成掩码的sam模块；

30、s63用于加载已训练的语义分割模型和配置文件的语义分割模块；

31、s64用于处理较大的待分割遥感影像的方法的滑窗预测模块。

32、特别的，所述s7具体按照以下方案实施：

33、随着新的遥感影像和应用场景的出现，持续监控模型的性能并进行更新和优化，提高智能语义分割数据集的质量。

34、本发明提供一种融合ai大模型与语义分割技术的影像样本扩展方法、系统，其中方法具有以下有益效果：

35、其有助于最大限度地减少传统的人工制作样本方法的问题。该系统无缝集成了目前最先进的图像分割方法-segment anything model(sam)和现有的存在分割效果差的语义分割模型来实现遥感对象的高精度语义分割。sam接受了数百万张图像和超过十亿个掩码的训练，可为遥感影像返回有效的分割掩码，从而解决了语义分割模型难以检测出遥感分割对象的准确边界而导致目前大多数语义分割任务检测精度低、识别效果差的问题。

技术特征：

1.一种融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s1具体按照以下方案实施：

3.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s2中sam包含vit-h模型，vit-l模型和vit-b模型，分别代表不同规模的visiontransformer架构，通过自注意力机制来实现对图像的语义理解和对象掩码生成。

4.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s3具体按照以下方案实施：

5.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s4具体按照以下方案实施：

6.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s5具体按照以下方案实施：

7.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s6中的平台系统包括：

8.根据权利要求1所述的融合ai大模型与语义分割技术的影像样本扩展方法，其特征在于，所述s7具体按照以下方案实施：

技术总结
本发明提出了一种融合AI大模型与语义分割技术的影像样本扩展方法、系统，所述方法有助于最大限度减少传统人工制作样本方法的问题。该系统集成了最先进的图像分割方法‑Segment Anything Model(SAM)和现有的存在分割效果差的语义分割模型来实现遥感对象的高精度语义分割。SAM接受了数百万张图像和超过十亿个掩码的训练，可为遥感影像返回精确有效的分割掩码，从而解决了语义分割模型难以检测出遥感分割对象的准确边界而导致目前大多数语义分割任务检测精度低、识别效果差的问题。

技术研发人员：黄友菊,吴慧,蓝斐芜,韩广萍,王雨聪,农志铣,秦堃
受保护的技术使用者：广西壮族自治区自然资源遥感院
技术研发日：
技术公布日：2024/3/12