一种三维和语义同步变化检测方法及系统

本发明属于遥感与人工智能，涉及一种三维和语义同步变化检测方法及系统，具体涉及一种融合知识图谱和生成对比对抗的三维和语义同步变化检测方法及系统。

背景技术：

1、变化检测数据集以及变化检测的算法是三维和语义同步变化检测的重要基础，其相关研究现状如下：

2、数据的采集方式方法、不同角度的描述，产生了多模态问题。如何利用机器学习的方法处理多模态数据成为三维和语义同步变化检测的研究重点。知识图谱是描述客观世界的实体、概念及其关系的知识库，被广泛应用于遥感影像场景分类、语义分割等领域。随着计算机技术的发展，机器学习技术广泛应用于三维和语义同步变化检测领域。当前基于生成对抗网络(generative adversarial network，gan)变化检测的文献包括：

3、(1)基于gan的遥感影像变化检测；kousuke等利用生成对抗网络进行跨域变化检测(文献1)，alvarez等提出了一个自监督条件生成对抗网络解决二进制变化检测任务(文献2)，li等、chen等利用生成对抗网络对建筑物进行变化检测(文献3、4)；wu等利用生成对抗网络进行区域监督等变化检测(文献5)；hou等使用w-net作为生成器进行生成对抗训练(文献6)；

4、(2)基于gan的遥感三维变化检测；niu等利用条件生成对抗网络对异构的合成孔径雷达进行三维变化检测(文献7)，nagy等利用生成对抗网络对街景数据的粗配准点云进行三维变化检测(文献8)，杨晓冬等利用生成对抗网络学习三维特征并进行变化检测(文献9)；

5、当前基于对比学习的变化检测的文献包括：

6、(1)基于对比学习的遥感影像变化检测；wang等基于有监督的对比学习方法训练编码器进行变化检测(文献10)；ou等利用对比学习对高光谱影像进行变化检测(文献11)；zhang等利用对比学习的思想对建筑物进行变化检测(文献12)；

7、(2)基于对比学习的遥感三维变化检测；de gélis等提出了一种基于深度聚类和对比学习的无监督学习的三维点云变化检测方法(文献13)；

8、上述现有技术存下以下不足：

9、kousuke等使用的训练样本有限(文献1)，alvarez等使用自监督的方法仅能进行二维变化检测(文献2)，li等、chen等利用生成对抗网络仅能对建筑物进行变化检测(文献3、4)，wu等利用生成对抗网络进行了生成器、分割器、鉴别器的博弈过程(文献5)，难以解决负样本欺骗性不强，难以进行有效对抗的问题；hou等利用w-net作为生成器只生成了变化的标签结果(文献6)，niu等和nagy等仅能进行三维变化检测(文献7、8)，杨晓冬等需要采用人工标注法获取训练样本(文献9)，wang等利用对比学习对高分辨率遥感影像进行有监督的变化检测(文献10)，ou等使用高斯噪声的数据增强策略(文献11)，zhang仅能检测建筑物变化或者不变的情况(文献12)，de gélis等主要围绕变化检测的地物类型是否变化(文献13)。

10、文献来源：

11、文献1：kousuke y,kanji t,takuma s.use of generative adversarialnetwork for cross-domain change detection[j].arxiv preprint arxiv:1712.08868,2017.

12、文献2：alvarez j l h,ravanbakhsh m,demir b.s2-cgan:self-supervisedadversarial representation learning for binary change detection inmultispectral images[c].igarss 2020-2020ieee international geoscience andremote sensing symposium,2020:2515-2518.文献3：li y,chen h,dong s,et al.multi-temporal samplepair generation for building change detection promotion inoptical remote sensing domain based on generative adversarial network[j].remote sensing,2023,15(9):2470.

13、文献4：chen h,li w,shi z.adversarial instance augmentation forbuilding change detection in remote sensing images[j].ieee transactions ongeoscience and remote sensing,2022,60:1-16.

14、文献5：wu c,du b,zhang l.fully convolutional change detectionframework with generative adversarial network for unsupervised,weaklysupervised and regional supervised change detection[j],2022.

15、文献6：hou b,liu q,wang h,et al.from w-net to cdgan:bitemporal changedetection via deep learning techniques[j].ieee transactions on geoscience andremote sensing,2019,58(3):1790-1802.

16、文献7：niu x,gong m,zhan t,et al.a conditional adversarial network forchange detection in heterogeneous images[j].ieee geoscience and remotesensing letters,2019,16(1):45-49.文献8：nagy b,kovács l,benedek c.changegan:adeep network for change detection in coarsely registered point clouds[j].ieeerobotics and automation letters,2021,6(4):8277-8284.文献9：杨晓冬,严华.融合dom与dsm数据的三维变化检测算法[j].科学技术创新,2022(028):000.

17、文献10：wang j,zhong y,zhang l.change detection based on supervisedcontrastive learning for high-resolution remote sensing imagery[j].ieeetransactions on geoscience and remote sensing,2023,61:1-16.

18、文献11：ou x,liu l,tan s,et al.a hyperspectral image change detectionframework with self-supervised contrastive learning pretrained model[j].ieeejournal of selected topics in applied earth observations and remote sensing,2022,15:7724-7740.

19、文献12：zhang m,li q,yuan y,et al.edge neighborhood contrastivelearning for building change detection[j].ieee geoscience and remote sensingletters,2023,20:1-5.文献13：de gélis i,saha s,shahzad m,et al.deepunsupervised learning for 3d als point clouds change detection[j].arxivpreprint arxiv:2305.03529,2023.

技术实现思路

1、为了实现多维度多模态数据的智能高效可解释性分析，达成三维和语义同步变化信息的小样本、智能化、自动化、精细化挖掘，本发明提出了一种融合知识图谱和生成对比对抗的三维和语义同步变化检测方法及系统。

2、本发明的方法所采用的技术方案是：一种三维和语义同步变化检测方法，其特征在于，包括以下步骤：

3、步骤1：获取多模态三维和语义变化检测小样本数据集，包括两个时相的三维几何数据、属性数据和文本数据；

4、步骤2：分别对所述两个时相的三维几何数据、属性数据和文本数据进行预处理，获得两个时相的几何数据集、属性数据集和文本数据集；

5、步骤3：基于两个时相的几何数据集和属性数据集，构建三维和语义同步变化检测数据集，包括语义变化、三维几何变化数据，语义变化、三维几何不变数据，语义不变、三维几何变化数据和语义不变、三维几何不变数据；

6、步骤4：基于知识图谱构建正负生成器，采用大模型辅助语义分割三维和语义同步变化检测数据集，获得三维和语义变化检测的正样本和负样本，之后对三维和语义同步变化检测数据集进行扩充，获得三维几何变化标签和语义变化标签；包括几何真实变化标签、几何虚检错误标签和几何漏检错误标签，语义真实变化标签、语义虚检错误标签和语义漏检错误标签；

7、步骤5：基于对比学习思想构建三维和语义动量对比编码器，输入两时相的三维数据和属性数据的正样本和负样本，进行三维和语义动量对比编码器的预训练；

8、步骤6：基于对比学习构建语义检测器，分别建立三维动量对比编码器、语义动量对比编码器、语义编码器，分别对两时相的三维数据、属性数据、语义文本数据进行编码，之后进行解码器解码、损失计算、梯度更新操作；

9、步骤7：基于对抗网络的损失函数实现正负生成器和语义检测器的博弈，进而完成小样本条件下的自监督三维和语义同步变化检测；通过判断生成对抗博弈是否达到迭代终止的判断条件，如果满足迭代的终止条件，则执行步骤8；反之，则回转执行步骤4；

10、步骤8：三维和语义同步变化检测信息挖掘，三维动量对比编码器、语义动量对比编码器、语义编码器分别获得三维几何是否变化、两时相语义分割结果、语义是否变化的结果；

11、步骤9：三维和语义同步变化检测结果分析，对三维和语义同步变化检测挖掘的语义信息进一步分析，获得语义变化、三维几何变化，语义变化、三维几何不变，语义不变、三维几何变化和语义不变、三维几何不变的结果。

12、作为优选，步骤2中，对两个时相的三维点云数据和数字表面模型数据dsm进行几何校正和辐射校正，获得几何数据集；

13、所述几何校正，是从影像到地图校正，首先选择基准平面，然后自动匹配获得同名点，剔除误匹配点，接着进行正射校正，最后生成数字正射地图dom；

14、所述辐射校正，通过经验模型法、大气校正法或地表反射校正法完成辐射校正。

15、作为优选，步骤2中，所述文本数据集，是基于地学知识图谱获取三维和几何同步变化检测所需要的地物信息的两个时相的语义和拓扑关系，存储到文本数据集中；

16、所述地学知识图谱是树状结构，叶子节点表示地物之间的拓扑和空间关系，知识图谱的构建包括以下步骤：

17、(1)地学知识抽取，抽取几何和属性数据含有的地理场景、地理特征语义信息，获取实体、属性、关系要素；

18、(2)地学知识融合，对几何和属性数据蕴含的空间格局、演化过程、相互作用机制、时空分布的语义信息进行提取和分析，生成图谱单元；

19、(3)地学知识推理，从三维几何特征、光谱特征、纹理特征或拓扑特征角度进行知识推理，形成小样本文本数据集。

20、作为优选，步骤4中，所述正负生成器，利用地学知识图谱提供的不同地物类型的语义和拓扑信息建立正负生成器，对多模态数据的几何和语义信息分别建立智能解译标签，生成正样本和负样本；所述正样本，包括几何真实变化标签、几何真实不变标签、语义真实变化标签、语义真实不变标签；所述负样本，包括几何虚检错误标签、几何漏检错误标签、语义虚检错误标签、语义漏检错误标签；

21、作为优选，基于地学知识图谱的正负生成器生成正样本，具体实现步骤如下：

22、步骤4.1.1：几何变换，三维和语义同步变化检测数据集包含时相1和时相2的三维几何数据，对两时相点云和影像进行影像旋转、影像镜像处理，对三维点云和两时相影像进行几何的样本增强；

23、步骤4.1.2：辐射增强，三维和语义同步变化检测数据集包含时相1和时相2的属性数据，对两时相影像进行直方图匹配、直方图拉伸、混合地物加入处理，进行辐射的样本增强；

24、基于地学知识图谱的正负生成器生成负样本，具体实现步骤如下：

25、步骤4.2.1：生成几何校正负样本；

26、(1)生成单一像素影像配准误差；对经过几何变换生成的正样本，进行配准生成配准误差；

27、(2)生成多像素影像配准误差；在几何变换生成的正样本的基础上，基于地学知识图谱通过形态学处理模拟两期影像由于影像边缘的整体偏移所造成的误匹配误差；

28、步骤4.2.2：生成辐射校正负样本；对经过辐射增强生成的正样本，添加辐射噪声，模拟阴影导致的伪变化。

29、作为优选，步骤5的具体实现包括以下子步骤：

30、步骤5.1：基于对比学习的思想建立动量对比编码器，实现下游任务语义检测器构建的预训练过程；

31、步骤5.1.1：正样本、负样本分别输入；所述正样本、负样本分别输入到基于dsm的动量对比编码器和基于影像的动量对比编码器，分别进行训练获取三维动量对比编码器和语义动量对比编码器；

32、其中，三维动量对比编码器的输入，输入两个时相的多模态几何高程的正样本和负样本；语义动量对比编码器的输入，输入两个时相的多模态遥感影像的正样本和负样本；

33、步骤5.1.2：初始化三维动量对比编码器3dencoder、语义动量编码器imageencoder；在基于三维和语义的动量对比编码器的预训练过程中，3dencoder和imageencoder分别对应一个动量编码器3dmomentumencoder、imagemomentumencoder，在训练过程中要保持3dencoder和3dmomentumencoder的参数一致、imageencoder和imagemomentumencoder的参数一致；

34、步骤5.1.3：重复训练三维动量对比编码器和语义动量对比编码器；

35、(1)从输入到三维和语义动量对比编码器中的正负样本中随机采样样本3dx和imagex，随机采样的样本3dx和imagex称为锚点，除去锚点外剩余的正负样本称为队列；

36、(2)对锚点进行随机数据增强，锚点和数据增强后的数据分别输入到编码器3dencoder和imageencoder中，并分别计算其特征向量3dxq和imagexq；

37、(3)3dmomentumencoder、imagemomentumencoder输入样本并计算特征向量3dxk和imagexk；所述3dmomentumencoder、imagemomentumencoder输入的样本是锚点数据进行另一种数据增强后的样本和队列中的样本；所述锚点进行另一种数据增强后的样本作为正样本，与锚点进行数据增强后的样本构成正样本对；所述队列中的样本作为负样本；

38、(4)计算锚点与对应的正样本的内积作为相似度，所述内积是将特征向量3dxq和3dxk对应相乘、imagexq和imagexk对应相乘；

39、(5)计算锚点和所有负样本的内积；

40、(6)将锚点与正样本的内积和负样本的内积合并到一起；

41、(7)计算锚点与正样本的损失，进而区分正确样本和错误样本；所述损失根据是否输入正负样本的标签数据可以分为基于有监督的损失函数计算和基于无监督的损失函数计算；所述锚点与正样本越相似，损失值越小；所述锚点与负样本越接近，损失值越大；

42、(8)更新编码器3dencoder、imageencoder、3dmomentumencoder和imagemomentumencoder的参数；

43、步骤5.1.4：动量对比编码器结果输出，将动量对比编码器训练的三维动量对比编码器和语义动量编码器输出到后续任务中使用。

44、作为优选，步骤6的具体实现包括以下子步骤：

45、步骤6.1：构建对比学习语义解码器，将三维和语义特征向量3dxq和imagexq解码为原始的三维和语义样本3dx和imagex，训练语义解码器提取三维动量对比编码器和语义动量编码器获取的三维和语义特征；

46、步骤6.2：在小样本的条件下，将动量对比编码器获得的三维和语义编码器和对比学习语义解码器进行组合，构建对比学习语义检测器；

47、步骤6.2.1：数据输入，包括前时相的遥感影像数据，前时相的几何高程数据，前时相的文本信息数据，后时相的遥感影像数据，后时相的几何高程数据和后时相的文本信息数据；前后时相的遥感影像数据用于获得前后时相的遥感影像分割结果，前后时相的文本信息数据用于获得语义变化结果，前后时相的几何高程数据用于获得三维几何变化结果，所述四种语义检测器鉴别结果同时获得；

48、步骤6.2.2：调用预训练好的编码器3dencoder、imageencoder；

49、步骤6.2.3：对比学习语义解码器解码；

50、步骤6.2.4：输入样本标签并计算损失值，进行梯度更新；

51、步骤6.2.5：语义检测器结果分析，语义检测器的鉴别结果包括同时获得前时相遥感影像的语义分割结果、后时相遥感影像的语义分割结果、语义变化结果和三维几何变化结果。

52、作为优选，步骤8的具体实现包括以下子步骤：

53、步骤8.1：基于对比学习的语义检测器检测三维变化信息，通过小样本自监督学习实现三维变化信息的挖掘；

54、步骤8.2：对抗博弈获取几何和语义变化的语义信息，计算生成对比对抗网络的损失函数，进而获得三维几何和语义信息是否发生变化、以及如何发生变化；所述三维变化检测的结果包括：前时相遥感影像的语义分割结果，后时相遥感影像的语义分割结果，语义变化结果和三维几何变化结果；将三维变化检测结果更新至三维变化检测数据集中；

55、步骤8.3：三维和语义同步变化检测数据集动态更新；

56、步骤8.3.1：样本标签的更新，基于知识图谱的小样本标签数据集、正负生成器生成的正负样本；

57、步骤8.3.2：三维变化检测的几何、语义检测结果，三维变化检测生成检测结果的同时，实现数据集的实时动态更新。

58、作为优选，步骤9的具体实现包括以下子步骤：

59、步骤9.1：三维变化检测网络性能分析，通过计算三维和语义同步变化检测的网络损失值，判断生成对比对抗网络的收敛性、鲁棒性性能；

60、步骤9.2：三维和语义同步变化检测的定量评价；

61、步骤9.3：三维和语义同步变化检测的定性评价；

62、三维和语义同步变化检测的结果，分析前时相和后时相的遥感影像语义分割结果，获得语义如何发生变化；分析语义变化结果和三维几何变化结果，获得如下类型的变化：语义变化、三维几何变化，语义变化、三维几何不变，语义不变、三维几何变化，语义不变、三维几何不变。

63、本发明的系统所采用的技术方案是：一种三维和语义同步变化检测系统，其特征在于，包括：

64、一个或多个处理器；

65、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的三维和语义同步变化检测方法。

66、本发明创新点包括：

67、(1)采用以同步实现三维变化、几何变化、语义变化的多任务三维和语义同步变化检测方法；

68、(2)仅采用正负生成器和语义检测器对抗检测方法；

69、(3)同时把生对对抗网络和对比学习结合，实现三维和语义同步变化检测的多分支、多输入的方法；

70、(4)使用知识图谱防止生成器生成的负样本标签和影像的欺骗性不够，即伪变化不够逼真，无法进行有效对抗的问题；

71、(5)使用大模型辅助语义分割获得三维变化检测的小样本标签，实现小样本三维和语义变化检测。

72、相对于现有技术，本发明的有益效果包括：

73、(1)基于gan的变化检测：

74、kousuke等使用的训练样本有限(文献1)，而本发明不仅使用大模型辅助语义分割获取三维变化检测小标签，而且基于知识图谱构建了三维变化检测数据集，同时实现了小样本的三维和语义同步变化检测，实现了三维和语义是否变化、如何变化的检测；

75、alvarez等使用自监督的方法进行二维变化检测(文献2)，而本发明基于知识图谱的正负生成器在小样本的条件下对三维数据和属性数据均可以生成智能标签，实现了小样本条件下的三维和语义变化检测；此外，本发明借助正负生成器和语义检测器的智能博弈过程实现了三维和属性同步变化检测，并融合对比学习、生成对抗网络完成三维和语义同步变化检测的多分支输入、多任务实现；

76、li等、chen等利用生成对抗网络对建筑物进行变化检测(文献3、4)，而本发明可以实现三维和语义同步变化检测，不仅检测建筑物等地物类型是否变化，而且会检测不同的地物类型、三维地形等的变化情况；此外，本发明基于知识图谱的思想构建正负生成器，基于对比学习的思想构建语义检测器，通过正负生成器和语义检测器的博弈过程，实现了小样本条件下的三维和语义同步变化检测；

77、wu等利用生成对抗网络进行了生成器、分割器、鉴别器的博弈过程(文献5)，而本发明构建的生成对比对抗网络仅使用正负生成器和语义检测器的博弈，实现了三维和语义同步变化检测，检测出了三维和属性是否变化、三维如何变化、属性如何变化等变化的语义信息；并且本发明基于知识图谱的生成器生成小样本标签有效防止了负样本欺骗性不强，难以进行有效对抗的问题；

78、hou等利用w-net作为生成器只生成了变化的标签结果(文献6)，而本发明的正负生成器会生成正样本和负样本的标签和影像，负样本会欺骗语义检测器进行博弈，此外，本发明使用知识图谱构建正负生成器，并利用对比学习构建语义检测器协同正负生成器对抗博弈进行三维和语义同步变化检测；

79、niu等和nagy等分别利用合成孔径雷达、粗配准点云进行三维变化检测(文献7、8)，而本发明构建的多模态三维变化检测数据集不仅包含三维几何信息和光谱信息，而且在充分利用知识图谱的基础上，通过正负生成器为神经网络建模提供了精细化、高质量的小样本解译标签；此外，本发明基于对比学习设计语义检测器，实现三维和语义同步变化检测的多分支输入；通过生成对抗的博弈过程实现三维属性是否变化、如何变化等变化情况的检测；

80、杨晓冬等采用人工标注法获取训练样本(文献9)，而本发明基于知识图谱的正负生成器生成三维和语义同步变化检测的小样本标注数据集，在小样本的条件下进行三维和语义同步变化检测；此外，本发明基于知识图谱和对比学习分别构建正负生成器和语义检测器，并通过两者的博弈，构建多分支、多任务的生成对抗网络，进而实现三维和语义同步变化检测；

81、(2)基于对比学习的变化检测；

82、wang等利用对比学习对高分辨率遥感影像进行有监督的变化检测(文献10)，而本发明基于知识图谱的正负生成器的方式生成正负样本，从而实现小样本条件下的三维和语义同步变化检测；此外，本发明通过正负生成器和语义检测器的博弈是实现了三维和语义同步变化检测，不仅可以检测如高分辨率影像是否变化的问题，还可以进行三维变化检测，同时实现是否变化和如何变化的检测问题；

83、ou等使用高斯噪声的数据增强策略(文献11)，而本发明基于知识图谱，使用大模型辅助语义分割获取三维变化检测的小样本标签，本发明设计的正负生成器不仅可以生成变化的标签，还可以生成标签对应的影像；此外，本发明融合对比学习和生成对抗网络，实现了三维和语义同步变化检测；

84、zhang等利用对比学习的思想检测建筑物变化或者不变的情况(文献12)，而本发明不仅检测地物类型是否变化，而且检测三维变化、地物类型如何变化等问题；本发明设计的正负生成器和语义检测器的生成对抗过程，实现了三维和语义同步变化检测的多任务训练；

85、de gélis等主要围绕变化检测的地物类型是否变化(文献13)，而本发明提出的三维和语义同步变化检测方法在融合了三维信息的基础上，设计正负生成器和语义检测器，通过生成对抗网络实现了三维变化检测的智能语义信息挖掘，分析获得了四种三维变化检测的结果，即三维几何和语义信息是否变化、如何变化的问题。