一种基于多泛化知识积累的小样本图像匹配方法

本发明属于图像处理，具体涉及一种基于多泛化知识积累的小样本图像匹配方法。

背景技术：

1、随着遥感技术的飞速发展，传感器类型日趋丰富，海量异源遥感图像由此获取。异源图像配准技术能够通过图像匹配算法建立异源图像间的空间位置对应关系，并基于得到的对应关系对图像进行变换来实现不同图像位置信息的对齐，为综合利用不同传感器获取的丰富遥感图像开展相关实际应用奠定了坚实基础。图像匹配算法作为图像配准中的核心步骤，其匹配精度会直接影响图像配准的准确性。

2、目前，随着深度学习的快速发展，将深度学习应用于异源遥感图像匹配的方法受到了广泛关注，而实际上在遥感图像匹配任务的应用场景中，部分场景数据获取难度大，因此如何解决数据小样本问题十分关键。

3、然而，现有技术未针对该实际问题进行研究，一方面，现有图像匹配技术应用于特定场景小样本情况时，都是直接利用小样本数据进行网络学习，或经过已有其他场景的大量数据训练匹配网络，再基于特定场景的小样本数据对预训练好的网络进行微调，这种仅基于小样本数据对深度网络进行学习会面临过拟合问题，导致网络匹配性能下降。另一方面，元学习作为一种典型的泛化知识学习策略，虽然可以有效地解决小样本问题，但是将元学习应用于特定场景的小样本匹配问题时，若其他场景与特定场景数据分布差异较大，通过拟合其他场景小样本数据分布，积累的小样本泛化知识对特定场景的适用性不佳。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于多泛化知识积累的小样本图像匹配方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供一种基于多泛化知识积累的小样本图像匹配方法，包括：

3、获取待匹配的第一光学图像和第一sar图像；

4、对所述第一光学图像和第一sar图像进行预处理，得到多个第一光学图像切片和多个第一sar图像切片；

5、将所述多个第一光学图像切片输入匹配模型的第一分支、将所述多个第一sar图像切片输入匹配模型的第二分支，分别得到第一特征向量eo和第二特征向量es；其中，所述匹配模型为：基于few shot小样本子任务、跨场景子任务、所述小样本子任务的第一支撑集、第一查询集以及所述跨场景子任务的第二支撑集、第二查询集训练得到的双分支网络；

6、根据所述第一特征向量eo与所述第二特征向量es间的相似性，得到所述光学图像与所述sar图像的匹配结果。

7、在本发明的一个实施例中，所述匹配模型按照如下步骤训练获得：

8、从数据集中获取不同场景下的多个光学-sar图像对，每个所述光学-sar图像对包括第二光学图像及其对应的第二sar图像；

9、对各个光学-sar图像对进行预处理，形成所述不同场景下的训练数据集合p＝{p1,p2,...,pn}，其中，pn表示第n个场景的训练数据，n＝1,2，……，n，每个场景的训练数据包括该场景的多个第二光学图像切片及其对应的多个第二sar图像切片；

10、构建待训练的双分支网络并进行参数初始化；所述待训练的双分支网络包括第一分支和第二分支，其中，所述第一分支与所述第二分支均包括七层卷积层；

11、将所述不同场景中的任意一个场景作为特定场景、其余场景作为辅助场景，基于所述特定场景的训练数据与所述辅助场景的训练数据，分别构建第i个小样本子任务的数据集合以及第i个跨场景子任务的数据集合；

12、基于所述第i个小样本子任务的数据集合与所述第i个跨场景子任务的数据集合，交替对所述待训练的双分支网络进行训练，直至所述双分支网络的精度达到预设条件后，将训练完成的双分支网络确定为匹配模型。

13、在本发明的一个实施例中，对各个光学-sar图像对进行预处理，形成所述不同场景下的训练数据集合p＝{p1,p2,...,pn}的步骤，包括：

14、针对每个所述光学-sar图像对，利用sift算法提取第二光学图像中的特征点后，以每个特征点为中心，裁剪得到多个第二光学图像切片，并在所述第二光学图像对应的第二sar图像的同样位置裁剪得到多个第二sar图像切片，形成所述不同场景下的训练数据集合p＝{p1,p2,...,pn}，其中，pn表示第n个场景的训练数据。

15、在本发明的一个实施例中，将所述不同场景中的任意一个场景作为特定场景、其余场景作为辅助场景，基于所述特定场景的训练数据与所述辅助场景的训练数据，分别构建第i个小样本子任务的数据集合以及第i个跨场景子任务的数据集合的步骤，包括：

16、将所述不同场景中的任意一个场景作为特定场景、其余场景作为辅助场景；

17、获取任意一个辅助场景下第一数据量的训练数据，形成第一支撑集并获取该辅助场景下第二数据量的训练数据，形成第一查询集构成第i个小样本子任务的数据集合其中，所述第一数据量小于所述第二数据量；

18、获取任意一个辅助场景下第一数据量的训练数据，形成第二支撑集并获取另一辅助场景下第二数据量的训练数据，形成第二查询集构成第第i个跨场景子任务的数据集合

19、在本发明的一个实施例中，基于所述第i个小样本子任务的数据集合与所述第i个跨场景子任务的数据集合，交替对所述待训练的双分支网络进行训练，直至所述双分支网络的精度达到预设条件后，将训练完成的双分支网络确定为匹配模型的步骤，包括：

20、将所述第一支撑集中的第二光学图像切片及其对应的第二sar图像切片分别输入至第一分支和第二分支，得到第一分支输出的第一当前特征向量和第二分支输出的第二当前特征向量；

21、基于所述第一当前特征向量、所述第二当前特征向量和三元损失函数，确定第一损失值，并根据所述第一损失值和第一预设步长更新所述双分支网络的参数；

22、基于更新后的参数θ'，将所述第一查询集中的第二光学图像切片及其对应的第二sar图像切片分别输入至第一分支和第二分支，得到第一分支输出的第三当前特征向量和第二分支输出的第四当前特征向量；

23、基于所述第三当前特征向量、所述第四当前特征向量和三元损失函数，确定第二损失值，并根据第二损失值和和第二预设步长将所述分支网络的参数由θ'更新为θ1；

24、基于更新后的参数θ1，将所述第二支撑集中的第二光学图像切片及其对应的第二sar图像分别输入至第一分支和第二分支，得到第一分支输出的第五当前特征向量和第二分支输出的第六当前特征向量；

25、基于所述第五当前特征向量、所述第六当前特征向量和三元损失函数，确定第三损失值，并根据第三损失值和第一预设步长更新所述双分支网络的参数；

26、根据更新后的参数θ2，将第二查询集中的第二光学图像切片及其对应的第二sar图像分别输入至第一分支和第二分支，得到第一分支输出的第七当前特征向量和第二分支输出的第八当前特征向量；

27、基于所述第五当前特征向量、所述第六当前特征向量和三元损失函数，确定第四损失值，并根据第四损失值和第二预设步长更新所述双分支网络的参数；

28、判断所述第四损失值是否满足预设条件；若是，则得到训练完成的双分支网络；若否，则令i＝i+1，返回获取任意一个辅助场景下第一数据量的训练数据，形成第一支撑集并获取该辅助场景下第二数据量的训练数据，形成第一查询集构成第i个小样本子任务的数据集合的步骤。

29、在本发明的一个实施例中，基于所述第i个小样本子任务的数据集合与所述第i个跨场景子任务的数据集合，交替对所述待训练的双分支网络进行训练，直至所述双分支网络的精度达到预设条件后，将训练完成的双分支网络确定为匹配模型的步骤之后，还包括：

30、对所述匹配模型的参数进行优化调整。

31、在本发明的一个实施例中，按照如下公式对所述匹配模型的参数进行优化调整：

32、

33、式中，θm表示匹配模型的参数，dtest表示所述特定场景的第一数据量的训练数据，表示所述匹配模型的映射函数，表示三元损失函数，α表示所述第一预设步长。

34、在本发明的一个实施例中，根据所述第一特征向量eo与所述第二特征向量es间的相似性，得到所述光学图像与所述sar图像的匹配结果的步骤，包括：

35、针对每个第一光学图像切片的第一特征向量eo，分别计算其与各个第一sar图像切片之间的欧式距离；

36、确定所述欧式距离的最小值，并与该最小值对应的第一sar图像切片进行匹配。

37、与现有技术相比，本发明的有益效果在于：

38、1.本发明所构建的匹配模型能够从其他场景学习并积累有效的小样本泛化知识和跨场景泛化知识，以应用于特定场景的小样本图像匹配任务，提升匹配性能。相比于现有技术中利用其他各场景数据直接对网络进行预训练，再基于特定场景小样本数据微调，本发明中所设计的泛化知识学习策略最终能够使得匹配模型更加良好地适用于特定场景的小样本情况。

39、2.本发明中通过构建跨场景子任务来帮助匹配模型学习跨场景泛化知识，能够减弱不同场景数据之间存在的差异对匹配结果的影响，保证最终得到的匹配模型对于不同场景的小样本情况均能良好适用，一定程度上提高了模型的泛用性。

40、以下将结合附图及实施例对本发明做进一步详细说明。