光学卫星影像特征匹配深度学习训练样本集自动构建方法与流程

本发明属于遥感信息处理技术领域，具体涉及光学卫星影像特征匹配深度学习训练样本集自动构建方法。

背景技术：

光学遥感卫星影像的特征匹配是进行影像配准、区域网平差连接点提取的重要前提。由于不同卫星影像在成像方式、地面分辨率、时相、光照条件等方面存在较大差异，卫星影像特征匹配的难度较大，传统的基于灰度或者基于特征的匹配方法在实践中存在正确率低、成功率低以及可靠性差等问题。目前基于深度学习的影像特征匹配方法展示出较大的发展潜力，较大程度上解决了传统方法存在的问题(文献：范大昭,董杨,张永生.卫星影像匹配的深度卷积神经网络方法[j].测绘学报,2018,47(6):844g853.doi:10.11947j.agcs.2018.20170627)。文献(k.li,g.wan,g.cheng,l.meng,j.hanobjectdetectioninopticalremotesensingimages:asurveyandanewbenchmark.isprsjournalofphotogrammetryandremotesensing,159:296-307,2020)提出了一个大规模、公开可用的光学遥感影像目标检测训练样本集：dior，该样本集的标注依靠人工手动标注的方式。文献(范大昭,董杨,张永生.卫星影像匹配的深度卷积神经网络方法[j].测绘学报,2018,47(6):844g853.doi:10.11947j.agcs.2018.20170627)提出的两通道深度卷积神经网络模型及其优化网络模型,能够较好地进行卫影像匹配模式的学习，但是没有提出训练样本集的构建方法，制约了其实用性和普适性。

由此可见，基于深度学习的遥感影像匹配方法依赖海量的训练样本，样本标注成为制约模型性能的重要因素。与计算机视觉中场景分类、目标识别等不同，遥感影像特征匹配的样本标注难度大、专业性强、精度和可靠性要求高，无法像计算机视觉中采用在线众筹的方式进行，必须依靠专业影像判读人员，由此导致成本高、效率低，且样本库难以做到开源共享。

技术实现要素：

本发明的目的是为了解决在利用深度学习方法进行光学卫星影像特征匹配时训练样本集构建效率低、成本高、通用性差的技术问题。

为解决上述技术问题，本发明提出光学卫星影像特征匹配深度学习训练样本集自动构建方法，具体的技术方案如下：

步骤1、对卫星成像过程进行全链路模拟，利用参考影像、数字高程模型得到模拟影像和对应的内外方位元素；

步骤2、利用基于灰度或者基于特征的方法在参考影像和模拟影像上进行特征提取，得到若干特征点；

步骤3、参考影像上的特征点坐标为(x1,y1)，根据影像内外方位元素构建严格成像模型，计算其在模拟影像上的坐标(x2,y2)；

步骤4、假定严格成像模型的像方投影误差中误差为δ，在模拟影像上以(x2,y2)为圆心、δ为半径搜索特征点，对于落入其中的特征点，利用常规匹配方法验证其是否为同名点，如果为同名点，则构成一对特征匹配训练正样本；

步骤5、逐一计算参考影像上的特征点，完成正样本集的构建；

步骤6、随机在参考影像和模拟影像上选取一定数量的特征点，构成负样本集的构建。

本发明的有效收益为：

1、本发明实现了无需手动标注的光学卫星影像特征匹配深度学习训练样本集自动构建方法，大大提高了样本集构建的效率、可靠性，降低了成本和专业门槛；

2、本发明可适应多种不同卫星成像方式，对于不同成像方式的卫星影像具有一定的普适性，具有较高的实用价值；

3、本发明适应多种特征提取算子，理论上本发明可以适用于所有特征提取算子，因此其鲁棒性更好，可以适应不同卫星影像处理的需求；

4、本发明无需生成实体同名点对影像，与生成实体同名影像块的方式不同，本发明可以仅生成同名点对在参考影像和模拟影像上的坐标，因此可以大大节约计算机磁盘存储空间；

5、本发明可以适用于在研新成像体制卫星影像的处理，由于采用的是影像模拟的方式，可以在卫星研制过程中提前开展影像处理实验，卫星入轨后即可开展真实数据处理工作，无需等待卫星真实数据积累的样本。

附图说明

图1为影像模拟过程流程图；

图2本发明光学卫星影像特征匹配深度学习训练样本集构建原理图；

图3为本发明实施例河南某地区参考影像示意图；

图4为本发明实施例河南某地区数字高程模型示意图；

图5为本发明实施例模拟卫星影像示意图；

图6为本发明实施例特征匹配结果(1)示意图；

其中：6(a)为参考影像上特征点分布；

6(b)为模拟影像上特征点分布；

图7为本发明实施例特征匹配结果(2)示意图；

其中：7(a)为参考影像上特征点分布；

7(b)为模拟影像上特征点分布；

图8为本发明实施例特征匹配结果(3)示意图；

其中：8(a)为参考影像上特征点分布；

8(b)为模拟影像上特征点分布；

图9为本发明实施例特征匹配结果(4)示意图；

其中：9(a)为参考影像上特征点分布；

9(b)为模拟影像上特征点分布；

具体实施方式

下面结合附图对本发明进行详细的解释和说明。

本发明提出了一种无需人工标注的同名特征点自动标注方法。在对卫星成像过程进行全链路模拟的基础上，利用参考影像生成模拟卫星影像，结合特征匹配结果和卫星严格成像模型，得到同名点对训练样本集。

本发明的主要基于如下原理：在对卫星成像过程进行全链路模拟时，生成的模拟影像和参考影像之间的几何关系符合卫星严格成像模型，实际上确立了参考影像和模拟影像各像元之间的一一对应关系。如果分别在参考影像和模拟影像上提取特征点，就可以利用这种几何约束关系判断两个特征点是否为同名点，如果是同名点，可以作为特征匹配深度学习训练样本集的正样本，如果不是同名点，则可以作为特征匹配训练样本集的负样本。本质上来讲，本发明利用卫星影像严格成像模型作为几何约束关系代替了人工判读，实现了训练样本集的自动构建。本发明的主要步骤如图2所示，具体步骤如下：

步骤1、对卫星成像过程进行全链路模拟，利用参考影像、数字高程模型(digitalelevationmodel,dem)得到模拟影像和对应的内外方位元素，如图1所示，模拟过程考虑影响影像几何和辐射质量的主要因素，使得模拟影像的几何和辐射特性与真实影像尽可能接近。

由于影像模拟的过程是基于卫星严格成像模型进行的，模拟影像和参考影像之间的几何关系已知的，为训练样本集的自动构建提供了先验条件和基础，这样可以实现无需手动标注的光学卫星影像特征匹配深度学习训练样本集自动构建，提高了样本集构建的效率、可靠性，降低了成本和专业门槛；另外，只要知道卫星的成像方式，均可以对其成像过程进行模拟，所以本发明可适应多种不同卫星成像方式，可以适用于在研新成像体制卫星影像的处理。

步骤2、利用基于灰度或者基于特征的方法在参考影像和模拟影像上进行特征提取，得到若干特征点；

得到的特征点作为样本集的构成元素，可以为深度学习模型训练提供输入；与采用的特征提取算子无关，因此可以适用于不同的特征提取算法。

步骤3、参考影像上的特征点坐标为(x1,y1)，根据影像内外方位元素构建严格成像模型，计算其在模拟影像上的坐标(x2,y2)；

通过该步骤可以快速找到参考影像上的特征点在模拟影像上的坐标，且无需人工参与。

步骤4、假定严格成像模型的像方投影误差中误差为δ，在模拟影像上以(x2,y2)为圆心、δ为半径搜索特征点，对于落入其中的特征点，利用常规匹配方法验证其是否为同名点，如果为同名点，则构成一对特征匹配训练正样本；

考虑到特征点提取算法的精度、坐标转换误差、计算过程中的舍入误差等因素，需要设置如步骤4这样的一个合理的搜索范围，然后验证其是否为同名点。

步骤5、逐一计算参考影像上的特征点，完成正样本集的构建；

由于整个计算过程无需人工判别和干预，所以可以由计算机自动完成；本发明只需要记录下正样本在参考影像和模拟影像上的坐标，无需生成实体同名点对影像，因此可以大大节约计算机磁盘存储空间。

步骤6、随机在参考影像和模拟影像上选取一定数量的特征点，构成负样本集的构建。

本步骤同步骤5，其过程也可以自动完成。

由此，完成光学卫星影像特征匹配深度学习训练样本集的自动构建。

实施例1

为验证本发明的有效性，利用河南某地区参考影像和数字高程模型生成了模拟卫星影像，并构建了特征匹配同名点样本集，具体实施过程如下：

1、如图3、4所示，收集河南某地区的参考影像和数字高程模型；

2、如图5所示利用参考影像和数字高程模型模拟生成该地区光学线阵推扫卫星影像；

3、在模拟影像的内外方位元素的辅助下，采用基于灰度的影像匹配方法，在参考影像和模拟影像上匹配得到若干同名点，即本发明的步骤2-步骤4，如图6-9所示

4、利用上述匹配结果，采用步骤5、步骤6的方法，完成光学卫星影像特征匹配深度学习训练样本集的自动构建。