遥感数据多目标关联匹配与轨迹生成方法及设备与流程

1.本发明涉及一种遥感数据多目标关联匹配与轨迹生成方法及设备。


背景技术：

2.近年来随着遥感技术的发展，对地观测呈现出多平台、多传感器和高时间分辨率等特点，多模态多时相遥感数据为资源调查、环境监测、建设规划等应用提供了十分丰富的空间信息源。然而不同传感器、不同时态的遥感图像在空间特征、纹理特征等方面存在一定差异，对多模态序列遥感数据的综合利用造成了困难。因此，如何进行多模态序列遥感数据融合，充分发挥多平台、多传感器互补观测的优势，获得更加精准、全面的目标信息，一直是遥感领域热点问题之一。
3.遥感信息融合一般分为三个层次：像素级融合、特征级融合和决策级融合。目前针对像素级融合，多采用深度学习方法，并取得了不错的效果，然而这类方法主要面向同质遥感数据融合，难以较好地应用于异质数据融合场景，而且基于深度学习的方法往往需要大量经过专家判读和标注的训练数据，对数据质量要求较高。特征级融合和决策级融合更适用于异质数据融合场景，现有研究尚处于起步阶段，缺乏高效率、高精度且推广适用性好的方法。


技术实现要素：

4.鉴于上述技术问题，本发明利用拓扑特征相似性匹配的方法对多源异质遥感数据进行多目标关联匹配和目标轨迹生成，为多模态序列遥感数据融合应用提供了一种可行的技术方案。本发明的目的为提供一种遥感数据多目标关联匹配与轨迹生成方法，利用sift尺度不变的特性对多模态序列遥感图像进行空间配准，再利用基于拓扑特征相似度匹配的多目标关联匹配方法对图像中的目标信息进行关联匹配，该发明可以将不同传感器在空间及时间上的冗余或互补信息进行组合，获得比单一传感器单时相数据更完善更准确的目标轨迹信息，具有高效率、高精度的特点。
5.实现本发明目的的技术解决方案为：一种遥感数据多目标关联匹配与轨迹生成方法，包括以下步骤：步骤s1、获取预设区域的多模态多时相序列遥感图像数据，并提取图像序列中的感兴趣目标信息；步骤s2、对获取的多模态序列遥感图像进行空间配准；步骤s3、对序列中任意两张图像进行多组感兴趣目标关联匹配， 根据关联结果将相对应的感兴趣目标进行融合；步骤s4、计算融合后的多个感兴趣目标在整个图像序列中经过空间配准的所有坐标位置， 拟合得到多个感兴趣目标的运动轨迹。
6.根据本发明的一个方面，在所述步骤2中，利用基于sift特征匹配的方法对获取的多模态序列遥感图像进行空间配准，具体包括：
步骤s21、选取图像序列中任一图像作为整个图像序列空间配准的基准影像，剩余图像作为待配准影像；步骤s22、根据sift算法提取出所有影像中的尺度不变特征点及其描述向量；步骤s23、利用knn算法对待配准影像中的每一个特征点计算在基准影像中与之匹配程度最高的k个特征点，k=2时，得到其最近邻匹配点和次近邻匹配点；步骤s24、基于待配准影像和基准影像的特征点匹配结果，使用最小二乘法拟合仿射变换矩阵；步骤s25、根据拟合得到的仿射变换矩阵，将所述待配准影像中的感兴趣目标位置变换到与所述基准影像一致的坐标系中，完成图像序列的空间配准。
7.根据本发明的一个方面，在步骤s23中，当任一特征点与其最近邻匹配的距离和次近邻匹配的距离的比值r大于预设阈值t时，将该匹配结果剔除。
8.根据本发明的一个方面，在步骤s24中，当最小二乘拟合的误差平方和大于预设误差阈值δ时，则其舍弃对应的待配准影像。
9.根据本发明的一个方面，在所述步骤3中，利用拓扑特征相似性匹配的方法对序列中任意两张图像进行多组感兴趣目标关联匹配，根据关联结果将相对应的感兴趣目标进行融合，具体包括：步骤s31、对图像序列中的任一幅图像，利用尺度不变特征变换算法提取感兴趣目标的尺度不变特征点；步骤s32、计算全部感兴趣目标的特征点集的二维拓扑特征描述向量；步骤s33、根据所述描述向量计算任意两张图像之间感兴趣目标的拓扑特征相似度；步骤s34、根据拓扑特征相似度进行两张图像之间的感兴趣目标的关联，并根据关联结果将相对应的感兴趣目标进行融合。
10.根据本发明的一个方面，在所述步骤s32中，计算全部感兴趣目标的特征点集的二维拓扑特征描述向量，具体包括：以感兴趣目标质心为极点建立极坐标系，将所有特征点按照极角大小分入8个区间，每个区间为π/4弧度的扇形区域；计算每个区间的拓扑特征值，其公式为：其中，为第个区间的拓扑特征值，为第个区间的特征点数量，为第个区间第个特征点的极径；则该感兴趣目标的拓扑特征描述向量表示为。
11.根据本发明的一个方面，在步骤s33中，根据所述描述向量计算任意两张图像之间感兴趣目标的拓扑特征相似度，具体包括：
其中，为两个感兴趣目标的拓扑特征相似度，d和sum为用于计算拓扑特征相似度的中间计算量，为第一个图像中的一个感兴趣目标的拓扑特征描述向量，为第二个图像中的一个感兴趣目标的拓扑特征描述向量，i、j 为极坐标系区间索引，abs为绝对值函数，max为最大值函数， 为均值滤波器，用于消除目标方向差异带来的影响。
12.根据本发明的一个方面，在步骤s34中，根据拓扑特征相似度进行两张图像之间的感兴趣目标的关联，具体包括：步骤s341、计算两张图像的拓扑特征相似度矩阵，其公式为：其中，为前一幅图像中的感兴趣目标数量，为后一幅图像中的感兴趣目标数量，为前一幅图像中第个感兴趣目标与后一幅图像中第个感兴趣目标的拓扑特征相似度；步骤s342、在矩阵中查找最大元素，若，则前一幅图像中第个目标与后一幅图像中第个目标相关联，其关联置信度为，并从矩阵中删除第行和第列；重复上述过程直至矩阵中所有元素都小于预设关联置信度阈值，其中。
13.根据本发明的一个方面，在步骤s34中，利用递归建立关联树群的方法将相对应的感兴趣目标进行融合，具体包括：步骤s343、选取任一感兴趣目标作为根节点建立一个关联树，并将该感兴趣目标的所有关联目标作为第一级子节点；步骤s344、将第一级子节点的关联目标中尚未出现在该关联树中的目标作为第一子级节点的第二级子节点，以此类推，得到一个完整的关联树；对于任意尚未出现在任何关联树中的感兴趣目标，重复该步骤，得到由多个独立的关联树组成的涵盖所有感兴趣目标的关联树群；步骤s345、判断任一关联树中是否存在两个节点对应同一图像上的不同感兴趣目标，若是，则删除两个节点之间的路径上关联置信度最低的连接，将原始关联树拆分为两个新的关联树；步骤s346、所得关联树群代表最终的关联结果，其中任一关联树所包含的节点即为需要进行融合的感兴趣目标。
14.根据本发明的一个方面，提供了一种设备，包括存储介质和处理器，所述存储介质存储有计算机程序，所述计算机程序被所述处理器执行时实现上述技术方案中任一项所述的方法。
15.根据本发明的构思，提出一种遥感数据多目标关联匹配与轨迹生成方法，获取一个时段内预设区域的多模态多时相序列遥感图像数据，并提取图像序列中的感兴趣目标信
息，利用基于特征匹配的方法对获取的多模态序列遥感图像进行空间配准，利用拓扑特征相似性匹配的方法对序列中任意两张图像进行多组感兴趣目标关联匹配， 根据关联结果将相对应的感兴趣目标进行融合，计算融合后的多个感兴趣目标在整个图像序列中经过空间配准的所有坐标位置，拟合得到多个感兴趣目标的运动轨迹，将不同传感器在空间及时间上的冗余或互补信息进行组合，避免了不同传感器、不同时态的遥感图像在空间特征、纹理特征等方面存在的差异对多模态序列遥感数据处理造成的影响，获得比单一传感器单时相数据更完善更准确的目标轨迹信息，提升了多模态序列遥感数据处理的效率及精度。
附图说明
16.图1示意性表示根据本发明一种实施方式的遥感数据多目标关联匹配与轨迹生成方法的流程图；图2示意性表示根据本发明一种实施方式的多目标关联匹配的关联树样例图；图3示意性表示根据本发明另一种实施方式的遥感数据多目标关联匹配与轨迹生成方法的流程图；图4示意性表示根据本发明一种实施方式的步骤s2的流程图；图5示意性表示根据本发明一种实施方式的步骤s3的流程图；图6示意性表示根据本发明一种实施方式的步骤s34的流程图；图7示意性表示根据本发明另一种实施方式的步骤s34的流程图。
具体实施方式
17.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅为本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
19.如图1至图7所示，本发明的一种遥感数据多目标关联匹配与轨迹生成方法，包括以下步骤：步骤s1、获取预设区域的多模态多时相序列遥感图像数据，并提取图像序列中的感兴趣目标信息；步骤s2、对获取的多模态序列遥感图像进行空间配准；步骤s3、对序列中任意两张图像进行多组感兴趣目标关联匹配， 根据关联结果将相对应的感兴趣目标进行融合；步骤s4、计算融合后的多个感兴趣目标在整个图像序列中经过空间配准的所有坐标位置， 拟合得到多个感兴趣目标的运动轨迹。
20.在该实施例中，在一定时间段内获取预设区域的多模态多时相序列遥感图像数据后，提取图像序列中的感兴趣目标信息，从而确认感兴趣目标，因卫星轨道、姿态、拍摄角度等的差别，多模态序列遥感图像的定位精度误差各不相同，因此对步骤s1获取的图像序列进行空间配准，以消除各幅图像定位精度误差对拟合目标轨迹的影响，对序列中任意两张
图像进行多组感兴趣目标关联匹配和融合，利用步骤s2得到的仿射变换参数，计算融合后的多个感兴趣目标在整个图像序列中经过空间配准的所有坐标位置，利用最小二乘法进行多项式拟合，得到多个目标的运动轨迹。
21.其中，同一时间段内的任意两张图像指的是两个时间节点上的图像，如第一张图像为a时间的图像，第二张图像为b时间的图像，第一张图像中包括a1、a2、a3
…
a10共计10个感兴趣目标，第二张图像中包括b1、b2、b3
…
b12共计12个感兴趣目标，则a1与b1、b2、b3
…
b12均进行关联匹配，同理a2与b1、b2、b3
…
b12均进行关联匹配，根据关联结果将相对应的感兴趣目标进行融合。
22.如图3和图4所示，在本发明的一个实施例中，优选地，在所述步骤2中，利用基于sift特征匹配的方法对获取的多模态序列遥感图像进行空间配准，具体包括：步骤s21、选取图像序列中任一图像作为整个图像序列空间配准的基准影像，剩余图像作为待配准影像；步骤s22、根据sift（scale invariant feature transform;尺度不变特征变换）算法提取出所有影像中的尺度不变特征点及其描述向量；步骤s23、利用knn（k-nearest neighbor;k-近邻）算法对待配准影像中的每一个特征点计算在基准影像中与之匹配程度最高的k个特征点，k=2时，得到其最近邻匹配点和次近邻匹配点；步骤s24、基于待配准影像和基准影像的特征点匹配结果，使用最小二乘法拟合仿射变换矩阵；步骤s25、根据拟合得到的仿射变换矩阵，将所述待配准影像中的感兴趣目标位置变换到与所述基准影像一致的坐标系中，完成图像序列的空间配准。
23.在本发明的一个实施例中，优选地，在步骤s23中，当任一特征点与其最近邻匹配的距离和次近邻匹配的距离的比值r大于预设阈值t时，将该匹配结果剔除。
24.在该实施例中，在对基准影像和待配准影像进行特征点匹配时，由于遥感图像背景复杂，暴力选取欧氏距离最近的特征点作为匹配结果容易造成大量的错误匹配，因此，通过采用knn算法对待配准影像中的每一个特征点计算在基准影像中与之匹配程度最高的k个特征点，其中k=2，即对于每一个特征点得到其最近邻匹配点和次近邻匹配点，由于图像特征空间的高维性，在某一错误匹配结果的相近距离上可能存在大量其他错误匹配，而正确匹配结果的距离则应大幅小于其他错误匹配结果。基于此，当匹配结果中最近邻的距离和次近邻的距离的比值r大于预设阈值t时，认为该匹配结果为错误匹配并将其剔除，避免了错误匹配的问题，保证了空间配准的准确性，从而提升了多模态序列遥感数据多目标关联匹配与轨迹生成结果的准确度，本发中的预设阈值t=0.4。
25.在本发明的一个实施例中，优选地，在步骤s24中，当最小二乘拟合的误差平方和大于预设误差阈值δ时，则其舍弃对应的待配准影像。
26.在该实施例中，当最小二乘拟合的误差平方和大于提前设定的预设误差阈值δ时，认为该待配准影像与基准影像配准程度较低并将其舍弃，同样有利于提升匹配的准确性。
27.如图3和图5所示，在本发明的一个实施例中，优选地，在所述步骤3中，利用拓扑特征相似性匹配的方法对序列中任意两张图像进行多组感兴趣目标关联匹配，根据关联结果将相对应的感兴趣目标进行融合，具体包括：
步骤s31、对图像序列中的任一幅图像，利用尺度不变特征变换算法提取感兴趣目标的尺度不变特征点；步骤s32、计算全部感兴趣目标的特征点集的二维拓扑特征描述向量；步骤s33、根据所述描述向量计算任意两张图像之间感兴趣目标的拓扑特征相似度；步骤s34、根据拓扑特征相似度进行两张图像之间的感兴趣目标的关联，并根据关联结果将相对应的感兴趣目标进行融合。
28.在该实施例中，在确定感兴趣目标后，利用尺度不变特征变换算法提取感兴趣目标的尺度不变特征点，将同一感兴趣目标的特征点组合成特征点集，同一张图像中，包括有多个感兴趣目标，每个感兴趣目标均具有相对应的特征点集，计算全部感兴趣目标的特征点集的二维拓扑特征描述向量，再对两张图像中的多组感兴趣目标关联匹配，如在第一张图像为a时间的图像，第二张图像为b时间的图像，第一张图像中包括a1、a2、a3
…
a10共计10个感兴趣目标，第二张图像中包括b1、b2、b3
…
b12共计12个感兴趣目标，则a1与b1、b2、b3
…
b12均进行关联匹配，同理a2与b1、b2、b3
…
b12均进行关联匹配，保证了关联匹配的准确性。
29.如图3、图5和图6所示，在本发明的一个实施例中，优选地，在步骤s34中，利用递归建立关联树群的方法将相对应的感兴趣目标进行融合，具体包括：步骤s343、选取任一感兴趣目标作为根节点建立一个关联树，并将该感兴趣目标的所有关联目标作为第一级子节点；步骤s344、将第一级子节点的关联目标中尚未出现在该关联树中的目标作为第一子级节点的第二级子节点，以此类推，得到一个完整的关联树；对于任意尚未出现在任何关联树中的感兴趣目标，重复该步骤，得到由多个独立的关联树组成的涵盖所有感兴趣目标的关联树群；步骤s345、判断任一关联树中是否存在两个节点对应同一图像上的不同感兴趣目标，若是，则删除两个节点之间的路径上关联置信度最低的连接，将原始关联树拆分为两个新的关联树；步骤s346、所得关联树群代表最终的关联结果，其中任一关联树所包含的节点即为需要进行融合的感兴趣目标。
30.在该实施例中，通过利用递归的方法建立一个关联树群，将每一个子节点的关联目标中尚未出现在该关联树中的目标作为该子节点的子节点，以保证目标数据的完整性，同时，判断任一关联树中是否存在两个节点对应同一图像上的不同感兴趣目标，若是，则删除该部分，将原始关联树拆分为两个新的关联树，以避免形成同一张图像上的两个感兴趣目标的关联。
31.例如，第一张图像包括感兴趣目标a1、a2、a3
…
a8，第二张图像包括感兴趣目标b1、b2、b3
…
b10，第三张图像包括感兴趣目标c1、c2、c3
…
c15，第四张图像包括感兴趣目标d1、d2、d3
…
d13，第五张图像包括感兴趣目标e1、e2、e3
…
d20，第六张图像包括感兴趣目标f1、f2、f3
…
f18，第七张图像包括感兴趣目标g1、g2、g3
…
g17，第八张图像包括感兴趣目标h1、h2、h3
…
h11。关联树中存在如下关联：a2-d10-b5-e20，此时确认d10与e20关联，而d10已经出现在该关联树中，则不再重复填加d10，以避免关联树无止境重复。
32.再例如，如图2所示，关联树中存在如下关联：a3-c5-d7-b8-e20-c7，则删除c5到c7
之间的路径上关联置信度最低的连接，b8-e20之间的关联置信度最低时，则删除b8-e20。
33.在本发明的一个实施例中，优选地，在所述步骤s32中，计算全部感兴趣目标的特征点集的二维拓扑特征描述向量，具体包括：以感兴趣目标质心为极点建立极坐标系，将所有特征点按照极角大小分入8个区间，每个区间为π/4弧度的扇形区域；计算每个区间的拓扑特征值，其公式为：其中，为第个区间的拓扑特征值，为第个区间的特征点数量，为第个区间第个特征点的极径；则该感兴趣目标的拓扑特征描述向量表示为。
34.在本发明的一个实施例中，优选地，在步骤s33中，根据所述描述向量计算任意两张图像之间感兴趣目标的拓扑特征相似度，具体包括：特征相似度，具体包括：其中，为两个感兴趣目标的拓扑特征相似度，d和sum为用于计算拓扑特征相似度的中间计算量，为第一个图像中的一个感兴趣目标的拓扑特征描述向量，为第二个图像中的一个感兴趣目标的拓扑特征描述向量，i、j 为极坐标系区间索引，abs为绝对值函数，max为最大值函数， 为均值滤波器，用于消除目标方向差异带来的影响。
35.如图3、图5和图7所示，在本发明的一个实施例中，优选地，在步骤s34中，根据拓扑特征相似度进行两张图像之间的感兴趣目标的关联，具体包括：步骤s341、计算两张图像的拓扑特征相似度矩阵，其公式为：其中，为前一幅图像中的感兴趣目标数量，为后一幅图像中的感兴趣目标数量，为前一幅图像中第个感兴趣目标与后一幅图像中第个感兴趣目标的拓扑特征相似度；步骤s342、在矩阵中查找最大元素，若，则前一幅图像中第个目标与后一幅图像中第个目标相关联，其关联置信度为，并从矩阵中删除第行和第列；重复上述过程直至矩阵中所有元素都小于预设关联置信度阈值，其中。
36.在该实施例中，在矩阵中查找最大元素，若最大元素大于预设关联置信度阈值，则前一幅图像目标与后一幅图像中对应的目标相关联，并从矩阵中删除对应位置同一行和同
一列的元素，重复多次至矩阵中最大元素小于预设关联置信度阈值，则确认完成两张图像中所有感兴趣目标的关联匹配。
37.本发明中设备，包括存储介质和处理器，存储介质存储有计算机程序，计算机程序被处理器执行时实现遥感数据多目标关联匹配与轨迹生成方法。
38.综上所述，本发明提出了一种遥感数据多目标关联匹配与轨迹生成方法及设备，获取一个时段内预设区域的多模态多时相序列遥感图像数据，并提取图像序列中的感兴趣目标信息，利用基于特征匹配的方法对获取的多模态序列遥感图像进行空间配准，利用拓扑特征相似性匹配的方法对序列中任意两张图像进行多组感兴趣目标关联匹配， 根据关联结果将相对应的感兴趣目标进行融合，计算融合后的多个感兴趣目标在整个图像序列中经过空间配准的所有坐标位置， 拟合得到多个感兴趣目标的运动轨迹，将不同传感器在空间及时间上的冗余或互补信息进行组合，避免了不同传感器、不同时态的遥感图像在空间特征、纹理特征等方面存在的差异对多模态序列遥感数据处理造成的影响，获得比单一传感器单时相数据更完善更准确的目标轨迹信息，提升了多模态序列遥感数据处理的效率及精度。
39.以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。