一种分布式多传感器空间目标同步关联方法与流程
本发明涉及空间目标关联技术领域，尤其涉及一种分布式多传感器空间目标同步关联方法。
背景技术：
随着空间碎片数量不断增加，大量在轨碎片已成为各国重点关注的空间目标，空间态势感知对空间碎片的监视能力显得尤为关键，我国空间态势感知起步晚，全球布站难度较大，专用型监视卫星多星组网成本高昂，导致我国对空间碎片监视能力较弱，这将严重影响我国高轨飞行器的飞行安全及高轨的资源利用。公开号cn104776848a提出了一种空间目标识别、定位、跟踪方法，旨在利用大量在轨航天器所携带的星敏感器，构建一类适应我国国情、低成本且高效的空间目标监视系统。其利用星敏感器作为空间目标监视的平台，对星敏感器定姿过程中拍摄的海量星图进行研究，挖掘其中空间目标的可用信息。我国在轨卫星大多装备了星敏感器，每一颗卫星都可作为监视平台，不同于专用型监视卫星，星敏感器不会主动去跟踪拍摄空间目标，其任务依然是定姿，对目标的拍摄是无意识的，因此若想获得一个目标在多平台下的观测数据，需要对星图中的所有对象进行目标关联。
现有的目标关联算法多基于同一传感器对目标拍摄的一段视频或多帧图像，利用目标的先验信息及统计学原理，以相邻帧像点间距离为关联依据，关联出同一目标在同一传感器下的运动轨迹，但并不适用于缺乏目标先验信息的同一时刻、多个星敏感器成像的目标关联问题。
同一时刻，同一天区的数个空间目标可能被多个星敏感器成像，在无任何空间碎片位置先验信息的前提下，如何确定多个星敏感器视场的多个空间目标中，哪些属于同一目标，将是本发明着重解决的技术问题。
对极几何约束是多视图几何中的基本原理，可以实现同一时刻视场重叠多相机拍摄近景物体的照片的对应角点匹配。空间目标与星敏感器距离远，像的面积仅为几像元，因此本发明将每个目标的像的质心作为待匹配的对应角点，当两个不同星图上的像点质心像素坐标满足对极几何约束条件时，判定其为同一目标所成的像，并对其进行目标关联。本发明设计的星图背景下的空间目标关联对于星敏感器产生的抖动及偏差有较好的鲁棒性，无需跟踪拍摄推测轨迹，可以实现图片之间同步的目标关联，具有较好的实时性。
技术实现要素：
本发明的目的在于克服上述现有技术的不足，提出了一种分布式多传感器空间目标同步关联方法，利用图像匹配中的对极几何约束原理解决多观测平台下的目标关联问题。此方法可以对同一时刻的图片而非一段视频进行关联，具有较好的鲁棒性和实时性。
本发明提供了一种分布式多传感器空间目标同步关联方法，其特征在于，包括：
步骤一、获取多个传感器同步拍摄、视场重叠且提取出空间目标的一组星图；
步骤二、保存所述一组星图中所有空间目标的质心在各星图中的像素坐标；
步骤三、将所述一组星图中任意两张星图拼接，获取所有组合；
步骤四、根据拍摄所述星图的传感器所在卫星的轨道数据和姿态数据以及传感器相机内外参数，基于基础矩阵公式计算两张拼接星图之间的基础矩阵；
步骤五、在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算，遍历星图中所有像素坐标组合，根据对极几何约束阈值选出同一目标的候选对应点组合；
步骤六、重复执行步骤五直至遍历所有星图组合进行目标关联，并保证每点至多有一个对应点，当满足阈值条件有多个候选对应点时，判断更接近对极线的候选对应点为对应点，关联对应点并删除其他候选对应点；
步骤七、将全部星图的关联结果进行汇总。
进一步的，分布式多个传感器拍摄过程是无意识的，其拍摄时机，拍摄区域具有随机性，所述传感器包括不同轨道卫星的星敏感器或不同位置的红外传感器。
步骤一中，获取的一组星图拍摄时间均为同一时刻，各星图所拍摄的空间有重叠区域。
进一步的，所述星图中所有对象均为面积为几个像元的白色点状目标。
所述步骤四中卫星的轨道数据用于计算星敏感器所在平台间的距离。
所述步骤四中卫星的姿态数据用于建立各观测平台下的相机坐标系和各坐标系三轴之间的旋转关系矩阵。
所述步骤四中传感器相机内外参数用于计算相机的内参矩阵。
步骤四中，基于基础矩阵公式计算两幅星图之间的基础矩阵包括：
其中，f代表基础矩阵，m1和m2分别代表拍摄两幅星图的两台传感器的相机参数矩阵，r代表两台传感器相机坐标系三轴的旋转矩阵，s代表两台传感器相机坐标系原点的平移矩阵。
步骤五中，在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算，包括：
在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标带入公式
其中f代表基础矩阵q1，q2分别为两幅星图中空间目标质心的像素坐标。
步骤六中，重复执行步骤五直至遍历所有星图组合进行目标关联，包括：
从第一张只包含空间目标的星图开始，按顺序遍历所有目标质心的像素坐标并保存在同一列，每一张星图上的所有点均位于对应图片序号的一列，对于星图中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点，若有满足条件的点则与星图中的点保存在同一行，同时将星图上对应的像素坐标用线相连，若存在与已知目标不匹配的点则认定为新目标，保存于该星图所对应列的其他行；执行此操作直到所有星图组合上的所有点均被计算。
本发明的有益效果是：
本发明提供的一种分布式多传感器空间目标同步关联方法利用图像匹配中的对极几何约束原理解决多观测平台下的目标关联问题，在仿真星图和实测星图下都可以得到应用；对于传感器产生的抖动及偏差有较好的鲁棒性，无需跟踪拍摄预推轨迹，可以实现图片之间的目标关联，具有较好的实时性。
附图说明
下面根据附图和实施例对本发明作进一步详细说明。
图1所示为星图背景下空间目标关联示意图。
图2所示为对极几何示意图。
图3所示为星敏感器拍摄空间目标仿真示意图。
图4a-图4f的六张附图分别代表仿真时刻六台不同星敏感器拍摄的只含空间目标的星图。
图5a-图5o的15张附图为实验仿真的目标关联结果示意图，分别代表图4a-图4f中6张星图两两关联得到的15种组合的关联结果。
其中，图5a为cam1-cam2的空间目标星图组合的关联结果；
图5b代表cam1-cam3的空间目标星图组合的关联结果；
图5c代表cam1-cam4的空间目标星图组合的关联结果；
图5d代表cam1-cam5的空间目标星图组合的关联结果；
图5e代表cam1-cam6的空间目标星图组合的关联结果；
图5f代表cam2-cam3的空间目标星图组合的关联结果；
图5g代表cam2-cam4的空间目标星图组合的关联结果；
图5h代表cam2-cam5的空间目标星图组合的关联结果；
图5i代表cam2-cam6的空间目标星图组合的关联结果；
图5j代表cam3-cam4的空间目标星图组合的关联结果；
图5k代表cam3-cam5的空间目标星图组合的关联结果；
图5l代表cam3-cam6的空间目标星图组合的关联结果；
图5m代表cam4-cam5的空间目标星图组合的关联结果；
图5n代表cam4-cam6的空间目标星图组合的关联结果；
图5o代表cam5-cam6的空间目标星图组合的关联结果。
图6所示为星图背景下空间目标关联方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图6所示，本发明实施例一提供了一种分布式多传感器空间目标同步关联方法，其特征在于，包括：
步骤一、获取多个传感器同步拍摄、视场重叠且提取出空间目标的一组星图；
步骤二、保存所述一组星图中所有空间目标的质心在各星图中的像素坐标；
步骤三、将所述一组星图中任意两张星图拼接，获取所有组合；
步骤四、根据拍摄所述星图的传感器所在卫星的轨道数据和姿态数据以及传感器相机内外参数，基于基础矩阵公式计算两张拼接星图之间的基础矩阵；
步骤五、在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算，遍历星图中所有像素坐标组合，根据对极几何约束阈值选出同一目标的候选对应点组合；
步骤六、重复执行步骤五直至遍历所有星图组合进行目标关联，并保证每点至多有一个对应点，当满足阈值条件有多个候选对应点时，判断更接近对极线的候选对应点为对应点，关联对应点并删除其他候选对应点；
步骤七、将全部星图的关联结果进行汇总。
本实施例中传感器拍摄过程是无意识的，其拍摄时机，拍摄区域具有随机性，所述传感器包括不同轨道卫星的星敏感器或不同位置的红外传感器。
其中，本实施例中分布式(distributed)意为分散存在，本实施例提出的目标关联方法适用于多个光学传感器下的目标关联，光学传感器的数目可为若干个，可分布于空间的各个位置，且彼此具备独立成像的能力，通过本实施例提出的方法可实现多个分散存在的光学传感器输出图像间的目标关联，用于后续融合特定目标的信息。本发明实施例中所涉及的分布式光学传感器分别为不同轨道卫星的星敏感器以及不同位置的红外传感器，其中现有文献对星敏感器拍摄星图进行空间目标关联的研究较少，此领域为本发明算法的创新应用之所在，故重点以星敏感器为例介绍空间目标的关联方法。
步骤一中，获取的一组星图拍摄时间均为同一时刻，各星图所拍摄的空间有重叠区域。
其中，所述星图中所有对象均为面积为几个像元的白色点状目标。
所述步骤四中卫星的轨道数据用于计算星敏感器所在平台间的距离。
所述步骤四中卫星的姿态数据用于建立各观测平台下的相机坐标系和各坐标系三轴之间的旋转关系矩阵。
所述步骤四中传感器相机内外参数用于计算相机的内参矩阵。
其中，我方卫星各时刻的轨道，姿态数据以及星敏感器参数可以被获得。
步骤四中，基于基础矩阵公式计算两幅星图之间的基础矩阵包括：
其中，f代表基础矩阵，m1和m2分别代表拍摄两幅星图的两台传感器的相机参数矩阵，r代表两台传感器相机坐标系三轴的旋转矩阵，s代表两台传感器相机坐标系原点的平移矩阵。
步骤五中，在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算，包括：
所述星敏感器间距离，旋转关系矩阵，内参矩阵用于计算对极几何约束的基础矩阵。
在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标带入公式
其中f代表基础矩阵q1，q2分别为两幅星图中空间目标质心的像素坐标。
步骤六中，重复执行步骤五直至遍历所有星图组合进行目标关联，包括：
从第一张只包含空间目标的星图开始，按顺序遍历所有目标质心的像素坐标并保存在同一列，每一张星图上的所有点均位于对应图片序号的一列，对于星图中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点，若有满足条件的点则与星图中的点保存在同一行，同时将星图上对应的像素坐标用线相连，若存在与已知目标不匹配的点则认定为新目标，保存于该星图所对应列的其他行；执行此操作直到所有星图组合上的所有点均被计算。
本发明的有益效果是：
多传感器空间目标同步关联方法是提出利用图像匹配中的对极几何约束原理解决多观测平台下的目标关联问题，在仿真星图和实测星图下都可以得到应用。
在实际应用中星敏感器的抖动是引入误差的主要原因，在仿真中考虑并加入了上述因素，经分析抖动会导致像点的模糊但对步骤二保存的空间目标质心像素坐标几乎无影响，而且在进行步骤五时，经检验公式
本发明设计的多传感器空间目标同步关联方法对于星敏感器产生的抖动及偏差有较好的鲁棒性，无需跟踪拍摄推测轨迹，可以实现图片之间的目标关联，具有较好的实时性。
为了使本领域技术人员更好的理解本发明的技术方案，以下给出具体实施例对本发明的技术方案进行详细说明：
实施例二：星图背景下分布式多传感器空间目标同步关联：
1)对极几何的构建
对极几何(epipolargeometry)是研究两幅图像对应点之间的位置关系的几何，他和场景的几何结构无关，只依赖于摄像机的内外参数，可应用于图像匹配和三维重建。如图1所示为星图背景下的空间目标关联示意图，图中显示了恒星、空间目标以及视场重叠的星敏感器的基本几何关系，空间中的物体连同视场重叠的相机以及物体在相机下所成的像可构成对极几何，对极几何示意图如图2所示。
p是空间中一点，o1和o2是相机的光心，连线称为射影基线(baseline)，p1和p2是点p在左右两成像平面的像点。p1表示p点在o1相机坐标系下的空间坐标(x1，y1，z1)，对应的像素坐标是q1(u1，v1)，p2表示p点在o2相机坐标系下的空间坐标(x2，y2，z2)，对应的像素坐标是q2(u2，v2)。
t表示o1指向o2的向量(tx，ty，tz)，即o2在o1相机坐标下的空间坐标，代表左右相机坐标系的平移量。
e1和e2为o1o2所在直线与两成像面的交点，称为对极点(epipoles)；
e1和e2表示p1e1和p2e2所在直线，被称为对极线(epipolarline)；
p1必位于e1上，p2必位于e2上，称此约束为对极线约束；
f称为基础矩阵。基础矩阵反映了两相机的旋转平移关系及相机内参数。在相机坐标系的旋转平移关系及相机内参数均已知的情况下，基础矩阵f可由公式计算。
o2相机坐标系，可由o1相机坐标系经过旋转，平移得到，旋转矩阵为r，平移量为t。根据坐标转换关系可知
p2＝r(p1-t)(2)
p1和t均垂直的向量和法向量同相，并且为p1和t的叉乘。
(p1-t)t·(p1×t)＝(r-1p2)t·(p1×t)＝0(3)
旋转矩阵r为正交矩阵，r-1＝rt，所以
矩阵e＝rs为本质矩阵，秩为2，只与两相机坐标系之间的位姿关系相关。
若两相机的投影矩阵为m1和m2，代表了相机的内参矩阵
其中f代表相机焦距，dx、dy代表像素的长度和宽度，u0、v0代表中心像素坐标。当已知相机视场角度及照片分辨率时，内参矩阵m还可通过如下公式表示。
2)对测量方案的仿真验证
设置仿真时间为2016年10月10日04:00:00-2016年10月12日04:00:00(utc)，对初始时刻的星图进行关联。
如图3所示，观测平台为6个分别位于相同或不同轨道的卫星。在2016年10月10日04：00：00这6个卫星的星敏感器光轴恰好指向同一天域，此区域共有9个空间目标。仿真过程中每一个星敏感器均拍摄到了若干个目标。此时刻6台星敏感器拍摄的6张空间目标星图分别如图4所示。a-f依此代表cam1-cam6该时刻拍摄的空间目标星图。
根据报表得到了由j2000坐标系到各相机坐标系的旋转ypr321，如表1所示。
表1j2000到各相机坐标系旋转角度
根据各星敏感器所在卫星的轨道数据得到各相机坐标系的平移量，其中m-n表示在m相机坐标系下
表2各相机坐标系平移量
各星敏感器相机的视场及分辨率参数如表3所示
表3各星敏感器相机参数
3)数据带入求解f
根据组合公式当星图数量为p时，任意两张星图间进行关联，关联结果将共有
本实施例中共有6张星图，因此两两关联将形成15张关联结果图，分别对应着图5的a-o的15张附图。图5a为cam1-cam2的空间目标星图组合的关联结果；图5b代表cam1-cam3的空间目标星图组合的关联结果；图5c代表cam1-cam4的空间目标星图组合的关联结果；图5d代表cam1-cam5的空间目标星图组合的关联结果；图5e代表cam1-cam6的空间目标星图组合的关联结果；图5f代表cam2-cam3的空间目标星图组合的关联结果；图5g代表cam2-cam4的空间目标星图组合的关联结果；图5h代表cam2-cam5的空间目标星图组合的关联结果；图5i代表cam2-cam6的空间目标星图组合的关联结果；图5j代表cam3-cam4的空间目标星图组合的关联结果；图5k代表cam3-cam5的空间目标星图组合的关联结果；图5l代表cam3-cam6的空间目标星图组合的关联结果；图5m代表cam4-cam5的空间目标星图组合的关联结果；图5n代表cam4-cam6的空间目标星图组合的关联结果；图5o代表cam5-cam6的空间目标星图组合的关联结果。
需要注意的是，由星图m转换到星图n的基础矩阵f与由星图n转换到星图m的基础矩阵f不同，因此在每一步的计算中都要严格注意所带入m,n数据的先后顺序，避免颠倒。
根据表1数据可以分别得到从参考坐标系到m，n相机坐标系的旋转量。
m-n相机坐标系的旋转量可由m相机先逆向旋转到参考坐标系再由参考坐标系转到n坐标系，故：
rm-n＝rn*rm-1(15)
em-n＝rm-n*sm-n(17)
4)目标关联
从第一张只包含空间目标的星图开始，按顺序遍历所有目标质心的像素坐标并保存在同一列，每一张星图上的所有点均位于对应图片序号的一列，对于星图一中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点，若有满足条件的点则与图一的点保存在同一行，同时将星图上对应的像素坐标用线相连，若存在与已知目标不匹配的点则认定为新目标，保存于该星图所对应列的其他行。执行此操作直到所有星图组合上的所有点均被计算。
筛选对应点，一个像点最多只能与另一个像点对应，当出现一对多的情况时，取更接近对极几何约束判定条件的一点判定为对应点，关联二者并删除其他候选点，最终生成图片和图表的关联结果，如图5和表4所示，根据仿真预设标注每张星图中各个目标用以检验关联结果的正确性。经过大量实验在目标有限的仿真星图中可以实现空间目标准确关联。
表4目标关联结果汇总
由图5所示，每张图片均由两张不同视角拍摄的仅含空间目标的星图拼接而成，当左右两个像点代表同一空间目标时则用线将其连接，将所有关联结果汇总并整理可得到表4。由表4可知，共有九个空间目标，这与我们仿真的设定吻合，在这九行六列的坐标矩阵中，每一行代表的均是同一个空间目标，每一列则代表同一张星图上的坐标，因此我们可以直观的得到每一个空间目标在每一张星图上的像素坐标，此结果可用于后续的其他计算和研究。
本发明面向星图背景下空间目标关联研究的空白，通过将远景的空间目标与近景的角点进行等效处理，借助图像匹配领域的算法解决目标关联问题，具有研究价值。本发明设计的星图背景下的空间目标关联对于星敏感器产生的抖动及偏差有较好的鲁棒性，无需跟踪拍摄推测轨迹，可以实现图片之间的目标关联，具有较好的实时性。以上实验共同验证了对极几何解决空间目标关联的正确性。
实施案例三：红外弱小目标的关联
本发明不仅可以用于星图之间的目标关联，对于具有类似成像效果的远距离红外传感器拍摄的小目标同样可以实现目标关联。执行操作与上述案例类似。
测站用两个或多个红外传感器对可疑区域的可疑目标进行侦查，运用本发明可以实现将多个红外传感器下的目标进行关联，实现对各目标的编目，进而确定各目标的空间方位以及跟踪各目标的轨迹。本发明相对于现有通过传感器连续跟踪确定目标轨迹的目标关联方法更具有实时性，而且在实现跨传感器目标关联的过程中，目标关联的准确率也得到了提升。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！