基于时空依据的分布式双红外传感器多目标同一性判定方法

本公开实施例涉及分布式红外传感器多目标关联匹配，尤其涉及一种基于时空依据的分布式双红外传感器多目标同一性判定方法。

背景技术：

1、红外传感器是基于物体表面的热辐射成像，其穿透能力强，能够避免灰尘、烟雾等遮挡，且对光照变化不敏感，可在完全黑暗的环境下使用，同时，红外传感器作为一种无源探测系统，具有隐蔽性好，抗干扰能力强，作用距离远等特点，因此已经成为未来复杂电磁对抗环境下空中目标高精度探测与跟踪的重要手段。

2、然而在使用红外传感器对复杂背景的远距离目标探测时，由于目标距离较远，其在红外传感器阵面中的投影点迹通常为只占几个像素的点目标，而点目标的信号强度弱，信噪比低，同时红外传感器只能提供目标的方位角与俯仰角，距离维度缺失，所提供的信息具有较大的局限性，无法实现对目标的高精度特征提取。因此，当红外传感器应用于分布式协同目标探测场景时，无法采用现有的雷达与可见光等常用主被动传感器的跟踪与定位方法。

3、采用分布式双红外协同目标探测结合测向交叉定位能够实现对目标的粗略定位以获得目标距离信息，然而在分布式双红外传感器捕获到同一区域的多个目标时，由于双红外传感器观测视角及大气传播路径不同造成的红外辐射特性差异造成的观测偏差，以及数据传输链时空同步性弱造成的时间偏差等影响，给双红外传感器捕获的多个目标之间的同一性判定带来了极大的难度。

技术实现思路

1、为了避免现有技术的不足之处，本技术提供一种基于时空依据的分布式双红外传感器多目标同一性判定方法，用以解决现有技术中存在的在分布式双红外传感器捕获到同一区域的多个目标时，由于双红外传感器观测视角及大气传播路径不同造成的红外辐射特性差异造成的观测偏差，以及数据传输链时空同步性弱造成的时间偏差等影响，给双红外传感器捕获的多个目标之间的同一性判定带来了极大的难度的问题。

2、根据本公开实施例，提供一种基于时空依据的分布式双红外传感器多目标同一性判定方法，该方法包括：

3、选取并固定基准坐标系，在基准坐标系下计算双红外传感器的成像平面方程；其中，双红外传感器包括基准传感器和非基准传感器；

4、基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点，以确定基准传感器成像点目标在非基准传感器中的候选关联点集合；其中，候选关联点集合包括一个或多个候选关联点；

5、选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成二维航迹；

6、随机选取二维航迹中的多帧点迹，并基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正，且进一步剔除候选关联点集合中的非关联点，以形成剩余候选点航迹集合；

7、基于时移修正的结果和剩余候选点航迹集合，结合修正点迹个数及连续时刻修正点迹在时间序列上相对于原投影点迹的运动趋势信息，以基准传感器成像平面中的一个点目标对应非基准传感器成像平面中一个候选关联点的原则，完成双红外传感器中多点目标的同一性判定。

8、进一步的，选取并固定基准坐标系，在基准坐标系下计算双红外传感器的成像平面方程的步骤中，包括：

9、选取基准坐标系，以描述双红外传感器所在的机载平台的位置；

10、以双红外传感器中的基准传感器在预设时刻时，质心所在地心地固坐标系中的三维空间位置为基准坐标系原点，将机载平台的经纬高坐标数据通过坐标变换转换为基准坐标系坐标；

11、结合双红外传感器自身姿态与内外参数，计算在基准坐标系下双红外传感器光心坐标和成像平面方程。

12、进一步的，基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点以确定基准传感器成像点目标在非基准传感器中的候选关联点集合的步骤中，包括：

13、获取并保存基准传感器中在第 i时刻单帧图像中预定的成像点目标的投影像素点坐标；

14、根据基准传感器的内参和非基准传感器的内参，分别确定基准传感器和非基准传感器的光心在基准坐标系下的坐标，以得到该时刻的红外双传感器的基线；

15、通过基线和基准传感器中像素点坐标以及红外传感器观测角与方位角信息确定该单帧图像中投影像素点坐标在基准坐标系下的极平面；

16、根据极平面与非基准传感器的成像平面交线求得该单帧图像中投影像素点坐标在非基准传感器的成像平面中的极线；

17、设定距离阈值，并计算非基准传感器在该时刻截取的单帧图像中所有成像点与极线的距离，计算结果小于距离阈值的成像点保留为像素点坐标在非基准传感器截取的图像中的候选关联点集合；

18、遍历基准传感器截取的当前单帧图像中的全部成像点，重复上述步骤，获得基准传感器截取的当前时刻单帧图像中所有成像点在非基准传感器获取的图像中的候选关联点集合。

19、进一步的，选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成的二维航迹的步骤中，包括：

20、以第 i时刻为初始时刻，获取其后连续 q个时刻的双红外传感器截取的连续多帧图像，获取并保存连续多帧图像中同一成像点目标的像素坐标，基于其在不同时刻的坐标值，通过三次样条插值方法拟合得到该点目标在双红外传感器中的二维航迹；

21、遍历双红外传感器所有成像点目标在第 i时刻至第 q个时刻投影点像素坐标值，重复上述步骤，拟合得到所有成像点目标在双红外传感器中的二维航迹。

22、进一步的，随机选取二维航迹中的多帧点迹，并基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正，且进一步剔除候选关联点集合中的非关联点，以形成剩余候选点航迹集合的步骤中，包括：

23、以基准传感器的时间为基准时间戳，并在基准传感器中成像平面中的任意一条二维航迹上随机选取不同时刻的多个坐标点，由不同时刻下基准传感器成像平面中的投影点基于双视图对极几何约束在非基准传感器成像平面确定的极线与候选点确定的二维航迹相交方法求解在非基准传感器成像平面中不同时刻的修正投影点迹；

24、遍历基准传感器成像平面中全部点目标形成的二维航迹，重复上述步骤，完成双视图时间同步；

25、其中，在求解极线与航迹交点时，添加判决条件，若连续多帧图像下的极线与非基准传感器中的候选点航迹无交点，则该候选关联点为错误关联点，继而剔除该候选关联点，形成剩余候选点航迹集合。

26、进一步的，基于时移修正的结果和剩余候选点航迹集合，结合修正点迹个数及连续时刻修正点迹在时间序列上相对于原投影点迹的运动趋势信息，以基准传感器成像平面中的一个点目标对应非基准传感器成像平面中一个候选关联点的原则，完成双红外传感器中多点目标的同一性判定的步骤中，包括：

27、以极线与轨迹的交点个数以及非基准传感器中各个修正点迹在时间序列上相对于原投影点迹的运动趋势为判决条件，完成双红外传感器中成像点目标的同一性判定；

28、其中，正确关联点形成的航迹在任意时刻均与极线相交于一点，即相交点个数等于选取的时刻数；且多个时刻下的修正点迹相对于原投影点迹运动趋势在时间序列上保持一致。

29、进一步的，若基准传感器成像平面中的某条二维航迹为基准传感器中同一点目标投影形成，则预设时刻的极线与二维航迹的交点为非基准传感器被赋予基准传感器时间戳完成时间同步后的修正点迹。

30、本公开的实施例提供的技术方案可以包括以下有益效果：

31、本公开的实施例中，通过上述基于时空依据的分布式双红外传感器多目标同一性判定方法，一方面，只通过成像点目标在双红外传感器视图中的不同时刻的像素坐标位置，采用单帧图像结合连续时刻多帧图像基于三次样条插值方法拟合出了双红外传感器成像平面同一投影点的二维航迹，基于双视图对极几何约束原理寻找双视图中二维航迹的对应关系。该方法无需再考虑被动传感器所缺失的目标深度信息，尤其适合于红外传感器此类无源被动传感器探测远距离目标的场景，该场景下，目标在传感器成像平面中的投影为点目标，同时目标的信号强度较弱，信噪比较低，该方法能够有效解决此类场景下的多点目标同一性判定问题。另一方面，基于不同传感器成像平面的成像点在连续时间序列上应该存在的匹配连续性，引入历史多帧的目标同一性判定信息，对已有的同一性判定信息进行调整和校正，有效解决了双平台被动传感器的精确关联问题，而双视图对极几何约束在任一帧图像中均作为先决判断条件，以将一部分置信度较低的关联点预先排除，有效降低算法的计算量，提升算法运算效率。