一种宽尺寸范围多空间目标捕获跟踪方法与流程

本发明涉及一种基于图像处理的空间目标捕获和跟踪方法，尤其涉及一种输入图像中目标尺寸变化范围较宽，相对运动速度范围较大，并且存在多个空间目标同时进行捕获和跟踪的方法。

背景技术：

空间目标的捕获与跟踪方法是指基于地面或者基于人造卫星在轨平台的探测设备利用图像、雷达、激光等探测手段结合信号处理技术对于空间中的可疑目标进行捕获和跟踪的方法。其中可疑目标主要是指除去以恒星为代表的人类已知的自然星体外的空间物体(包括：未知小行星、人造天体等)。

基于图像的探测设备进行空间目标捕获和跟踪任务时，主要面临以下技术难点：第一，空间目标的图像尺寸变化范围较大，难以采用统一的方法进行目标对应像的质心定位。第二，空间目标与探测设备的相对运动速度变化范围较大，难以采用统一的方法进行目标捕获。第三，探测设备的工作平台不同，可能无法提供以可见光相机为代表的探测器在惯性系下的视轴指向作为引导。第四，图像中空间目标的像的数量可能不唯一，需要同时进行捕获和跟踪。

现有的方法无法同时解决上述问题，适应性不强。对目标的尺寸、相对运动速度，探测平台类型和目标的数量有限定。

技术实现要素：

本发明的技术解决问题是：克服现有技术的不足，提供了一种新型空间目标捕获跟踪方法能够同时解决上述四项难题。即该方法能够同时捕获跟踪多个不同尺寸、不同运动速度的目标，且对于探测设备的工作平台没有特殊要求，同时适合于地面和在轨卫星探测平台。

本发明的技术解决方案是：已知恒星的像点为一般为点目标(符合高斯弥散分布)，目标的像点可能为点目标也可能为面目标(像元尺寸大于8×8的目标)。因此实际处理时，第一，从输入视频图像中同步提取点目标和面目标；并通过点目标剔除处理剔除掉对于面目标提取得到的点目标。实现不同尺寸目标对应像的质心定位。第二，支持星图匹配或帧间匹配方法辨识未知星体(包括：未知小行星、人造天体)在图像中所成的像的质心位置。其中，星图匹配方法捕获速度快，利用单帧即可以完成目标捕获，且能够捕获具有各种相对运动速度的目标。帧间匹配方法不需要提供探测器在惯性系下的视轴指向作为引导。第三，该方法不限定捕获目标的数量，输出满足星图匹配或帧间匹配辨识条件的所有目标的像的质心，实现多目标的捕获；对多目标采用相同的方式进行运动向量估计和确认，能够实现多目标同步跟踪。

具体实施如下：

(1)星点检测，从输入视频图像中同步提取点目标和面目标，并剔除掉对于面目标提取得到的点目标；所述点目标为符合高斯弥散分布的目标，所述面目标为像元尺寸大于8×8的目标；经该步骤处理，能够提取出视频图像中所有星体像的质心位置，用于进行星图匹配和帧间匹配；

(2)目标捕获，选择利用星图匹配或帧间匹配方法辨识未知星体在图像中所成的像的质心位置，未知星体包括未知小行星和人造天体，其中星图匹配方法利用恒星表信息剔除恒星进行目标辨识；帧间匹配方法利用运动向量的差异进行目标辨识；经该步骤处理，能够辨识出视频图像中的未知星体的质心位置，并计算得到目标跟踪时所需的初始运动向量；

(3)目标跟踪，在目标捕获具有输出结果后，当接收到转入目标跟踪指令时，可以对辨识出的多个未知星体的像的质心位置同步进行目标跟踪处理，方法是根据已知运动向量推测每个目标在下一帧图像中的可能位置；以该位置为中心寻找最临近的像；提取像的质心并输出质心位置即完成了对于目标的一次跟踪；计算连续两帧间目标位置差值，并将其更新为已知运动向量，不断迭代处理实现对于目标的连续跟踪。

所述步骤(1)的过程如下：

(1)在原始图像中进行极大值检测，如果以原始图像中某一像素点为中心的3×3块的累加和大于其5×5邻域内的8个相邻3×3块的累加和，判定对应该像素点处存在一个极大值。

(2)以寻找到极大值的像素点为中心，通过下述条件进行点目标的粗定位，符合条件的像素点(i，j)即为通过粗定位处理得到的一个点目标的可能位置，其中，S(x,y)为位于(x,y)处的像素点亮度，DN为阈值；

(3)点目标质心位置求取。以粗定位得到的每一个点目标可能位置(i，j)为中心，对其5×5窗口内的像素点按照如下公式计算点目标的质心位置(x₀，y₀)，其中，F(x,y)为像素点(x,y)的亮度，N(x,y)表示5×5窗口内的所有点。将原始图像中所有点目标的质心位置输出，即完成了对于点目标的提取，

(4)对原始图像进行面目标检测，方法为首先对原始图像进行下采样，其次对下采样后的图像进行二值化处理，再次对二值化处理后的图像进行连通域检测，检测结果为对于每一个连通域分别赋予一个标记，表示存在一个面目标；

(5)面目标质心位置求取，方法为将步骤(4)中检测得到的每一个连通域分别按照步骤(3)中的公式求取质心，但本步骤中N(x,y)表示一个连通域内的所有点，F(x,y)为经步骤(4)处理得到二值化的亮度，(x₀，y₀)为一个面目标的质心位置。将原始图像中所有面目标的质心位置输出，即完成了面目标的提取；

(6)点目标剔除处理，以步骤(5)得到的质心位置为中心，连通域的长度为直径开窗，将处于窗口内的通过步骤(3)提取得到的点目标的质心位置从输出结果中剔除；最终其它所有点目标的质心位置和面目标的质心位置构成了一帧图像中所有星体像的质心位置，简称为像点位置，即是星点检测的最终结果，被用于进行星图匹配和帧间匹配。

所述步骤(2)具体实现如下：

(1)首选选择通过星图匹配方法或帧间匹配方法进行空间目标捕获处理；

(2)当选择采用星图匹配方法时，首先利用外部输入的相机姿态信息作为参考值从恒星星表中索引相应天区视场范围内的恒星，进而计算索引出的恒星之间的星角距d(i,j),计算方法如下式所示,其中(α_i,δ_i)和(α_j,δ_j)分别为两颗恒星i和j的赤经、赤纬。r_i＝[cosα_icosδ_i,sinα_icosδ_i,sinδ_i]^T和r_j＝[cosα_jcosδ_j,sinα_jcosδ_j,sinδ_j]^T分别为恒星i和j的方向矢量,

(3)利用权利要求2得到的星体像的质心位置计算它们之间的星角距d(1,2)。其中，(x₁,y₁)和(x₂,y₂)为观测星1和2的像的质心位置，则它们之间的角距定义为：

式中，

分别为恒星1和2的方向矢量，(u₀,v₀)为主点位置，f为焦距；

(4)利用步骤(2)和步骤(3)得到的星角距实现基于星角距的三角形匹配，如果三角形匹配成功，利用双矢量法计算相机在天球坐标系下的实际姿态，并利用步骤(4)计算的相机姿态再次索引恒星星表，进而将视场所在天区的所有恒星按照相机姿态重投影到像面，得到恒星的理论成像位置；如果三角形匹配失败，利用外部输入的相机姿态直接将视场所在天区的恒星按照相机姿态重投影到像面，得到恒星的理论成像位置；

(5)比较理论成像位置和得到的星体像的质心位置之间的差值，当差值小于一个预设阈值时，剔除掉这个质心位置，最终剩余的星体像的质心位置即为通过星图匹配方法得到的空间目标的位置；之后，依次对后续输入的一帧视频图像再次执行步骤(2)～步骤(5)，实现连续捕获；

(6)当采用帧间匹配方法时，首先从按照时间先后顺序排列的第一帧中选取3个像点与第二帧中的所有像点进行基于星角距的三角形匹配，如果匹配不成功，重新选取第一帧中的3个像点与第二帧中的所有像点进行三角形匹配，像点的选取规则是优选靠近图像中心的点。其次，利用匹配成功的3个像点中的两个采用双矢量法计算相机姿态在天球坐标系下的旋转矩阵；然后，利用该旋转矩阵，重投影求出第一帧中每个像点在第二帧中的理论成像位置；

(7)比较步骤(6)得到的理论成像位置与第二帧中像点的实际质心位置之间的差值，当差值小于一个预设阈值时，剔除掉这个质心位置，最终剩余的星体像的质心位置即为通过帧间匹配方法得到的空间目标的位置；之后，依次将后续输入的一帧视频图像作为新的第二帧，同作为基准帧的第一帧再次执行步骤(6)和步骤(7)实现连续捕获。

(8)将步骤(5)或步骤(7)得到的空间目标的位置作为宽尺寸范围多空间目标捕获方法的输出结果，并计算连续两帧之间目标位置的差值作为目标运动向量的初始值用于目标跟踪。

所述步骤(3)的具体实现如下：

(1)对于目标捕获得到的每一个目标，将目标运动向量初始值加上目标在当前帧的位置作为其在下一帧中的预测值。

(2)在下一帧中寻找位置最接近预测值的像点位置作为目标的最新位置，并利用该实际位置计算目标的实际运动向量。输出每一个目标在每一帧中的最新位置作为目标跟踪的结果。

(3)利用步骤(2)计算得到的运动向量替代步骤(1)中的目标运动向量初始值，并重复执行步骤(1)～步骤(3)。实现多目标连续跟踪。

所述步骤(2)目标捕获和步骤(3)目标跟踪，不限制目标的数量，能够进行多个目标同步的捕获和跟踪。

本发明与现有技术相比的优点在于：该方法能够同时捕获跟踪多个不同尺寸、不同运动速度的目标，且对于探测设备的工作平台没有特殊要求，同时适合于地面和在轨卫星探测平台。能够同步进行点目标提取和面目标提取，解决了空间目标的图像尺寸变化范围较大的问题。同时支持帧间匹配方法和星图匹配的方法，因此对于目标的相对运动速度不需要特殊限制，对于平台能否提供相机的视轴指向作为引导也不需要特殊限制。支持多目标的捕获和跟踪，因此对于图像中空间目标的数量不做特殊限制。

附图说明

图1为本发明宽尺寸范围多空间目标捕获跟踪方法流程图；

图2为本发明角距计算示意图；

图3为本发明帧间匹配原理图。

具体实施方式

如图1所示，一种宽尺寸范围多空间目标捕获跟踪方法流程图，步骤如下：

1)对于输入图像同步进行点目标提取和面目标提取。其中，点目标提取是对图像进行中值滤波后，通过极大值检测和高斯特性判定进行粗定位，然后通过计算矩的方法求取点目标的质心。面目标提取首先对于输入图像进行二值化处理，然后进行水平和垂直方向下采样(典型值：4倍下采样)，对采样后的二值化图像进行连通域检测，每个连通域对应一个面目标，进而计算每个连通域的矩并求取面目标的质心。以面目标质心为中心，连通域长度为直径开窗，将通过点目标提取的位于窗内的点目标剔除，其它点目标质心和所有面目标质心输出。

2)进行目标捕获处理。所提出的方法同时支持星图匹配和帧间匹配两种目标捕获方法。

所采用的星图匹配方法需要外部输入相机参考姿态信息。恒星星表信息作为先验知识预先存储起来。具体处理时，首先利用外部输入的相机姿态信息作为参考值从恒星星表中索引相应天区视场范围内的恒星。分别计算索引出的恒星之间的星角距和图像提取出的星点间的星角距，并进行三角形匹配。如果匹配成功，则利用匹配三角形计算相机的姿态矩阵，得到相机的真实姿态。并利用该姿态信息再次索引恒星星表。进而，将视场所在天区的恒星按照相机姿态重投影到像面，得到理论成像位置。计算理论位置和图像中像点的实际位置的差值，剔除掉差值小于预设阈值的像点，其它的像即为目标的像。如果匹配不成功，则利用外部输入的相机姿态直接将视场所在天区的恒星按照相机姿态重投影到像面，得到理论成像位置。同样计算像的理论位置和图像中像点实际位置的差值，剔除掉差值小于预设阈值的像点，其它的像即为目标的像。输出像点的质心位置作为捕获的结果。进而，计算连续两帧之间目标位置的差值作为目标运动向量的初始值用于目标跟踪。

所采用的帧间匹配方法不需要外部输入相机参考姿态信息。由于恒星之间的角距保持不变，因此相机运动时(实质是天球坐标系下的旋转运动)，两帧中利用恒星像点计算的星间角距也一直保持理论值。因此，首先从按照时间先后顺序排列的第一帧中选取3个像点与第二帧中的所有像点进行三角形匹配。如果选取的像点对应3颗恒星，则分别在两帧间利用3颗恒星的像点计算角距总能够满足三角形匹配的条件。如果匹配不成功，认为选取的3个像点中至少有一个是目标的像点，重新选取第一帧中的3个像点与第二帧中的所有像点进行三角形匹配，像点的选取规则是优选靠近图像中心的点。其次，利用匹配成功的3个像点中的两个采用双矢量法计算相机姿态在天球坐标系下的旋转矩阵。然后，利用该旋转矩阵，重投影求出第一帧中每个恒星的像点在第二帧中的理论位置。因此，如果某个像点对应的是一颗恒星，那么以求出的理论位置为中心，能够在第二帧图像中一定范围(典型值为4×4的窗)内找到配对的像点。如果不能够找到配对点，则认为该像点对应目标的像，并输出像点的质心位置作为捕获的结果。之后，将新输入的一帧作为新的“第二帧”，同作为基准帧的第一帧再次进行匹配寻找运动速度相对较慢的目标。进而，计算连续两帧之间目标像点位置的差值作为目标运动向量的初始值用于目标跟踪。

3)多目标的快速跟踪。捕获结束，当接收到跟踪控制指令时，对于捕获到的目标进行跟踪处理。跟踪时，首先将运动向量初始值加上当前帧中目标的质心位置作为其在下一帧中的预测值。然后在下一帧中寻找质心位置最接近预测值的点作为目标新的位置的实际值。再次计算运动向量的值，并计算下一帧中目标位置的预测值实现连续跟踪。对每个目标执行同样的操作，实现多目标同步跟踪。此外，在目标跟踪过程中，不再进行目标的捕获处理。

步骤1)中的极大值检测是通过寻找3×3块内累加和满足局部最大条件实现的。即如果一个3×3块的累加和大于5×5邻域内的8个相邻3×3块的累加和，即认为它为一个局部最大值。

高斯特性判定通过检测3×3块内像素点亮度是否符合由中心向周围递减的分布规律实现。假设位于(x,y)处像素点的亮度S(x,y)大于阈值DN时，该像素点处可能存在一个点目标，S(x,y)小于DN时，该处对应底噪声。具体检测条件可通过一组条件式进行检测，如下所示。

面目标检测方法为：分割前首先对图像进行二值化处理，即设定亮度大于阈值T的像素点为1，其余为0；其次，对图像进行下采样处理，下采样系数一般设为4，即原始分辨率为1024×1024的图像经下采样后，输出分辨率为256×256；第三，进行连通域检测，具体步骤为：

(1)从左至右，从上至下扫描图像。

(2)如果存在二值化图中为1的点，则：

(a)如果其上面点或左面点有一个标记，则复制这个标记。

(b)如果其上面点或左面点有相同的标记，则复制这一标记。

(c)如果其上面点或左面点标记不同，则复制上面点的标记并将这两个标记输入等价表作为等价标记。

(d)否则给这个像素点分配一个新的标记，并计入等价表。

(3)重复步骤(2)，直到扫描完图像中所有的像素点。

(4)将等价表中具有相同标记的像素点合并，并重新分配一个低序号的标记。

为了减少误检测的概率，对占像素点数小于一定阈值的目标应该舍弃。通常阈值设为2，即原图中小于8×8的像不认为其是有效的面目标。

利用矩求取目标质心位置的方法如下式所示。(x,y)为粗定位得到的点目标中心或连通域检测得到的面目标中心；F(x,y)为像素的亮度，可以是原始亮度或二值化后的亮度；N(x,y)是以(x,y)为中心的邻域，点目标一般取5×5窗口，面目标取整个连通域。

步骤2)中的星图匹配方法和帧间匹配方法，均利用恒星间的角距进行匹配，不同坐标系下角距的计算方法如图2所示。

天球坐标系下角距计算方法如图2左侧所示，设两颗恒星i和j的赤经、赤纬分别为(α_i,δ_i)和(α_j,δ_j)，则其在天球坐标系下的角距定义为：

式中，r_i＝[cosα_icosδ_i,sinα_icosδ_i,sinδ_i]^T和r_j＝[cosα_jcosδ_j,sinα_jcosδ_j,sinδ_j]^T分别为恒星i和j的方向矢量。

相机坐标系下角距计算方法如图2右侧所示。设在相机坐标系下，观测星1和2在成像面上的坐标分别为(x₁,y₁)和(x₂,y₂)，则它们之间的角距定义为：

式中，

分别为恒星1和2的方向矢量。其中，(x₁,y₁)和(x₂,y₂)分别为星点在相机坐标系中的坐标，(u₀,v₀)为主点位置，f为焦距。

星图匹配时，将恒星在天球坐标系下的角距同恒星的像点在相机坐标系下的角距进行匹配，两个角距小于一个预设阈值(典型值：0.01°)时认为匹配成功。其中，天球坐标系下的角距由输入的参考视轴索引恒星星表计算得到。

帧间匹配时，分别计算两帧中恒星的像点在相机坐标系下的角距并进行匹配，同样，两个角距小于一个预设阈值(典型值：0.01°)时认为匹配成功。

基于星角距的三角形匹配方法和星表索引方法同星敏感器进行星图匹配时采用的方法一致。星图匹配成功后，可以采用双矢量法计算相机在天球坐标系下的姿态，并通过索引恒星星表得到视场内恒星在图像中所成像的理论位置。通过剔除恒星的像可以得到目标的像。

帧间匹配方法的具体原理如图3所示。图中A、B、C为背景星，X为空间目标。s1和s2为不同角度拍摄的两帧图像，图像中对应的质心位置分别用a、b、c和x表示，o1和o2为两帧的中心，F1和F2为沿光轴方向距o1和o2点f(焦距)远的位置。由于可以认为背景星处于无穷远处，因此两帧之间背景星的质心差异是由于旋转造成的。a1、b1、c1构成的三角形和a2、b2、c2构成的三角形的角距对应相等。因此通过匹配a1、b1、c1构成的三角形与a2、b2、c2构成的三角形，同样可以利用双矢量法计算出s1和s2间的旋转矩阵。进而利用该旋转矩阵算出s1中每个目标质心在s2中的理论对应位置(即该目标质心对应一颗恒星时应该所处的位置)。但对于空间目标X，由于其相对相机的距离有限，不能认为是无穷远。则空间目标的相对运动会体现在图像中目标质心位置的变化。即在s2中同理论位置存在差异。因此，一旦发现存在这样的质心位置变化，可认为对应位置为空间目标在图像中的质心位置。基于上述原理，可以进行空间目标的捕获。固定一帧作为参考帧，不断进行参考帧与最新帧间的匹配。由于参考帧不变，因此可以通过较长时间的匹配，检测出相对运动速度同背景星接近的目标。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。