基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法与流程

本发明属于飞行器视觉导航与成像制导仿真技术领域，具体涉及一种基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法。

背景技术：

自动目标识别算法(atr)与目标鲁棒跟踪算法(trt)是飞行器视觉导航与前视成像制导中的关键技术之一，要设计有效实用的atr与trt算法必须通过大量的仿真识别与跟踪实验验证，通过机载飞行实验采集典型目标的实时图像序列进行算法仿真是评估atr与trt算法研究与改进的重要途径。对于直接与典型打击目标联系的前视成像制导模式，由于获取的实时图内的场景在不断的变化，待识别与跟踪的目标在实时图的精确位置(目标点)就无法得知，也就无法对atr与trt算法的性能进行全面有效的评估。因此，在测试和评估atr与trt算法过程中，目标点的精确标定方法是必不可少的途径和手段。

传统的算法评估过程中，由于很难准确标定出实时图序列中目标点的位置，算法的性能只能靠人工逐帧统计，受主观因素影响较大，且对于成千上万帧图像，工作量异常繁重，仿真效率低下。实际中经常采用基于景像匹配的正向跟踪算法进行目标点的定位，即利用典型的模板匹配方法，从飞行器距离目标由远及近进行目标匹配跟踪，从而对目标点进行自动标定。但是，飞行器距离目标越远，目标在图像中的分辨率越低，因此传统的这种由远及近正向跟踪的标定方法就存在标定精度差的缺点，另外这种标定方法还无法适应低矮目标、隐蔽目标以及目标遭受遮挡等情况，标定的结果很难保证准确性、可靠性以及atr和trt算法参数的可对比性。因此，有必要研究一种能够高精度和高可靠性的实现图像序列目标点标定的方法。

技术实现要素：

为了克服传统的基于景像匹配的正向跟踪目标点标定方法存在的精度差、可靠性低、环境适应能力差等缺点，本发明提供一种基于逆向结构匹配跟踪的目标点的精确自动标定方法，该方法在逆向跟踪的基础上，利用目标点与图像中特征角点的结构约束关系，采取“先粗标定再精标定”的两步标定方法：首先通过两帧图像特征角点集的匹配，根据仿射变换实现目标点的粗标定；然后在粗标定的基础上，根据目标点与特征角点的结构约束关系，实现目标的精标定。本发明提出的两步标定法，可以大大提高图像序列中目标点的标定精度。

本发明采用如下的技术方案来实现：

基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法，包括以下步骤：

步骤1：粗标定；

在图像序列最后一帧人工标定的基础上，通过提取图像中目标点周围的特征角点，采用从后至前的逆向方式，对特征点集进行匹配，根据得到的仿射变换参数，实现对目标点的粗标定；

步骤2：精标定；

利用目标标定点与提取特征点的结构角约束关系矩阵，在粗标定的基础上通过爬山法的搜索策略实现对目标点的精确标定，并通过有效的结构角约束关系矩阵的更新策略，实现长时间的精确标定。

本发明进一步的改进在于，步骤1的具体实现步骤如下：

步骤1.1：人工标定出图像序列最后一帧图像的目标点；

步骤1.2：在当前帧标定目标点的周围利用sift算法进行特征角点的提取；

步骤1.3：对前一帧的整幅图像利用sift算法进行特征角点的提取；

步骤1.4：进行特征点集的匹配，并利用ransac算法剔除错误匹配的特征点对，得到仿射变换矩阵；

步骤1.5：利用仿射变换矩阵，对前一帧图像的目标点进行粗标定。

本发明进一步的改进在于，步骤1.1中，在图像序列的最后一帧人工标定出目标点位置x，然后通过逆向的方式依次往前对图像帧进行自动标定；

步骤1.2中，在当前t时刻图像帧标定的目标点xt周围的一定区域内利用sift算法提取图像的特征点集{ptⁱ,i＝1,2,...,mt}，并对提取的特征点集进行筛选，使得筛选后的特征点集的分布分散；

步骤1.3中，对t-1时刻的图像帧利用sift算法进行特征点的提取

步骤1.4中，对t-1时刻的特征点集与t时刻的特征点集进行匹配，匹配的点集对分别为和匹配的点集对和实现随机抽样一致性算法，剔除其中错误的匹配点对，得到仿射变换矩阵以及对应的点集对和

步骤1.5中，根据t时刻的标定点位置xt以及仿射变换矩阵得到t-1时刻的标定点位置

本发明进一步的改进在于，在于，步骤2的具体实现步骤如下：

步骤2.1：根据当前帧的标定点和特征角点位置，计算结构角约束关系矩阵；

步骤2.2：计算与结构角约束关系矩阵所对应的结构角权重矩阵wt；

步骤2.3：根据粗标定位置，利用爬山法对目标点进行精标定；

步骤2.4：利用序贯滤波的方式对结构角约束关系矩阵和结构角权重矩阵进行更新。

本发明进一步的改进在于，步骤2.1中，根据t时刻的标定点位置xt以及匹配的特征点集对于图像中任一特征点与任一特征点计算矢量与矢量之间的夹角即构成了n×n维的结构角约束关系矩阵ct：

步骤2.2中，定义结构角所对应的权重为：

其中σ为权重参数，为平均距离，即构成了n×n维的结构角权重矩阵wt；

步骤2.3中，根据t-1时刻的匹配点集从粗标定点xt′-1开始爬山，计算周围每个位置所对应的结构角约束关系矩阵评估函数选用两个结构角约束关系矩阵的欧式距离：

评估函数达到极值时候的位置就确定为精标定的目标点：

步骤2.4中，利用序贯滤波的方式对结构角约束关系矩阵和权重矩阵进行更新，目标点xt-1对应的结构角约束关系矩阵和权重矩阵为ct-1和wt-1，更新策略为：

其中，α和β为权衡因子。

本发明具有以下有益的技术效果：

本发明针对前视成像制导飞行器采集的仿真图像序列的目标点的标定问题，设计了一种基于逆向结构匹配跟踪的“先粗标定再精标定”的两步标定方法。在逆向跟踪原理的基础上，标定过程采用了结构角约束关系矩阵，利用图像中的特征角点和目标点的结构关系加权约束，实现了对图像序列中目标点的精确标定。相比传统的基于景象匹配的正向跟踪目标点标定方法，本发明在具有较高的标定精度和稳定性，尤其解决了传统标定方法不能有效的适应低矮目标、隐蔽目标和目标受到遮挡等情况，具有更好的适用性。

附图说明

图1是本发明的总体流程示意图。

图2是本发明实施过程中需要计算的结构角示意图。

图3是爬山法的原理图。

图4是红外图像序列1的基准位置示意图。

图5是传统标定方法对红外图像序列1的标定位置示意图。

图6是本发明对红外图像序列1的标定位置示意图。

图7是红外图像序列2的基准位置示意图。

图8是传统标定方法对红外图像序列2的标定位置示意图。

图9是本发明对红外图像序列2的标定位置示意图。

具体实施方式

以下结合附图和仿真对本发明做出进一步的说明。

如图1所示，本发明提供的基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法，包括以下步骤：

步骤1：粗标定。在图像序列最后一帧人工标定的基础上，通过提取图像中目标点周围的特征角点，与真正的飞行器目标跟踪方法相反，采用从后至前的逆向方式，对特征点集进行匹配，根据得到的仿射变换参数，实现对目标点的粗标定。具体有可分如下5个步骤：

步骤1.1：人工标定出图像序列最后一帧图像的目标点。在图像序列的最后一帧人工标定出目标点位置x，然后通过逆向的方式依次往前对图像帧进行自动标定；

步骤1.2：在当前帧标定目标点的周围利用sift算法进行特征角点的提取。在当前t时刻图像帧标定的目标点xt周围的一定区域内利用sift算法(《internationaljournalofcomputervision》杂志2004年第60期《distinctiveimagefeaturesfromscale-invariantkeypoints》)提取图像的特征点集{ptⁱ,i＝1,2,...,mt}，为了保证精标定过程中的标定精度，应对提取的特征点集进行筛选，使得筛选后的特征点集的分布尽量分散；

步骤1.3：对前一帧的整幅图像利用sift算法进行特征角点的提取。对t-1时刻的图像帧利用sift算法进行特征点的提取

步骤1.4：进行特征点集的匹配，并利用ransac算法剔除错误匹配的特征点对，得到仿射变换矩阵。对t-1时刻的特征点集与t时刻的特征点集进行匹配，匹配的点集对分别为和匹配的点集对和实现随机抽样一致性算(ransac)法(《communicationsoftheacm》杂志1981年第24期《randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography》)，剔除其中错误的匹配点对，得到仿射变换矩阵以及对应的点集对和

步骤1.5：利用仿射变换矩阵，对前一帧图像的目标点进行粗标定。根据t时刻的标定点位置xt以及仿射变换矩阵便可以得到t-1时刻的标定点位置

步骤2：精标定。由仿射变换得到的粗标定位置会随着时间的累积不断发生漂移，利用目标标定点与提取特征点的结构角约束关系矩阵，在粗标定的基础上通过爬山法的搜索策略实现对目标点的精确标定，并通过有效的结构角约束关系矩阵的更新策略，实现长时间的精确标定。如图2和图3所示，具体实现步骤如下：

步骤2.1：根据当前帧的标定点和特征角点位置，计算结构角约束关系矩阵ct。根据t时刻的标定点位置xt以及匹配的特征点集对于图像中任一特征点与任一特征点计算矢量与矢量之间的夹角这样就构成了n×n维的结构角约束关系矩阵ct：

步骤2.2：计算与结构角约束关系矩阵所对应的结构角权重矩阵wt。在结构角中，两个特征角点的距离越近，那么计算的结构角可能产生的误差就越大，为了提高结构匹配的精度，那么赋予这个角的权重应该越小，定义结构角所对应的权重为：

其中σ为权重参数，为平均距离。这样就构成了n×n维的结构角权重矩阵wt。

步骤2.3：根据粗标定位置，利用爬山法对目标点进行精标定。爬山法是一种最简单的启发式搜索算法，它采用定义的评估函数来估计目标状态和当前状态的“距离”，将当前搜索节点周围最陡的上升方向作为下一个搜索节点，以此类推，直到爬到“山顶”，即达到评估函数的极值。根据t-1时刻的匹配点集从粗标定点xt′-1开始爬山，计算周围每个位置所对应的结构角约束关系矩阵评估函数选用两个结构角约束关系矩阵的欧式距离：

评估函数达到极值时候的位置就确定为精标定的目标点：

步骤2.4：利用序贯滤波的方式对结构角约束关系矩阵和结构角权重矩阵进行更新。为了提高标定的精确性以及防止目标点标定的漂移，利用序贯滤波的方式对结构角约束关系矩阵和权重矩阵进行更新，目标点xt-1对应的结构角约束关系矩阵和权重矩阵为ct-1和wt-1，更新策略为：

其中，α和β为权衡因子。

本发明的效果通过以下仿真进一步说明：

1.仿真条件

为了验证本发明的有效性，对飞行器由远及近的接近目标的两组红外图像序列进行仿真测试，需要标定的目标为场景中的建筑物。实验环境为intel(r)core(tm)cpu3.10ghz/8gb内存/matlab2011。在仿真实验中，sift算法采用的原始参数，角结构中采用的权重参数为σ＝0.1，权衡因子α＝0.99和β＝0.99。

2.仿真实验

将本发明与传统的基于景象匹配的正向跟踪目标点标定方法进行性能对比。景象匹配算法采用经典的互相关算法。图4至图6给出了在红外图像序列1的基准位置示，传统标定方法对红外图像序列1的标定位置以及本发明对红外图像序列1的标定位置，图7至图9给出了在红外图像序列1的基准位置示，传统标定方法对红外图像序列2的标定位置以及本发明对红外图像序列1的标定位置。从图可以看出，随着时间的累积，传统标定方法的标定误差越来越大，由于本发明利用逆向的方式，采用结构约束，使得标定位置始终保持在极小的误差范围内。