高精度红外图像跟踪器及一种目标快速跟踪方法与流程

本发明涉及一种目标跟踪器和一种目标的跟踪识别方法，特别涉及一种制导武器系统精确打击目标的高精度红外图像跟踪器，以及运用该跟踪器进行粗瞄准精确打击目标的跟踪方法。

背景技术：

在精确打击目标的武器系统中，由于环境的影响，如风吹草动、飞鸟树叶的干扰以及光电成像系统抖动等，都会引发噪声，这些噪声在通常的检测方法中都会被确认为打击目标。这些作为干扰的虚假目标，会影响跟踪精度，导致不能精确打击目标。

早期跟踪器的算法简单，在进行任务前通常需要按照目标的先验知识进行算法选择以适合所跟踪的目标。同时，由于硬件资源有限，此类跟踪器难以实时完成大靶面的处理及多目标跟踪。此外，由于采用的策略比较简单，其硬件平台效率不够高，仍然难以完成复杂状态变化下目标的稳定跟踪。

目前的现有技术中一般采用灰度相关匹配跟踪技术，其具有易于硬件实现和优良的抗噪性能，因而得到广泛的应用。然而在传统灰度相关匹配跟踪中，常会出现累积误差，通常需要在适当时机更换模板才能有效克服累积误差。在模板更新时一般会采用新旧模板简单的加权组合，由于没有区分背景与打击目标而容易导致目标模板被背景杂波(如：目标遮挡等)破坏，可见在杂波背景下传统模板匹配跟踪技术缺乏对目标形变的感知能力，容易使目标漂移出匹配跟踪的模板，最终导致目标跟踪失败。

此外，在灰度相关匹配跟踪技术中，打击目标时的匹配速度是一个关键的因素，其影响了跟踪系统的跟踪目标精度，进而影响打击目标精度。然而影响匹配速度的主要因素是计算相关度(即匹配时模板与实时图的相似度)的次数，目前为了提高匹配速度常采用分层策略和改进搜索策略，但现有的这些算法仍旧不能同时满足系统对精度、实时性和低成本的要求。

技术实现要素：

为了克服上述现有技术的缺陷，本发明的目的是提供一种具有低成本、可靠性高等优点的适用于武器系统精确打击目标的红外图像跟踪器，以及运用该跟踪器进行粗瞄准精确打击目标的跟踪方法。该跟踪方法包括目标二值标记、快速搜索策略、二值图掩模的自适应模板更新及模板修正等技术，能够提高模板匹配算法的正确率，抑制跟踪漂移，实现对目标形变自适应感知且起到快速识别与跟踪作用。

本发明的技术方案之一：一种高精度红外图像跟踪器，其特征在于，该跟踪器基于可编程逻辑阵列和数字处理芯片为框架，包括实时图像采集处理模块、实时图像存储模块、控制模块fpga、输出图像存储模块、通信模块、数字处理模块dsp和动态存储模块sdram；其中，实时图像采集处理模块包括模数转换模块a/d和可编程逻辑阵列fpga，实时图像存储模块包括静态存储器sram1和sram2，输出图像存储模块包括静态存储器sram3和sram4，控制模块fpga配置有电源和可擦除存储器eprom，数字处理模块dsp配置有电源和flash，通信模块配置有rs232和rs422通讯串口；所述的可擦除存储器eprom和flash用于存储供芯片运行的程序，所述的动态存储模块sdram为数字处理模块dsp运行时提供数据存储。

实时图像采集模块通过控制模块fpga采集经a/d转换的目标实时图像，该图像通过乒乓技术存入实时图像存储模块中，即控制模块fpga首先采集一帧图像存入实时图像存储模块的sram1中，产生图像中断，数字处理模块dsp响应中断，并通过edma取走sram1中的图像数据进行分析处理，然后把处理后的图像传给输出图像存储模块中的sram3，在控制模块fpga控制下通过d/a视频显示。在数字处理模块dsp产生中断的同时，控制模块fpga把采集的下一帧图像存入实时图像存储模块中的sram2中，当数字处理模块dsp处理分析完此帧数据，控制模块fpga采集完下一帧图像产生中断时，数字处理模块dsp通过edma取走sram2中的数据，分析处理完后传给输出图像存储模块中的sram4，在控制模块fpga控制下通过d/a视频显示；如此循环重复上述步骤，数字处理模块dsp处理完一帧图像后将图像和跟踪位置的信息通过通信模块传输给火控系统。

进一步地，所述控制模块fpga在实时图像采集模块采集的实时图像中,粗略选择目标区域存入实时图像存储模块中。

进一步地，所述数字处理模块dsp的分析处理，是对存入实时图像存储模块中的目标区域进行二值化处理，并运用八邻域标记法，得到目标区域的真实形心位置；并以该真实形心位置选择与存入实时图像存储模块中的相同大小的目标区域作为原始目标模板图，将原始目标模板图与目标实时图像进行相关匹配，直到获取目标在实时图像中的真实位置。

本发明的技术方案之二：一种基于上述高精度红外图像跟踪器进行粗瞄准精确打击目标的快速跟踪方法，其特征在于，具体实施步骤如下：

步骤一、在采集的实时图像中粗略选择目标区域；

步骤二、对步骤一中选择的目标区域进行二值化处理，并运用八邻域标记法，得到目标区域的形心位置，判断是否为目标的真实形心位置；如果是，则以真实形心位置再选择与步骤一相同大小的目标区域作为原始目标模板图；如果否，则重新用步骤一方法选择目标区域，再二值化处理并标记，直到得到目标的真实形心位置；

步骤三、将步骤二中所述原始目标模板图与所述目标实时图像进行相关匹配，如果匹配成功，则可得到目标在实时图像中的真实位置，并根据匹配结果进行目标模板更新，转入目标跟踪；如果匹配失败，则进行卡尔曼kalman或者姿态信息目标预测，重新采集目标实时图像进行目标匹配识别以获取真正目标。

进一步地，在对所述目标区域进行目标提取时，采用改进最大类间方差法得到使目标与背景方差最大的灰度值。

进一步地，所述目标区域中大于该所述灰度值的灰度为255，反之为0。

进一步地，对所述目标区域进行二值化处理后出现的多个连通区域进行八邻域标记来区分真实目标与虚假目标，合并已通过八邻域标记的连通区域，最终选择面积最接近目标所成像素的连通区域，求出此连通区域的形心位置，以此形心位置为基准，再在所述目标实时图像中选择与步骤一中相同大小的区域作为目标区域，此时得到的目标区域即为目标模板图，也就是需要精确打击的目标。

进一步地，在步骤三中将目标实时图像与原始目标模板图采用灰度值矩阵表示分别为s(m，n)和t(m，n)，其中m>m，n>n；目标模板t(m，n)在实时图像s(m，n)上平移，模板覆盖下的实时图像的区域为子图su,v，其中(u，v)是该子图以左上角为原点的坐标，称为参考点，在实时图像参考点上计算一个度量来表征目标模板图和对应子图之间差异程序的大小，称为相关值；相关值越大，则认为目标模板图与对应子图之间相似程度越高，如果相关值大于事先设立的阈值t，则认为匹配成功。

进一步地，在步骤三中对原始目标模板图和目标实时图像进行的相关匹配采用改进爬山搜索策略和简化相关度度量方式实现，具体方法为采用均值归一化算法，该算法为：

对上式进行简化可得：

其中：

如果相关值大于设定的阈值t，则认为匹配成功，则可得到目标在实时图像中的位置和相关值，并根据目标模板更新，转入目标跟踪过程，否则利用卡尔曼kalman或者姿态信息进行目标位置预测，再转入重新采集目标实时图像进行目标跟踪。

进一步地，在步骤三中首先对原始目标模板图像进行二值化并进行3×3的膨胀以适应目标小的形变能力，当进行模板更新时，对目标模板二值掩模图非零点进行α1权值更新，值为零的像素点采用α2权值更新，达到延缓背景进行目标模板，快速更新真实目标模板图的目的。

其中bink(x,y)表示目标模板二值膨胀后的掩模图，tk+1为更新后的目标模板图，tk为当前匹配使用的目标模板图，ik为当前匹配得到的最佳目标模板图；α1＝λ1a，α2＝λ2a，且满足λ1＞λ2，a为根据连续多帧匹配结果计算得到的帧间置信度：

利用更新后新的目标模板进行下一帧图像的匹配，然后再重复进入“模板匹配-计算相关值-获得当前最佳匹配位置-目标模板更新-模板匹配”的循环步骤中实现目标跟踪。

与现有技术相比，本发明的优点在于：

1、本发明提供的跟踪器成本低且可靠性高。

2、本发明提出了一种模板目标二值标记，能有效标记出真实目标区域，避开虚假目标。

3、本发明提出的改进爬山搜索策略、相关值排序、位置标记和简化相关值的度量公式方法，解决了目标跟踪相关度计算次数多、计算量大、不能实时跟踪和精度差的问题。

4、本发明提供一种二值图掩模的自适应模板更新方法，解决了在不进行目标与背景区分的情况下模板更新不合理的问题，减少虚假目标对模板的干扰，具有能够精确识别和实时跟踪的特点，且具有对硬件要求低的优点，在精确打击武器中具有良好的应用前景。

附图说明

图1是目标跟踪器结构示意图

图2是目标区域二值化与标记示意图

图3是相关匹配原理示意图

图4是爬山法搜索策略流程图

图5是目标匹配跟踪流程图。

具体实施方式

现结合实施例对本发明的具体实施方式作进一步说明。

如图1所示，一种高精度红外图像跟踪器基于可编程逻辑阵列和数字处理芯片为框架，包括实时图像采集处理模块、实时图像存储模块、控制模块fpga、输出图像存储模块、通信模块、数字处理模块dsp和动态存储模块sdram；其中，实时图像采集处理模块包括模数转换模块a/d和可编程逻辑阵列fpga，实时图像存储模块包括静态存储器sram1和sram2，输出图像存储模块包括静态存储器sram3和sram4，控制模块fpga配置有电源和可擦除存储器eprom，数字处理模块dsp配置有电源和flash，通信模块配置有rs232和rs422通讯串口；所述的可擦除存储器eprom和flash用于存储供芯片运行的程序，所述的动态存储模块sdram为数字处理模块dsp运行时提供数据存储。

实时图像采集模块通过控制模块fpga采集经a/d转换的目标实时图像，该图像通过乒乓技术存入实时图像存储模块中，即控制模块fpga首先采集一帧图像存入实时图像存储模块的sram1中，产生图像中断，数字处理模块dsp响应中断，并通过edma取走sram1中的图像数据进行分析处理，然后把处理后的图像传给输出图像存储模块中的sram3，在控制模块fpga控制下通过d/a视频显示。在数字处理模块dsp产生中断的同时，控制模块fpga把采集的下一帧图像存入实时图像存储模块中的sram2中，当数字处理模块dsp处理分析完此帧数据，控制模块fpga采集完下一帧图像产生中断时，数字处理模块dsp通过edma取走sram2中的数据，分析处理完后传给输出图像存储模块中的sram4，在控制模块fpga控制下通过d/a视频显示；如此循环重复上述步骤，数字处理模块dsp处理完一帧图像后将图像和跟踪位置的信息通过通信模块传输给火控系统。

所述的控制模块fpga在实时图像采集模块采集的实时图像中,粗略选择目标区域存入实时图像存储模块中。

所述的数字处理模块dsp的分析处理，是对存入实时图像存储模块中的目标区域进行二值化处理，并运用八邻域标记法，得到目标区域的真实形心位置；并以该真实形心位置选择与存入实时图像存储模块中的相同大小的目标区域作为原始目标模板图，将原始目标模板图与目标实时图像进行相关匹配，直到获取目标在实时图像中的真实位置。

一种基于上述高精度红外图像跟踪器进行粗瞄准精确打击目标的快速跟踪方法，如图5所示，具体实施步骤如下：

步骤一、在采集的实时图像中粗略选择目标区域，该目标区域中可能出现各种环境影响而产生的虚假目标。

步骤二、对步骤一中选择的目标区域进行二值化处理，并运用八邻域标记法，得到目标区域的形心位置，判断是否为目标的真实形心位置；如果是，则以真实形心位置再选择与步骤一相同大小的目标区域作为原始目标模板图；如果否，则重新用步骤一方法选择目标区域，再二值化处理并标记，直到得到目标的真实形心位置。

在对所述目标区域进行目标提取时，采用改进最大类间方差法得到使目标与背景方差最大的灰度值，目标区域中大于该所述灰度值的灰度为255，反之为0。这样二值化处理后由于虚假目标会出现的多个连通区域，需要对其进行八邻域标记来区分真实目标与虚假目标，合并已通过八邻域标记的连通区域，最终选择面积最接近目标所成像素的连通区域，求出此连通区域的形心位置。以此形心位置为基准，再在所述目标实时图像中选择与步骤一中相同大小的区域作为目标区域，此时得到的目标区域即为目标模板图，也就是需要精确打击的目标。目标区域二值化与标记示意图，如图2所示，如以常规方法检测到的形心去打击目标很有可能打击不到真实目标3。

步骤三、将步骤二中所述原始目标模板图与所述目标实时图像进行相关匹配，如果匹配成功，则可得到目标在实时图像中的真实位置，并根据匹配结果进行目标模板更新，转入目标跟踪；如果匹配失败，则进行卡尔曼kalman或者姿态信息目标预测，重新采集目标实时图像进行目标匹配识别以获取真正目标。

如图3所示，设目标实时图像与原始目标模板图用灰度值矩阵分别为s(m，n)和t(m，n)，其中m>m，n>n。目标模板t(m，n)在实时图像s(m，n)上平移，模板覆盖下的实时图像的区域为子图su,v，(u，v)是该子图以左上角为原点的坐标，称为参考点。在实时图像参考点上计算一个度量来表征目标模板图和对应子图之间差异程序的大小，称为相关值。相关值越大，则认为目标模板图与对应子图之间相似程度越高，如果相关值大于事先设立的阈值t，则认为匹配成功。

为了同时满足实时性和精度的要求，采用改进爬山搜索策略和简化相关度度量方式对原始目标模板图与目标实时图像进行相关匹配。改进爬山搜索策略主要通过按优先级调整爬山顺序和利用样本减小相关度的计算。按优先级调整爬山顺序在保证匹配精度的前提下还解决了很多不必要的计算搜索过程，例如：多个爬山者都搜索相关值最大的点和很多爬山者搜索到的是局部极大值，当然在搜索过程中还可通过设置相关度矩阵表和搜索位置矩阵表进一步提高计算效率，避免冗余计算。

受分层匹配算法启发在保证精度条件下通过等间隔设置初始爬山点可实现由粗到精的搜索过程，具体流程如图4所示：第一步，初始化位置表和相关度表，等步长设置初始爬山点，计算模板图与实时图的子图su,v，(u，v)相关值，记录位置表和相关表；第二步，对相关表由大到小排序，并判断相应位置表是否标记，如果标记，则不计算模板图与实时图的子图su,v，(u，v)相关值；否则，在其位置表相邻点进行下一个爬山点；第三步，如果相邻点相关值小于当前点相关值，则记录最大相关值和相应位置，否则，下一位置更新当前爬山点位置，进行相关值计算；最后，完成所有初始爬山点搜索，得到相关值最大位置和相关值。匹配采用去均值归一化相关算法为：

对上式进行简化可得：

其中：

如果相关值大于设定的阈值t，则认为匹配成功，则可得到目标在实时图像中的位置和相关值，并根据目标模板更新，转入目标跟踪过程，否则利用卡尔曼kalman或者姿态信息进行目标位置预测，再转入重新采集目标实时图像进行目标跟踪。

为提高跟踪的稳定性，减小跟踪累积误差，抑制跟踪漂移，需根据当前匹配最佳区域与目标模板的相似程度，将当前匹配最佳区域与当前目标模板按一定的准则加权组合，形成用于下一帧图像匹配的新模板，以达到较好的跟踪效果。在目标更新的过程中更应关注目标图像部分，而传统的目标模板更新没有区分目标与背景。实际实现时，首先对模板图像进行二值化并进行3×3的膨胀以适应目标小的形变能力，当进行模板更新时，对目标模板二值掩模图非零点进行α1权值更新，值为零的像素点采用α2权值更新，达到延缓背景进行目标模板，快速更新真实目标模板图的目的。

其中bink(x,y)表示目标模板二值膨胀后的掩模图，tk+1为更新后的目标模板图，tk为当前匹配使用的目标模板图，ik为当前匹配得到的最佳目标模板图；α1＝λ1a，α2＝λ2a，且满足λ1＞λ2，a为根据连续多帧匹配结果计算得到的帧间置信度：

利用更新后新的目标模板进行下一帧图像的匹配，然后在重复进入“模板匹配-计算相关值-获得当前最佳匹配位置-目标模板更新-模板匹配”的循环步骤中实现目标跟踪。

通过本发明方法能有效避开虚假目标，满足实时跟踪，减少虚假目标对模板的干扰，具有目标识别与跟踪可靠和对硬件要求低等优点。