基于匹配的目标跟踪方法
【技术领域】
[0001] 本发明涉及目标跟踪技术领域，尤其涉及一种基于匹配的目标跟踪方法。
【背景技术】
[0002] 目标跟踪方法有很多种，主要分为基于对比度分析的目标跟踪方法、基于匹配的 目标跟踪方法和基于运动检测的目标跟踪方法。其中，基于匹配的目标跟踪方法是目前工 程应用阶段目标跟踪技术最主要的使用手段，而目前应用最多的是基于去均值归一化积相 关算法的目标匹配跟踪方法。由于该方法算法复杂、计算量大、过程复杂、对处理器精度要 求较高等特点，在实时处理系统中实现有较大困难且实现成本较高，当前业内实现的方法 往往很难在精度、实时性和硬件开销等方面达到一个较好的平衡。
[0003] 根据相关文献表明，部分设计人员用DSP ARM等处理器完成全部的跟踪处理流程， 实现方法虽然简单，但由于DSP等处理器运行架构和方法等原因，算法执行并行度较低，处 理时间过长，造成效率低下，实时性难以满足系统要求。
[0004] 另一种实现方法将目标匹配跟踪方法中运算量最大的去均值归一化积相关部分 在FPGA等可编程逻辑电路中实现，运算速率大大提升，但由于实现过程和跟踪流程没有做 相应优化，需要性能非常高的FPGA和DSP完成，且需要占用大量外部存储资源，实现成本较 高，无法大规模推广使用。
【发明内容】
[0005] 本发明的目的在于克服现有技术不足，提供了一种基于匹配的目标跟踪方法，能 够在实时性、精确性、硬件开销等方面达到一个较好平衡，跟踪效果良好并大大缩减实时信 号处理系统的成本。
[0006] 本发明的技术解决方案：
[0007] -种基于匹配的目标跟踪方法，该方法包括：
[0008] DSP根据检测结果确定截图坐标，并将所述截图坐标发送给FPGA ;
[0009] FPGA接收所述截图坐标，并根据所述截图坐标从原始图像上截取实时跟踪图像， 并将所述实时跟踪图像发送给DSP ;
[0010] DSP接收所述实时跟踪图像，利用所述实时跟踪图像制备跟踪模板，并将所述跟踪 模板发送给FPGA ;
[0011] FPGA接收所述跟踪模板，利用所述跟踪模板进行去均值归一化积相关运算，并将 去均值归一化积相关结果矩阵发送给DSP ;
[0012] DSP接收所述去均值归一化积相关结果矩阵，根据所述去均值归一化积相关结果 矩阵计算目标跟踪坐标，并将所述目标跟踪坐标发送给FPGA ;
[0013] FPGA接收所述目标跟踪坐标，利用所述目标跟踪坐标并通过通信帧完成对伺服系 统的控制。
[0014] 进一步的，所述FPGA接收所述跟踪模板，利用所述跟踪模板进行去均值归一化积 相关运算包括：
[0015] 去均值归一化积相关计算公式，第一公式：
，其中，Gr (i，j)表示实时跟踪图像在（i，j)点的灰度值，Gr大小为Mr XNr ;Gs(i，j)表示参 考图在（丨，」）点的灰度值，〇3大小为此乂此，且此〈11'，此〈阶；(1^)是实时跟踪图像在参 考图上的相对坐标，相关矩阵的大小为（Mr-Ms+l)X(Nr-Ns+l)，最终匹配点坐标（u，v)根 据实际条件求出；
[0017] 将上述第一公式进行重新推导，得到第二公式所示的快速去均值归一化积相关算 法，第二公式：
[0025] 将第二公式中除法转变为乘法计算，获得以下第三公式：
[0026]
[0027] 进一步的，利用所述跟踪模板进行去均值归一化积相关运算包括：
[0028] 所述FPGA并行实现以下过程1至过程5 :
[0029] 过程1，利用跟踪模板大小实时图计算实时图像素值和；
[0030] 过程2,利用跟踪模板大小实时图计算实时图自乘积，计算实时图自乘积值和；
[0031] 过程3,利用跟踪模板大小实时图计算实时图与模板数据的互乘积，计算实时图与 模板图互乘积值的和；
[0032] 过程4,利用跟踪模板大小实时图并结合模板数据，计算模板图的自乘积，计算模 板图自乘积值和；
[0033] 过程5,利用跟踪模板大小实时图计算模板图像素值和；
[0034] 所述FPGA利用上述计算结果计算当前图像的去均值归一化积相关值。
[0035] 本发明实施例提供的一种基于匹配的目标跟踪方法，通过FPGA完成接收图像数 据，截取跟踪实时图及计算去均值归一化积相关值等功能步骤，通过DSP完成实现跟踪模 板制备、跟踪流程控制及调度及计算目标位置等功能，最后DSP将计算所得的目标位置坐 标通过FPGA发送给伺服控制系统，完成目标匹配跟踪，简化了实现流程以及FPGA和DSP的 数据交互过程，实现流程更合理，运算过程数据格式选择更优化，大大降低了对各个可编程 逻辑器件的性能要求，充分利用不同可编程逻辑器件的特点，合理划分任务工作，极大地发 挥了各个器件的能力。
【附图说明】
[0036] 所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部 分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037] 图1为本发明实施例提供的基于匹配的目标跟踪方法流程图；
[0038] 图2为本发明实施例中FPGA计算去均值归一化互相关值的计算流程图。
【具体实施方式】
[0039] 下面将结合附图对本发明的具体实施例进行详细说明。在下面的描述中，出于解 释而非限制性的目的，阐述了具体细节，以帮助全面地理解本发明。然而，对本领域技术人 员来说显而易见的是，也可以在脱离了这些具体细节的其它实施例中实践本发明。
[0040] 在此需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示 出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不 大的其他细节。
[0041] 本发明实施例提供一种基于匹配的目标跟踪方法，原始图获取，实时图截取，去均 值归一化积相关运算等实时性要求高，并行度好的处理部分由FPGA完成，其余部分和跟踪 控制流程由DSP完成。如图1所示，该方法包括：
[0042] DSP根据检测结果确定截图坐标，并将所述截图坐标发送给FPGA ;
[0043] FPGA接收所述截图坐标，并根据所述截图坐标从原始图像上截取实时跟踪图像， 并将所述实时跟踪图像发送给DSP ;
[0044] DSP接收所述实时跟踪图像，利用所述实时跟踪图像制备跟踪模板，并将所
[0045] 为了充分说明本发明的技术方案，以下通过具体的流程图，详细说明本发明的最 佳实施例。
[0046] 述跟踪模板发送给FPGA ;
[0047] FPGA接收所述跟踪模板，利用所述跟踪模板进行去均值归一化积相关运算，并将 去均值归一化积相关结果矩阵发送给DSP ;
[0048] DSP接收所述去均值归一化积相关结果矩阵，根据所述去均值归一化积相关结果 矩阵计算目标跟踪坐标，并将所述目标跟踪坐标发送给FPGA ;
[0049] FPGA接收所述目标跟踪坐标，利用所述目标跟踪坐标并通过通信帧完成对伺服系 统的控制。
[0050] 本发明实施例提供的一种基于匹配的目标跟踪方法，通过FPGA完成接收图像数 据，截取跟踪实时图及计算去均值归一化积相关值等功能步骤，通过DSP完成实现跟踪模 板制备、跟踪流程控制及调度及计算目标位置等功能，最后DSP将计算所得的目标位置坐 标通过FPGA发送给伺服控制系统，完成目标匹配跟踪，简化了实现流程以及FPGA和DSP的 数据交互过程，实现流程更合理，运算过程数据格式选择更优化，大大降低了对各个可编程 逻辑器件的性能要求，充分利用不同可编程逻辑器件的特点，合理划分任务工作，极大地发 挥了各个器件的能力。
[0051] 去均值归一化积相关算法的实现方法是本专利涉及的关键步骤之一，接下将 详细介绍该算法的计算方法。如公式⑴所示：其中Gr(i，j)表示实时图在（i，j)点 的灰度值，Gr大小为MrXNr ;Gs(i，j)表示参考图在（i，j)点的灰度值，Gs大小为 MsXNs，且Ms〈Mr，Ns〈Nr ;(u，v)是实时图在参考图上的相对坐标，相关矩阵的大小为 (Mr-Ms+1) X (Nr-Ns+Ι)。最终匹配点坐标（u, V)根据实际条件求出。
[0053] 过将公式（1)进行重新推导，可以得到公式（2)所示的快速去均值归一化积相关 算法。由此可以看出，可利用积分图像代替原有求和过程，用3个简单的加减运算来降低 原算法求取相关系数过程的计算复杂度，以提高运算速度。
[0054]
[0062] 公式（3)中将除法转变为乘法计算，便于FPGA实现，可充分利用FPGA并行流水 特点，实现实时计算去均值归一化积相关值。参加图2,根据公式（3)可以得知FPGA计算去 均值归一化积相关的流程包括；
[0063] FPGA接收跟踪模板，并行实现以下过程