功耗低的基于dsp的相关跟踪方法
【专利摘要】本发明公开了一种功耗低的基于DSP的相关跟踪方法，本发明的目标跟踪方法采用基于归一化积相关（NProd）的模板匹配算法与遮挡判定、运动预估相结合的方式，通过Kalman运动预估设置搜索中心，采用基于NProd函数的子模板相关矩阵作为匹配度量，在波门中搜索目标；如果子模板之间的相关度误差满足遮挡条件，则中止模板更新，直接采用运动预估值作为最佳匹配位置，直到目标离开遮挡区域。本发明可以对存在复杂背景中的、与背景颜色分布相似的、突然出现大面积遮挡的目标进行有效跟踪，体积小、功耗低，适用性强。
【专利说明】功耗低的基于DSP的相关跟踪方法
[0001] 本申请是申请号：201310309831. 2、申请日：2013. 07. 22、名称："基于DSP的相关 跟踪方法"的分案申请。
【技术领域】
[0002] 本发明涉及一种图像处理技术，具体涉及的是一种基于DSP的目标相关跟踪方法 及其装置。
【背景技术】
[0003] 基于图像处理的目标跟踪在人机交互、智能视频监控及军事应用等领域具有很多 实际应用。但是难点在于如何使跟踪过程具有较强的鲁棒性，因为目标的形状变化及遮挡 等情况都会影响跟踪的可靠性。
[0004] 基于模板匹配的相关跟踪方法是目标跟踪中的一种方法，通过自动检测或人工设 定得到包含目标的模板图像，然后采用一定的判定准则即匹配度量函数，在搜索图像中找 出最佳匹配位置，从而实现对目标的跟踪。相关跟踪方法具有精度高、跟踪稳定且对背景颜 色分布不敏感的优点，但是当目标发生形变或者被遮挡时，跟踪精度会降低甚至跟踪失败。 通过对模板进行更新，可以在一定程度上抑制目标形变对跟踪的影响，但是每一帧上的微 小误差会随着相对运动过程逐渐积累，从而可能导致目标跟踪点偏离原先瞄准中心越来越 远，即模板出现漂移。除此以外还需要特别注意当目标进入遮挡时，如果不立即中止模板更 新，会导致遮挡物进入模板，从而对后续跟踪造成严重影响。
[0005] 现有的技术系统一般难以应对目标遮挡这种突变干扰，为了更加有效地提高相 关跟踪的鲁棒性，可以同时从两个方面开展研究：其一，构造更加鲁棒的匹配度量函数；其 二，研究合适的模板更新方法。
【发明内容】
[0006] 本发明的目的在于提供一种利用可见光图像对存在复杂背景中的，与背景颜色分 布相似的，突然出现大面积遮挡的目标进行跟踪，并可以将跟踪图像传送给监视器实时显 示，将跟踪结果实时传输给上位机的基于DSP的相关跟踪方法及专用装置。
[0007] 本发明的技术解决方案是：
[0008] -种基于DSP的相关跟踪方法，包括以下步骤：
[0009] 步骤一：模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号 的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为 PAL制式或者NTSC制式，数字图像信号的输出格式为YUV ;
[0010] 步骤二：控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信 号（Y)建立目标模板，或者根据预先存储的图像数据设定目标模板；
[0011] 步骤三：根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模 板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标 最佳匹配位置；
[0012] 步骤四：根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大 可能位置，以该点为中心设置下一帧的搜索波门；
[0013] 步骤五：根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹 配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板；
[0014] 步骤六：如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一 帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行 目标遮挡判断；
[0015] 步骤七：根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像 信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显 示当前跟踪情况；
[0016] 步骤八：数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参 量及目标遮挡判断参量等数据通过UART数据传输接口传送给上位机。
[0017] 一种基于DSP的相关跟踪方法及其装置，包括视频捕获模块、图像跟踪模块、视频 显示模块以及数据传输模块，其中，摄像机与视频捕获模块相连接，监视器与视频显示模块 相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模 块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获 模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字 图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字 图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过 视频编码器将数据转换成模拟视频信号传送给监视器，数据传输模块将数据通过UART 口 传送给上位机。
[0018] 一种基于DSP的相关跟踪方法及其装置，其视频捕获模块包括视频输入接口、视 频解码器，视频显示模块包括视频输出接口、视频编码器，图像跟踪模块包括DSP处理器、 电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存，数据传输模块 包括调试接口、UART接口，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动 态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连 接。
[0019] 本发明与现有技术相比，具有如下显著优点：
[0020] (1)本发明系统能通过可变波门手动选择目标，也可通过预设目标图像信息自动 选择目标；
[0021] (2)本发明系统采用子模板相关度矩阵匹配算法，相对于一般的相关匹配算法，跟 踪的鲁棒性有所提1? ;
[0022] (3)本发明系统采用了基于子模板相关误差的目标遮挡判断算法，可以有效判断 目标是否进入遮挡，并结合Kalman滤波运动预估有效提高目标在遮挡情况下的跟踪成功 率；
[0023] (4)本发明系统单帧处理时间及CPU负载率满足实时跟踪要求，且体积小、功耗 低，适用性强，具有新颖性与实用性。
[0024] 下面结合附图对本发明作进一步详细描述
【专利附图】
【附图说明】
[0025] 图1是本发明基于DSP的相关跟踪装置的结构示意图。
[0026] 图2是本发明基于DSP的相关跟踪方法流程图。
【具体实施方式】
[0027] 由图1可知，一种基于DSP的相关跟踪方法及其装置，其装置包括视频捕获模块、 图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机1与视频捕获模块相连接， 监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模 块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频 信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图 像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更 新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模 块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器13,数据传输 模块将数据通过UART 口传送给上位机12。
[0028] 视频捕获模块包括视频输入接口、视频解码器2,视频显示模块包括视频输出接 口、视频编码器3,图像跟踪模块包括DSP处理器4、电源电路5、复位电路6、时钟电路7、 同步动态存储SDRAM8、非挥发性FLASH内存9,数据传输模块包括调试接口 10、UART接口 11，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性 FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。图像跟踪模块为本系 统的核心器件，它对基于可见光模拟视频信号转换而来的数字图像进行处理，计算出目标 当前位置，判断目标是否存在遮挡、实现模板更新并在数字图像上叠加波门。本发明的DSP 处理器选用DM642芯片，视频解码器选用TVP5150视频解码芯片，视频编码器选用SAA7104 视频编码芯片。
[0029] 由图2可知，一种基于DSP的相关跟踪方法，包括以下步骤：
[0030] 1. 1模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输 入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL 制式或者NTSC制式，数字图像信号的输出格式为YUV。
[0031] 1. 2控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号 (Y)建立目标模板，或者根据预先存储的图像数据设定目标模板。模板图像的大小在32*32 像素到64*64像素之间。
[0032] 1. 3根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相 关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳 匹配位置。具体如下：
[0033] 子模板大小由模板图像大小决定，在8*8像素到16*16像素之间，子模板的数量在 16到64之间。将模板图像与实时图像对应区域的图像按同样方式均匀分割成MXN个子模 板，在每一个搜索位置按公式（1)计算子模板与子图对应位置子图像的去均值归一化相关 系数D kl(i，j) (0彡Dkl(i，j)彡1，1彡k彡M，1彡1彡N)，得到一个MXN维的相关度量矩 阵S，将矩阵S存储在一个数组之中。 (1)
[0035] 式中，m，n分别为模板图像的宽与高，f (x, y)为模板图像，t(x_u, y-v)对应于与实 际配准位置偏差（u，v)个像素的子图，7为模板图像的灰度均值，为子图的灰度均值， D(u，v)是度量函数位置偏移为（u，v)时的匹配度量值。
[0036] 根据子模板与瞄准中心的距离对相关度矩阵TM进行一次加权修正，修正方法如 下：
【权利要求】
1. 一种功耗低的基于DSP的相关跟踪方法，其特征是：包括以下步骤： 步骤一：模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输 入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL 制式或者NTSC制式，数字图像信号的输出格式为YUV ; 步骤二：控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号Y 建立目标模板，或者根据预先存储的图像数据设定目标模板； 步骤三：根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相 关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳 匹配位置； 步骤四：根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能 位置，以该点为中心设置下一帧的搜索波门； 步骤五：根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位 置对应图像数据作为候选模板，与当前目标模板共同构造新模板； 步骤六：如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的 最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标 遮挡判断； 步骤七：根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号 输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当 iu跟踪情况； 步骤八：数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及 目标遮挡判断参量数据通过UART数据传输接口传送给上位机； 步骤四中采用Kalman滤波预估目标在下一帧中的最大可能位置，其预估方法为： 系统状态xk包括xsk, ysk以及xvk, yvk,分别为目标在图像X轴与Y轴上的位置与速度； 二维观测向量Zk包括xwk，ywk，分别表示匹配算法计算出的目标坐标； 根据目标在单位时间间隔内作匀速运动的假设，定义状态转移矩阵Φ、观测矩阵Hk及 相互独立的零均值高斯白噪声向量wk，vk的协方差矩阵： '1 0 Γ 〇? Γ1 0 0 0' 0 1 0 Γ 0 10 0 φ = 〇 = 0 0 10 「1 00 0]灸 0 0 10 「10 Η, = R,= _〇 ο ο 1」* L〇 1 ο 〇」 L〇 ο ο i」 ι_ 对滤波器进行初始化，将目标初始位置与速度赋给χ〇,速度设为ο ;初始误差协方差Ρ〇 设为0,同时记录当前时刻； 将Χ〇与状态转移矩阵Φ代入状态预测方程，预测当前目标的运动状态尤·，将预测的误 差记为APk = Wk-sk ;将状态转移矩阵Φ与观测矩阵Hk代入误差协方差预测方程，得到新 的误差协方差； 以预估的目标坐标（.4，34).为搜索区域中心，当（攻，J4)暂时没有得出时先 以Xk中的XSk，ysk作为搜索中心；按Λpk的大小设置搜索波门大小，寻找最佳匹配位置； 最佳匹配区域的子图坐标赋给观测向量xw k，ywk，从而得到Zk ;代入状态修正方程即可得 (xsk+1, ysk+1)； 计算滤波器状态增益系数Kk，将Zk代入状态修正方程，得到经观测修正后的状态向量， 并计算修正误差协方差方程； 搜索波门大小采取如下方式设定： 搜索波门宽/高=2 γ APk+模板图像宽/高 其中Y为比例系数，取值范围为1?2。
2. 根据权利要求1所述的基于DSP的相关跟踪方法，其特征是：步骤二中控制波门位 置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号建立目标模板，或者根据预 先存储的图像数据设定目标模板，模板图像的大小在32*32像素到64*64像素之间。
3. 根据权利要求1所述的基于DSP的相关跟踪方法，其特征是：如果判断目标存在遮 挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据 作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断。
【文档编号】G06T7/20GK104065925SQ201410287315
【公开日】2014年9月24日 申请日期:2013年7月22日 优先权日:2013年7月22日
【发明者】顾菊平, 徐一鸣, 陆观, 华亮, 陈 峰, 陈娟 申请人:南通大学