跟踪成功率的基于dsp的相关跟踪方法
跟踪成功率的基于dsp的相关跟踪方法
【专利摘要】本发明公开了一种跟踪成功率高的基于DSP的相关跟踪方法，本采用基于归一化积相关的模板匹配算法与遮挡判定、运动预估相结合的方式，通过Kalman运动预估设置搜索中心，采用基于NProd函数的子模板相关矩阵作为匹配度量，在波门中搜索目标；如果子模板之间的相关度误差满足遮挡条件，则中止模板更新，直接采用运动预估值作为最佳匹配位置，直到目标离开遮挡区域。本发明对存在复杂背景中的、与背景颜色分布相似的、突然出现大面积遮挡的目标进行有效跟踪，采用基于子模板相关误差的目标遮挡判断算法，有效判断目标是否进入遮挡。
【专利说明】跟踪成功率的基于DSP的相关跟踪方法
[0001]本申请是申请号:201310309831.2、申请日:2013.07.22、名称基于DSP的相关
跟踪方法”的分案申请。
【技术领域】
[0002]本发明涉及一种图像处理技术，具体涉及的是一种基于DSP的目标相关跟踪方法及其装置。
【背景技术】
[0003]基于图像处理的目标跟踪在人机交互、智能视频监控及军事应用等领域具有很多实际应用。但是难点在于如何使跟踪过程具有较强的鲁棒性，因为目标的形状变化及遮挡等情况都会影响跟踪的可靠性。
[0004]基于模板匹配的相关跟踪方法是目标跟踪中的一种方法，通过自动检测或人工设定得到包含目标的模板图像，然后采用一定的判定准则即匹配度量函数，在搜索图像中找出最佳匹配位置，从而实现对目标的跟踪。相关跟踪方法具有精度高、跟踪稳定且对背景颜色分布不敏感的优点，但是当目标发生形变或者被遮挡时，跟踪精度会降低甚至跟踪失败。通过对模板进行更新，可以在一定程度上抑制目标形变对跟踪的影响，但是每一帧上的微小误差会随着相对运动过程逐渐积累，从而可能导致目标跟踪点偏离原先瞄准中心越来越远，即模板出现漂移。除此以外还需要特别注意当目标进入遮挡时，如果不立即中止模板更新，会导致遮挡物进入模板，从而对后续跟踪造成严重影响。
[0005]现有的技术系统一般难以应对目标遮挡这种突变干扰，为了更加有效地提高相关跟踪的鲁棒性，可以同时从两个方面开展研究:其一，构造更加鲁棒的匹配度量函数；其二，研究合适的模板更新方法。
【发明内容】
[0006]本发明的目的在于提供一种利用可见光图像对存在复杂背景中的，与背景颜色分布相似的，突然出现大面积遮挡的目标进行跟踪，并可以将跟踪图像传送给监视器实时显示，将跟踪结果实时传输给上位机的基于DSP的相关跟踪方法及专用装置。
[0007]本发明的技术解决方案是:
[0008]一种基于DSP的相关跟踪方法，包括以下步骤:
[0009]步骤一:模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV ；
[0010]步骤二:控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板；
[0011]步骤三:根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置；
[0012]步骤四:根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门；
[0013]步骤五:根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板；
[0014]步骤六:如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断；
[0015]步骤七:根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当前跟踪情况；
[0016]步骤八:数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量等数据通过UART数据传输接口传送给上位机。
[0017]一种基于DSP的相关跟踪方法及其装置，包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器，数据传输模块将数据通过UART 口传送给上位机。
[0018]一种基于DSP的相关跟踪方法及其装置，其视频捕获模块包括视频输入接口、视频解码器，视频显示模块包括视频输出接口、视频编码器，图像跟踪模块包括DSP处理器、电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存，数据传输模块包括调试接口、UART接口，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。
[0019]本发明与现有技术相比，具有如下显著优点:
[0020](I)本发明系统能通过可变波门手动选择目标，也可通过预设目标图像信息自动选择目标；
[0021](2)本发明系统采用子模板相关度矩阵匹配算法，相对于一般的相关匹配算法，跟踪的鲁棒性有所提闻;
[0022](3)本发明系统采用了基于子模板相关误差的目标遮挡判断算法，可以有效判断目标是否进入遮挡，并结合Kalman滤波运动预估有效提高目标在遮挡情况下的跟踪成功率；
[0023](4)本发明系统单帧处理时间及CPU负载率满足实时跟踪要求，且体积小、功耗低，适用性强，具有新颖性与实用性。
[0024]下面结合附图对本发明作进一步详细描述【专利附图】
【附图说明】
[0025]图1是本发明基于DSP的相关跟踪装置的结构示意图。
[0026]图2是本发明基于DSP的相关跟踪方法流程图。
【具体实施方式】
[0027]由图1可知，一种基于DSP的相关跟踪方法及其装置，其装置包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机I与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器13，数据传输模块将数据通过UART 口传送给上位机12。
[0028]视频捕获模块包括视频输入接口、视频解码器2，视频显示模块包括视频输出接口、视频编码器3，图像跟踪模块包括DSP处理器4、电源电路5、复位电路6、时钟电路7、同步动态存储SDRAM8、非挥发性FLASH内存9，数据传输模块包括调试接口 10、UART接口11，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。图像跟踪模块为本系统的核心器件，它对基于可见光模拟视频信号转换而来的数字图像进行处理，计算出目标当前位置，判断目标是否存在遮挡、实现模板更新并在数字图像上叠加波门。本发明的DSP处理器选用DM642芯片 ，视频解码器选用TVP5150视频解码芯片，视频编码器选用SAA7104视频编码芯片。
[0029]由图2可知，一种基于DSP的相关跟踪方法，包括以下步骤:
[0030]1.1模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV。
[0031]1.2控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板。模板图像的大小在32*32像素到64*64像素之间。
[0032]1.3根据所建立的目标模板在波门内搜索目标，采用基于NP1d函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置。具体如下:
[0033]子模板大小由模板图像大小决定，在8*8像素到16*16像素之间，子模板的数量在16到64之间。将模板图像与实时图像对应区域的图像按同样方式均匀分割成MXN个子模板，在每一个搜索位置按公式(I)计算子模板与子图对应位置子图像的去均值归一化相关系数Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一个MXN维的相关度量矩阵S，将矩阵S存储在一个数组之中。【专利附图】
【附图说明】
[0025]图1是本发明基于DSP的相关跟踪装置的结构示意图。
[0026]图2是本发明基于DSP的相关跟踪方法流程图。
【具体实施方式】
[0027]由图1可知，一种基于DSP的相关跟踪方法及其装置，其装置包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机I与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器13，数据传输模块将数据通过UART 口传送给上位机12。
[0028]视频捕获模块包括视频输入接口、视频解码器2，视频显示模块包括视频输出接口、视频编码器3，图像跟踪模块包括DSP处理器4、电源电路5、复位电路6、时钟电路7、同步动态存储SDRAM8、非挥发性FLASH内存9，数据传输模块包括调试接口 10、UART接口11，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。图像跟踪模块为本系统的核心器件，它对基于可见光模拟视频信号转换而来的数字图像进行处理，计算出目标当前位置，判断目标是否存在遮挡、实现模板更新并在数字图像上叠加波门。本发明的DSP处理器选用DM642芯片 ，视频解码器选用TVP5150视频解码芯片，视频编码器选用SAA7104视频编码芯片。
[0029]由图2可知，一种基于DSP的相关跟踪方法，包括以下步骤:
[0030]1.1模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV。
[0031]1.2控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板。模板图像的大小在32*32像素到64*64像素之间。
[0032]1.3根据所建立的目标模板在波门内搜索目标，采用基于NP1d函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置。具体如下:
[0033]子模板大小由模板图像大小决定，在8*8像素到16*16像素之间，子模板的数量在16到64之间。将模板图像与实时图像对应区域的图像按同样方式均匀分割成MXN个子模板，在每一个搜索位置按公式(I)计算子模板与子图对应位置子图像的去均值归一化相关系数Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一个MXN维的相关度量矩阵S，将矩阵S存储在一个数组之中。
【权利要求】
1.一种跟踪成功率的基于DSP的相关跟踪方法，其特征是:包括以下步骤: 步骤一:模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV ； 步骤二:控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号Y建立目标模板，或者根据预先存储的图像数据设定目标模板； 步骤三:根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置； 步骤四:根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门； 步骤五:根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板； 步骤六:如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断； 步骤七:根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当iu跟踪情况； 步骤八:数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量数据通过UART数据传输接口传送给上位机； 步骤四中采用Kalman滤波预估目标在下一帧中的最大可能位置，其预估方法为: 步骤五中目标遮挡判断方法式: 模板共分割为MXN个子模板，Tij表示第i行第j个子模板，Dij为Tu对应子图的基于公式(I)的相关系数值，整个模板的相关系数值为Ds，Du与Ds的差值定义为Λ Du，所有ADij的均值力Δδ有
2.根据权利要求1所述的基于DSP的相关跟踪方法，其特征是:步骤二中控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号建立目标模板，或者根据预先存储的图像数据设定目标模板，模板图像的大小在32*32像素到64*64像素之间。
3.根据权利要求1所述的基于DSP的相关跟踪方法，其特征是:如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断。
【文档编号】G06T7/20GK104038744SQ201410287611
【公开日】2014年9月10日 申请日期:2013年7月22日 优先权日:2013年7月22日
【发明者】陆观, 徐一鸣, 顾菊平, 华亮, 陈 峰, 陈娟 申请人:南通大学
【专利摘要】本发明公开了一种跟踪成功率高的基于DSP的相关跟踪方法，本采用基于归一化积相关的模板匹配算法与遮挡判定、运动预估相结合的方式，通过Kalman运动预估设置搜索中心，采用基于NProd函数的子模板相关矩阵作为匹配度量，在波门中搜索目标；如果子模板之间的相关度误差满足遮挡条件，则中止模板更新，直接采用运动预估值作为最佳匹配位置，直到目标离开遮挡区域。本发明对存在复杂背景中的、与背景颜色分布相似的、突然出现大面积遮挡的目标进行有效跟踪，采用基于子模板相关误差的目标遮挡判断算法，有效判断目标是否进入遮挡。
【专利说明】跟踪成功率的基于DSP的相关跟踪方法
[0001]本申请是申请号:201310309831.2、申请日:2013.07.22、名称基于DSP的相关
跟踪方法”的分案申请。
【技术领域】
[0002]本发明涉及一种图像处理技术，具体涉及的是一种基于DSP的目标相关跟踪方法及其装置。
【背景技术】
[0003]基于图像处理的目标跟踪在人机交互、智能视频监控及军事应用等领域具有很多实际应用。但是难点在于如何使跟踪过程具有较强的鲁棒性，因为目标的形状变化及遮挡等情况都会影响跟踪的可靠性。
[0004]基于模板匹配的相关跟踪方法是目标跟踪中的一种方法，通过自动检测或人工设定得到包含目标的模板图像，然后采用一定的判定准则即匹配度量函数，在搜索图像中找出最佳匹配位置，从而实现对目标的跟踪。相关跟踪方法具有精度高、跟踪稳定且对背景颜色分布不敏感的优点，但是当目标发生形变或者被遮挡时，跟踪精度会降低甚至跟踪失败。通过对模板进行更新，可以在一定程度上抑制目标形变对跟踪的影响，但是每一帧上的微小误差会随着相对运动过程逐渐积累，从而可能导致目标跟踪点偏离原先瞄准中心越来越远，即模板出现漂移。除此以外还需要特别注意当目标进入遮挡时，如果不立即中止模板更新，会导致遮挡物进入模板，从而对后续跟踪造成严重影响。
[0005]现有的技术系统一般难以应对目标遮挡这种突变干扰，为了更加有效地提高相关跟踪的鲁棒性，可以同时从两个方面开展研究:其一，构造更加鲁棒的匹配度量函数；其二，研究合适的模板更新方法。
【发明内容】
[0006]本发明的目的在于提供一种利用可见光图像对存在复杂背景中的，与背景颜色分布相似的，突然出现大面积遮挡的目标进行跟踪，并可以将跟踪图像传送给监视器实时显示，将跟踪结果实时传输给上位机的基于DSP的相关跟踪方法及专用装置。
[0007]本发明的技术解决方案是:
[0008]一种基于DSP的相关跟踪方法，包括以下步骤:
[0009]步骤一:模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV ；
[0010]步骤二:控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板；
[0011]步骤三:根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置；
[0012]步骤四:根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门；
[0013]步骤五:根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板；
[0014]步骤六:如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断；
[0015]步骤七:根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当前跟踪情况；
[0016]步骤八:数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量等数据通过UART数据传输接口传送给上位机。
[0017]一种基于DSP的相关跟踪方法及其装置，包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器，数据传输模块将数据通过UART 口传送给上位机。
[0018]一种基于DSP的相关跟踪方法及其装置，其视频捕获模块包括视频输入接口、视频解码器，视频显示模块包括视频输出接口、视频编码器，图像跟踪模块包括DSP处理器、电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存，数据传输模块包括调试接口、UART接口，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。
[0019]本发明与现有技术相比，具有如下显著优点:
[0020](I)本发明系统能通过可变波门手动选择目标，也可通过预设目标图像信息自动选择目标；
[0021](2)本发明系统采用子模板相关度矩阵匹配算法，相对于一般的相关匹配算法，跟踪的鲁棒性有所提闻;
[0022](3)本发明系统采用了基于子模板相关误差的目标遮挡判断算法，可以有效判断目标是否进入遮挡，并结合Kalman滤波运动预估有效提高目标在遮挡情况下的跟踪成功率；
[0023](4)本发明系统单帧处理时间及CPU负载率满足实时跟踪要求，且体积小、功耗低，适用性强，具有新颖性与实用性。
[0024]下面结合附图对本发明作进一步详细描述【专利附图】
【附图说明】
[0025]图1是本发明基于DSP的相关跟踪装置的结构示意图。
[0026]图2是本发明基于DSP的相关跟踪方法流程图。
【具体实施方式】
[0027]由图1可知，一种基于DSP的相关跟踪方法及其装置，其装置包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机I与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器13，数据传输模块将数据通过UART 口传送给上位机12。
[0028]视频捕获模块包括视频输入接口、视频解码器2，视频显示模块包括视频输出接口、视频编码器3，图像跟踪模块包括DSP处理器4、电源电路5、复位电路6、时钟电路7、同步动态存储SDRAM8、非挥发性FLASH内存9，数据传输模块包括调试接口 10、UART接口11，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。图像跟踪模块为本系统的核心器件，它对基于可见光模拟视频信号转换而来的数字图像进行处理，计算出目标当前位置，判断目标是否存在遮挡、实现模板更新并在数字图像上叠加波门。本发明的DSP处理器选用DM642芯片 ，视频解码器选用TVP5150视频解码芯片，视频编码器选用SAA7104视频编码芯片。
[0029]由图2可知，一种基于DSP的相关跟踪方法，包括以下步骤:
[0030]1.1模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV。
[0031]1.2控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板。模板图像的大小在32*32像素到64*64像素之间。
[0032]1.3根据所建立的目标模板在波门内搜索目标，采用基于NP1d函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置。具体如下:
[0033]子模板大小由模板图像大小决定，在8*8像素到16*16像素之间，子模板的数量在16到64之间。将模板图像与实时图像对应区域的图像按同样方式均匀分割成MXN个子模板，在每一个搜索位置按公式(I)计算子模板与子图对应位置子图像的去均值归一化相关系数Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一个MXN维的相关度量矩阵S，将矩阵S存储在一个数组之中。【专利附图】
【附图说明】
[0025]图1是本发明基于DSP的相关跟踪装置的结构示意图。
[0026]图2是本发明基于DSP的相关跟踪方法流程图。
【具体实施方式】
[0027]由图1可知，一种基于DSP的相关跟踪方法及其装置，其装置包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机I与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器13，数据传输模块将数据通过UART 口传送给上位机12。
[0028]视频捕获模块包括视频输入接口、视频解码器2，视频显示模块包括视频输出接口、视频编码器3，图像跟踪模块包括DSP处理器4、电源电路5、复位电路6、时钟电路7、同步动态存储SDRAM8、非挥发性FLASH内存9，数据传输模块包括调试接口 10、UART接口11，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。图像跟踪模块为本系统的核心器件，它对基于可见光模拟视频信号转换而来的数字图像进行处理，计算出目标当前位置，判断目标是否存在遮挡、实现模板更新并在数字图像上叠加波门。本发明的DSP处理器选用DM642芯片 ，视频解码器选用TVP5150视频解码芯片，视频编码器选用SAA7104视频编码芯片。
[0029]由图2可知，一种基于DSP的相关跟踪方法，包括以下步骤:
[0030]1.1模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV。
[0031]1.2控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板。模板图像的大小在32*32像素到64*64像素之间。
[0032]1.3根据所建立的目标模板在波门内搜索目标，采用基于NP1d函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置。具体如下:
[0033]子模板大小由模板图像大小决定，在8*8像素到16*16像素之间，子模板的数量在16到64之间。将模板图像与实时图像对应区域的图像按同样方式均匀分割成MXN个子模板，在每一个搜索位置按公式(I)计算子模板与子图对应位置子图像的去均值归一化相关系数Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一个MXN维的相关度量矩阵S，将矩阵S存储在一个数组之中。
【权利要求】
1.一种跟踪成功率的基于DSP的相关跟踪方法，其特征是:包括以下步骤: 步骤一:模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV ； 步骤二:控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号Y建立目标模板，或者根据预先存储的图像数据设定目标模板； 步骤三:根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置； 步骤四:根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门； 步骤五:根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板； 步骤六:如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断； 步骤七:根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当iu跟踪情况； 步骤八:数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量数据通过UART数据传输接口传送给上位机； 步骤四中采用Kalman滤波预估目标在下一帧中的最大可能位置，其预估方法为: 步骤五中目标遮挡判断方法式: 模板共分割为MXN个子模板，Tij表示第i行第j个子模板，Dij为Tu对应子图的基于公式(I)的相关系数值，整个模板的相关系数值为Ds，Du与Ds的差值定义为Λ Du，所有ADij的均值力Δδ有
2.根据权利要求1所述的基于DSP的相关跟踪方法，其特征是:步骤二中控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号建立目标模板，或者根据预先存储的图像数据设定目标模板，模板图像的大小在32*32像素到64*64像素之间。
3.根据权利要求1所述的基于DSP的相关跟踪方法，其特征是:如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断。
【文档编号】G06T7/20GK104038744SQ201410287611
【公开日】2014年9月10日 申请日期:2013年7月22日 优先权日:2013年7月22日
【发明者】陆观, 徐一鸣, 顾菊平, 华亮, 陈 峰, 陈娟 申请人:南通大学
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1