专利名称：基于dsp的运动目标检测与跟踪系统的制作方法
技术领域：
本发明属于图像处理与计算机视觉领域，涉及DSP技术，特别涉及一种运动目标检测与跟踪的方法和系统。
背景技术：
运动目标的检测与跟踪技术是计算机视觉的重要分支，是当前智能图像处理和视频处理的热点问题，有着广阔的应用前景和长远的经济价值。在军事方面，运动目标检测与跟踪技术可用于对空中或者地面监视范围内的运动目标的检测与跟踪；在社会生活方面，运动目标检测与跟踪技术可用于各种单位的实时监控，及时发现险情，预测可能出现的危险；在医学方面，运动目标的检测与跟踪技术可以使医生更好的诊断病情，解除病人痛苦。运动目标检测技术是指通过图像序列间的运算，找出图像中运动目标所在区域，为之后运动目标的匹配与跟踪做准备。常用的运动目标检测方法主要有背景差分法、帧间差分法和光流法。但是背景差分法无法适应实际环境中光线的变化；帧间差分法下分割出来的运动区域内常有空洞；光流法的计算量庞大，算法复杂无法满足实时跟踪的要求。运动目标跟踪技术是指分析检测获取的运动目标，将不同帧内的同一运动目标关联起来，得到其运动轨迹。常用的运动目标跟踪方法有基于模板的跟踪、基于特征的跟踪、基于目标区域的跟踪和基于目标轮廓的跟踪。但是基于模板的跟踪计算量很大；基于特征的跟踪很难确定目标的特征；基于目标区域的跟踪当目标被遮挡或者变形时容易跟丢目标；基于目标轮廓的跟踪很难实时跟踪速度快或者形变大的目标。粒子群优化算法是Kennedy博士和Eberhart博士通过对鸟群觅食行为的研究,提出的一种求解复杂问题的优化方法，在求解问题的最优解时，每个粒子通过当前自身的最优解(个体极值)和整个粒子群
的最优解(全局极值&)来更新自己的速度R和位置Λ，进而通过适应度评价函数计算对应的适应值，进而比较适应值选择出整体最优解，依据下式更新下一代的速度和位置，不断迭代从而寻找到系统的最优解。V1 = +Ct^ipi- ) + C2JJigi-X^Pi = Pi^+ Vi其中，m为惯性权重，％为粒子的速度，为学习因子，其取值为= ξ
和《I是(0，I)之间的随机数，ft代表个体极值， 代表全局极值。粒子在空间中不断学习个体极值和全局极值的经验更新粒子速度和位置直到寻找到最优解。钻石搜索法是指充分利用运动矢量的中心偏执思想，通过搜索窗口中心位置附近的点找到目标模块与待搜索区域的最佳匹配区域。在使用该方法搜索最佳匹配区域时，选择小的搜索模板可能陷入局部最优，而选择大的搜索模板可能无法找到最佳匹配区域，因此该方法采用两种形状大小的钻石模板进行匹配搜索。其搜索过程如下首先从搜索窗口的中心开始，反复使用大钻石模板进行搜索。如果最佳匹配点出现在模块的边沿，那么以该点为中心，继续以大钻石模板进行搜索；如果最佳匹配点出现在模板的中心，那么换用小钻石模板进行搜索周围的四个点，找出最佳匹配点，最后结束搜索。在搜索过程中，如果本步需要搜索的点在上一步中已经搜索过了，那么就不再考虑这些点了。如果模板中有些点超出了搜索窗口的范围，那么也不再考虑这些点。虽然钻石搜索法没有限定搜索的次数，但是由于运动矢量的中心偏置，会很快搜索到最佳匹配区域。目前需要提出更加有效的运动目标检测与跟踪方法。
发明内容为克服上述已有技术问题的不足，本发明提出一种实时的基于DSP的运动目标的检测与跟踪方法以及实现这种方法的图像处理系统，从而实现运动目标的实时检测与跟
足示O本发明提供的基于DSP的运动目标检测与跟踪系统，包含视频采集模块、视频处理模块以及显示模块；所述视频采集模块通过一路CXD摄像头采集视频信号，将采集的模拟视频信号传输到SEED VPM642视频处理模块，在VPM642中通过高性能视频解码器TVP5150将模拟视频信号转换成BT. 656格式的视频信号，并将该信号传输给DSP的视频接口 ；DSP的视频接口结合EDMA通道将视频信号传送到SDRAM的缓存区中，通过DM642处理完数据后，由视频编码器SAA7121H将数据转换成模拟信号传送给显示模块的显示器，通过显示器显示前景运动目标。本发明还提供了一种改进的针对采集到的图像中Y分量的背景建模方法，包括如下步骤步骤I :首先输入一帧图像，判断帧数是否大于3，当帧数大于3的时候对输入图像的Y分量进行连续三帧差分，并将差分后的图像进行二值化；假设输入的三帧图像分别为
，其差分图像分别记为,其中Α·=|Λ-^-ι|Α =|Χλ-^|，其二巾贞差分图像记为^ =,此处&代表逻辑与运算；步骤2 :将绻进行二值化处理，生成二值化图像~ ;步骤3 :将二值化图像~分割为*m*的模块，记为；步骤4 :将每一块进行形态学连通区域检测和滤波，去除噪声；如果该区域内O的个数超过整体像素数的85%，则此块图像的背景稳定，进行步骤5 ;否则，进行步骤6 ;步骤5 :生成该块图像的背景图像模型；步骤6 :判断生成的背景模块的数量是否大于整体模块数量的90%，如果大于90%，则背景模型初始化结束，生成背景图像模型电力，否则，进行步骤I。本发明提供的基于DSP的运动目标检测与跟踪方法，包括以下步骤A、针对图像的Y分量通过帧间差分和背景差分相结合的方法检测出前景运动目标；B、通过前景运动目标建立目标模板同时确定下一帧待跟踪的区域；C、对目标模板和待跟踪区域进行金字塔采样；D、通过粒子群优化算法和钻石搜索算法跟踪运动目标；[0025]E、不断更新目标模板实现运动目标的实时跟踪。前面所述的运动目标检测与跟踪方法，优选的方案在于，所述步骤A具体步骤如下Al、针对图像的Y分量通过帧间差分和背景差分建模的方法建立背景模型；A2、将当前帧图像的Y分量与背景图像的Y分量相减，得到图像Y分量的差值图像；A3、对由A2得到的Y分量的差值图像进行二值化处理；A4、对A3得到的Y分量的二值化图像进行连通区域检测和滤波，去除噪声；A5、将A4得到的Y分量的二值化图像分别向x轴和y轴投影，根据设定的阈值寻找出前景运动目标。 前面所述的运动目标检测与跟踪方法，优选的方案在于，所述步骤B具体步骤如下将当前帧图像的Y分量中以运动目标的的形心作为中心，选取的区域作为目标模板，在下一帧图像的Y分量中以上一帧图像测得的运动目标的形心为中心，选取》Χ H的区域作为待跟踪区域。前面所述的运动目标检测与跟踪方法，优选的方案在于，所述步骤C具体步骤如下Cl、对目标模板进行降采样处理，得到目标模板的中间层金字塔图像；然后对目标模板的中间层金字塔进行降采样处理，得到目标模板的顶层金字塔；C2、对待跟踪区域进行降采样处理，得到待跟踪区域的中间层金字塔，然后对待跟踪区域的中间层金字塔进行降采样处理，得到待跟踪区域的顶层金字塔。前面所述的运动目标检测与跟踪方法，优选的方案在于，所述步骤D具体步骤如下D1、对目标模板和待跟踪区域的顶层金字塔进行匹配运算，在搜索的过程中结合PSO算法，通过粒子间的相互作用得到待跟踪区域顶层金字塔中运动目标的位置，本发明中使用的相关匹配函数是最小平均绝对差值函数(MAD)，运用此函数可以有效地减少运算量;D2、根据Dl得到的匹配区域像素位置，在待跟踪区域的中间层图像中，进行搜索匹配，所搜的区域为Dl匹配定位的位置附近，搜索的过程中使用的搜索方法是钻石搜索法;D3、根据D2确定的位置，在待跟踪区域的原始层图像中进行搜索匹配，搜索的过程中使用的方法是钻石搜索法，经过这一步，搜索到这一帧中运动目标的位置；D4、根据D3确定的位置，在该帧图像上标记出目标位置，同时标记出下一帧的搜索范围。前面所述的运动目标检测与跟踪方法，优选的方案在于，所述步骤E具体步骤如下Ε1、根据D4确定的位置，更新目标模板和下一帧图像中待跟踪区域的范围；Ε2、判断跟踪是否结束，如果没有结束，则回到BI进行下一帧的跟踪。本发明提供的运动目标检测与跟踪方法，该方法包括采集视频图像序列，将图像序列的Y分量通过帧间差分和帧间差分结合的方法，建立Y分量下的背景图像；将当前帧图像的Y分量和背景图像的Y分量进行背景差分，得到当前帧图像Y分量的差值图像；接着对得到的图像Y分量进行二值化，然后对其进行连通区域检测和滤波，去除噪声，接着将图像分别向X轴和 轴投影，根据设定的阈值寻找出前景运动目标。本发明提供的运动目标检测与跟踪方法，该方法包括将寻找到的前景运动目标的形心作为中心，选取的的区域作为目标模板，在下一帧图像的Y分量中以上一帧图像测得的运动目标的形心为中心，选取的区域作为待跟踪区域。接着对目标模板和待跟踪区域进行金字塔采样，具体步骤如下对目标模板进行降采样处理，得到目标模板的中间层金字塔图像；然后对目标模板的中间层金字塔进行降采样处理，得到目标模板的顶层金字塔；对待跟踪区域进行降采样处理，得到待跟踪区域的中间层金字塔，然后对待跟踪区域的中间层金字塔进行降采样处理，得到待跟踪区域的顶层金字塔。对目标模板和待跟踪区域的顶层金字塔进行匹配运算，在搜索的过程中结合PSO算法，通过粒子间的相互作用得到待跟踪区域顶层金字塔中运动目标的位置。运用PSO算 法可以优化搜索过程，在待跟踪区域中有效的寻找到目标模板的最佳匹配区域。
Vi = +— - ) + C2^i-
Pi = PlA^vI其中，O为惯性权重R力粒子的速度，为学习因子，其取值为％ = 6 =2,笤
和《I是(0，I)之间的随机数，ft代表个体极值，&代表全局极值。粒子在空间中不断学习个
体极值和全局极值的经验更新粒子速度和位置。知道寻找到最优解。在顶层金子塔匹配中，粒子的搜索区域就是待搜索区域，在粒子搜过的过程中给他定义的粒子的速度为粒子的位
移和方向，用表示，其中Fi表示行的位移大小和方向，Vw表示列的位移大小和方
向。本发明中使用的适应度评价函数是最小平均绝对差值函数(MAD)，根据适应度评价函数更新个体极值和群体极值，通过该方法可以有效快速的在待跟踪区域的顶层金字塔中寻找到运动目标。根据得到的匹配区域像素位置，在待跟踪区域的中间层图像中，进行搜索匹配，所搜的区域顶层匹配定位的位置附近，搜索的过程中使用的搜索方法是钻石搜索法；接着在待跟踪区域的原始层图像中进行搜索匹配，搜索的过程中使用的方法是钻石搜索法，经过这一步，搜索到这一帧中运动目标的位置；在该帧图像上标记出目标位置，同时标记出下一帧的搜索范围。根据标记出的目标位置，更新目标模板和下一帧图像中待跟踪区域的范围，接着判断跟踪是否结束，如果没有结束，则开始下一帧的跟踪。本发明采用基于模板的跟踪方法，为了降低计算的复杂度，提出了基于金子塔多分辨率结合粒子群优化算法和钻石搜素法的模板匹配方法。金字塔多分辨率就是指通过减少图像的像素个数缩小图像，在此基础上将缩小后的目标模板与目标搜索区域进行匹配搜索，如果缩小一次后，搜索的计算量仍然很大，则进行第二次图像缩小，图像缩小的次数根据目标模板图像和待搜索区域图像的大小而定。如果将缩小的图像按照分辨率的高低上下排列，就组成一个金字塔结构，在此金字塔中，越是位于上层的图像的分辨率越低，图像的像素数就越少。本发明提供的方法首先针对图像的Y分量使用帧间差分和背景差分结合的方法建立背景模型，然后检测出前景运动目标；接着通过前景运动目标建立初始目标模板，再对目标模板和待跟踪视频图像分别进行两次金字塔降采样，降低目标模板和待跟踪视频图像的分辨率。在顶层金子塔上采用粒子群优化算法对跟踪目标进行定位，在中间层和底层金字塔上采用钻石搜索的方法对跟踪目标进行定位。在目标跟踪的过程中目标模板随运动目标的变化而不断更新，实现对目标的实时连续跟踪。与现有技术相比较，本发明的技术优势还体现在I、本发明提出的改进的针对输入图像中Y分量的背景建模方法通过9帧就可以在图像的Y分量上建立背景模型，如果采用求取均值后生成背景图像需要30帧才能生成较好 的背景模型。2、本发明将金子塔多分辨率引入到运动目标的检测与跟踪方法中，有效的降低了目标模板和待跟踪视频图像的分辨率。3、本发明首次将粒子群优化算法运用在基于DSP的运动目标检测与跟踪系统中，使用该方法可以在顶层金字塔中快速有效的定位运动目标，在本发明的具体实施中其计算量为普通算法的90%，如果待跟踪区域越大其计算量减少越明显。4、本发明将钻石搜索法运用在基于DSP的运动目标检测与跟踪系统中，使用该方法可以在中间层和底层金字塔中快速定位跟踪目标，在本发明的具体实施中整体计算量为普通模板匹配法的30%，在光照稳定情况下正确率能达到92%。
图I :图像处理系统结构图。图2:初始化背景模型。图3 :运动目标检测与跟踪算法流程图。
具体实施方式
下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。实施例一种实时的基于DSP的运动目标的检测与跟踪方法以及实现这种方法的图像处理系统，从而实现运动目标的实时检测与跟踪。图I为基于DSP的运动目标检测与跟踪系统(图像处理系统)的结构图，如图I所示，图像处理系统包含视频采集模块、视频处理模块以及显示模块三个部分。本发明中通过一路CCD摄像头采集视频信号，将采集的模拟视频信号传输到SEED VPM642视频处理模块，在VPM642中通过高性能视频解码器TVP5150将模拟视频信号转换成BT. 656格式的视频信号，并将该信号传输给DSP的视频接口。DSP的视频接口结合EDMA通道将视频信号传送到SDRAM的缓存区中，通过DM642处理完数据后，由视频编码器SAA712IH将数据转换成模拟信号传送给显示器，通过显示器可以看到目标跟踪的效果。本发明提出的基于DSP的运动目标的检测与跟踪系统的工作流程主要包含三个部分DM642初始化、系统驱动初始化、运动目标的检测与跟踪。DM642初始化主要包含芯片内部存储器接口初始化、外围设备初始化、中断初始化等；系统驱动初始化包含视频编解码器初始化、DM642视频端口初始化、EDMA通道初始化等。在完成系统初始化后，DM642不再干预视频信号的输入输出，系统进入无限循环阶段，在该阶段DM642主要用于实现运动目标的检测与跟踪。本发明提出一种改进的针对采集到的图像中Y分量的背景建模方法，其算法步骤如图2所示步骤I :首先输入一帧图像，判断帧数是否大于3，当帧数大于3的时候对输入图像的Y分量进行连续三帧差分，并将差分后的图像进行二值化。假设输入的三帧图像分别为m,其差分图像分别记为n ,其中乓=|λ -m=Iju -λ|，其三帧差分图像记为4= * * (此处&代表逻辑与运算)。步骤2 :将蟓进行二值化处理，生成二值化图像~。步骤3 :将二值化图像~分割为*x*的模块，记为。步骤4 :将每一块％(4力进行形态学连通区域检测和滤波，去除噪声。如果该区域内O的个数超过整体像素数的85%，则此块图像的背景稳定转入5 )，否则，转入6 )。步骤6 :生成该块图像的背景图像模型。步骤7 :判断生成的背景模块的数量是否大于整体模块数量的90%，如果大于90%，则背景模型初始化结束，生成背景图像模型堆力，否则，转入I )。图3为本发明提出的基于DSP的运动目标检测与跟踪方法，该方案包括如下步骤步骤A :针对图像的Y分量通过帧间差分和背景差分相结合的方法检测出前景运动目标(通过将当前帧与背景模型坤Ul进行差分得到灰度图像，然后将得到的灰度图像按一定的阈值二值化生成二值化图像，对该图像进行形态学连通区域检测和滤波，去除噪声。即其中；Γ为阈值)。将获得的二值化图像分别向X轴和I轴投影，通过灰度直方图方法寻找到前景运动目标。概括起来,所述步骤A具体步骤如下Al、针对图像的Y分量通过帧间差分和背景差分建模的方法建立背景模型；A2、将当前帧图像的Y分量与背景图像的Y分量相减，得到图像Y分量的差值图像；A3、对由A2得到的Y分量的差值图像进行二值化处理；A4、对A3得到的Y分量的二值化图像进行连通区域检测和滤波，去除噪声；A5、将A4得到的Y分量的二值化图像分别向x轴和y轴投影，根据设定的阈值寻找出前景运动目标。步骤B :通过前景运动目标建立目标模板同时确定下一帧待跟踪的区域(将寻找到的前景运动目标的形心作为中心，选取40x40的区域作为目标模板，在下一帧图像的Y分量中以上一帧图像测得的运动目标的形心为中心，选取80x80的区域作为待跟踪区域)。[0084]概括起来，所述步骤B具体步骤如下将当前帧图像的Y分量中以运动目标的的形心作为中心，选取的区域作为目标模板，在下一帧图像的Y分量中以上一帧图像测得的运动目标的形心为中心，选取的区域作为待跟踪区域。步骤C :对目标模板和待跟踪区域进行金字塔采样，具体步骤如下对目标模板进行降采样处理，得到目标模板的中间层金字塔图像；然后对目标模板的中间层金字塔进行降采样处理，得到目标模板的顶层金字塔；对待跟踪区域进行降采样处理，得到待跟踪区域的中间层金字塔，然后对待跟踪区域的中间层金字塔进行降采样处理，得到待跟踪区域的顶层金字塔。步骤D :通过粒子群优化算法和钻石搜索算法跟踪运动目标(对目标模板和待跟踪区域的顶层金字塔进行匹配运算，在搜索的过程中结合PSO算法，通过粒子间的相互作用得到待跟踪区域顶层金字塔中运动目标的位置。运用PSO算法可以优化搜索过程，在待跟踪区域中有效的寻找到目标模板的最佳匹配区域)。
ν = +f巧)
Pi = PiA^vi其中，m为惯性权重，R为粒子的速度，为学习因子，其取值为=ξ
和if是(0，I)之间的随机数，Ff代表个体极值，&代表全局极值。粒子在空间中不断学习个
体极值和全局极值的经验更新粒子速度和位置。知道寻找到最优解。在顶层金子塔匹配中，粒子的搜索区域就是待搜索区域，在粒子搜过的过程中给他定义的粒子的速度为粒子的位
移和方向，用表不,其中Vi表不行的位移大小和方向，V,表不列的位移大小和
方向。本发明中使用的适应度评价函数是最小平均绝对差值函数(MAD)，根据适应度评价函数更新个体极值和群体极值，通过该方法可以有效快速的在待跟踪区域的顶层金字塔中寻找到运动目标。根据得到的匹配区域像素位置，在待跟踪区域的中间层图像中，进行搜索匹配，所搜的区域顶层匹配定位的位置附近，搜索的过程中使用的搜索方法是钻石搜索法；接着在待跟踪区域的原始层图像中进行搜索匹配，搜索的过程中使用的方法是钻石搜索法，经过这一步，搜索到这一帧中运动目标的位置；在该帧图像上标记出目标位置，同时标记出下一帧的搜索范围。概括的说，所述步骤D具体步骤如下D1、对目标模板和待跟踪区域的顶层金字塔进行匹配运算，在搜索的过程中结合PSO算法，通过粒子间的相互作用得到待跟踪区域顶层金字塔中运动目标的位置，本发明中使用的相关匹配函数是最小平均绝对差值函数(MAD)，运用此函数可以有效地减少运算量;D2、根据Dl得到的匹配区域像素位置，在待跟踪区域的中间层图像中，进行搜索匹配，所搜的区域为Dl匹配定位的位置附近，搜索的过程中使用的搜索方法是钻石搜索法；[0095]D3、根据D2确定的位置，在待跟踪区域的原始层图像中进行搜索匹配，搜索的过程中使用的方法是钻石搜索法，经过这一步，搜索到这一帧中运动目标的位置；D4、根据D3确定的位置，在该帧图像上标记出目标位置，同时标记出下一帧的搜索范围。步骤E :不断更新目标模板实现运动目标的实时跟踪(根据标记出的目标位置，更新目标模板和下一帧图像中待跟踪区域的范围，接着判断跟踪是否结束，如果没有结束，则回到第二步进行下一帧的跟踪)。概括的说，所述步骤E具体步骤如下E1、根据D4确定的位置，更新目标模板和下一帧图像中待跟踪区域的范围；E2、判断跟踪是否结束，如果没有结束，则回到BI进行下一帧的跟踪。
权利要求1.基于DSP的运动目标检测与跟踪系统，其特征在于，包含视频采集模块、视频处理模块以及显示模块；所述视频采集模块通过一路CCD摄像头采集视频信号，将采集的模拟视频信号传输到SEED VPM642视频处理模块，在VPM642中通过高性能视频解码器TVP5150将模拟视频信号转换成BT. 656格式的视频信号，并将该信号传输给DSP的视频接口 ；DSP的视频接口结合EDMA通道将视频信号传送到SDRAM的缓存区中，通过DM642处理完数据后，由视频编码器SAA7121H将数据转换成模拟信号传送给显示模块的显示器，通过显示器显示前景运动目标。
专利摘要本实用新型公开了本实用新型提供的基于DSP的运动目标检测与跟踪系统，包含视频采集模块、视频处理模块以及显示模块；其首先针对图像的Y分量使用帧间差分和背景差分结合的方法建立背景模型，然后检测出前景运动目标；接着通过前景运动目标建立初始目标模板，再对目标模板和待跟踪视频图像分别进行两次金字塔降采样，降低目标模板和待跟踪视频图像的分辨率。
文档编号H04N5/14GK202720689SQ20122034568
公开日2013年2月6日 申请日期2012年7月17日 优先权日2012年7月17日
发明者葛广英, 庞国瑞 申请人:聊城大学