专利名称：一种基于dsp的目标检测与跟踪方法以及数字图像处理系统的制作方法
技术领域：
本发明涉及DSP(数字信号处理)技术，特别涉及数字图像目标检测与跟踪。
背景技术：
在数字视频处理和计算机视觉领域的各种应用中，目标检测和跟踪是一个重要 的，也是最基本的任务。 一些较流行的应用领域，自治车辆导航、机器人控制、基于运动的识 别、视频压縮、基于视觉的控制、人机接口、医学成像、增强现实、视频场景监控都需用到图 像目标检测与跟踪技术。尽管在计算机视觉领域，目标的检测和跟踪技术已经研究了十多 年，但仍然是一个活跃的研究领域。目前还没有一个通用的、精确的、高性能的和实时的目 标检测和跟踪算法。 Mean shift算法最早提出时，是指一个迭代步骤，计算当前点的偏移均值，再移动 该点到其偏移均值，然后以此为新的起点继续移动，直到满足设定条件后结束。Comaniciu 首先将mean shift算法应用到目标跟踪领域中来，利用Bhattacharrya系数(巴氏系数) 作为初始帧中目标窗口与预测帧中目标窗口之间的相似性量度标准，用mean shift算法来 搜索预测帧中最优目标窗口，取得了较好的跟踪效果(Real-Time tracking of non-rigid objectsusing mean shift, Proc. Of the IEEE Conf. on Computer Vision and Pattern Recognition, 2000 :142-149 ;Kernel_based object tracking. IEEE Trans. On pattern analysis andmachine intelligence. 200325 (5) :564-577)。针对Mean shift算法的不 足，后续又做了不少改进。 由于人体固有的一些特性，应用场景的复杂性，人与人或人与环境之间的相互影 响，使得人体的检测和跟踪是计算机视觉研究领域中最难的一项挑战。《基于Mean Shift 算法的嵌入式实时彩色目标跟踪》(参见孙中森，张怀柱，宋建中.基于Mean Shift算法的 嵌入式实时彩色目标跟踪[J].电子器件，2007，30(5) :1611-1617)采用嵌入式目标跟踪平 台，选用RGB空间彩色特征Mean Shift跟踪算法实时应用，实现彩色目标的跟踪。该方案中 采用目标位置附近椭圆形图像区域的加权彩色直方图来表示目标，这无疑增加了算法的复 杂度，并且由于DSP视频采集模块输出信息是YUV图像，需先对图像转换为RGB颜色空间。 YUV至RGB格式的转换也增加了该方案实现的复杂度。并且在实现过程中还需要对该算法 的相关参数进行经验设置。可见，该方案对于彩色目标的检测和跟踪在算法复杂性和实时 性方面还可以有所改进。
发明内容
本发明所要解决的技术问题是，提供一种快速、易于实现的基于DSP的目标检测 与跟踪方法，以及实现方法的数字图像处理系统。 本发明为解决上述技术问题所采用的技术方案是，一种基于DSP的目标检测与跟 踪方法，包括以下步骤
4
a、读取视频图像序列； b、针对图像的Y分量进行图像边缘提取从而确定目标窗口 ； c、通过目标窗口的Y分量、U分量、V分量提取目标窗口的特征值 d、计算初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率，
通过初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配，得到最
优的预测帧中目标窗口的像素坐标。 YUV空间实现亮度与色度的分离，且是一种离散的空间，具有很好的聚类特性，DSP 视频采集模块输出的图像信息无需格式转换既能直接进行目标检测处理；且采用YUV空间 进行Mean shift的目标跟踪和采用单分量进行直方图统计相比较，跟踪结果更加精确，降 低了运算复杂度。 进一步的，由于连续两帧之间提取的时间差很短，同一目标物体移动距离有限，所 以对于连续两帧之间检测到的目标窗口的中心点的距离在某个允许范围内，才对这两个目 标窗口进行Mean Shift计算。即，在步骤b之后，步骤c之前，还进行目标跟踪的初始判断； 判断连续两帧中的目标窗口的中心像素的距离在设定阈值内，如是，进入步骤c ;否则，表 示这两帧中的目标窗口并非为同一 目标物体，不对这两个目标窗口进行Mean Shift计算。
具体的步骤c中，特征值提取通过以下方式实现
Wy ——… l —… M,
:M, +厂:
(J —y . ) "r (" —" . ) (7 —r .)
\ maxmm / \max mm / \ maxmm / 其中，u表示目标窗口的特征值，Y、 U、 V分别对应目标窗口的Y分量、U分量、V分 量，NY、 Nu、 Nv分别对应Y分量、U分量、V分量的量化级数，Ymax与Ymin、 Umax与Umin、 Vmax与Vmin 分别对应Y分量、U分量、V分量的最大值与最小值。这样计算特征值相当于把YUV分量的 信息投射到三维空间，NY、 Nu、 Nv的大小将直接影响Y、 U、 V分量对特征值的贡献力度。
具体的，步骤b中包括以下步骤 bl、分别提取背景图像和当前图像的Y分量图像边缘信息； b2、将背景图像和当前图像的Y分量图像边缘信息做差，得到前景边缘区域； b3、对前景边缘区域进行降噪处理； b4、根据前景边缘区域在当前图像中标记目标窗口 。 具体的，步骤d中，初始帧中目标窗口的特征值的概率为 4 = C Z A
广x0 —2 、
V7 其中，^表示初始帧中目标窗口的特征值的概率；x。为初始帧中目标窗口的中心 像素坐标；Xi为初始帧中目标窗口的第i个像素的坐标，i = 1，…，nh;k(| |g| |2)为一个 凸的单调下降的核函数，考虑距离的影响，给目标窗口中的像素点Xi分配权值；h表示核函 数的带宽；S (g)为Kronecker delta函数(克罗内克函数)；b(g)为像素点Xi到像素特 征值u的映射，即像素点Xi对应的直方图中的颜色索引值；C为归一化常数。
步骤d中，预测帧中目标窗口的特征值的概率为 》力)=Cj A
卩少_义；、
V乂
5
其中，A(力表示预测帧中目标窗口的特征值的概率；y为预测帧中目标窗口的中 心像素坐标；Xi为初始帧中目标窗口的第i个像素的坐标，i = 1，， nh;k(| |g| |2)为一 个凸的单调下降的核函数，考虑距离的影响，给目标窗口中的像素点Xi分配权值；h表示核 函数的带宽；S (g)为Kronecker delta函数；b (g)为像素点Xi到像素特征值u的映射，即 像素点Xi对应的直方图中的颜色索引值；Ch为归一化常数。 步骤中，使得初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的 概率匹配为 其中，》Cy)为Bhattacharrya系数；么表示初始帧中目标窗口的特征值的概率；
A(力表示预测帧中目标窗口的特征值的概率；即A与A(力的相似性用》(力来度量分别，u =1，…，m，m表示特征值总个数。每帧用N次迭代，》(力取最大的迭代结果，当》(力大于匹 配阈值表示匹配成功，此时得到最优的预测帧中目标窗口的中心像素坐标y以实现目标跟
踪o 本发明还提供一种数字图像处理系统，包括视频图像采集模块、目标检测模块、目 标跟踪模块，其特征在于， 视频图像采集模块用于对获取的视频图像进行模数转换，将YUV格式的视频输出 至目标检测模块； 目标检测模块用于针对图像的Y分量进行图像边缘提取从而确定目标窗口 ；
目标跟踪模块用于通过目标窗口的Y分量、U分量、V分量提取目标窗口的特征值， 并计算初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率，通过初始 帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配，得到最优预测帧 中目标窗口的像素坐标。 具体的，目标检测模块分别提取背景图像和当前图像的Y分量图像边缘信息，并 将背景图像和当前图像的Y分量图像边缘信息做差，得到前景边缘区域后对前景边缘区域 进行降噪处理，根据前景边缘区域在当前图像中标记目标窗口。 进一步的，目标跟踪模块还用于在进行提取目标窗口的特征值之前进行初始判 断，判断连续两帧中的目标窗口的中心像素的距离是否在设定阈值内，如是目标跟踪模块 继续对该目标窗口进行处理，否则，放弃处理对该目标窗口 。
具体的，目标跟踪模块具体采用如下方式提取目标窗口的特征值<formula>formula see original document page 6</formula> 其中，u表示目标窗口的特征值，Y、 U、 V分别对应目标窗口的Y分量、U分量、V分 量，NY、 Nu、 Nv分别对应Y分量、U分量、V分量的量化级数，Ymax与Ymin、 Umax与Umin、 Vmax与Vmin 分别对应Y分量、U分量、V分量的最大值与最小值。
进一步的，还包括滞留时间统计模块； 滞留时间统计模块用于统计跟踪的目标窗口在场景中的滞留时间，当滞留时间超 过阈值，则将发送出报警信息。 本发明的有益效果是，既提高检测与跟踪目标的准确性，又降低运行复杂度，使得 》(力三》[AX_y),《 ]= X V》"(力《检测与跟踪目标过程中运行速度更快，更能满足对实时性要求。
图1为系统示意图；
图2为目标检测流程图；
图3为目标跟踪流程图。
具体实施例方式
数字图像处理系统如图1所示，包括视频图像采集模块、目标检测模块、目标跟踪 模块、滞留时间统计模块、接警中心。 视频图像采集模块用于对获取的视频图像进行模数转换，将YUV格式的视频输出 至目标检测模块； 目标检测模块用于针对图像的Y分量进行图像边缘提取从而确定目标窗口 ；
目标跟踪模块用于通过目标窗口的Y分量、U分量、V分量提取目标窗口的特征值， 并计算初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率，通过使得 初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配，得到最优预 测帧中目标窗口的像素坐标； 滞留时间统计模块用于统计跟踪的目标窗口在场景中的滞留时间，当滞留时间超 过阈值，则报警，并将报警图片上传接警中心。
目标检测流程如图2所示，主要针对图像的Y分量进行检测，具体步骤如下
Sl :分别提取背景图像的Y分量图像边缘信息(Eb)和当前图像的Y分量图像边缘 信息(Ec); S2:将背景图像和当前图像的边缘图像做差，作为前景边缘区域(deltaE = Ec-Eb); S3 :对前景边缘区域进行形态学开_闭运算降噪处理；
S4 :检测出目标，则在当前彩色图像中标记目标窗口。 目标跟踪流程如图3所示，在进行Mean Shift算法之前，进行对目标跟踪的初始 判断。判断依据在于，连续两帧(第N帧、第N+1帧)之间提取的时间差很短，目标移动距 离有限，所以对于连续两帧图像之间检测到的目标，若两帧目标窗口的中心点的距离在某 个允许范围内，才对这两个目标窗口进行Mean Shift计算，否则表示这两帧中的目标非同 一物体。 基于Mean Shift算法的目标跟踪，主要针对图像的Y、 U、 V三分量进行目标跟踪， 具体步骤如下 Sl :对检测的目标窗口进行特征值提取，用目标的YUV三分量来描述这个目标特 征 <formula>formula see original document page 7</formula>
其中，u表示目标窗口的特征值，Y、 U、 V分别对应目标窗口的Y分量、U分量、V分 量，NY、 Nu、 Nv分别对应Y分量、U分量、V分量的量化级数，Ymax与Ymin、 Umax与Umin、 Vmax与Vmin分别对应Y分量、U分量、V分量的最大值与最小值； S2 :建立初始帧的目标模型，初始帧中目标窗口的特征值的概率为 4U = C Z A
广<formula>formula see original document page 8</formula>
其中，^表示初始帧中目标窗口的特征值的概率；x。为初始帧中目标窗口的中心 像素坐标；Xi为初始帧中目标窗口的第i个像素的坐标，i = 1，， nh;k(| |g| |2)为一个 凸的单调下降的核函数，考虑距离的影响，给目标窗口中的像素点Xi分配权值；h表示核函 数的带宽；S (g)为Kronecker delta函数(克罗内克函数)；b(g)为像素点Xi到像素特 征值u的映射，即像素点Xi对应的直方图中的颜色索引值；C为归一化常数。
S3:建立第N帧的目标模型，预测帧N中目标窗口的特征值的概率为
<formula>formula see original document page 8</formula>
其中，A(力表示预测帧中目标窗口的特征值的概率；y为预测帧中目标窗口的中 心像素坐标；Xi为初始帧中目标窗口的第i个像素的坐标，i = 1，， nh;k(| |g| |2)为一 个凸的单调下降的核函数，考虑距离的影响，给目标窗口中的像素点Xi分配权值；h表示核 函数的带宽；S (g)为Kronecker delta函数；b (g)为像素点Xi到像素特征值u的映射，即 像素点Xi对应的直方图中的颜色索引值；Ch为归一化常数。 S4:将初始帧和第N帧的目标模型进行匹配，即初始帧中目标窗口的特征值的概 率与预测帧中目标窗口的特征值的概率进行匹配，将以完成目标跟踪
<formula>formula see original document page 8</formula> 其中，》(力为Bhattacharrya系数；^表示初始帧中目标窗口的特征值的概率； A(力表示预测帧中目标窗口的特征值的概率；即A与A(力的相似性用》(力来度量分另lj。每 帧用N次迭代(优选的，N取值为8)，》(力取最大的迭代结果，当》(力大于匹配阈值Th(优选 的，Th取值为0. 8)表示匹配成功，此时得到最优的预测帧中目标窗口的中心像素坐标y以 实现目标跟踪。 本发明基于边缘背景模型检测目标，并用改进的Mean Shift算法相结合进行目标
检测跟踪，由于DSP视频采集模块输出信息是YUV图像，所以在算法运行时不需要进行色
彩空间转换，节约了算法运行时间，并且本发明进行了跟踪目标的初判断，跟踪方法结合了
YUV三分量进行特征提取，较常用的单分量特征提取跟踪的精确度更高。 虽然本发明是结合一个具体实施方式
表述，但本领域技术人员可以对其中的某些
特征加以适当改变或将其应用到其它领域以解决上述问题，因此本领域技术人员在本实施
例的基础上进行的所有相关扩展和应用都应落入本申请的保护领域。
权利要求
一种基于DSP的目标检测与跟踪方法，其特征在于，包括以下步骤a、读取视频图像序列；b、针对图像的Y分量进行图像边缘提取从而确定目标窗口；c、通过目标窗口的Y分量、U分量、V分量提取目标窗口的特征值；d、计算初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率，通过初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配，得到最优的预测帧中目标窗口的像素坐标。
2. 如权利要求1所述一种基于DSP的目标检测与跟踪方法，其特征在于，在步骤b之后，步骤C之前，还进行目标跟踪的初始判断当连续两帧中的目标窗口的中心像素的距离在设定阈值内，进入步骤c。
3. 如权利要求1所述一种基于DSP的目标检测与跟踪方法，其特征在于，步骤c中，特征值提取通过以下方式实现<formula>formula see original document page 2</formula>其中，u表示目标窗口的特征值，Y、 U、 V分别对应目标窗口的Y分量、U分量、V分 NY、 Nu、 Nv分别对应Y分量、U分量、V分量的量化级数，Ymax与Ymin、 Umax与Umin、 Vmax与Vmi, 别对应Y分量、U分量、V分量的最大值与最小值。
4. 如权利要求1所述一种基于DSP的目标检测与跟踪方法，其特征在于，步骤b具体包 括以下步骤bl、分别提取背景图像和当前图像的Y分量图像边缘信息； b2、将背景图像和当前图像的Y分量图像边缘信息做差，得到前景边缘区域； b3、对前景边缘区域进行降噪处理； b4、根据前景边缘区域在当前图像中标记目标窗口 。
5. 如权利要求1所述一种基于DSP的目标检测与跟踪方法，其特征在于，步骤d中，初 始帧中目标窗口的特征值的概率为<formula>formula see original document page 2</formula>其中，A表示初始帧中目标窗口的特征值的概率；x。为初始帧中目标窗口的中心像素 坐标；Xi为初始帧中目标窗口的第i个像素的坐标，i = 1，…，nh;k(| |g| |2)为核函数；h 表示核函数的带宽；S (g)为Kronecker delta函数；b(g)为像素点Xi到像素特征值u的 映射；C为归一化常数；预测帧中目标窗口的特征值的概率为<formula>formula see original document page 2</formula>其中，A(力表示预测帧中目标窗口的特征值的概率；y为预测帧中目标窗口的中心像 素坐标；Xi为初始帧中目标窗口的第i个像素的坐标，i = 1，…，rih;k(1 |g| |2)为核函数； h表示核函数的带宽；S (g)为Kronecker delta函数；b (g)为像素点Xi到像素特征值u的 映射；Ch为归一化常数；使得初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配为<formula>formula see original document page 3</formula>其中，》(力为Bhattacharrya系数；^表示初始帧中目标窗口的特征值的概率；A(力表 示预测帧中目标窗口的特征值的概率；11 = 1，…，m，m表示特征值总个数；当》(力大于匹配阈值表示匹配成功。
6. —种数字图像处理系统，包括视频图像采集模块、目标检测模块、目标跟踪模块，所 述视频图像采集模块用于对获取的视频图像进行模数转换，将YUV格式的视频输出至目标 检测模块；其特征在于，所述目标检测模块用于针对图像的Y分量进行图像边缘提取从而确定目标窗口 ； 所述目标跟踪模块用于通过目标窗口的Y分量、U分量、V分量提取目标窗口的特征值， 并计算初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率，通过初始 帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配，得到最优预测帧 中目标窗口的像素坐标。
7. 如权利要求6所述一种数字图像处理系统，其特征在于，所述目标跟踪模块还用于 在进行提取目标窗口的特征值之前进行初始判断，判断连续两帧中的目标窗口的中心像素 的距离是否在设定阈值内，如是目标跟踪模块继续对该目标窗口进行处理，否则，放弃处理 对该目标窗口。
8. 如权利要求6所述一种数字图像处理系统，其特征在于，所述目标跟踪模块具体采 用如下方式提取目标窗口的特征值<formula>formula see original document page 3</formula>其中，u表示目标窗口的特征值，Y、 U、 V分别对应目标窗口的Y分量、U分量、V分量， NY、 Nu、 Nv分别对应Y分量、U分量、V分量的量化级数，Ymax与Ymin、 Umax与Umin、 Vmax与Vmin分 别对应Y分量、U分量、V分量的最大值与最小值。
9. 如权利要求6所述一种数字图像处理系统，其特征在于，所述目标检测模块分别提 取背景图像和当前图像的Y分量图像边缘信息，并将背景图像和当前图像的Y分量图像边 缘信息做差，得到前景边缘区域后对前景边缘区域进行降噪处理，根据前景边缘区域在当 前图像中标记目标窗口。
10. 如权利要求6所述一种数字图像处理系统，其特征在于，还包括滞留时间统计模块；所述滞留时间统计模块用于统计跟踪的目标窗口在场景中的滞留时间，当滞留时间超 过阈值，则将发送出报警信息。
全文摘要
本发明涉及数字图像目标检测与跟踪，提供一种快速、易于实现的基于DSP的目标检测与跟踪方法，以及实现方法的数字图像处理系统，针对图像的Y分量进行图像边缘提取从而确定目标窗口；通过目标窗口的Y分量、U分量、V分量提取目标窗口的特征值计算初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率，通过初始帧中目标窗口的特征值的概率与预测帧中目标窗口的特征值的概率匹配，得到最优的预测帧中目标窗口的像素坐标。YUV空间具有很好的聚类特性，DSP视频采集模块输出的图像信息无需格式转换；且采用YUV空间进行Mean shift的目标跟踪，使得结果更加精确，降低了运算复杂度。
文档编号G06T7/20GK101789128SQ20101012100
公开日2010年7月28日 申请日期2010年3月9日 优先权日2010年3月9日
发明者杨云, 白云, 胡入幻, 路璐, 邹建华 申请人:成都三泰电子实业股份有限公司