专利名称：一种基于视频的特定目标的跟踪方法
一种基于视频的特定目标的跟踪方法技术领域
本发明属于图像处理方法技术领域，涉及一种基于视频的特定目标的跟踪方法。
技术背景
特定目标跟踪是智能监控系统的重要组成部分，当监控视场中，出现人群，并且特定目标与其他目标发生粘连和遮挡的情况下，很难达到较好的跟踪效果。发明内容
本发明的目的是提供一种基于视频的特定目标的跟踪方法，与现有技术相比，在发生粘连和遮挡的情况下，仍能准确跟踪特定目标。
本发明所采用的技术方案是，一种基于视频的特定目标的跟踪方法，其特征在于， 具体步骤如下
步骤1、使用单高斯背景建模的方法，实时检测当前视频图像，并获得该当前帧视频图像中的多个目标连通域；
步骤2、将步骤1得到的多个目标连通域进行贴标签处理，并分别用外接矩形框标识出各目标连通域，其中，每个外接矩形框均用其左上角坐标(XM，yk0)及右下角坐标(Xkl， ykl)表示为{(xk。，yk0)，Oikl，ykl)}，k = 1，2，…，L，L为目标连通域的数量；
步骤3、选定特定目标在当前帧的连通域为ο丨，该特定目标的外接矩形框为 KK^ytJ，(<，义)}，根据索贝尔锐化算法提取该特定目标的边缘轮廓特征模板，其中，Ω ^为特定目标的外接矩形区域；
步骤4、标识目标的相邻帧关系并定义目标的运动状态，判断特定目标的外接矩形框在相邻帧间是否存在重合，如有重合，则判定该特定目标在当前帧中存在，转向步骤5 ； 如无重合，则判定该特定目标消失，返回步骤3重新指定特定目标；
步骤5、判别特定目标在相邻帧的运动状态变化状态，当特定目标在前一帧中为粘连状态时，则转入步骤6 ；当特定目标在前一帧和当前帧中，均为单一状态时，则转入步骤 7 ；当特定目标在前一帧为单一状态，且当前帧中变为粘连状态时，转入步骤8 ；
步骤6、判断特定目标在当前帧是否发生分离，当判定特定目标在当前帧发生分离时，转入步骤9，否则，转入步骤8 ；
步骤7、单一状态下的特定目标跟踪
计算特定目标在相邻帧之间运动速率，特定目标的单一状态维持了 Ts帧，计算该特定目标在该Ts帧中的平均速度(&，&)，并根据索贝尔锐化算法更新该特定目标的边缘轮廓特征模板后，转入步骤4进行特定目标在下一帧的跟踪；
步骤8、粘连状态时的特定目标跟踪
步骤8. 1、估算特定目标在当前帧的质心(圮，夕)；
步骤8. 2、估算特定目标在当前帧的质心(^iO所在的区域，预估其外接矩形为{(x'joJ'jo) ^ (Xt^ytJi)] ^
步骤8. 3、确定校正特定目标位置的搜索区域
将步骤8. 2得到的外接矩形{(《。,只。)，(《,力)}的长和宽分别增加SW和5L, 得到的新的矩形区域，将其作为校正特定目标位置的搜索区域；
步骤8. 4、校正特定目标位置
根据索贝尔锐化算法和特定目标的边缘轮廓特征模板[XL·。在步骤8. 3得到的搜索区域内进行模板匹配，将得到的相同特征点个数最多的区域，初步判断为该特定目标的当前位置，并计算此时特定目标质心位置为(χ丨，>0 ；
步骤8. 5、校正特定目标位置的正确性判断
根据步骤8. 4得到的特定目标质心位置(X丨,乂)，计算其瞬时速率，当得到的瞬时速度与步骤7得到的GH)之差满足一预设值时，判定步骤8. 4得到的校正的特定目标位置可信；否则，判定不可信，将步骤8. 1得到的的质心位置(圮，哭)作为特定目标的质心位置；
更新特定目标平均速度，并标识出本帧中的特定目标为粘连状态，转入步骤4进行特定目标在下一帧的跟踪；
步骤9、分离状态时的特定目标跟踪
特定目标在前一帧中的连通域为O”，ο丨有k个连通域与ο丨-1重合，k彡1，根据索贝尔锐化算法计算该k个连通域内的边缘细节信息，使用特定目标的边缘轮廓特征模板 Kk在该k个连通域中进行模板匹配，将得到的相同特征点个数最多的连通域《，判断为该特定目标的当前位置；
计算连通域oj的面积为，当与特定目标实际面积之差满足一预设值时，标示特定目标为单一状态，否则，标示为粘连状态；
计算特定目标的质心位置，更新特定目标平均速度，转入步骤4进行特定目标在下一帧的跟踪；
循环以上步骤，直至监控任务完成。
进一步地，步骤1的具体方法为
步骤1. 1、计算初始背景图像B0
视频图像大小为MXN，计算前T帧视频图像每一像素点的平均灰度值μ Q(x，y)及像素灰度的方差σ〗(U)，建立初始背景图像~
μ0(χ,γ) = -^Ι{(χ,γ) ,χ = 1,2, ... , Μ, y = 1,2, ... ,N；丄t=o1 T~l 2
σΙ(χ,γ) = — Υ\ ((χ,γ)-μ0(χ,γ)^，χ = l，2，...，M，y = 1,2, ... ,N；1 t=o
=[//0,σ02],χ = 1,2，...，M，y = 1,2，...，N;
其中，It(x，y)表示当前帧图像中像素点(x，y)处的像素值，χ = l，2，...，M，y = 1，2，...，队当前帧为第1帧；
步骤1. 2、计算当前帧的背景图像Bt
^(x,^)= v； \ \ ，x=l，2，...，M，y=l， 2，· · ·，N，
其中，α为背景更新系数，满足0 < α < 1 ；
步骤1. 3、采用背景差分法获得当前帧中的多个目标连通域
将当前帧图像It与背景图像Bt进行差分，并将差分图进行二值化，得到当前帧图像中的目标连通域ft(x，y)'1 if \lt(x,y)-Bt(x,y)\>Thl
/t(x,^)=，X= l，2，...，M，y = 1，2，···，Ν;0 if \It(x,y)-Bt(x,y)\<Thl
其中，ft(x，y) = 1时为前景点，ft(x，y) =0时为背景点；Th1为分割阈值，Th1取值范围为Th1 e [30，50]。
进一步地，步骤3的具体方法为
特定目标的边缘轮廓特征模板&(Χ,>0=Λ # ’](x,y) =e Ω0,
其中，
dx(x，y) = It(x+1, y-l)-It(x_l，y-1)+2It (x+1, y)-2It(x_l，y)+It(x+l, y+l)-It(x-l, y+1),
dy(x, y) = It (x_l，y+1)-It (x_l，y_l)+2It (x，y+1) _2It (x，y_l)+It (x+1， y+1)-It(x+1, y-1),
dlt (x, y) = ^dx(x,y)2+dy(x,y)2 ；
判断阈值风=+· Σ Ι人x,y、，N为Ω。区域内的像素个数。
步骤4中，相邻帧间的目标外接矩形的重合判别公式为0050 Labl(X^) = I[o JU (χ,y) + ft (χ,< 2， (χ,少)=e Ω0，
其中，Lab1(Ly)为重合标记，1表示重合，0表示不重合；
统计Ω Q中，Lab1 (χ, y) = 1的像素个数Nu，Nli = 0时，无重合，则判定该特定目标消失；否则，有重合，则判定该特定目标在当前帧中存在。
步骤5的具体方法为
前一帧中前景目标有η个连通域，特定目标为第i个连通域，记为，该连通域面积大小为片一1 ；
当前帧中特定目标有m个连通域，特定目标为第j个连通域，敬为0 ，该连通域其面积大小为*.9
按照下式对特定目标状态进行标识
权利要求
1. 一种基于视频的特定目标的跟踪方法，其特征在于，具体步骤如下 步骤1、使用单高斯背景建模的方法，实时检测当前视频图像，并获得该当前帧视频图像中的多个目标连通域；步骤2、将步骤1得到的多个目标连通域进行贴标签处理，并分别用外接矩形框标识出各目标连通域，其中，每个外接矩形框均用其左上角坐标(xM，yk0)及右下角坐标(xkl，ykl) 表示为KxM，yk0)，(xkl，ykl)}，k= 1，2，...，L，L为目标连通域的数量;步骤3、选定特定目标在当前帧的连通域为ο丨，该特定目标的外接矩形框为 KK^ytJ，(<，义)}，根据索贝尔锐化算法提取该特定目标的边缘轮廓特征模板，其中，Ω ^为特定目标的外接矩形区域；步骤4、标识目标的相邻帧关系并定义目标的运动状态，判断特定目标的外接矩形框在相邻帧间是否存在重合，如有重合，则判定该特定目标在当前帧中存在，转向步骤5 ；如无重合，则判定该特定目标消失，返回步骤3重新指定特定目标；步骤5、判别特定目标在相邻帧的运动状态变化状态，当特定目标在前一帧中为粘连状态时，则转入步骤6 ；当特定目标在前一帧和当前帧中，均为单一状态时，则转入步骤7 ；当特定目标在前一帧为单一状态，且当前帧中变为粘连状态时，转入步骤8 ；步骤6、判断特定目标在当前帧是否发生分离，当判定特定目标在当前帧发生分离时， 转入步骤9，否则，转入步骤8 ；步骤7、单一状态下的特定目标跟踪计算特定目标在相邻帧之间运动速率，特定目标的单一状态维持了 Ts帧，计算该特定目标在该Ts帧中的平均速度(&，&)，并根据索贝尔锐化算法更新该特定目标的边缘轮廓特征模板后，转入步骤4进行特定目标在下一帧的跟踪； 步骤8、粘连状态时的特定目标跟踪 步骤8. 1、估算特定目标在当前帧的质心(宅，夕)；步骤8. 2、估算特定目标在当前帧的质心( ,^)所在的区域，预估其外接矩形为 {(x'joJ'jo) ^ (Xt^ytJi)] ^步骤8. 3、确定校正特定目标位置的搜索区域将步骤8. 2得到的外接矩形{(《。,只。)，(4,力)}的长和宽分别增加δ W和SL，得到的新的矩形区域，将其作为校正特定目标位置的搜索区域； 步骤8. 4、校正特定目标位置根据索贝尔锐化算法和特定目标的边缘轮廓特征模板在步骤8. 3得到的搜索区域内进行模板匹配，将得到的相同特征点个数最多的区域，初步判断为该特定目标的当前位置，并计算此时特定目标质心位置为(χ丨，>0 ； 步骤8. 5、校正特定目标位置的正确性判断根据步骤8. 4得到的特定目标质心位置(χ丨,>0，计算其瞬时速率，当得到的瞬时速度与步骤7得到的GH)之差满足一预设值时，判定步骤8. 4得到的校正的特定目标位置可信； 否则，判定不可信，将步骤8. 1得到的的质心位置( ,^)作为特定目标的质心位置；更新特定目标平均速度，并标识出本帧中的特定目标为粘连状态，转入步骤4进行特定目标在下一帧的跟踪；步骤9、分离状态时的特定目标跟踪特定目标在前一帧中的连通域为ο丨―1，ο丨有k个连通域与《丨―1重合，k彡1，根据索贝尔锐化算法计算该k个连通域内的边缘细节信息，使用特定目标的边缘轮廓特征模板在该k个连通域中进行模板匹配，将得到的相同特征点个数最多的连通域<，判断为该特定目标的当前位置；计算连通域<的面积为，当与特定目标实际面积之差满足一预设值时，标示特定目标为单一状态，否则，标示为粘连状态；计算特定目标的质心位置，更新特定目标平均速度，转入步骤4进行特定目标在下一帧的跟踪；循环以上步骤，直至监控任务完成。
2.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤1的具体方法为步骤1. 1、计算初始背景图像Btl 视频图像大小为MXN，计算前T帧视频图像每一像素点的平均灰度值PtlU, y)及像素灰度的方差σ。2 (x^y)，建立初始背景图像B。
3.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤3的具体方法为特定目标的边缘轮廓特征模板
4.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤4中，相邻帧间的目标外接矩形的重合判别公式为
5.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤5的具体方法为前一帧中前景目标有η个连通域，特定目标为第i个连通域，记为，该连通域面积大小为片一1 ；当前帧中特定目标有m个连通域，特定目标为第j个连通域，极为<，该连通域其面积大小为.9按照下式对特定目标状态进行标识
6.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤6的具体方法为计算特定目标在当前帧的连通域ο丨有k个连通域与其在前一帧的连通域ο丨-1重合， k彡1，当该k个连通域的面积均小于乂―1时，次特定目标从粘连状态转为分离状态。
7.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤7中，该特定目标在Ts中的平均速度怃，&).IiIi——丄L· —丄L·v^ = y Σν, 'vy = y Σν,‘1S k 二 t-Ts-11S k:t-Ts-1特定目标的瞬时速度计算公式为 V =Xtc-Xt;1 ,V； =γ1-γ-1,其中， ，乂―1)，(之，>0分别为特定目标在前一帧和当前帧中的质心位置；特定目标质心的计算公式为 1 ^ 1 ^其中，O为目标所在的连通域，(X，y) e O为该连通域中所有像素点的坐标，N0为该连通域中像素点的个数。
8.按照权利要求1所述的基于视频的特定目标的跟踪方法，其特征在于，步骤8中， 步骤8. 1的具体方法为特定目标在前一帧的质心位置为(ΟΓ1)，且瞬时速度为(―1，ν；"1，则估算其在当前帧的质心位置(之夕)《W ^:=V"+^r1；步骤8. 2的具体方法为定义步骤8. 1得到的质心( ,^)位于外接矩形的中心，根据特定目标在前一帧中的外接矩形长宽分别为ζΓ1，^ —1，以及视频画面中的目标外接矩形在长宽两个方向上变化的标定系数Qut和Ciwk，则估算特定目标在当前帧中的外接矩形的对角坐标 {(《。，只。)，(4，力)}为XtJ0 = ^c' - 0.5. aLkIirl ,Xtjl = xj + 0.5. aLkHrl ； y)0 = y - 0.5 · amW；-1 ,y), =y:+0.5- α硫W”。
9.按照权利要求8所述的基于视频的特定目标的跟踪方法，其特征在于，步骤8.2中， 视频画面中的目标外接矩形在长宽两个方向上变化的标定系数Ciut和CIwk的计算方法为将视频图像从上到下以水平分割线均勻划分成Ns个区域，并以此从下到上依次命名为 1，2，... Ns，特定目标的外接矩形在第一个区域时的长宽分别为Ltl和Wtl，特定目标的外接矩LkWk形在第k个区域时的长宽分别为Lk和Wk，pJ -.GCLk,k= i,2,..., Ns-I。
全文摘要
本发明方法一种基于视频的特定目标的跟踪方法，是特定目标与运动速度相结合的目标跟踪方法。在检测出特定目标后，选定要跟踪的特定目标，判断特定跟踪目标是否与其他前景目标发生粘连，根据判断出的运动状态，选用不同的跟踪策略对其进行跟踪。本发明方法与现有技术相比，在发生粘连和遮挡的情况下，仍能准确跟踪特定目标。
文档编号G06T7/20GK102509306SQ20111030040
公开日2012年6月20日 申请日期2011年10月8日 优先权日2011年10月8日
发明者朱虹, 杨艳妮, 王斌, 王栋, 陈莉 申请人:西安理工大学