视频目标跟踪方法、装置及自动视频跟踪系统的制作方法

专利名称：视频目标跟踪方法、装置及自动视频跟踪系统的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种视频目标跟踪方法、装置 及自动视频跟踪系统。
背景技术：
所谓自动视频跟踪，是利用视频的图像信号，自动进行目标的检测、识 别、定位，自动控制云台和摄像机的运动，跟踪和锁定目标。 一见频目标跟踪
的过程大体上可以描述为成像系统以二维阵列的形式，将客观世界三维场 景所形成的图像采集记录下来并保存到计算机中。计算机对输入图像进行分
析和解释，通过预处理、特征提取、特征选^r、特征跟踪等算法处理，将所 得到的目标信息，包括物体的结构，形状，颜色，位置运动速度和方向等， 传送给跟踪处理设备。跟踪处理设备是随动机构，它根据计算获得的控制信 息，能够自动调整系统的方位，自动地跟踪运动目标，最终使所获取的图像 中始终包含被跟踪目标。
当前在视频监控及视频会议等场景中，应用较多的是对人头部的跟踪。 例如在视频会议场景中，大家关注的焦点是会议的主讲人，而这时如果依赖 于人工的移动摄像机跟踪主讲人则比较困难，也费时费力。如果采用头部跟
踪算法控制一个具有PTZ (PanTiltZoom，云台)功能的摄像机拍摄主讲人， 则可以达到实时地跟踪主讲人的头部，使主讲人的动作持续地显示在各方的 会i义画面上。
现有技术中提出了采用颜色和梯度特征进行视频中人头部跟踪的方法， 该方法中将头部形状近似的表达为椭圓，对于椭圆周界上的点，计算其沿椭 圆法线方向上的梯度分量值，将该值作为目标的梯度特征；另外，对于椭圆 内部的像素计算其颜色直方图，作为其颜色特征，并计算其与前一帧目标模 板的颜色直方图的相似度。然后在下一帧图象中搜索最优的椭圓位置与大小， 找到该两种特征值的和最大者为跟踪目标的位置。
在实践过程中，发明人经过研究发现上述现有技术中采用椭圆来近似 的表达头部轮廓，但是在实际情况下，头部轮廓与椭圓的差别比较大，只有一部分圆弧上可以用椭圆来表达。在图像相对较清晰的情况下，例如在人脸
正面的情况下，耳朵与下巴等部位都不能近似在椭圆的边界上；在人脸侧面
的情况下，头部的前半部分(如眼睛、鼻子、嘴巴、下巴)也无法完全近似 在椭圆的边界上，甚至距离椭圆边界还有较大的距离。由于椭圆无法较精确 的描述人头部的轮廓，从而在计算其周界梯度时不够准确，而在计算其颜色 分布函数时，也会将不属于人头部的背景图像计算进去，影响特征计算的准 确性，最终对跟踪效果产生负面影响。

发明内容
本发明实施例提供一种视频目标跟踪方法、装置及自动视频跟踪系统， 能够-提高目标跟踪的准确率。
本发明实施例提供以下技术方案 本发明实施例4是供一种视频目标跟踪方法，包括 对当前帧中各候选位置进行梯度向量流GVF变形，得到各变形曲线； 计算所述变形曲线的视频特征；
根据计算得到的视频特征确定一个候选位置作为目标位置。
本发明实施例还提供一种视频目标跟踪装置，包括
GVF目标曲线逼近单元，用于对当前帧中各候选位置进4亍梯度向量流 GVF变形，得到各变形曲线；
特征计算单元，用于计算所述变形曲线的视频特征；
目标跟踪单元，用于根据计算得到的视频特征确定一个候选位置作为目 标位置。
本发明实施例还提供一种自动视频跟踪系统，包括视频目标跟踪装置 和跟踪处理设备；其中，
所述视频目标跟踪装置，包括
GVF目标曲线逼近单元，用于对当前帧中各候选位置进行梯度向量流 GVF变形，得到各变形曲线；
特征计算单元，用于计算所述变形曲线的^L频特征；
目标跟踪单元，用于根据计算得到的视频特征确定一个候选位置作为目标位置；
所述跟踪处理设备，用于根据所述视频目标跟踪装置确定的目标位置， 自动调整方位及跟踪运动目标，最终使所获取的图像中始终包含被跟踪目标。
本发明实施例通过对当前帧中各候选位置在GVF场指导下进行变形，使 变形曲线最终完全逼近目标轮廓，从而在计算目标特征时能够得到更加准确 的结果。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例视频目标跟踪方法流程图2A、 B、 C分别是本发明另一个实施例中用于计算GVF向量场的原图 像图、原图像的边缘图、GVF向量场用向量形式展示图3A、 B、 C是本发明又一个实施例中曲线按弧长插值效果过程示意图4是本发明又一个实施例跟踪算法流程图5是本发明又一个实施例视频目标跟踪装置结构图6是本发明又一个实施例自动视频跟踪系统结构图。
具体实施例方式
本发明实施例提供一种视频目标跟踪方法、装置及自动视频跟踪系统， 能够提高目标跟踪的准确率。为使本发明的目的、技术方案及优点更加清楚 明白，下面参照附图并举实施例，对本发明进一步详细说明。由于头部目标 跟踪且以椭圆形状为4莫才反最为典型，故下文以头部目标^艮踪为例进^f亍详细阐 述。然而，本发明实施例不局限于头部目标跟踪，可用于其它基于椭圓或者 相应规则形状为模板，但目标并不足够规则的其它种类目标跟踪问题。
如图1所示，为本发明一个实施例—见频目标3艮踪方法流程图，包括以下 过程
步骤101 、对当前帧中各4吳选位置进行GVF ( Gradient Vector Flow,梯度向量流)变形，得到各变形曲线；
步骤102、计算所述变形曲线的多种视频特征，例如，可以计算每个变形 曲线的直方图反投影特征、梯度幅度特征、LBP ( Local Binary Pattern,局部 二值模式)特征三种特征；
步骤103、根据计算得到的视频特征确定一个候选位置作为目标位置。
需要说明的是，在步骤101之前还包括初始化步骤，即可以通过自动的 或者人机交互的方式选择需要跟踪的目标；在此基础上可以计算一些在后续 步骤中需要依赖的初始特征，例如计算目标的颜色直方图，用于在后续步骤 中计算直方图反投影特征；计算目标的LBP特征作为才莫板特征等。
本发明实施例在GVF指导下对当前帧中各候选位置进行变形，例如以椭 圆形为模板对当前帧中各候选位置进行变形，得到更准确的头部的边界曲线， 以便后续多个特征的计算结果会相对更加精确，其具体实现过程说明如下
活动轮廓模型是图像分割和边界提取的重要工具之一，本发明实施例中 可以采用活动轮廓模型。但是由于在活动轮廓模型中，用于促使曲线逼近目 标区域边界的外部推动力只存在于边界附近的小范围区域内，因而初始曲线 必须接近目标边界。本发明实施例又通过GVF算法，以降低活动轮廓才莫型对 初始曲线设置的依赖程度，从而将原始梯度向量从图像边界附近扩散到整个 图像区域。
要构造GVF，首先需要从待处理图像7^，^中获得一个边界图像/"，力， 使得/"力在图像边界附近较大，而在平滑区域较小。本发明实施例中采用下
式计算边界图像<formula>formula see original document page 8</formula>
其中A(x，力是一个标准方差为"的二维高斯函数，用于平滑图像以克服
噪声的影响，V为梯度算子，(x， y)为图像坐标。。
边界图像的梯度向量Vy("^)构成了一个向量场"[""，力，v",力f ，可以通 过最小化下述能量得到最优解= JJ/H"+ "， + vx2 + v， ) + Iv/|2 P _ v/l血tfy (2)
其中"I，"、、，,是向量场的一阶偏导数，p是一个正实数，用来控制 积分式中两项之间的权重。由于在非目标边缘处的图像区域是比较均衡的，
其对应的梯度V/"，少)值也很小，根据公式(2)，此时能量函数的大小由^"，W的 偏导数的平方和决定；这也说明了在非目标边缘处，向量流的变化是緩慢的。 而在目标边缘处，对应的梯度v/"少)值很大，能量函数的大小由积分函数的
第二项决定。此时，函数的最小值依赖于^—v,1， f"，力的值越接近于v/"，力， 能量函数就越小。^是混合因子，其与图像的噪声有关，噪声越大，,值就越 大。能量￡,的最小化过程可以通过迭代计算的方式来完成。
为了从公式(2)中解出f-["",力,Hx,力F,离散迭代求解形式为
< (w (x,") -(x,+ )
(v (x, y,")—力(x,力)(/;2 + /力 (3)
其中V'表示拉普拉斯算子，下标n， n+l分别表示本次和下一次迭代标号，
y;"力和厶(u)分别表示边界图像/"力在x， y方向的偏导数，GVF场的计
算过程可以用如下的例子展示出来，如图2A为需要计算GVF场的原始图像， 在该图像上用公式(1)计算边缘图得到图2B的图像；然后再利用公式(3), 取^值为0.15，迭代60次后得到的结果如图2C所示。在图2C中，为了明确 显示向量的方向性，对向量场进行了归一化，所得到的向量均为单位向量， 在图中用带有箭头的单位长度来表示每个向量。在图2C中可以很明显地看 到，对于在图2B中比较清晰的人的身体上的图像边缘，周围有较大的范围内 都有许多向量指向边缘，这就意味着该外力场会指导这些周围的粒子向该边 缘运动，使活动轮廓在变形过程中趋近于理想边缘。
而在头部跟踪过程中，考虑到所给出的椭圆模型已经能够相对较好的描述头部的轮廓，也就是说，在椭圆位置适当的情况下已经比较逼近头部的边 缘了。在这种情况下，将椭圆位置也就是初始曲线位置已经靠近目标边缘作
为先验知识，则仅需要GVF外力所产生的能量项就可以基本使活动轮廓模型
变形至目标轮廓。为了进一步加速运算过程，把曲线上的每个像素点考虑为
一个粒子，在GVF外力场的推动下运动，在一定的迭代步数后即达到目标轮 廓。在实现中需要对迭代步数做出一定的限制，例如3到5次迭代即可。这 是由于本身初始曲线已经比较靠近目标轮廓，而对于初始曲线距目标轮廓比 较远的情况，也就是说所给定的椭圓位置距离真实跟踪目标比较远，则此时 该候选位置显然不能作为跟踪结果。 一旦迭代步数较多，根据GVF外力场的 扩散特性，会把一些距离目标较远的不合适的候选椭圆也变形拉近至目标轮 廓位置，这样反而会误导候选目标的真实特征值的计算。
在对初始的椭圆曲线进行变形后， 一些像素点会在变形过程中重合到同 一点，从而相邻点之间的间隔就不再是等距的，需要在变形过程中或者在最 后的结果中对这些点进行插值，使得每两个相邻点之间有相同的间隔。这样 的操作可以使最终的曲线均匀分布，从而在计算曲线上的梯度幅度值等特征 时，不至于使某几个像素点由于本身是多个点的重合而具有过大的权重。如 图3所示，图3A为初始椭圓曲线，各点为离散的粒子，当这些粒子在GVF 外力场驱动下运动后成为图3B的形状时，诸如上方及左侧的孤立点就是由于 外力场的特性导致的一些点重合为一个点，此时这些点的权重相当于增大了 许多倍。特别是在计算沿周界上的梯度幅度值时，显然由于这些点梯度值完 全一致，失去了曲线的意义，使得计算结果并不是针对曲线的周界而只是某 些孤立点，显然会得出错误的结果。这时经过插值的曲线如图3C就不一样了 ， 在图3C中，孤立点之间采用线性插值的方法补充了各个点，这些插值保证了 曲线的连续性并能在很大程度上尽可能地包围在目标的边界上。特别是在这 个曲线的结果与实际目标边界不一致时，这些插值点可以用来降低孤立点的 权重，使得计算结果不会过于依赖于某些特殊点。这里所选取的插值方式除 线性插值外，还可以选用其它插值方式，例如二次插值、样条插值等。
在跟踪过程中，各个候选位置的椭圆在GVF外力场作用下变形后，其结果曲线完全位于头部轮廓上。而原有的椭圆模板虽然接近头部位置，但实际
上模板上的像素点并不与头部轮廓相重合，因此经过GVF外力场作用后，完
全达到了更加准确定位目标的效果。
另外，所述步骤102中计算所述变形曲线的多种视频特征，包括计算每 个候选位置的直方图反投影特征、梯度幅度特征、LBP特征三种特征；其中 特征的选择对于跟踪效果起着关键性的作用，之所以选择直方图反投影特征、 梯度幅度特征、LBP特征三种特征，是因为这三种特征组合在一起具有一定 的互补性，有利于跟踪不同阶段的稳定性。其具体计算过程分别说明如下
1、直方图反投影特征
直方图可以用于描述图像中某个区域或某个特定对象。直方图比率则通 过对象的直方图与其周围背景间直方图之间的商，达到强调在对象中出现而 在背景中不出现的那些颜色的目的。这样可以大大增加背景与对象之间的区 别，也就可以增强对象定位的可靠性。
而直方图比率正是计算直方图反投影的第 一步。直方图反投影也可以被 看作是一个滤波器，该滤波器作用于原彩色图像上并形成一个灰度图像。这 个灰度图像上的每个像素值由原来彩色图像中该点的像素值对应的直方图比 率所决定，也就是说，在新图像上只有颜色与对象模型的颜色非常接近的像 素点才会在这个灰度图像上有较高的像素值。用于在本实施例中目标跟踪的 直方图反投影方法的一般步骤如下，其中所有原始彩色图像都转换至HSV (Hue、 Saturation, Value,色相、饱和度、亮度)颜色空间
根据跟踪目标的位置，计算第一帧图像中目标对象的三维颜色直方图
在第n帧图像中将与n-l帧相同位置大小的区域各边界向外扩展W个像 素，计算扩展区域的颜色直方图为^。"'"
计算直方图比率 <formula>formula see original document page 11</formula>:其中，i为直方图向量下标。 计算反投影图像Map:("),"" ))，其中，(i， j)为 图像像素坐标；Ih， Is, Iv分别为图像的H, S， V分量。在以后的各帧图像中，重新计算当前跟踪区域的^。'""'，以第一帧中^'""重 新计算得到反投影图像。
在上述过程中，在各帧图像中计算直方图反投影时都使用了第 一帧图像 中目标的直方图，也就是说，各帧图像中都以第一帧图像中目标的颜色为基 准进行匹配，保持该直方图反投影特征的稳定不变，不随目标形态改变而变 化，属于稳定特征。
在得到反投影图后，计算候选位置曲线所包围的面积内反投影图的平均
像素值，作为该位置的直方图反投影特征值，该特征值反映了曲线所包围部 分的颜色与初始跟踪对象的颜色的一致程度。
<formula>formula see original document page 12</formula> ( 4 )
其中，式中^^为曲线所包围的区域面积。
2、 梯度幅度特征
计算沿曲线按像素平均梯度幅度值
<formula>formula see original document page 12</formula> ( 5 )
其中，式中&表示曲线的周长；gs。代表该点上的梯度向量，梯度幅度 特征反映了候选位置曲线与头部轮廓的吻合程度。
3、 LBP特征
LBP最初定义于像素的8邻域中，以中心像素的灰度值为阈值，将周围8 个像素的值与其比较，如果周围的像素值小于中心像素的灰度值，该像素位 置就被标记为0,否则标记为1;将阈值后的值(即0或者1)分别与对应位 置^f象素的权重相乘，8个乘积的和即为该邻域的LBP值，由定义可以看出， 灰度值的单调变化不会引起LBP特征值的变化。
在某一灰度图像中，定义一个半径为*(尺>0)的圆环形邻域，尸(尸〉0)个邻 域像素均匀分布在圆周上。^为该邻域中心像素的灰度值，A("0，…，尸-l)是尸 邻域像素的灰度值，得到表征局部紋理特征的LBP值<formula>formula see original document page 13</formula>
其中 <formula>formula see original document page 13</formula>又定义具有旋转不变性的LBP,即不断旋转圓形邻域得到一系列初始定 义的LBP值，取其最小值作为该邻域的LBP值
^i (x力函数为旋转函数，表示把x向右旋转,< P)次。 又定义均匀性的度量用U表示<formula>formula see original document page 13</formula>
其中，gp=g。。满足""的所有模式称为均匀模式' 则最终有
(8)
<formula>formula see original document page 13</formula>
在原图像经过M《7算子运算后，得到LBP特征图，然后将需要计算LBP 特征的图像块进行分块，可以分为3 x 3块，对于每个子块图像，在对应的LBP 特征图上计算其直方图。可将各图像子块的直方图连接起来形成一个直方图 向量，该向量即为该候选区域或者目标区域的LBP特征向量。在得到目标区 域(即当前的模板特征)与候选区域的直方图特征向量后，可以由多种方法 来比较直方图的相似度，常用的有三种方法，即直方图相交、Log概率统计、 f概率统计，三种测量方法如下公式(9)、式(10)、式(11)所示<formula>formula see original document page 13</formula> 直方图相交 于 (9)
Log概率统计 <formula>formula see original document page 13</formula>义2概率统计， '4 + (11) 其中，式中Ai， Bi分别表示参与比较的两个LBP特征向量的每个元素。 可以选择其中一种作为度量方法，本实施例中选择了第三种，即所选择 的图像块为以选定目标的中心为中心，窗宽为W的一个正方形区域计算其 LBP直方图特征向量，其中(KW〈min(c, k}; c、 k分别表示选定目标的长、 宽。同样在每一帧中候选位置计算相应的LBP直方图特征向量，然后得到二 者之间的户概率统计度量值，作为该候选位置的LBP特征值A,从而衡量该 候选位置与目标的匹配度。
所述步骤103中，首先根据由上述步骤102已经计算出的目标的三个特 征，通过下式计算每个粒子的权重
『=Wg夂++ w,^
该式中^、 A、 -,分别表示梯度幅度特征、直方图反^L影特征、LBP特征。 其中Wg、 w,,、 vv,分别为三种特征的权重，这三个值可以根据实验结果选定， 例如可以分别选定为0.4、 0.3、 0.3。需要说明一点，若三种特征之前进行过 归一化计算，则Wg、 w"、 w'之和必须等于l;否则，wg、 w、 ^之间无此关 系。
然后，在上述计算过权重的粒子群中，选择具有最大权重的粒子作为目 标的正确位置，从而得到最合适的候选位置作为当前的目标位置，即目标跟 踪结果。
上述方法还可以进一 步包括
步骤104,根据所述目标位置预测下一帧的候选位置，并将所述下一帧作 为所述当前帧。具体是，根据上一帧已经计算过权重的粒子群，进行重新采 样得到下一帧的粒子群，进而转入步骤101重复后续过程，从而不断的得到 目标跟踪结果。
步骤105，更新LBP特征向量。具体是将上述步骤102计算得到的LBP 特征值替换原来作为模板的LBP特征向量。本发明上述实施例通过对当前帧中各候选位置在GVF场指导下进行变
形，使变形曲线最终完全逼近目标轮廓，从而在计算目标特征时能够得到更
加准确的结果；并在此基础上采用了多特征的目标跟踪方法，包括直方图反 投影特征、梯度幅度特征、LBP特征三种特征，充分利用将这三种特征组合 在一起所具有的互补性，从而提高跟踪不同阶段的稳定性，大大改进了目标 跟踪的准确率，使跟踪结果有了很大程度的改善。
如图4所示，为本发明又一个实施例的跟踪方法流程图，过程包括如下
步骤401、在第一帧图像中标记待跟踪目标的位置，即可以在图像中用矩 形框表示目标的位置，并记录矩形框的位置；
步骤402-403、计算目标的颜色直方图、目标区域中心并向外延伸W宽 度的正方形区域的LBP特征向量，作为LBP才莫板特征；
步骤404、初始化粒子群{xQm，m = l,...，M}，式中M为粒子的个数；x。"表 示一个粒子，每个粒子是一个四维向量(x， y, a， b),其中，x、 y分别表示 目标中心的坐标，a、 b分别表示目标椭圆的长轴和短轴；《的下标表示跟踪 过程图像的帧数，也就是跟踪时间序号，上标表示粒子群中该粒子的序号。 该粒子群中每个粒子的初始值为目标的初始位置，也即前述实施例中所述的 各个候选位置；
步骤405-406、读取当前帧图像，并计算该图像帧的反投影图像； 步骤407、根据上一帧跟踪结果所产生的粒子群，进行本帧粒子群的预测。
在粒子预测阶段，采用一个二阶自回归模型得到新的粒子群 =《+《+ Cv(, v, jV(O, S)
其中A、 B、 C可以直接指定，例如分别指定为2、 -1、 0.5;也可以通过 其它算法从目标运动中学习得到；v, ~ w(o,i:)表示一个服从正态分布的白噪 声。该模型分别应用于每个粒子的四个参数，即步骤404中提及的四维向量 (x, y, a, b);其中t+l帧的粒子群即为本帧的粒子群；
步骤408、对所述预测的粒子群进行GVF变形，计算每个粒子的直方图 反投影特征、梯度幅度特征、LBP特征；即如前述实施例中所描述的三种特征的具体计算过程；
步骤409、在所述预测的粒子群上，根据每个粒子所提供的目标在图象上 的坐标值(x, y, a， b)，计算该粒子的权重。也就是说，假设该粒子所给出 的目标位置是正确的，那么在这种情况下目标的三个特征可以按上述方法计 算，则计算结果就是每个粒子的权重，由下式计算得到<formula>formula see original document page 16</formula>该式中^、 A、 ^分别表示梯度幅度特征、直方图反^:影特征、LBP特征。 其中Wg、气、w,分别为三种特征的权重，这三个值可以根据实验结果选定， 例如可以分别选定为0.4、 0.3、 0.3。需要说明一点，若三种特征之前进行过 归一化计算，则Wg、,、"之和必须等于1;否则，wg、 w、"之间无此关
系；
步骤410、选"^具有最大权重的粒子作为目标的正确位置，即跟踪结果； 步骤411、在该位置上需要重新计算LBP特征向量，按照前述方法，将 在以该位置中心为中心，向外延伸W的正方形区域内计算的LBP特征向量替 换原来作为模板的LBP特征向量，其中(KW〈min《c, k}; c、 k分别表示选定 目标的长、宽；
步骤412、根据上一帧已经计算过权重的粒子群，进行重新采样得到下一 帧的粒子群。即当某个粒子权重比较大时，则很可能是比较接近正确的目标 位置，因此，在以后的跟踪过程中，需要以这样的粒子为基础。在重采样过 程中，则较多的选择这样的粒子，权重越大，那么在下一帧的粒子群中所占 的个数越多。新的粒子群又作为下一帧的粒子群进行下一帧的跟踪过程。
步骤413、判断跟踪是否结束，如果否则转向步骤405继续进行。其中， 跟踪是否结束可以通过能否读取到下 一 帧图像来确定，即能读取到下 一帧图 像，则确定跟踪没有结束，否则跟踪结束；还可以人为设定停止跟踪。
上述流程是以椭圆模板为例，如果采用矩形模板，则流程与之稍有区别， 即步骤404中，初始化粒子群{xQm,/n = l,...，M}，式中M为粒子的个数；x卩表 示一个粒子，每个粒子是一个四维向量(x, y， a， b),其中，x、 y分别表示目标中心的坐标，a、 b分别表示目标矩形的长和宽；x卩的下标表示跟踪过程 图像的帧数，也就是跟踪时间序号，上标表示粒子群中该粒子的序号。其他 步骤不变。对于其他形状的模板也与之类似，只是参数的含义有所区别而已， 此处不再赘述。
由上述步骤可以看出，梯度幅度特征不依赖于前面的任何一帧图像，是 目标本身的固有特征。而在计算直方图反投影特征时，仅依赖于初始帧图像 中目标区域的直方图。也就是说，在整个跟踪过程中，所有的候选目标的颜 色与最初目标的颜色越一致该特征越强。而对于LBP特征，则依赖于前一帧 图像中的目标位置，即每次跟踪到新的目标位置后，将更新当前的LBP直方 图特征向量，该向量用于与下一帧中所有候选位置区域相应特征进行相似度 测量。因此，本实施例通过利用LBP特征进行目标跟踪，可以更精确地描述 候选区域的目标特征，从而可以提高目标跟踪的准确度。
如图5所示，为本发明又一个实施例的视频目标跟踪装置结构图，包括 GVF目标曲线逼近单元520、特征计算单元530、目标跟踪单元540;其中
所述的GVF目标曲线逼近单元520，用于对当前帧中各候选位置进行梯 度向量流GVF变形，得到各变形曲线；
所述的特征计算单元530,用于计算所述变形曲线的视频特征，具体地， 可以包括计算所述变形曲线的直方图反投影特征、梯度幅度特征和局部二 值模式LBP特征；
所述的目标跟踪单元540，用于根据所述特征计算单元530对各个候选位 置的视频特征计算结果，确定一个候选位置作为目标位置。
本发明实施例通过对当前帧中各候选位置在GVF场指导下进行变形，使 变形曲线最终完全逼近目标轮廓，从而在计算目标特征时能够得到更加准确 的结果。
进一步地，所述GVF目标曲线逼近单元520在变形过程中或者在最后的 结果中对各候选位置上的点进行插值，使得每两个相邻点之间有相同的间隔。
所述特征计算单元530通过将每个变形曲线对应的LBP特征向量与上一 帧的目标位置的LBP特征向量进行相似度计算，得到所述变形曲线的LBP特征值。计算每个变形曲线的直方图反投影特征时均使用视频中初始帧图像中
目标区域的直方图；计算每个变形曲线的LBP特征时是以选定目标位置的中 心为中心，窗宽为W的一个正方形区域进行计算，其中(KW〈min(c， k}; c、 k分别表示选定目标的长、宽。
若上一帧为视频中的第一帧，则所述装置还包括初始化单元510,用于 预先设定候选位置及对应的LBP特征向量。
所述目标跟踪单元540还可以进一步包括计算子单元和选择子单元， 其中
所述的计算子单元，用于按照下式计算各候选位置的权重
r二H^g+w^+M^,,其中A、 A、 ^分别表示梯度幅度特征、直方图 反4殳影特征、LBP特征；Wg、 vv力、w,分别为所述三种特征的权重；
所述的选择子单元，用于根据所述计算子单元的计算结果选择权重最大 的候选位置作为目标跟踪结果。
此外，所述目标跟踪单元还可以包括预测子单元用于根据所述目标 位置预测下一帧的各候选位置，并将所述下一帧作为所述当前帧。
需要说明的是，对于三种特征的计算以及其他相关内容可以参照前述方 法实施例的具体阐述，此处不再赘述。
由于视频目标跟踪是个动态循环的过程，因此所述装置可以通过特征更 新单元550更新LBP特征冲莫板的向量后，继续由所述GVF目标曲线逼近单元 520对所述目标跟踪单元540预测的下一帧中目标的候选位置在GVF指导下 进行变形，然后提供给所述特征计算单元530进行多种特征的计算，再由所 述目标跟踪单元540根据特征计算结果，选择最合适的候选位置作为当前帧 的目标跟踪结果并通过跟踪结果输出单元560输出。
如图6所示，为本发明又一个实施例的自动视频跟踪系统结构图，包括 视频目标跟踪装置500和跟踪处理设备600;其中
所述的视频目标跟踪装置500具体包括初始化单元510、 GVF目标曲 线逼近单元520、特征计算单元530、目标跟踪单元540、特征更新单元550、 及跟踪结果输出单元560;其中所述的GVF目标曲线逼近单元520,用于对当前帧中各候选位置进行梯 度向量流GVF变形，得到各变形曲线；
所述的特征计算单元530，用于计算所述变形曲线的视频特征，具体地， 可以包括计算所述变形曲线的直方图反投影特征、梯度幅度特征和局部二 值模式LBP特征；
所述的目标跟踪单元540，用于根据所述特征计算单元530对各个候选位 置的视频特征计算结果，确定一个候选位置作为目标位置；
所述的跟踪处理设备600，用于根据所述视频目标跟踪装置500确定的目 标位置，自动调整方位及跟踪运动目标，最终使所获取的图像中始终包含被 ^艮踪目标。
采用本发明实施例提供的跟踪系统，其中的目标跟踪装置500，通过将候 选位置在GVF指导下进行变形，可以更加逼近目标的实际曲线可以l是高目标 跟踪的准确率。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步 骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算 机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个才莫 块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模 块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立 的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
综上所述，本文提供了一种视频目标跟踪方法、装置及自动视频跟踪系 统，通过对各候选位置在GVF场指导下进行变形，使变形曲线最终完全逼近 目标轮廓，从而在计算目标特征时能够得到更加准确的结果。此基础上还采 用了多特征的目标跟踪方法，包括直方图反投影特征、梯度幅度特征、LBP 特征三种特征，充分利用将这三种特征组合在一起所具有的互补性，从而提 高跟踪不同阶段的稳定性，大大改进了目标跟踪的准确率，使跟踪结果有了很大程度的改善。本发明实施例可以广泛应用在视频会议、智能视频监控等 领域。
以上对本发明所提供的视频目标跟踪方法、装置及自动;f见频跟踪系统进
述，以上实施例的说明只是用于帮助理解本发明的方案；同时，对于本领域 的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有 改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1. 一种视频目标跟踪方法，其特征在于，包括对当前帧中各候选位置进行梯度向量流GVF变形，得到各变形曲线；计算所述变形曲线的视频特征；根据计算得到的视频特征确定一个候选位置作为目标位置。
2、 根据权利要求1所述的视频目标跟踪方法，其特征在于，所述计算所 述变形曲线的视频特征包括计算所述变形曲线的直方图反投影特征、梯度 幅度特征和局部二值模式LBP特征。
3、 根据权利要求2所述的视频目标跟踪方法，其特征在于，所述对当前 帧中各候选位置进行梯度向量流GVF变形，得到各变形曲线包括在变形过程中或者在最后的结果中对各候选位置上的点进行插值，使得 每两个相邻点之间有相同的间隔。
4、 根据权利要求3所述的视频目标跟踪方法，其特征在于，所述插值具 体为线性插值、或二次插值、或样条插值。
5、 根据权利要求2所述的视频目标跟踪方法，其特征在于，所述计算变 形曲线的LBP特征的方法包括通过将每个变形曲线对应的LBP特征向量与上一帧的目标位置的LBP特 征向量进行相似度计算，得到所述变形曲线的LBP特征值。
6、 根据权利要求5所述的视频目标跟踪方法，其特征在于，若上一帧为 视频中的第一帧，则所述上一帧的目标位置为预先设定的候选位置，所述上 一帧的LBP特征向量为所述预先设定的候选位置的LBP特征向量。
7、 根据权利要求5所述的视频目标跟踪方法，其特征在于，所述计算每 个变形曲线的LBP特征向量时是以候选位置的中心为中心，窗宽为W的一个 正方形区域进行计算，其中(KW〈min(c, k}; c、 k分别表示候选位置的长、 宽。
8、 根据权利要求2所述的视频目标跟踪方法，其特征在于，所述计算变 形曲线的直方图反投影特征时均使用视频中第 一帧的目标位置的直方图。
9、 根据权利要求2所述的视频目标跟踪方法，其特征在于，所述根据计 算得到的视频特征确定一个候选位置作为目标位置的步骤包括按照下式计算各候选位置的权重<formula>formula see original document page 3</formula>其中A、 A、 ^分别表示梯度幅度特征、直方图 反投影特征、LBP特征；Wg、 、、 w,分别为所述三种特征的权重； 选择权重最大的候选位置作为目标跟踪结果。
10、 根据权利要求1所述的视频目标跟踪方法，其特征在于，还包括 根据所述目标位置预测下一帧的各候选位置，并将所述下一帧作为所述当前 帧。
11、 一种视频目标跟踪装置，其特征在于，包括GVF目标曲线逼近单元，用于对当前帧中各候选位置进行梯度向量流 GVF变形，得到各变形曲线；特征计算单元，用于计算所述变形曲线的^L频特征；目标跟踪单元，用于根据计算得到的视频特征确定一个候选位置作为目 标位置。
12、 根据权利要求11所述的视频目标跟踪装置，其特征在于，所述视频 特征包括所述变形曲线的直方图反投影特征、梯度幅度特征和局部二值模 式LBP特征。
13、 根据权利要求12所述的视频目标跟踪装置，其特征在于，所述GVF 目标曲线逼近单元用于在变形过程中或者在最后的结果中对各候选位置上的 点进行插值，使得每两个相邻点之间有相同的间隔。
14、 根据权利要求12所述的视频目标跟踪装置，其特征在于，所述特征 计算用于通过将每个变形曲线对应的LBP特征向量与上一帧的目标位置的 LBP特征向量进行相似度计算，得到所述变形曲线的LBP特征值。
15、 根据权利要求14所述的视频目标跟踪装置，其特征在于，若上一帧 为一见频中的第一帧，则所述装置还包括初始化单元，用于预先设定候选位置 及对应的LBP特征向量。
16、 根据权利要求14所述的视频目标跟踪装置，其特征在于，所述特征 计算单元计算每个变形曲线的LBP特征向量时是以选定目标位置的中心为中 心，窗宽为W的一个正方形区域进行计算，其中0<W<min{c， k}; c、 k分别表示选定目标的长、宽。
17、 根据权利要求12所述的视频目标跟踪装置，其特征在于，所述特征计算单元计算变形曲线的直方图反投影特征时均使用视频中第 一帧的目标位 置的直方图。
18、 根据权利要求12所述的视频目标跟踪装置，其特征在于，所述目标 跟踪单元包括计算子单元，用于按照下式计算各候选位置的权重<formula>formula see original document page 4</formula>^，其中A、 A、 ^分别表示梯度幅度特征、直方图 反投影特征、LBP特征；Wg、 w,,、 w,分别为所述三种特征的—又重；选择子单元，用于根据所述计算子单元的计算结果选择权重最大的候选 位置作为目标位置。
19、 根据权利要求11所述的视频目标跟踪装置，其特征在于，所述目标 跟踪单元还包括预测子单元用于根据所述目标位置预测下一帧的各候选位 置，并将所述下一帧作为所述当前帧。
20、 一种自动视频跟踪系统，其特征在于，包括视频目标跟踪装置和 跟踪处理设备；其中，所述视频目标跟踪装置，包括GVF目标曲线逼近单元，用于对当前帧中各候选位置进行梯度向量流 GVF变形，得到各变形曲线；特征计算单元，用于计算所述变形曲线的^L频特征；目标跟踪单元，用于根据计算得到的视频特征确定一个候选位置作为目 标位置；所述跟踪处理设备，用于根据所述视频目标跟踪装置确定的目标位置， 自动调整方位及跟踪运动目标，最终使所获取的图像中始终包含被跟踪目标。
全文摘要
本发明公开一种视频目标跟踪方法，包括对当前帧中各候选位置进行梯度向量流GVF变形，得到各变形曲线；计算所述变形曲线的视频特征；根据计算得到的视频特征确定一个候选位置作为目标位置。本发明还公开一种视频目标跟踪装置及自动视频跟踪系统，能够提高目标跟踪的准确率。
文档编号G06T7/20GK101290681SQ20081009817
公开日2008年10月22日 申请日期2008年5月26日 优先权日2008年5月26日
发明者左坤隆 申请人:华为技术有限公司