一种面向非均匀退化视频中对象的结构化跟踪方法与流程

技术特征：

1.一种面向非均匀退化视频中对象的结构化跟踪方法，其特征在于：包括如下步骤：

1)退化评价

给每一个超像素方向矢量来描述运动退化，单一超像素的方向评估是通过一个局部自相关函数而获得，并且该模糊度由Tenengrad函数计算得到的，然后，构建定向矢量来表示一个超像素的运动，以这种方式来生成图像的方向的地图，过程如下：

1.1)方向评价

通过局部自相关函数来计算位置(x,y)的值：

f(x,y)＝∑_{(xi，yi)∈P}[I(xi,yi)-I(xi+Δx,yi+Δy)]² (1)

其中I(x_i,y_i)为图像中3*3矩阵的中心位置的梯度值，Δx和Δy表示在x和y方向上的移位；

该公式近似的表示为：

$\begin{array}{c}f(x,y)\≅{\mathrm{\Σ}}_{(xi,yi)\∈P}\[Ix(xi,yi)-Iy(xi,yi\]{\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]}^2,---(2)\\ =\[\mathrm{\Δ}x,\mathrm{\Δ}y\]M\left[\begin{array}{c}\mathrm{\Δ}X\\ \mathrm{\Δ}Y\end{array}\right],---\left(3\right)\end{array}$

其中

$M={\mathrm{\Σ}}_{(xi,yi)\∈P}\left[\begin{array}{cc}{I}_x^2(x_i,y_i)& I_x(x_i,y_i)I_y(x_i,y_i)\\ I_x(x_i,y_i)I_y(x_i,y_i)& I_y^2(x_i,y_i)\end{array}\right].---\left(4\right)$

通过计算出的矩阵M，得到了矩阵M的两个特征值，较小的特征值表示像素的方向，将每个像素的这些值转化到指定的方向空间[0,180)，因此，每个值表示在一条线上的相反方向；

然后，将运动方向I_m归一化，通过同等地划分然后将在数量上最多的作为背景的方向，得到图像模糊方向；

1.2)模糊度评估

Tenengrad评价函数为

$F_{ten}=\underset{i=1}{\overset{M-2}{\Σ}}\underset{j=1}{\overset{N-2}{\Σ}}\[s_x^{2}i,j+s_y^{2}i,j\],---\left(5\right)$

其中，s_x(i，j)和s_y(i，j)分别是图像f(i，j)与在水平方向和垂直方向与Sobel算子的卷积结果；M和N分别是图像的高和宽；

将图像通过Tenengrad评价得到的值除以所有结果中的最大值来表示图像退化程度，被看作是

$F_p=\frac{F_{ten}}{max\left(F\right)},---\left(6\right)$

其中，F_ten是Tenengrad评价得到的值，max(F)是所有结果中的最大值；

通过这样的方式，Tenengrad评价得到的结果被归一化为区间(0,1]之间的值，退化程度估计的结果决定方向向量的长度；

2)构建结构模型，过程如下：

首先，将追踪窗口中的图像通过SLIC划分成一些小的部分，通过颜色信息来追踪目标；

给定一组超像素集{T_p}，收集候选目标部分{T_i}^p然后重建候选图像G(V,E)，通过建立一个配对的马尔科夫随机场来从背景中分离候选的前景部，同时使用目标颜色直方图和判别支持向量机分类器来计算单点势能，马尔科夫随机场能量被优化为：

$E\left(B\right)=\underset{p\∈S}{\Σ}{D}_p\left(b_p\right)+\underset{p,q\∈N}{\Σ}{V}_{p,q}(b_p,b_q),---\left(7\right)$

其中B＝{bp|bp∈{0,1},p∈S}是超像素集{T_p}的标签，bp是Tp的指示器，当Tp属于前景时bp＝1，其他情况bp＝0，Dp(bp)是一个与超像素Tp结合的单点势能，Vp，q(bp，bq)一对结合超像素Tp和Tq的潜能，S是在跟踪窗口中的超像素集，N是共享边界的超像素集对；

单点势能：

$D_p\left(b_p\right)={\mathrm{\αD}}_p^g\left(b_p\right)+D_p^d\left(b_p\right),---\left(8\right)$

Dp(bp)是一个可生成的颜色直方图潜能和一个判别支持向量机分类器潜能的加权组合，α＝0.1，是一个用于平衡两个潜能影响的常量，生成的潜能形式为：

其中，H_f和H_b分别是目标和背景的归一化的RGB颜色直方图，Ci是像素I的RGB值，N_p在超像素T_p中的像素数量，P(C_i|H)是在直方图H中的C_i的概率，判别潜能是一个在线支持向量机分类器的分类评分，这个分类器是通过从目标和背景超像素中提取的RGB颜色特征训练得到的；

$D_p^d\left(b_p\right)=\left\{\begin{array}{c}\mathrm{\λ}\hat{y}\left(f_p\right)\hat{y}\left(f_p\right)\≥0,b_p=1,\\ 1-\mathrm{\λ}\hat{y}\left(f_p\right)\hat{y}\left(f_p\right)\≥0,b_p=0,\\ \hat{y}\left(f_p\right)\hat{y}\left(f_p\right)\<0,b_p=1,\\ 1-\hat{y}\left(f_p\right)\hat{y}\left(f_p\right)\<0,b_p=0,\end{array}\right.---\left(10\right)$

其中，y(f_p)＝w·Φ(f_p)+b是一种支持向量机判断，f_p是T_p的颜色信息，当把T_p分类为前景时，λ是一个用于增强支持向量机分类器比重的常量，Vp，q(bp,bq)用于捕获两个相邻超像素的不连续性；

平滑项：

V_p,q(b_p,b_q)＝exp(-D(f_p,f_q)}-βδ(d_p,d_q), (11)

$\mathrm{\δ}(d_p,d_q)=|\stackrel{\→}{d_p}-\stackrel{\→}{d_q}|---\left(12\right)$

其中，D(f_p,f_q)是颜色特征间的X²距离，d_p是退化特征向量，δ(d_p,d_q)是退化特征距离，β是一个用于平衡退化向量距离影响的常量。