基于多伯努利特征协方差的视频多目标跟踪方法与流程

技术特征：

1.基于多伯努利特征协方差的视频多目标跟踪方法，包括：

(1)初始化步骤：

(1a)初始时刻k＝0，视频总帧数为N，初始目标状态集为初始化目标状态其中表示初始目标i矩形框左上角的坐标，表示初始目标i矩形框的宽，表示初始目标i矩形框的高，M₀表示初始目标个数，初始目标存在概率P_s＝0.99，计算初始目标i的特征协方差粒子初始化采样；

(1b)初始化新生目标状态集为其中表示新生目标i矩形框左上角的坐标，表示新生目标i矩形框的宽，表示新生目标i矩形框的高，M_Γ表示新生目标个数；本发明中新生目标的新生位置假设固定在某坐标范围内，且每一帧都有目标新生，存在概率为0.02；计算新生目标i的特征协方差初始化新生目标的采样粒子；

(1c)初始化采样粒子参数，粒子最大数目为L_max，粒子最小数目为L_min，初始目标状态协方差Σ₀＝diag(1,1,0.1,0.1)；

(2)目标状态预测步骤：

(2a)假设目标运动模型为随机游走模型，即：

x(k+1)＝x(k)+e(k)

其中，x(k)表示k时刻目标状态，e(k)为k时刻高斯噪声，其均值为0，目标状态协方差为

(2b)目标预测，假设在k-1时刻多目标的后验概率密度可用多伯努利参数集表示为：

${\mathrm{\π}}_{k-1}={\left\{(r_{k-1}^{\left(i\right)},p_{k-1}^{\left(i\right)})\right\}}_{i=1}^{M_{k-1}}$

其中，和分别表示k-1时刻目标i的存在概率和概率分布，M_k-1表示k-1时刻目标个数；则预测后的后验多目标概率密度可表示为：

${\mathrm{\π}}_{k|k-1}={\left\{(r_{P,k|k-1}^{\left(i\right)},p_{P,k|k-1}^{\left(i\right)})\right\}}_{i=1}^{M_{k-1}}\∪{\left\{(r_{\mathrm{\Γ},k}^{\left(i\right)},p_{\mathrm{\Γ},k}^{\left(i\right)})\right\}}_{i=1}^{M_{\mathrm{\Γ},k}}$

其中，表示k时刻存活目标的多伯努利参数集，和分别表示k时刻存活目标i的存在概率和概率分布的预测值，表示k时刻新生目标的多伯努利参数集，和分别表示k时刻新生目标i的存在概率和概率分布，M_Γ,k表示k时刻新生目标个数；

(3)目标似然计算步骤：

(3a)本发明可处理灰度图像序列和彩色图像序列，其中，灰度图像提取的五维特征分别为：灰度，m和n方向的一阶梯度、二阶梯度；彩色图像提取的三维特征分别为：彩色图像的H、S、V三色值；

初始化目标模板的特征协方差T，候选目标的特征协方差矩阵F，并计算两协方差矩阵的相似性测度，即：

d(T,F)＝||log(T)-log(F)||

其中，log(·)表示对数运算；

(3b)为了更精确地对目标进行描述，避免目标被局部遮挡，增强目标分辨能力，本发明将目标表示为5个分块，每个块分别计算其特征协方差矩阵，并采用一个融合过程，融合所有块的相似性测度，忽略候选目标分块中相似性测度的最小块，得到总体相似性测度D，即：

$D(T_k^i,F_k^i)=\underset{\mathrm{\γ}}{min}\left({\mathrm{\Σ}}_{\mathrm{\ξ}=1}^{5}d\right(T_{k,\mathrm{\ξ}}^i,F_{k,\mathrm{\ξ}}^i)-d(T_{k,\mathrm{\γ}}^i,F_{k,\mathrm{\γ}}^i\left)\right)$

其中，min表示取最小值函数，表示k时刻目标i模板的第ξ个分块的特征协方差，表示k时刻候选目标i的第ξ个分块的特征协方差；

(3c)获得总体相似性测度D后，k时刻候选目标i的采样粒子j的似然表示为：

$g_{j,k}^i=\frac{1}{\sqrt{2\mathrm{\π}}}{e}^{-\mathrm{\λ}D/2}$

其中，参数λ∈[10,30]；

此外，本发明中的特征模板T_ξ是根据前Φ个时刻的混合特征协方差矩阵计算得到，即：

$T_{\mathrm{\ξ}}=\exp \left(\frac{1}{\mathrm{\Φ}}{\mathrm{\Σ}}_{\mathrm{\τ}=k-1}^{k-\mathrm{\Φ}}\log \right(F_{\mathrm{\τ},\mathrm{\ξ}}\left)\right),\mathrm{\ξ}=1,2,\mathrm{...5}$

其中，F_τ,ξ表示在τ时刻目标估计状态的第ξ个分块的特征协方差；

(4)目标状态更新步骤：

k时刻，假设视频多目标随机有限集的预测概率密度可表示为：

${\mathrm{\π}}_{k|k-1}={\left\{\left(r_{k|k-1}^{\left(i\right)},p_{k|k-1}^{\left(i\right)}\right)\right\}}_{i=1}^{M_{k|k-1}},M_{k|k-1}=M_{k-1}+M_{\mathrm{\Γ},k}$

则更新后的多目标后验概率密度可表示为：

${\mathrm{\π}}_k\≈{\left\{(r_{L,k}^{\left(i\right)},p_{L,k}^{\left(i\right)})\right\}}_{i=1}^{M_{k|k-1}}\∪{\{\left(r_{U,k}\right(z),p_{U,k}(\·;z)\}}_{z\∈Z_k}={\left\{(r_k^{\left(i\right)},p_k^{\left(i\right)})\right\}}_{i=1}^{M_k}$

其中，表示漏检情况下对预测进行更新得到的多伯努利参数集，表示对量测集进行更新得到的多伯努利参数集，Z_k表示k时刻的量测集合，z表示量测集合的元素；M_k＝M_k|k-1+|Z_k|，|Z_k|表示量测的个数，和分别表示k时刻目标i的存在概率和概率分布的更新；

(5)目标状态提取步骤：

为了避免粒子退化问题，对采样粒子集进行重采样，且根据采样粒子更新后的权值估计当前k时刻目标状态集X_k，此外，为了避免多伯努利参数集数量的冗余，本发明中将存在概率小于0.01的目标删除；

(6)目标紧邻自适应步骤：

当两个目紧邻时，跟踪结果往往会将两个目标判定为一个目标，从而造成跟踪错误，甚至出现目标漏跟现象；针对这种情况，本发明提出紧邻自适应处理机制；

(7)目标跟踪窗自适应步骤：

当视频目标尺寸发生较大变化时，跟踪窗不能包含目标的全部特征，造成信息丢失；为此，本发明提出跟踪窗自适应处理机制，使得跟踪窗能自适应目标尺寸大小的变化；

(8)粒子标记步骤：

本发明通过对粒子进行标记，以识别各个目标，从而实现对目标的轨迹跟踪。

2.根据权利要求1所述的目标跟踪方法，其中步骤(2b)中由一组加权粒子表示，即：

$p_{k-1}^{\left(i\right)}\left(x\right)={\mathrm{\Σ}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\mathrm{\ω}}_{k-1}^{(i,j)}{\mathrm{\δ}}_{x_{k-1}^{(i,j)}}\left(x\right)$

其中，表示k-1时刻目标i的第j个采样粒子的权值，表示k-1时刻目标i的第j个采样粒子的状态向量，表示k-1时刻目标i的采样粒子个数，δ(·)为狄拉克函数；

新生粒子由新生目标参数直接采样获得，存活目标多伯努利参数表示为：

$r_{P,k|k-1}^{\left(i\right)}=r_{k-1}^{\left(i\right)}{\mathrm{\Σ}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\mathrm{\ω}}_{k-1}^{(i,j)}{p}_{S,k}\left(x_{k-1}^{(i,j)}\right)$

$p_{P,k|k-1}^{\left(i\right)}\left(x\right)={\mathrm{\Σ}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\widetilde{\mathrm{\ω}}}_{P,k|k-1}^{(i,j)}{\mathrm{\δ}}_{x_{P,k|k-1}^{(i,j)}}\left(x\right)$

其中，p_S,k为k时刻目标存活概率，

$x_{P,k|k-1}^{(i,j)}~f_{k|k-1}(\·|x_{k-1}^{(i,j)}),$

${\mathrm{\ω}}_{P,k|k-1}^{(i,j)}={\mathrm{\ω}}_{k-1}^{(i,j)},$

${\widetilde{\mathrm{\ω}}}_{P,k|k-1}^{(i,j)}={\mathrm{\ω}}_{P,k|k-1}^{(i,j)}/{\mathrm{\Σ}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\mathrm{\ω}}_{P,k|k-1}^{(i,j)}.$

3.根据权利要求1所述的目标跟踪方法，其中步骤(4)中由一组加权粒子表示，即：

$p_{k|k-1}^{\left(i\right)}\left(x\right)={\mathrm{\Σ}}_{j=1}^{L_{k|k-1}^{\left(i\right)}}{\mathrm{\ω}}_{k|k-1}^{(i,j)}{\mathrm{\δ}}_{x_{k|k-1}^{(i,j)}}\left(x\right)$

其中，表示k时刻目标i的第j个采样粒子的权值的预测值，表示k时刻目标i的第j个采样粒子的状态向量的预测值；

新的粒子集进行多伯努利参数更新，

$r_k^{\left(i\right)}=\frac{r_{k|k-1}^{\left(i\right)}{\mathrm{\ϵ}}_k^{\left(i\right)}}{(1-r_{k|k-1}^{\left(i\right)}+r_{k|k-1}^{\left(i\right)}{\mathrm{\ϵ}}_k^{\left(i\right)})}$

$p_k^{\left(i\right)}=\frac{1}{{\mathrm{\ϵ}}_k^{\left(i\right)}}{\mathrm{\Σ}}_{j=1}^{L_{k|k-1}^{\left(i\right)}}{\mathrm{\ω}}_{k|k-1}^{(i,j)}{g}_{yk}\left(x_{k|k-1}^{(i,j)}\right){\mathrm{\δ}}_{x_{k|k-1}^{(i,j)}}\left(x\right)$

其中，表示量测y对k时刻预测采样粒子的似然，此处采样粒子似然可由步骤(3c)获得。

4.根据权利要求1所述的目标跟踪方法，其中步骤(6)所述的紧邻目标自适应处理，按如下步骤进行：

(4.1)判定目标是否紧邻

以水平方向紧邻为例，假设目标i与目标j，两个目标的水平距离表示为若小于阀值判定两个目标水平方向上基本重合，不需要处理；而当大于阀值且小于阀值时，判定两个目标在水平方向上紧邻，且做分离处理，更新目标的位置参数；

(4.2)紧邻目标分离处理

w_i、w_j分别表示目标i、目标j的矩形框的宽，当判定两个目标水平方向上紧邻后，对两个目标进行水平分离处理为：

(4.2.1)目标i的状态为x_i＝[m_i,n_i,w_i,h_i]，目标j的状态为x_j＝[m_j,n_j,w_j,h_j]，α＝0.15；

(4.2.2)两个目标的水平距离为若则到步骤(4.2.3)；否则，无需进行分离处理；

(4.2.3)若m_i≤m_j，则m_i＝m_i-w_iα,m_j＝m_j+w_jα；否则，m_i＝m_i+w_iα,m_j＝m_j-w_jα；垂直方向紧邻判断与分离处理方法与水平方向方法相同。

5.根据权利要求1所述的目标跟踪方法，其中步骤(7)所述的目标跟踪窗自适应处理，按如下步骤进行：

(5.1)获取目标扩展状态

假设第k帧目标i跟踪结果中，提取出的目标状态为目标i跟踪结果的扩展状态为

(5.2)目标估计状态更新

二值化图像，获取目标i的矩形框内包含最大连通区域的最小矩形框则目标估计状态更新为参数β取0.6；

(5.3)特殊情况处理

在某些情况下，当两个目标紧邻时，两个目标的连通区域会合并成一个连通区域，或者由于背景干扰，一个目标由两个或多个连通区域组成，这些情况可能导致最大连通区域发生突变；本发明将采用多个时刻的状态融合方法，解决最大连通区域突变导致的跟踪窗自适应失败的问题，即：

$x_{k,i}=\mathrm{\μ}(x_{k-d,i}+x_{k-d+1,i}+...+x_{k-1,i})+(1-\mathrm{\μ})x_{k,i}^F,k\>5$

其中，设参数μ为0.5，d为5，即k时刻目标i的状态x_k,i是由前5帧该目标的状态与当前时刻的加权求和得到的值。

6.根据权利要求1所述的目标跟踪方法，其中步骤(8)所述的粒子标记技术，按如下步骤进行：

(6.1)标记预测，k-1时刻，存活目标的多伯努利分量粒子标记可表示为：

$T_{k-1}={\left\{T_{k-1}^{\left(i\right)}\right\}}_{i=1}^{M_{k-1}}={\left\{t_{k-1}^{\left(i\right)\left(1\right)},t_{k-1}^{\left(i\right)\left(2\right)},...,t_{k-1}^{\left(i\right)\left(L_{k-1}^{\left(i\right)}\right)}\right\}}_{i=1}^{M_{k-1}}$

其中，M_k-1表示伯努利分量的个数，表示第i个伯努利分量的粒子数，且即同一个伯努利分量的粒子标记相同；新生的多伯努利分量的粒子标记可表示为：

$T_{\mathrm{\Γ}}={\left\{T_{\mathrm{\Γ}}^{\left(i\right)}\right)}_{i=1}^{L_{\mathrm{\Γ}}}={\left\{t_{\mathrm{\Γ}}^{\left(i\right)\left(1\right)},t_{\mathrm{\Γ}}^{\left(i\right)\left(2\right)},...,t_{\mathrm{\Γ}}^{\left(i\right)\left(L_{\mathrm{\Γ}}^{\left(i\right)}\right)}\right\}}_{i=1}^{M_{\mathrm{\Γ}}}$

其中，M_Γ表示新生伯努利分量的个数，表示第i个新生伯努利分量的粒子数，且则伯努利分量标记的预测可以表示为：T_k|k-1＝T_k-1+T_Γ；

(6.2)标记更新，量测跟新后伯努利分量的标记可表示为：

$T_{k|k}=T_{k|k-1}\∪T_{k|k-1}^1\∪\mathrm{...}\∪T_{k|k-1}^{\left|Z_k\right|}$

其中，|Z_k|表示量测个数，

(6.3)重采样，重采样后的粒子与它们的父辈粒子具有相同的标记，重采样后的伯努利分量的标记为：

$T_k=T_k^1\∪\mathrm{...}\∪T_k^{M_k}$

其中M_k为量测跟新后伯努利分量个数，

通过比较各个伯努利分量的标记即可识别各个目标的运动轨迹；其中，当目标合并时，合并目标的标记为被合并两个目标存在概率较大目标的标记。