一种基于正则误差建模的在线视频前景背景分离方法与流程

技术特征：

1.一种基于正则误差建模的在线视频前景背景分离方法，其特征在于包括如下步骤：

步骤S1：在线获取监控系统的视频数据；

步骤S2：在视频背景的低秩结构假设基础上构建模型，在模型中嵌入自适应变换因子变量，编码视频背景的动态变化，实现对于真实视频动态背景的自适应建模；

步骤S3：基于视频前景目标变化的随机性进行参数化分布建模，使其能够自适应于不同时间不同场景下视频前景的动态变化，进一步对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模；

步骤S4：结合步骤S2与步骤S3，构建完整的监控视频前景背景分离的统计模型；

步骤S5：在步骤S1上，对视频数据进行下采样，并在此采样数据基础上应用步骤S4的视频数据前景背景分离统计模型对该项应用加速；

步骤S6：在步骤S5获得的前景目标之上，对其进行TV连续性建模；

步骤S7：根据步骤S5，S6得到的结果，输出最终检测的视频前景目标与背景场景。

2.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S2构建模型：由于视频数据各帧图像所对应的背景的相似性，该相似性通过对视频图像进行如下低秩表达进行编码：

x^t＝U^tv^t+ε^t (1)

其中x^t∈R^d表示监控视频的第t帧图像，U^t∈R^d×r为该视频背景的当前表达基，其中r＜＜d，这些基底表达的子空间构成原图像空间的一个低秩子空间，v^t∈R^r为组合系数，U^tv^t表示x^t在子空间U^t下的低秩映射表示，ε^t表示残差；

在模型中嵌入自适应变换因子变量，即将模型(1)改进为：

其中τ^t为对图片x^t的仿射变换算子变量，表达旋转、平移、扭曲、尺度的视频背景变换。

3.根据权利要求2所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S3的参数化分布建模是将模型(2)中的残差变量ε^t编码为混合高斯分布，使其自适应于不同时间不同场景下视频前景即视频背景残差的动态变化，对应模型为：

$x_i^t~\underset{k=1}{\overset{K}{\Π}}N{\left(x_i^t\right|{\left(u_i^t\right)}^T{v}^t,{\mathrm{\σ}}_k^{t^2})}^{z_{ik}^t},Z_i^t~Multi\left(Z_i^t\right|{\mathrm{\π}}^t)---\left(3\right)$

其中为x^t的第i个像素值，为U^t的第i行，表示隐变量，代表第t侦的第i个像素值属于混合高斯分布中的第k个混合成分，且满足Multi表示多项式分布，为第t个混合成分的方差；

为对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模，分别对模型(3)中噪音分布变量进行共轭先验形式假设：

${\mathrm{\σ}}_k^{t^2}~Inv-Gamma\left({\mathrm{\σ}}_k^{t^2}\right|\frac{N_k^{t-1}}{2}-1,\frac{N_k^{t-1}{\mathrm{\σ}}_k^{t-1^2}}{2})---\left(4\right)$

${\mathrm{\π}}^t~Dir\left({\mathrm{\π}}^t\right|\mathrm{\α}),\mathrm{\α}=(N^{t-1}{\mathrm{\π}}_1^{t-1}+1,...,N^{t-1}{\mathrm{\π}}_K^{t-1})---\left(5\right)$

这里Inv-Gamma表示逆Gamma分布，Dir表示Dirichlet分布，的表达式如下：

${\mathrm{\γ}}_{ik}^j=P(z_{ik}^j=1|x_i^j)=\frac{P\left(x_i^j\right|z_{ik}^j=1)P(z_{ik}^j=1)}{{\Σ}_{k=1}^{K}P\left(x_i^j\right|z_{ik}^j=1)P(z_{ik}^j=1)}=\frac{{\mathrm{\π}}_k^{j-1}N\left(x_i^j\right|{\left(u_i^j\right)}^T{v}^j,{\mathrm{\σ}}_k^{j^2})}{{\Σ}_{k=1}^K{\mathrm{\π}}_k^{j-1}N\left(x_i^j\right|{\left(u_i^j\right)}^T{v}^j,{\mathrm{\σ}}_k^{j^2})}---\left(6\right)$

其中代表隶属度，表示第j侦的第i个像素值属于混合高斯分布中的第k个混合成分的程度，的意义与式(3)中相同。

4.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S4基于步骤S2，S3构建统计模型：

这里P(v^t)表示方差足够大的高斯分布，是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，t^t表示自适应变换因子，如(6)式所定义；

根据最大后验估计原理，由统计模型转化的视频前景背景分离模型可转化为如下的优化问题，固定U^t＝U^t-1：

化简为：

其中D_KL(·||·)表示KL散度，R(π^t,∑^t)为噪音正则项，形式为：

$\begin{array}{c}R({\Π}^t,{\Σ}^t)=\underset{k=1}{\overset{K}{\Σ}}{N}_k^{t-1}{D}_{KL}\left(N\right(0,{\mathrm{\σ}}_k^{t-1^2}\left)\right|\left|N\right(0,){\mathrm{\σ}}_k^{t^2})\\ +N^{t-1}{D}_{KL}\left(Multi\right({\mathrm{\π}}^{t-1})\left|\right|Multi\left({\mathrm{\π}}^t\right))+C.\end{array}$

这里是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，4^t-1，∑^t-1表示对应的第t-1侦的混合系数和方差向量，如(6)式所定义，C表示与π^t,∑^t无关的常数。

5.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S5中，对第t帧图像建模求解之前进行下采样以加快求解速度，以Ω表示下标集，那么下采样之后得到即

Ω＝{k₁,k₂,…,k_m|1≤k_j≤d,j＝1,2,…,m}

$x_{\mathrm{\Ω}}^t={\[x_{k_1}^t,x_{k_2}^t,...,x_{k_m}^t\]}^T$

相应地，对U^t的行向量进行下采样可得

6.根据权利要求4所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤5中对(7)中τ^t进行一阶逼近，对Δτ^t求解的问题退化为加权最小二乘问题，从而求解如下模型获得更新结果：

其中是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，τ^t为自适应变换因子变量，J是x在τ处的Jacobi矩阵，u_i为基底矩阵U的第i行。

7.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S5采用EM算法更新在线前景背景分离模型中的参数π^t,∑^t,v^t，以下公式中上标s表示第s次迭代，具体过程包括：

S7.1：给出EM算法中E步隶属度的更新公式：

${\mathrm{\γ}}_{ik}^{t,s+1}=\frac{{\mathrm{\π}}_k^{t,s}N\left(x_{\mathrm{\Ω}i}^t\right|{\left(u_{\mathrm{\Ω}i}^t\right)}^T{v}^{t,s},{\mathrm{\σ}}_k^{t,s^2})}{{\Σ}_{k=1}^K{\mathrm{\π}}_k^{t,s}N\left(x_{\mathrm{\Ω}i}^t\right|{\left(u_{\mathrm{\Ω}i}^t\right)}^T{v}^{t,s},{\mathrm{\σ}}_k^{t,s^2})}---\left(8\right)$

S7.2：给出EM算法中M步的迭代格式与终止条件：

迭代格式为：

${\mathrm{\π}}_k^{t,s+1}={\mathrm{\π}}_k^{t-1}-\frac{{\stackrel{\‾}{N}}^{t,s}}{N^{t,s}}({\mathrm{\π}}_k^{t-1}-{\stackrel{\‾}{\mathrm{\π}}}_k^{t,s})---\left(9\right)$

${\mathrm{\σ}}_k^{t,s+1^2}={\mathrm{\σ}}_k^{t-1^2}-\frac{{\stackrel{\‾}{N}}_k^{t,s}}{{\stackrel{\‾}{N}}_k^{t,s}}({\mathrm{\σ}}_k^{t-1^2}-{\stackrel{\‾}{\mathrm{\σ}}}_k^{t,s^2})---\left(10\right)$

$w_i^{s+1}=\sqrt{{\mathrm{\Σ}}_{k=1}^K\frac{{\mathrm{\γ}}_{i,k}^{t,s+1}}{2{\mathrm{\σ}}_k^{t,s+1^2}}},i=1,2...,m---\left(11\right)$

$w^{s+1}={\[w_1^{s+1},w_2^{s+1},\mathrm{...},w_d^{s+1}\]}^T---\left(12\right)$

$v^{t,s+1}={\left(U_{\mathrm{\Ω}}^{T}di\mathrm{\α}g{\left(w^{s+1}\right)}^2{U}_{\mathrm{\Ω}}\right)}^{-1}{U}_{\mathrm{\Ω}}^{T}diag{\left(w^{s+1}\right)}^2{x}_{\mathrm{\Ω}}^t---\left(13\right)$

其中：

${\stackrel{\‾}{N}}_k^{t,s}=\underset{i=1}{\overset{d}{\Σ}}{\mathrm{\γ}}_{ik}^{t,s},{\stackrel{\‾}{N}}^{t,s}=\underset{k=1}{\overset{K}{\Σ}}{\stackrel{\‾}{N}}_k^{t,s},{\stackrel{\‾}{\mathrm{\π}}}_k^{t,s}=\frac{{\stackrel{\‾}{N}}_k^{t,s}}{{\stackrel{\‾}{N}}^{t,s}}$

$N_k^{t,s}={\stackrel{\‾}{N}}_k^{t,s}+N_k^{t-1},N^{t,s}={\stackrel{\‾}{N}}^{t,s}+N^{t-1},{\stackrel{\‾}{\mathrm{\σ}}}_k^{t,s^2}=\frac{1}{{\stackrel{\‾}{N}}_k^{t,s}}\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\γ}}_{ik}^{t,s}{(x_{\mathrm{\Ω}i}^t-{\left(u_i^t\right)}^T{v}^{t,s})}^2$

迭代终止条件为：

$\frac{|L({\Π}^{t,s+1},{\Σ}^{t,s+1},v^{t,s+1}l)-L({\Π}^{t,s},{\Σ}^{t,s},v^{t,s})|}{\left|L({\Π}^{t,s+1},{\Σ}^{t,s+1},v^{t,s+1})\right|}\<{10}^{-4}---\left(14\right)$

S7.3：设置迭代初始值：

对初始l帧数据使用PCA方法得到初始子空间分解，然后使用MoG方法初始化参数π^t,0,∑^t,0,v^t,0；

S7.4：进行(8)-(13)式的迭代运算，直到满足终止条件(14)式。

8.根据权利要求6所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S5中，对第t帧数据，在更新参数π^t,∑^t,v^t，τ^t的基础上，通过如下模型对背景的基U^t-1进行微调得到更新的U^t：

其中

模型(15)具有如下的解：

$u_i^t=A_i^t{b}_i^t---\left(16\right)$

其中表示U^t的第i行，和的表达式如下：

$\begin{array}{c}{A}_i^t={\left({\Σ}_{j=1}^t{w}_i^{j^2}{v}^j{v}^{j^T}\right)}^{-1}\\ ={({\left(A_i^{t-1}\right)}^{-1}+w_i^{t^2}{v}^t{v}^{t^T})}^{-1}\\ =A_i^{t-1}-\frac{w_i^{t^2}{A}_i^{t-1}{v}^t{v}^{t^T}{A}_i^{t-1}}{1+w_i^{t^2}{v}^{t^T}{A}_i^{t-1}{v}^t}\end{array}---\left(17\right)$

$\begin{array}{c}{b}_i^t=\underset{j=1}{\overset{t}{\Σ}}{w}_i^{j^2}{x}_{\mathrm{\Ω}i}^j{v}^j\\ =b_i^{t-1}+w_i^{t^2}{x}_{\mathrm{\Ω}i}^t{v}^t\end{array}---\left(18\right)$

按(16)-(18)式更新U^t，并输出前景

${\mathrm{FG}}_0^t=x^t-U^t{v}^t---\left(19\right)$

9.根据权利要求8所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S6中，利用监控视频背景连续性特征建立TV范数模型如下：

${\mathrm{FG}}^t=\arg \underset{F}{\min }\frac{1}{2}\left|\right|F-{\mathrm{FG}}_0^t|{|}^2+\mathrm{\λ}|\left|F\right|{|}_{TV}---\left(20\right)$

这里‖·‖_TV表示TV范数，为式(19)的输出结果，λ设置为(为最大方差)，以上优化问题转化为：

$\underset{F,Z_1,Z_2}{\min }\frac{1}{2}\left|\right|F-{\mathrm{FG}}_0^t|{|}_2^2+\mathrm{\λ}\underset{i=1}{\overset{2}{\Σ}}{S}_i\left(Z_i\right)$

s.t. F＝Z_i,i＝1,2 (21)其中Z₁,Z₂∈R^m×n,S_i(·)定义如下：

$S_1\left(Z_k\right)=\underset{j=1}{\overset{n}{\Σ}}\underset{i=1}{\overset{m-1}{\Σ}}|{\left(Z_k\right)}_{ij}-{\left(Z_k\right)}_{i+1,j}|$

$S_1\left(Z_k\right)=\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n-1}{\Σ}}|{\left(Z_k\right)}_{ij}-{\left(Z_k\right)}_{i,j+1}|$

利用交替方向乘子法ADMM求解(21)式的TV范数模型：

S9.1：给出问题(18)的增广拉格朗日函数：

$L(F,Z_i,P_i)=\frac{1}{2}\left|\right|F-{\mathrm{FG}}_0^t|{|}_2^2+\mathrm{\λ}\underset{i=1}{\overset{1}{\Σ}}\<P_i,Z_i-F\>+\frac{\mathrm{\ρ}}{2}\underset{i=1}{\overset{2}{\Σ}}||Z_i-F|{|}_2^2$

其中P₁,P₂∈R^m×n，

S9.2：建立交替方向乘子法的迭代格式与终止条件：

迭代格式为：

$F^{s+1}=\arg \underset{F}{\min }L(F,Z_i^s,P_i^s)---\left(22\right)$

$\{Z_1^{s+1},Z_2^{s+1}\}=\arg \underset{Z_1,Z_2}{\min }L(F^{s+1},Z_i,P_i^s)---\left(23\right)$

$P_i^{s+1}=P_i^s+\mathrm{\ρ}(Z_k^{s+1}-F^{s+1})---\left(24\right)$

其中ρ是一个大于1的正数，取1.5；

迭代终止条件为：

$\max \left\{\frac{\left|\right|Z_i^{s+1}-F^{s+1}|{|}_2^1}{\left|\right|Z_i^{s+1}|{|}_2^2}\right\}\≤{10}^{-4}---\left(25\right)$

S9.3：对(22)(23)进行求解，给出迭代的具体算式；

S9.4：设置迭代的初值：

S9.5：进行(22)-(24)的迭代运算，直到满足终止条件(25)式。

10.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S7中，最终输出前景FG^t，背景BG^t＝x^t-FG^t,这里FG^t,BG^t分别表示第t侦数据的前景和背景。