基于在线低秩背景建模的视频序列背景恢复方法与流程

技术特征：

1.一种基于在线低秩背景建模的视频序列背景恢复方法，其特征是，步骤如下：

1)将视频序列中背景恢复问题具体地表述为求解如下无约束优化方程：

其中||·||_F表示矩阵的弗罗贝尼乌斯范数，||·||_*表示矩阵的核范数，||·||₁表示矩阵的一范数，о表示两个矩阵的点乘运算，D为实际的视频序列帧依次按列向量排列而成的矩阵，B表示待恢复的背景，E代表前景部分，W表示二值运动场映射权重矩阵，λ₁，λ₂分别表示视频中低秩背景和前景的权重系数；

为解决核范数需要对所有帧一起进行奇异值分解SVD，对待恢复背景B进行低秩矩阵分解：

$\left|\right|B|{|}_{*}=\underset{L,C}{inf}\{\frac{1}{2}\left|\right|L|{|}_F^2+\frac{1}{2}|\left|C\right|{|}_F^2:B={\mathrm{LC}}^T\}---\left(2\right)$

其中inf{·}表示对{·}取下确界，L是视频序列背景对应的低维子空间的基，C是视频序列对应于基L的系数矩阵；得到如下的分解模型：

求解此方程时，采用交替优化方法，以增量方式最小化如下损失函数：

其中n表示视频序列当前的总帧数，d_k表示视频序列第k帧的列向量，为第k帧图像d_k在基L下所对应的损失函数，其定义如下：

其中||·||₂表示向量的二范数，w表示当前帧d_k的运动映射权重向量，c是d_k在基L下的系数向量，e为当前帧的前景部分；

求解过程为，在线地对每一帧图像d_k依次：估计运动信息计算第k帧运动映射权重向量w_k，更新第k帧系数向量c_k，更新第k帧前景e_k，更新前k帧对应的基L_k；

2)构建第k帧运动映射权重向量w_k：采用前向运动估计方案在线地求解w_k；

对第一帧，基于稀疏前景的假设，将二值运动权重全部赋值为1；对于后续帧，分别以第一帧作为参考帧，采用光流算法估计当前帧的稠密运动场，然后将其二值化为运动映射；

3)使用交替方向法ADM将方程(5)转换成如下序列进行求解：

上式中的表示使目标函数取最小值时的变量c的值，表示使目标函数取最小值时的变量e的值，l是迭代次数；然后按照步骤4)、5)的方法进行迭代求解得到系数向量c_k和前景e_k；

4)求解通过求解最小二乘问题的闭式解求得系数

去掉式子(7)中求解第k帧系数向量c_k的目标函数里与c_k无关的项，得到如下方程：

使用最小二乘法求得的解为：

$c_k^{l+1}={(L_k^T{\tilde{W}}_k^T{\tilde{W}}_k{L}_k+{\mathrm{\λ}}_{1}I)}^{-1}{L}_k^T{\tilde{W}}_k^T{\tilde{W}}_k(d_k-e_k^l)---\left(9\right)$

其中表示运动映射w^k的对角矩阵，即将向量w^k的每个元素依次放到矩阵的主对角线上，I表示单位矩阵；

5)求解使用收缩算子求得第k帧前景

去掉式子(7)中求解第k帧前景e_k的目标函数里与e_k无关的项，得到如下方程：

对式子(10)使用收缩算子解得：

$e_{ik}=\left\{\begin{array}{cc}0,& s_{ik}\<\frac{{\mathrm{\λ}}_2}{w_{ik}},\\ sign\left(\right|s_{ik}|-\frac{{\mathrm{\λ}}_2}{w_{ik}}),& s_{ik}\≥\frac{{\mathrm{\λ}}_2}{w_{ik}},\end{array}\right.---\left(11\right)$

其中e_ik，s_ik，w_ik分别表示e_k，s_k，w_k的第i个像素值，

6)重复上述步骤4)、5)直到算法收敛，这时迭代的结果和就是当前帧d_k的系数向量c_k和前景e_k，由得到前k帧图像的系数矩阵C_k；

7)使用变量代换将方程(3)转换为如下无约束优化问题进行求解：

其中为新引入的变量，R_k＝[r₁,...,r_k]表示已经求得的当前帧及之前的视频帧的背景，r_k＝d_k-e_k表示已求得的第k帧图像的背景，λ₃为权重系数；

使用交替方向法ADM将方程(12)转换成如下序列进行求解：

然后按照步骤8)、9)的方法进行迭代求解得到变量Y_k和视频序列低维子空间的基L_k；

8)求解逐像素方式求得

去掉式子(13)中求解Y_k的目标函数里与Y_k无关的项，得到如下方程：

使用最小二乘法，逐像素计算解得：

$y_{ik}=\frac{2{\mathrm{\λ}}_3}{w_{ik}^2+2{\mathrm{\λ}}_3}(r_{ik}-{\hat{l}}_i{c}_k)---\left(15\right)$

其中表示基L_k的第i行，y_ik表示第i行第k列的元素值，r_ik表示r_k的第i个像素值；

9)求解通过求解最小二乘问题的闭式解求得基

去掉式子(13)中求解L_k的目标函数里与L_k无关的项，得到如下方程：

$L_k^{l+1}=\arg \underset{L}{\min }\frac{{\mathrm{\λ}}_1}{2}\left|\right|L_k^l|{|}_F^2+\frac{{\mathrm{\λ}}_3}{2}||Y_k^{l+1}-R_k+L_k^l{C}_k^T|{|}_F^2---\left(16\right)$

使用最小二乘法求得的解为：

$L_k^{l+1}={\mathrm{\λ}}_3(R_k-Y_k^{l+1})C_k{({\mathrm{\λ}}_3{C}_k^T{C}_k+{\mathrm{\λ}}_{1}I)}^{-1}---\left(17\right)$

进一步，引入中间变量P_k＝R_kC_k，以增量方式高效地求解

$L_k^{l+1}={\mathrm{\λ}}_3(P_k-X_k){({\mathrm{\λ}}_3{Z}_k+{\mathrm{\λ}}_{1}I)}^{-1}---\left(18\right)$

其中：

$\left\{\begin{array}{c}{P}_k\←P_{k-1}+r_k{c}_k^T,\\ X_k\←X_{k-1}+y_k{c}_k^T,\\ Z_k\←Z_{k-1}+c_k{c}_k^T,\end{array}\right.---\left(19\right)$

10)重复上述步骤8)、9)直到算法收敛，这时迭代的结果就是前k帧图像背景的基L_k；

11)求解视频背景B：由6)和10)分别得到的C_k和L_k求得B_k就是原问题的最终解B。

2.如权利要求1所述的基于在线低秩背景建模的视频序列背景恢复方法，其特征是，步骤2)具体公式是：

其中w_ik表示第k帧图像第i个像素的运动映射权重，即为w_k的第i个像素值，和分别表示第k帧图像第i个像素的水平运动分量和垂直运动分量，τ为用于二值化运动场的阈值。