一种基于正则误差建模的在线视频前景背景分离方法与流程

本发明涉及一种监控视频的视频处理方法，具体涉及一种基于正则误差建模的在线视频前景背景分离方法。

背景技术：

监控视频前景背景分离在现实生活中具有重要的应用价值，比如目标追踪、城市交通监测等等。但是如今监控设备遍布世界各个角落，每天的监控视频数据异常庞大，结构复杂。在保证高精度和高效率的前提下，实时的对监控视频进行前景背景分离依旧是一项巨大的挑战。

在图像处理领域中，已有不少的视频前景背景分离的技术。常见的技术包括基于统计假设直接分离的方法，子空间学习的方法和在线分离的方法等。

基于统计假设直接分离的方法，对视频的帧数据做某种统计分布的假设，然后基于一些统计量到分离前景背景的目的，比如中值或均值模型，直方图模型等。另外，MoG和MoGG方法对帧数据考虑更加细腻的统计分布假发，使用一些混合分布(比如混合高斯)去拟合各帧数据，得到了更好的分离效果。然而，这些方法均忽略掉了视频的结构信息，例如前景的空间连续性，背景在时间上的相似性等。相比之下，子空间学习的方法则对视频结构信息了比较细致的编码，通过假设视频的背景具有低秩结构，将视频前景的空间连续性，背景在时间上的相似性等结构信息融入到了模型之中，得到的前景背景分离效果比较理想。

尽管子空间学习方法已经取得了比较显著的效果，但距离真正的实际应用还有一定的差距。当今社会，视频数据每时每刻都在迅速增长，要求前景背景分离技术在保证高精度的前提下还要有高效率；另一方面，面对时时刻刻不断涌现的监控数据，我们需要提供一种实时的在线分离技术。虽然现在已有一些在线分离方法，但往往不能达到高精度、高效率的双重要求。

针对现有技术的不足，提供一种保证高精度的同时又能高效率的对不断出现的监控视频进行实时在线前景背景分离的技术甚为必要，尤其要对视频中存在的动态前景目标类型与动态背景环境变化应该能够有效自适应。

技术实现要素：

本发明的目的在于提供一种能够更加充分准确的利用视频的结构信息进行统计建模，从而达到更高精度的分离效果，并且能保证处理的高效率的基于正则误差建模的在线视频前景背景分离方法。

为达到上述目的，本发明采用的技术方案包括如下步骤：

步骤S1：在线获取监控系统的视频数据；

步骤S2：在视频背景的低秩结构假设基础上构建模型，在模型中嵌入自适应变换因子变量，编码视频背景的动态变化，实现对于真实视频动态背景的自适应建模；

步骤S3：基于视频前景目标变化的随机性进行参数化分布建模，使其能够自适应于不同时间不同场景下视频前景的动态变化，进一步对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模；

步骤S4：结合步骤S2与步骤S3，构建完整的监控视频前景背景分离的统计模型；

步骤S5：在步骤S1上，对视频数据进行下采样，并在此采样数据基础上应用步骤S4的视频数据前景背景分离统计模型对该项应用加速；

步骤S6：在步骤S5获得的前景目标之上，对其进行TV连续性建模；

步骤S7：根据步骤S5，S6得到的结果，输出最终检测的视频前景目标与背景场景。

所述步骤S2构建模型：由于视频数据各帧图像所对应的背景的相似性，该相似性通过对视频图像进行如下低秩表达进行编码：

x^t＝U^tv^t+ε^t (1)

其中x^t∈R^d表示监控视频的第t帧图像，U^t∈R^d×r为该视频背景的当前表达基，其中r＜＜d，这些基底表达的子空间构成原图像空间的一个低秩子空间，v^t∈R^r为组合系数，U^tv^t表示x^t在子空间U^t下的低秩映射表示，ε^t表示残差；

在模型中嵌入自适应变换因子变量，即将模型(1)改进为：

其中τ^t为对图片x^t的仿射变换算子变量，表达旋转、平移、扭曲、尺度的视频背景变换。

所述步骤S3的参数化分布建模是将模型(2)中的残差变量ε^t编码为混合高斯分布，使其自适应于不同时间不同场景下视频前景即视频背景残差的动态变化，对应模型为：

其中为x^t的第i个像素值，为U^t的第i行，表示隐变量，代表第t侦的第i个像素值属于混合高斯分布中的第k个混合成分，且满足Multi表示多项式分布，为第t个混合成分的方差；

为对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模，分别对模型(3)中噪音分布变量进行共轭先验形式假设：

这里Inv-Gamma表示逆Gamma分布，Dir表示Dirichlet分布，的表达式如下：

其中代表隶属度，表示第j侦的第i个像素值属于混合高斯分布中的第k个混合成分的程度，的意义与式(3)中相同。

所述步骤S4基于步骤S2，S3构建统计模型：

这里P(v^t)表示方差足够大的高斯分布，是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，τ^t表示自适应变换因子，如(6)式所定义；

根据最大后验估计原理，由统计模型转化的视频前景背景分离模型可转化为如下的优化问题，固定U^t＝U^t-1：

化简为：

其中D_KL(·||·)表示KL散度，R(π^t，∑^t)为噪音正则项，形式为：

这里是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，π^t-1，∑^t-1表示对应的第t-1侦的混合系数和方差向量，如(6)式所定义，C表示与π^t，∑^t无关的常数。

所述步骤S5中，对第t帧图像建模求解之前进行下采样以加快求解速度，以Ω表示下标集，那么下采样之后得到即

Ω＝{k₁，k₂，…，k_m|1≤k_j≤d，j＝1，2，…，m}

相应地，对U^t的行向量进行下采样可得

所述步骤5中对(7)中τ^t进行一阶逼近，对Δτ^t求解的问题退化为加权最小二乘问题，从而求解如下模型获得更新结果：

其中是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，τ^t为自适应变换因子变量，J是x在τ处的Jacobi矩阵，u_i为基底矩阵U的第i行。

所述步骤S5采用EM算法更新在线前景背景分离模型中的参数π^t，∑^t，v^t，以下公式中上标s表示第s次迭代，具体过程包括：

S7.1：给出EM算法中E步隶属度的更新公式：

S7.2：给出EM算法中M步的迭代格式与终止条件：

迭代格式为：

其中：

迭代终止条件为：

S7.3：设置迭代初始值：

对初始l帧数据使用PCA方法得到初始子空间分解，然后使用MoG方法初始化参数π^t，0，∑^t，0，v^t，0；

S7.4：进行(8)-(13)式的迭代运算，直到满足终止条件(14)式。

所述步骤S5中，对第t帧数据，在更新参数π^t，∑^t，v^t，τ^t的基础上，通过如下模型对背景的基U^t-1进行微调得到更新的U^t：

其中

模型(15)具有如下的解：

其中表示U^t的第i行，和的表达式如下：

按(16)-(18)式更新U^t，并输出前景

所述步骤S6中，利用监控视频背景连续性特征建立TV范数模型如下：

这里||·||_TV表示TV范数，为式(19)的输出结果，λ设置为(为最大方差)，以上优化问题转化为：

s.t.F＝Z_i，i＝1，2 (21)其中Z₁，Z₂∈R^m×n，S_i(·)定义如下：

利用交替方向乘子法ADMM求解(21)式的TV范数模型：

S9.1：给出问题(18)的增广拉格朗日函数：

其中P₁，P₂∈R^m×n，

S9.2：建立交替方向乘子法的迭代格式与终止条件：

迭代格式为：

其中ρ是一个大于1的正数，取1.5；

迭代终止条件为：

S9.3：对(22)(23)进行求解，给出迭代的具体算式；

S9.4：设置迭代的初值：

S9.5：进行(22)-(24)的迭代运算，直到满足终止条件(25)式。

所述步骤S7中，最终输出前景FG^t，背景BG^t＝x^t-FG^t，这里FG^t，BG^t分别表示第t侦数据的前景和背景。

本发明在建立基于监控视频数据的前景与背景本身内在统计先验分别进行针对性分析与编码，实现速度快、精度高的在线监控视频前景背景分离模型与方法，对于实际应用中对监控视频目标进行侦测、跟踪、识别、分析等具有重要应用意义。

附图说明

图1为本发明的流程图。

图2为LiDatasets数据集中部分视频的帧数据。

图3为步骤S5中下采样效果图，第一行为Li Datasets数据集中原图，第二行为经过1％下采样后所得的结果。

图4为本发明的视频分离效果图，第一列表示Li Datasets数据集中原图，第二列为预先标记好的前景的真实标签，第三列为步骤S5中分离得到的前景图，第四列为步骤S7中分离出来的前景图。

具体实施方式

下面结合附图及实施例对本发明作进一步详细描述。

实施例1：采用数据集Li Datasets(https://fling.seas.upenn.edu/～xiaowz/dynamic/wordpress/decolor/)作为本发明的计算机仿真实验对象(参见图4第一列)。见下表(本发明在Li Datasets数据集中各视频应用的前景背景分离速度，其中FPS表示每秒钟处理的数据帧的数目)：

该数据集包含了9个监控视频数据集，其中包括静态背景视频，随光照条件改变的背景视频，动态背景视频，并且其中部分数据有预先标记好的前景的真实标注(参见图4第二列)，部分视频的帧数据如图2所示。本发明从各种视频中各抽取200帧数据进行实验。其过程见图1：

步骤S1：获取Li Datasets视频数据；

步骤S2：通过前景背景分离的基本原理对第t帧数据构建低秩分解模型，这里本发明使用含有三个混合成分的混合高斯去拟合噪声，具体表达式如下：

x^t＝U^tv^t+ε^t (26)

其中x^t∈R^d表示监控视频的第t帧图像，U^t∈R^d×r为该视频背景的当前表达基，其中r＜＜d，这些基底表达的子空间构成原图像空间的一个低秩子空间，v^t∈R^r为组合系数，U^tv^t表示x^t在子空间U^t下的低秩映射表示，ε^t表示残差；

在模型中嵌入自适应变换因子变量，即将模型(26)改进为：

其中τ^t为对图片x^t的仿射变换算子变量，表达旋转、平移、扭曲、尺度的视频背景变换。

步骤S3：根据对噪声的混合高斯分布假设，有

其中为x^t的第i个像素值，为U^t的第i行，表示隐变量，代表第t侦的第i个像素值属于混合高斯分布中的第k个混合成分，且满足Multi表示多项式分布，为第k个混合成分的方差；

根据视频监控视频各帧数据背景之间的相似性，可以假设如下的先验分布：

这里Inv-Gamma表示逆Gamma分布，Dir表示Dirichlet分布，的表达式如下：

其中代表隶属度，表示第j侦的第i个像素值属于混合高斯分布中的第k个混合成分的程度，的意义与(28)中相同。

步骤S4：结合步骤S2与步骤S3及最大后验估计方法，可得如下的监控视频前景背景分离优化问题：

化简为：

这里是第t侦的残差ε^t所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，π^t-1，∑^t-1表示对应的第t-1侦的混合系数和方差向量，如(29)式所定义，C表示与π^t，∑^t无关的常数。

步骤S5：参见图3，基于步骤S1所输入的视频数据，应用步骤S4的最大后验模型构造视频前景背景分离求解算法

A.对前50帧数据使用PCA算法得到初始的子空间U及v，然后使用如下的MoG算法1初始化各个参数：

B.下采样过程，按1％的比例对第t帧数据x^t进行下采样，得到这里Ω表示下标集，即

Ω＝{k₁，k₂，…，km|1≤k_j≤d，j＝1，2，…，m}

类似地对U^t进行下采样可得到

C.固定U＝U^t-1，使用EM算法更新π^t，∑^t，v^t，迭代(上标s表示迭代次数)格式如下：

E-步：

M-步：

D.迭代终止条件：

E.根据上述过程更新完π^t，∑^t，v^t后，更新U^t，只需对其中部分元素进行微调，具体优化模型如下：

其中

上述模型(30)有如下的显式解：

这里表示的第i行，和的表达式如下：

F.输出前景(参见图4第三列)

步骤S6：在步骤S5获得的前景目标之上，利用监控视频背景连续性特征建立TV范数模型如下：

这里||·||_TV表示TV范数，为步骤S5中所输出的前景，λ设置为(为最大方差)。以上优化问题可转化为：

s.t.F＝Z_i，i＝1，2

其中Z₁，Z₂∈R^m×n，S_i(·)定义如下：

求解的过程使用如下的迭代格式：

其中ρ是一个大于1的正数，这里取1.5。

A.(32)式即求解下面的问题：

问题(35)有如下的最优解：

B.式即求解下面的问题：

问题(36)可分解为以下两个子问题(i＝1，2)分别求解：

等价地有

这里

令v₁，v₂，…，v_n表示Z_i的列向量，t₁，t₂，…，t_n表示T_i的列向量，则问题(37)又可以又可以分解为以下n个子问题单独求解：

而问题(38)可以使用如下的1D TV去噪算法求解：

步骤S7：最终输出FG^t(步骤S6中式(31)的解)，背景BG^t＝x^t-FG^t(参见图4第四列)。