一种基于非凸拉普拉斯算子的视频前背景分离方法及系统

1.本发明涉及一种基于非凸拉普拉斯算子的视频前背景分离方法及系统，属于多媒体处理技术领域。


背景技术：

2.在科技迅速发展的当今社会，视频成为了人们从外界获取信息的主要方式，所以计算机视觉领域中的视频前背景分离技术正是人们主攻的方向。因视频前背景分离技术可以对视频的前景和背景部分进行有效的分离和提取，使得人们能够进一步的获取视频中有用的信息，从而成为了研究学者们所热衷的研究对象。在视频前背景分离技术方面，以像素为主要处理单位的背景提取算法是较为传统的算法。基于此，研究学者们提出了主成分分析算法、主成分追踪算法、经典的鲁棒主成分分析算法。同时，人们在上述研究的基础上，从基于传统鲁棒主成分分析模型及其主成分追踪算法的角度出发，提出了众多改进算法，其思想均是通过对传统的鲁棒主成分分析算法模型进行函数取代，不断的寻找最优逼近度的函数，从而达到精度更高，复杂度更低的效果。经过大量分析和比较，此类算法模型大概分为两大类，一类是利用凸函数进行替代的改进算法，另一类是利用非凸函数进行替代的改进算法。
3.现有技术存在的问题包括抗噪声能力弱，对传统鲁棒主成分分析方法的稀疏项和低秩项逼近程度不高。


技术实现要素：

4.本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于非凸拉普拉斯算子的视频前背景分离方法及系统。
5.为解决上述技术问题，本发明提供一种基于非凸拉普拉斯算子的视频前背景分离方法，包括：
6.获取视频信息，并将其转为对应的二维矩阵，输入到预先构建的基于非凸拉普拉斯算子的视频前背景分离模型，利用交替方向乘子法求解所述基于非凸拉普拉斯算子的视频前背景分离模型，得到视频的前景和背景；
7.所述基于非凸拉普拉斯算子的视频前背景分离模型的构建，包括：
8.获取鲁棒主成分分析模型；
9.采用非凸的拉普拉斯核范数替代鲁棒主成分分析模型中的秩函数，采用非凸的拉普拉斯范数替代鲁棒主成分分析模型中的l0范数，同时在鲁棒主成分分析模型中加入噪声项得到所述基于非凸拉普拉斯算子的视频前背景分离模型。
10.进一步的，所述基于非凸拉普拉斯算子的视频前背景分离模型为：
[0011][0012]
s.t.m＝l+s+g
[0013]
其中，f(x)非凸拉普拉斯算子，x＝σi(l)或|sj|，γ为非凸拉普拉斯算子的参数，λ为基于非凸拉普拉斯算子的视频前背景分离模型稀疏项部分的参数，η为基于非凸拉普拉斯算子的视频前背景分离模型稀疏项部分的参数，λ＞0，η＞0，σi(l)为低秩矩阵l的第i个奇异值，sj为稀疏矩阵s的第j个元素，g为模型中对应的噪声项，||
·
||f为frobenius范数，m为视频信息对应的二维矩阵。
[0014]
进一步的，所述利用交替方向乘子法求解所述基于非凸拉普拉斯算子的视频前背景分离模型，得到视频的前景和背景，包括：
[0015]
1)根据所述基于非凸拉普拉斯算子的视频前背景分离模型确定对应的增广拉格朗日函数，表示为：
[0016][0017]
其中，μ是惩罚因子，μ＞0，y是拉格朗日乘子，,是矩阵内积；
[0018]
2)对所述对应的增广拉格朗日函数进行求解，步骤如下：
[0019]
21)获取s、g、y和μ的初始值或者前一次循环对应的更新值，固定s、g、y和μ，更新l，得到：
[0020][0021]
式中，上标或下标k表示前一次更新状态，上标或下标k+1表示当前更新状态，k＝1,2,
…
k，k表示满足终止条件的前一次循环次数；
[0022]
采用广义奇异值阈值算子对l
k+1
进行求解得：
[0023][0024]
其中，uk和vk为对矩阵进行奇异值分解的左奇异值矩阵和右奇异值矩阵，diag(
·
)为矩阵对应的对角阵，广义奇异值阈值算子为非凸拉普拉斯算子f(
·
)的邻近算子，为矩阵进行奇异值分解的奇异值；
[0025]
22)获取g、y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
，固定l
k+1
、g、y和μ，更新s，得到:
[0026][0027]
采用广义奇异值阈值算子对s
k+1
进行求解得：
[0028][0029]
22)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
和步骤22)更新得到的s
k+1
，固定l
k+1
、s
k+1
、y和μ，更新g，得到:
[0030][0031]gk+1
的闭式解为：
[0032][0033]
23)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
、步骤22)更新得到的s
k+1
和步骤23)更新得到的g
k+1
，对乘子y进行如下更新：
[0034]yk+1
＝y
k-μk(l
k+1
+s
k+1
+g
k+1-m)
[0035]
24)获取μ的初始值或者前一次循环对应的更新值以及μ
max
，对惩罚因子μ进行如下更新：
[0036]
μ
k+1
＝min(ρμk,μ
max
)
[0037]
其中，ρ＞1为放大因子，μ
max
为μ能够取得的最大值；
[0038]
3)循环步骤21)-24)的过程直到达到终止条件输出视频信息中背景对应的低秩矩阵l和前景对应的稀疏矩阵s。
[0039]
一种基于非凸拉普拉斯算子的视频前背景分离系统，包括：
[0040]
获取模块，用于获取视频信息；
[0041]
处理模块，用于将视频信息输入到预先构建的基于非凸拉普拉斯算子的视频前背景分离模型，利用交替方向乘子法求解所述基于非凸拉普拉斯算子的视频前背景分离模型，得到视频的前景和背景；
[0042]
所述处理模块，包括模型构建单元，用于：
[0043]
获取鲁棒主成分分析模型；采用非凸的拉普拉斯核范数替代鲁棒主成分分析模型
中的秩函数，采用非凸的拉普拉斯范数替代鲁棒主成分分析模型中的l0范数，同时在鲁棒主成分分析模型中加入噪声项得到所述基于非凸拉普拉斯算子的视频前背景分离模型。
[0044]
进一步的，所述基于非凸拉普拉斯算子的视频前背景分离模型为：
[0045][0046]
s.t.m＝l+s+g
[0047]
其中，f(x)非凸拉普拉斯算子，x＝σi(l)或|sj|，γ为非凸拉普拉斯算子的参数，λ为基于非凸拉普拉斯算子的视频前背景分离模型稀疏项部分的参数，η为基于非凸拉普拉斯算子的视频前背景分离模型稀疏项部分的参数，λ＞0，η＞0，σi(l)为低秩矩阵l的第i个奇异值，sj为稀疏矩阵s的第j个元素，g为模型中对应的噪声项，||
·
||f为frobenius范数，m为视频信息对应的二维矩阵。
[0048]
进一步的，所述处理模块包括求解单元，用于
[0049]
利用交替方向乘子法求解所述基于非凸拉普拉斯算子的视频前背景分离模型，得到视频的前景和背景，包括：
[0050]
1)根据所述基于非凸拉普拉斯算子的视频前背景分离模型确定对应的增广拉格朗日函数，表示为：
[0051][0052]
其中，μ是惩罚因子，μ＞0，y是拉格朗日乘子，《,》是矩阵内积；
[0053]
2)对所述对应的增广拉格朗日函数进行求解，步骤如下：
[0054]
21)获取s、g、y和μ的初始值或者前一次循环对应的更新值，固定s、g、y和μ，更新l，得到：
[0055][0056]
式中，上标或下标k表示前一次更新状态，上标或下标k+1表示当前更新状态，k＝1,2,
…
k，k表示满足终止条件的前一次循环次数；
[0057]
采用广义奇异值阈值算子对l
k+1
进行求解得：
[0058][0059]
其中，uk和vk为对矩阵进行奇异值分解的左奇异值矩阵和右奇异值矩
阵，diag(
·
)为矩阵对应的对角阵，广义奇异值阈值算子为非凸拉普拉斯算子f(
·
)的邻近算子，为矩阵进行奇异值分解的奇异值；
[0060]
22)获取g、y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
，固定l
k+1
、g、y和μ，更新s，得到:
[0061][0062]
采用广义奇异值阈值算子对s
k+1
进行求解得：
[0063][0064]
22)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
和步骤22)更新得到的s
k+1
，固定l
k+1
、s
k+1
、y和μ，更新g，得到:
[0065][0066]gk+1
的闭式解为：
[0067][0068]
23)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
、步骤22)更新得到的s
k+1
和步骤23)更新得到的g
k+1
，对乘子y进行如下更新：
[0069]yk+1
＝y
k-μk(l
k+1
+s
k+1
+g
k+1-m)
[0070]
24)获取μ的初始值或者前一次循环对应的更新值以及μ
max
，对惩罚因子μ进行如下更新：
[0071]
μ
k+1
＝min(ρμk,μ
max
)
[0072]
其中，ρ＞1为放大因子，μ
max
为μ能够取得的最大值；
[0073]
3)循环步骤21)-24)过程直到达到终止条件输出视频信息中背景对应的低秩矩阵l和前景对应的稀疏矩阵s。
[0074]
一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个
程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
[0075]
一种计算设备，包括，
[0076]
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
[0077]
本发明所达到的有益效果：
[0078]
本发明引入非凸拉普拉斯算法，采用非凸的拉普拉斯核范数替代传统鲁棒主成分分析中的秩函数，采用非凸的拉普拉斯范数替代传统鲁棒主成分分析中的l0范数，同时模型中引入噪声项以增强模型的鲁棒性，并将该方法应用到视频的前背景分离中，具有抗噪声强，对传统鲁棒主成分分析方法的稀疏项和低秩项逼近程度高等优点。
附图说明
[0079]
图1是本发明的结构框图；
[0080]
图2采用不同算法提取的视频前背景分离视觉效果对比图；
[0081]
图3采用不同算法提取的视频前背景分离的量化的f-measure值对比图。
具体实施方式
[0082]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0083]
如图1所示，本发明提供一种基于非凸拉普拉斯算子的视频前背景分离方法，包括：
[0084]
构造基于非凸拉普拉斯算子的视频前背景分离模型，该模型以传统的鲁棒主成分分析模型为出发点，引入非凸拉普拉斯算法，采用非凸的拉普拉斯核范数替代传统鲁棒主成分分析中的秩函数，采用非凸的拉普拉斯范数替代传统鲁棒主成分分析中的l0范数，同时模型中引入噪声项以增强模型的鲁棒性；
[0085]
将视频输入到基于非凸拉普拉斯算子的视频前背景分离模型中，采用交替方向乘子法求解基于非凸拉普拉斯算子的视频前背景分离模型，分离出视频的前景和背景。并从视觉角度和量化角度两个方面验证本发明提出的一种基于非凸拉普拉斯算子的视频前背景分离系统优势。
[0086]
其具体如下所示：
[0087]
首先，传统的鲁棒主成分分析模型如下所示：
[0088][0089]
s.t.m＝l+s
[0090]
其中，rank(l)是矩阵l∈rm×n的秩，||s||0是矩阵s∈rm×n的l0范数(即矩阵s中非零元素的个数)，τ＞0是折中参数。
[0091]
所述基于非凸拉普拉斯算子的视频前背景分离模型以传统的鲁棒主成分分析模型为出发点，引入非凸拉普拉斯算法，采用非凸的拉普拉斯核范数替代传统鲁棒主成分分析中的秩函数，采用非凸的拉普拉斯范数替代传统鲁棒主成分分析中的l0范数，同时模型
中引入噪声项以增强模型的鲁棒性。其模型如下所示：
[0092][0093]
s.t.m＝l+s+g
[0094]
其中，所述非凸拉普拉斯算子为γ为参数，σi(l)为低秩矩阵l的第i个奇异值，sj为稀疏矩阵s的第j个元素，λ＞0,η＞0均为参数，g为模型中对应的噪声项，||
·
||f为frobenius范数。
[0095]
采用交替方向乘子法求解基于非凸拉普拉斯算子的视频前背景分离模型，其求解步骤如下所示：
[0096]
1)根据所述基于非凸拉普拉斯算子的视频前背景分离模型确定对应的增广拉格朗日函数，表示为：
[0097][0098]
其中，μ是惩罚因子，μ＞0，y是拉格朗日乘子，《,》是矩阵内积；
[0099]
2)对所述对应的增广拉格朗日函数进行求解，步骤如下：
[0100]
21)获取s、g、y和μ的初始值或者前一次循环对应的更新值，固定s、g、y和μ，更新l，得到：
[0101][0102]
式中，上标或下标k表示前一次更新状态，上标或下标k+1表示当前更新状态，k＝1,2,
…
k，k表示满足终止条件的前一次循环次数；
[0103]
采用广义奇异值阈值算子对l
k+1
进行求解得：
[0104][0105]
其中，uk和vk为对矩阵进行奇异值分解的左奇异值矩阵和右奇异值矩阵，diag(
·
)为矩阵对应的对角阵，广义奇异值阈值算子为非凸拉普拉斯算子f(
·
)的邻近算子，为矩阵进行奇异值分解的奇异值；
[0106]
22)获取g、y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
，固定l
k+1
、g、y和μ，更新s，得到:
[0107][0108]
采用广义奇异值阈值算子对s
k+1
进行求解得：
[0109][0110]
22)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
和步骤22)更新得到的s
k+1
，固定l
k+1
、s
k+1
、y和μ，更新g，得到:
[0111][0112]gk+1
的闭式解为：
[0113][0114]
23)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
、步骤22)更新得到的s
k+1
和步骤23)更新得到的g
k+1
，对乘子y进行如下更新：
[0115]yk+1
＝y
k-μk(l
k+1
+s
k+1
+g
k+1-m)
[0116]
24)获取μ的初始值或者前一次循环对应的更新值以及μ
max
，对惩罚因子μ进行如下更新：
[0117]
μ
k+1
＝min(ρμk,μ
max
)
[0118]
其中，ρ＞1为放大因子，μ
max
为μ能够取得的最大值；
[0119]
循环步骤21)-24)的过程直到达到终止条件输出视频信息中背景对应的低秩矩阵l和前景对应的稀疏矩阵s。
[0120]
图2为采用不同算法提取的视频前背景分离视觉效果对比图，其中，lrpca是本发明提出的一种基于非凸拉普拉斯算子的视频前背景分离方法，pcp是主成分追踪方法、tnn是截断核范数方法、godec是去分解方法、lsd是低秩稀疏诱导范数、mamr是运动信息辅助方法、rmamr是鲁棒的运动信息辅助方法、nnwnn是非凸非光滑的加权核范数、nonlrsd是非凸低秩稀疏分解方法。图3为采用不同算法提取的视频前背景分离的量化的f-measure值对比
图。上述两幅图为将视频输入到基于非凸拉普拉斯算子的视频前背景分离模型中，分离出视频的前景和背景的效果比对图，从图2和图3可以从视觉角度和量化角度两个方面验证本发明提出的基于非凸拉普拉斯算子的视频前背景分离方法的优势。
[0121]
相应的本发明还提供一种基于非凸拉普拉斯算子的视频前背景分离系统，包括：
[0122]
获取模块，用于获取视频信息；
[0123]
处理模块，用于将视频信息输入到预先构建的基于非凸拉普拉斯算子的视频前背景分离模型，利用交替方向乘子法求解所述基于非凸拉普拉斯算子的视频前背景分离模型，得到视频的前景和背景；
[0124]
所述处理模块，包括模型构建单元，用于：
[0125]
获取鲁棒主成分分析模型；采用非凸的拉普拉斯核范数替代鲁棒主成分分析模型中的秩函数，采用非凸的拉普拉斯范数替代鲁棒主成分分析模型中的l0范数，同时在鲁棒主成分分析模型中加入噪声项得到所述基于非凸拉普拉斯算子的视频前背景分离模型。
[0126]
所述基于非凸拉普拉斯算子的视频前背景分离模型为：
[0127][0128]
s.t.m＝l+s+g
[0129]
其中，f(x)非凸拉普拉斯算子，x＝σi(l)或|sj|，γ为非凸拉普拉斯算子的参数，λ为基于非凸拉普拉斯算子的视频前背景分离模型稀疏项部分的参数，η为基于非凸拉普拉斯算子的视频前背景分离模型稀疏项部分的参数，λ＞0，η＞0，σi(l)为低秩矩阵l的第i个奇异值，sj为稀疏矩阵s的第j个元素，g为模型中对应的噪声项，||
·
||f为frobenius范数，m为视频信息对应的二维矩阵。
[0130]
所述处理模块包括求解单元，用于
[0131]
利用交替方向乘子法求解所述基于非凸拉普拉斯算子的视频前背景分离模型，得到视频的前景和背景，包括：
[0132]
1)根据所述基于非凸拉普拉斯算子的视频前背景分离模型确定对应的增广拉格朗日函数，表示为：
[0133][0134]
其中，μ是惩罚因子，μ＞0，y是拉格朗日乘子，《,》是矩阵内积；
[0135]
2)对所述对应的增广拉格朗日函数进行求解，步骤如下：
[0136]
21)获取s、g、y和μ的初始值或者前一次循环对应的更新值，固定s、g、y和μ，更新l，得到：
[0137]
[0138]
式中，上标或下标k表示前一次更新状态，上标或下标k+1表示当前更新状态，k＝1,2,
…
k，k表示满足终止条件的前一次循环次数；
[0139]
采用广义奇异值阈值算子对l
k+1
进行求解得：
[0140][0141]
其中，uk和vk为对矩阵进行奇异值分解的左奇异值矩阵和右奇异值矩阵，diag(
·
)为矩阵对应的对角阵，广义奇异值阈值算子为非凸拉普拉斯算子f(
·
)的邻近算子，为矩阵进行奇异值分解的奇异值；
[0142]
22)获取g、y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
，固定l
k+1
、g、y和μ，更新s，得到:
[0143][0144]
采用广义奇异值阈值算子对s
k+1
进行求解得：
[0145][0146]
22)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的l
k+1
和步骤22)更新得到的s
k+1
，固定l
k+1
、s
k+1
、y和μ，更新g，得到:
[0147][0148]gk+1
的闭式解为：
[0149][0150]
23)获取y和μ的初始值或者前一次循环对应的更新值以及步骤21)更新得到的lk+1
、步骤22)更新得到的s
k+1
和步骤23)更新得到的g
k+1
，对乘子y进行如下更新：
[0151]yk+1
＝y
k-μk(l
k+1
+s
k+1
+g
k+1-m)
[0152]
24)获取μ的初始值或者前一次循环对应的更新值以及μ
max
，对惩罚因子μ进行如下更新：
[0153]
μ
k+1
＝min(ρμk,μ
max
)
[0154]
其中，ρ＞1为放大因子，μ
max
为μ能够取得的最大值；
[0155]
3)循环步骤21)-24)的过程直到达到终止条件输出视频信息中背景对应的低秩矩阵l和前景对应的稀疏矩阵s。
[0156]
相应的本发明还提供一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
[0157]
相应的本发明还提供一种计算设备，其特征在于，包括，
[0158]
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
[0159]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0160]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0161]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0162]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0163]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。