一种用于压缩感知后视频数据流的前后背景恢复方法与流程

文档序号:16065336发布日期:2018-11-24 12:36阅读:461来源:国知局

本发明属于视频信息处理以及图像处理技术领域,具体的说是一种用于压缩感知后视频数据流的前后背景恢复方法。

背景技术

工业监控摄像头,移动设备的摄像头,运动相机等设备每天都在产生大量的图像和视频数据。出于设备成本、移动性要求、尺寸限制、电池容量等方面的考虑,这些图像以及视频传感设备在获取图像、视频数据后需要对数据进行压缩存储或传输。这种先感知在压缩数据的处理方式需要在感知和压缩数据的两个步骤中均消耗能量,同时占用更多的存储空间。压缩感知技术的提出解决了这个问题。压缩感知利用了测量信号的稀疏结构性质,达到了信息的感知和压缩两个步骤的结合。通过压缩感知技术获取的信号需要通过现有的一些压缩感知算法进行解压缩从而恢复出原有信号。

由于存在以下几个问题,压缩感知技术的提出并没有能够大规模的进行应用:1.实际测量的信号大部分是非稀疏的,2.测量信号容易被突发噪声干扰,3.压缩感知传感器硬件的普及。最后一个问题的解决需要硬件行业的发展,前两个问题则可以通过更好的算法和技术方法来解决。

除了压缩感知技术提出之初引入的稀疏性概念,低秩性质也是一种很重要的数据性质。自然界中许多信号都可以用低秩模型来建模,比如视频流。由于每一帧视频图像之间存在极大的相关性,视频流可以建模成低秩的矩阵数据。由于视频帧之间的区别,导致了前景和背景的区别。前景物体的变化使得整个数据的低秩建模不准确。由于前景的变化一般比较集中且相对于背景数据量少,因此可以建模成稀疏的信号。基于这样的想法,健壮性主成分分析被提出并被应用于低秩和稀疏信号的分离。

由于视频数据的每一帧图像之间具有显著的相关性以及差异性,视频流数据可以被建模成地址矩阵与稀疏矩阵的叠加数据。基于这种方法,对无压缩的视频流数据,基于健壮性主成分分析的方法来有效的恢复视频的前景与背景。但对于基于压缩感知技术的传感器,由于压缩测量的原因,这种方法失去了其有效性。



技术实现要素:

本发明的目的,就是针对上述问题,提供一种用于解决压缩感知后得到的视频数据流的前景和背景的分离问题的方法。

本发明所采用的技术方案为:

一种用于压缩感知后视频数据流的前后背景恢复方法,其特征在于,包括以下步骤:

s1、初始化:

对未压缩的视频流数据,将其建模成低秩和稀疏矩阵的混合,即:

x=l+s

其中,l代表低秩矩阵,即视频流中的背景,s表示稀疏矩阵,即每一帧变化的前景图像,x则是完整的视频流数据;

在压缩操作后,传感器观测到的数据为y=a(x)+n,其中a是压缩操作,n是测量噪声,服从均值为0,方差为σ2的高斯分布;

基于信息传播方法提出了前后背景恢复方法

s2、采用线性估计器对低秩矩阵和稀疏矩阵同时进行估计,分别获得两个矩阵的估计值以及估计误差,具体为:

获得稀疏矩阵的估计值为:

其中,是线性估计器对s的估计,m是操作符a操作后输出的维度,n是输入矩阵的行列数之积,线性估计器对l的估计;

稀疏矩阵的估计误差为:

其中,是输入a的s的估计误差,是输入a的l的估计误差;

获得低秩矩阵的估计值为:

低秩矩阵的估计误差为:

其中,

s3、根据步骤s2的结果,采用稀疏矩阵估计器,进一步获得稀疏矩阵的估计值(可以选择不同的稀疏矩阵估计器,比如软阈值去噪器,sure-let估计器等):

其中cb和αb是线性组合系数,用来使得输入与输出估计误差的相关性为0,同时最小化模块的输出估计误差:

其中,<a,b>=tr(atb),ds是稀疏矩阵估计器的对s的估计操作;

采用低秩矩阵估计器,进一步获得低秩矩阵的估计值(可以选择的低秩矩阵估计器包括,最佳秩r估计器,软阈值低秩矩阵估计器,硬阈值估计器等):

其中,为低秩矩阵估计器对c的估计值,dl是低秩矩阵估计器对l的估计操作;

s4、将步骤s3的结果反馈到步骤s2中,进行迭代估计直至输出收敛,分别获得恢复的前后背景。

步骤s3中输出估计误差可以通过不同的估计方法进行估计,具体的估计方法可以根据使用场景不同而异。同时为了保障方法的健壮性,可以对步骤s2中涉及的估计量进行damping,即减慢其变化速度,从而使得整个方法更加健壮可靠

本发明的有益效果为,解决了压缩感知后得到的视频数据流的前景和背景的分离问题。

附图说明

图1为本发明的前后背景分离方法的框图;

图2为从一段视频中抽取的两帧图像,图片像素尺寸为240px×320px;

图3为对应于图2中的两帧图像,利用本发明的方法提取出的视频背景;

图4为对应于图2中的两帧图像,利用本发明的方法提取出的视频前景。

具体实施方式

下面结合附图和实施例,进一步对本发明的方法进行说明。

实施例

使用一段监控视频为例,该视频是来自一段实验室监控录像。该视频包括500帧图像,每帧图像大小为240×320像素。首先对整个视频进行压缩,压缩利用的是随机选取的离散余弦变换操作+随机正反相操作。视频的压缩率为15%。得到的压缩后的数据利用本发明所述的方法进行恢复。

首先初始化前后背景的矩阵表示为相应尺寸的全0矩阵,同时将估计误差初始化为整个迭代恢复流程参照图1进行,估计的矩阵由模块a传递到模块b和模块c,再从模块b和模块c输入传递到模块a,整个过程重复至估计的矩阵收敛为止。

我们在b模块中使用了sure-let估计器来估计稀疏矩阵,在模块c中使用了最佳秩r估计器来估计低秩矩阵。最后的恢复效果如图3及图4所示。图3给出了恢复出的视频背景图像,图4给出了对应的前景图像,可以看出的是,我们的方法恢复出的前后背景图像都很清晰,能够高效的甄别出移动的前景物体。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1