专利名称：基于分布式视频压缩感知系统非关键帧的重构方法
技术领域：
本发明属于通信技术领域，进一步涉及一种视频编码技术领域中基于分布式视频压缩感知系统非关键帧的重构方法。本发明采用了信号的稀疏表示和信号的稀疏重构方法提高了解码端非关键帧的重构质量，可用于分布式视频压缩感知系统和终端编码设备简单的视频通信系统。
背景技术：
在分布式视频压缩感知系统中，将输入视频序列分为关键帧和非关键帧，两者在编码端进行独立编码，解码端联合解码。首先把输入序列分为关键帧和非关键帧，其中关键帧采用以帧为单位的压缩感知采样，得到关键帧的采样值，然后将该采样值直接传输到解码端；而对于非关键帧，先把非关键帧分成若干个不相重叠的图像块，并以图像块为单位的进行压缩感知采样，最后将一帧中所有图像块的采样值一并传输到解码端。解码时，先获得关键帧的采样值，使用离散小波变换(DWT)基作为稀疏基，采用优化算法进行整帧重构；而对于非关键帧，先利用解码出的相邻两帧关键帧，通过运动补偿内插产生边信息，然后借助相邻两关键帧和边信息进行字典训练，用训练得到的稀疏字典得到图像块的稀疏系数，最后恢复出非关键帧的每一个图像块。一般将分布式视频压缩感知系统分为非关键帧的采样模块，关键帧的采样模块， 关键帧的重构模块，边信息生成模块和非关键帧重构模块五个部分。非关键帧的重构模块是分布式视频压缩感知应用的关键，目前采用固定正交基做字典或利用像素域的帧间相关性使用边信息帧和重构的关键帧训练出一个稀疏基做字典，最后使用压缩感知的方式进行稀疏重构，得到重构的非关键帧图像。北京邮电大学申请的专利“基于压缩感知的分布式信源编码的方法”(申请号 200910242622. 4，公布号101742313)公开的编码方法与分布式视频压缩感知的方法类似，即利用压缩感知技术的优点和视频图像的稀疏特性，将其结合到分布式信源编码的实现过程中，即在分布式信源编码过程的相应操作步骤中，利用压缩感知技术处理视频图像数据和执行对应的恢复处理用压缩感知操作和压缩感知的稀疏重构分别代替传统信源编码中的数据采样与离散余弦变换操作和离散余弦逆变换以便利用很少的测量数据重构视频图像源。该方法存在的不足是，因为其所采用的稀疏重构方法，采用固定正交基做字典， 通常情况下自然信号在这种字典下是稀疏的，但这种字典的构造过程独立于原始信号，重构出的稀疏系数的并不是最佳的稀疏，导致重构的非关键帧图像与原始的非关键帧图像偏
1 O西安电子科技大学拥有的专利“利用稀疏表示与字典学习进行图像分割的方法”(申请号:201110059196. 8，公布号=102096819)公开了一种利用稀疏表示与字典学习进行图像分割的方法，它采用了与压缩感知类似的稀疏重构算法，主要解决在不需要样本标签的情况下图像分割结果不稳定的问题。其基本思想是先利用图像的灰度共生特征和小波特征进行K均值聚类得到K类特征点，用K-SVD方法得到K类特征点所对应的K个字典，然后利用优化算法得到所有特征在K个字典上的稀疏系数，最后对所有特征进行重构，对比重构误差的大小，将特征对应的点划分到字典误差最小的类别中。该方法存在的不足在于其所使用的重构方法，将更新字典过程独立于稀疏重构过程，字典的更新没有到考虑稀疏重构的要求，这样稀疏重构过程得到的稀疏系数不一定具有足够的稀疏性，导致图像的
重构质量不高。
发明内容
本发明的目的在于克服上述已有技术的不足，提出了一种基于分布式视频压缩感知系统非关键帧的重构方法。本发明主要是利用视频帧的帧间相关性和相关噪声模型构造出稀疏字典的最大似然函数，利用该似然函数交替进行稀疏重构和字典更新，得到视频帧最佳稀疏表示的冗余字典以及重构图像在该字典下的稀疏系数。本发明在构造最大似然函数时，添加了原始非关键帧的信息，保证稀疏系数足够的稀疏，提高了重构的质量。实现本发明目的的基本思路首先，从生成边信息帧模块获取边信息帧用于构造初始字典；然后，结合编码端非关键帧测量值和测量矩阵，进行基于最大似然函数的稀疏重构和字典更新的循环；最后，当满足稀疏性和误差判断准则时停止循环，得到重构的非关键帧图像块，实现了对非关键帧的重构。为实现本发明目的具体步骤如下(1)采样压缩采用基于块的压缩测量方法对拟采样的非关键帧采样，得到非关键帧的采样值矩阵；(2)生成边信息帧采用帧间内插法，将非关键帧相邻两个重构的关键帧生成边信息帧；(3)构造字典3a)将边信息帧分成与拟重构方形图像块大小相同、互不重叠的子块；3b)在边信息帧中，以拟重构方形图像块对应的子块为中心向四周扩大K排像素， 形成一个扩大块，提取扩大块中与子块大小相同、有重叠的所有方形图像块；3c)将提取的方形图像块分别用列向量表示；3d)将所有列向量作为字典矩阵的列向量，得到拟重构方形图像块的初始字典矩阵；(4)采用下式求解稀疏系数X* = arg minx {Ε (D*，χ)}其中，χ*为稀疏系数向量；arg minx{}为使大括号中目标函数最小化的χ取值；E(D*，x)为能量函数；D*为当前字典矩阵；(5)重构图像块将字典矩阵与稀疏系数向量的乘积向量转变为方形图像块，得到重构的方形图像块；(6)计算方差6a)将本次重构的方形图像块与上次重构的方形图像块对应像素相减，获得差值矩阵；若第一次重构，则重构的方形图像块与边信息帧中拟重构方形图像块对应子块的对应像素相减，获得差值矩阵； 6b)差值矩阵中每个元素减去矩阵中所有元素的平均值，获得一个矩阵，对获得矩阵中所有元素的平方求均值，得到重构方差；
权利要求
1. 一种基于分布式视频压缩感知系统非关键帧的重构方法，包括以下步骤(1)采样压缩采用基于块的压缩测量方法对拟采样的非关键帧采样，得到非关键帧的采样值矩阵；(2)生成边信息帧采用帧间内插法，将非关键帧相邻两个重构的关键帧生成边信息帧；(3)构造字典3a)将边信息帧分成与拟重构方形图像块大小相同、互不重叠的子块； 3b)在边信息帧中，以拟重构方形图像块对应的子块为中心向四周扩大K排像素，形成一个扩大块，提取扩大块中与子块大小相同、有重叠的所有方形图像块； 3c)将提取的方形图像块分别用列向量表示；3d)将所有列向量作为字典矩阵的列向量，得到拟重构方形图像块的初始字典矩阵；(4)采用下式求解稀疏系数 χ* = arg minx{E(D*，χ)} 其中，X*为稀疏系数向量；arg minx{}为使大括号中目标函数最小化的x取值； E(D*，x)为能量函数； D*为当前字典矩阵；(5)重构图像块将字典矩阵与稀疏系数向量的乘积向量转变为方形图像块，得到重构的方形图像块；(6)计算方差6a)将本次重构的方形图像块与上次重构的方形图像块对应像素相减，获得差值矩阵； 若第一次重构，则重构的方形图像块与边信息帧中拟重构方形图像块对应子块的对应像素相减，获得差值矩阵；6b)差值矩阵中每个元素减去矩阵中所有元素的平均值，获得一个矩阵，对获得矩阵中所有元素的平方求均值，得到重构方差；(7)判断方差是否小于阈值若重构方差小于误差阈值，则执行步骤(9)；否则执行步骤(8)；(8)更新字典8a)采用下式计算能量函数的梯度矩阵
2.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于步骤(1)所述基于块的压缩测量方法的步骤如下第1步，将拟采样的非关键帧分成大小相同、互不重叠的方形图像块； 第2步，分别用列向量表示各个方形图像块；第3步，将采样传感器自带的测量矩阵与每一个方形图像块的列向量分别相乘，得到各个方形图像块的测量值向量；第4步，按方形图像块在非关键帧中从上到下、从左到右的依次顺序，将各个测量值向量分别作为非关键帧采样值矩阵的一个列向量，得到了非关键帧的采样值矩阵。
3.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于步骤( 所述的帧间内插法是对相邻的两个重构关键帧进行前向运动估计、双向运动估计和运动平滑获得运动域信息，将运动域信息通过双向运动补偿内插生成边信息帧。
4.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于步骤(3)所述的K排像素，K的取值范围为4 64。
5.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于步骤(7)所述的误差阈值，依据期望得到的重构质量设定，误差阈值的范围为100 400。
6.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于步骤(4)和步骤(8)所述的能量函数与关键帧采样率大小有关当关键帧采样率大于0. 3时
全文摘要
本发明公开了一种视频编码技术领域基于分布式视频压缩感知系统非关键帧的重构方法，主要解决分布式视频压缩感知系统由于降低采样率而造成的重构质量差的问题。其步骤为(1)采样压缩；(2)生成边信息帧；(3)构造字典；(4)求稀疏系数；(5)重构图像块；(6)计算方差；(7)判断方差是否小于阈值；(8)更新字典；(9)判断所有块是否完成重构；(10)输出非关键帧。本发明利用视频帧间相关性和相关噪声模型构造更新字典的最大似然函数，通过字典更新和重构，提高了重构图像的质量，使得重构的非关键帧图像更接近原始非关键帧图像。
文档编号H04N7/26GK102427527SQ20111028987
公开日2012年4月25日 申请日期2011年9月27日 优先权日2011年9月27日
发明者刘晶, 刘海啸, 姜平, 宋彬 申请人:西安电子科技大学