一种基于字典学习残差重建的压缩感知视频重建方法
【技术领域】
[0001] 本发明设及压缩感知和视频重建领域，是一种基于字典学习残差重建的压缩感知 视频重建方法。
【背景技术】
[0002] 压缩感知（CompressedSensing,CS)是近年来提出的一种新颖的信号采样模式， 一经提出便受到国内外学者的广泛关注。传统的奈奎斯特采样定理要求至少W高于信号最 高频率两倍的频率对信号进行采样，才能对信号进行完整重建。CS打破了该一理论，它表明 只要信号在某个正交空间中是稀疏的，就可W使用较低频率采样信号，同时W高概率重构 该信号。CS的主要思想是对稀疏信号进行同步压缩和采样，在确保获得重构原信号所需信 息的前提下，用非自适应线性投影的方式对信号进行采样，即把原信号投影到一个低维的 空间获得观测值，然后根据一定类型的线性或非线性解码机制对测量值进行解码就可高概 率精确重建原始信号。
[0003] 具体地，设有长度为碱勺一维信号xesw在正交空间罕e妙Wf上是稀疏的，即有： X二恥(1) 其中，56及'"^为^在'^上的变换系数，若^中至多有^个非0项，则称5为必-稀疏的， 即X为平上的及-稀疏信号。那么，压缩感知可W分为W下S步进行；第一步，求出变换系 数s=沪X;第二步，设计一个维的感知矩阵尔，对S进行感知测量得到 测量值r 7 =否6-=重乎 (2) W获得信号X的部分信息；第S步，信号重构，即利用范数下的最优化问题求解X的精确值或近似逼近：
【主权项】
1. 一种基于字典学习残差重建的压缩感知视频重建方法，其特征在于： 在编码端对关键帧和非关键帧采用不同采样率进行差值压缩感知编码，在解码端利用 边信息进行迭代的基于残差域KL变换（Karhunen-Loevetransform，KLT)字典学习的多 参考帧的运动估计与运动补偿残差重建，具体步骤如下： 步骤一：在编码端，把视频序列的若干帧划分为一个图像组（GroupofPicture，GOP)，每个GOP的首帧为关键帧，其它所有帧为非关键帧；关键帧和非关键帧采用不同采样 率，不同方法逐帧逐块顺序编码；关键帧采用独立的基于块的压缩感知方法编码，非关键帧 采用基于块的差值编码；具体地： 1) 将每一帧划分为多个不重叠的SxS大小的块，并将每块行先拉伸为一个向量 e ，其中i表示块的序号；对于关键帧，取一个行正交的规范化随机矩阵的前行构 成感知矩阵，直接对每块进行压缩感知编码，即.yf= #*xf，其采样率为il.产/2/ ; 2) 对于非关键帧，采用一个行正交的规范化随机矩阵的前JTMf构成感知矩阵 ，对每块进行差值感知编码；首先将非关键帧减去相邻关键帧，第2至第1/2帧 减去当前GOP的关键帧，第0+1至辨贞减去下一GOP的关键帧，即第肝1帧；然后差值基 于块进行感知编码，形式化表示为= = -4)，其采样率为1严/況；同 时，由于非关键帧采用关键帧进行编码，我们一般对关键帧采用较高的采样率以提高重建 性能，而非关键帧采用较低的采样率以提高压缩率，即AT* <ilfA<<F; 步骤二：在解码端，采用一种字典学习的基于运动估计与运动补偿（ME/MC，motion estimation/motioncompensation)多帧参考的残差重建方法，米用学习的自适应残差域 稀疏基来表示预测残差，逐帧进行视频恢复；自适应残差域稀疏表示基从当前GOP中已重 建块的帧间差值中采用KLT方法生成，残差重建采用迭代方式；具体步骤包括： 1) 在首次迭代中，首先对当前GOP和下一个GOP的关键帧采用固定稀疏基逐块进行独 立重建；即求解mmlhL红# = ，第i块估计值为者=1?，帧图像估计值 为浐=Ts，这里Y是一个固定稀疏基；对于非关键帧，首次迭代中，采用基于固定基的残 差重建方法进行恢复；以当前GOP的关键帧和下一个GOP的关键帧或与之邻近多个已重建 帧加权平均值作为当前帧的预测，首先计算，办** =，+取^- ，其中#为已 解码邻近的关键帧，第2至第^帧中为当前GOP的关键帧，第至辨贞为下一GOP的 关键帧；求解mm = ，得到残差的估计，* =屮办，由此得 到当前非关键帧的首次估计值= + ; 2) 对于当前编码帧，把当前GOP中与之邻近多个已重建帧作为参考帧，构建KLT字典； 首先，计算相邻两个参考帧的差值(残差)，办#=A^1 - 2#2 ;然后，提取所有参考帧差值中 的重叠SxS大小的块作为残差原子，向量化后构成一个残差原子矩阵D，进行KL变换，即 计算残差原子矩阵的相关矩阵后进行奇异值分解（singularvaluedecomposition，SVD)， 得到特征向量向量矩阵[/，将U作为自适应残差域基Ifisr ;具体地，先计算残差原子矩阵
异值分值，及== ￡/ ; 3) 对于当块编码帧第i±夬，把当前GOP中与之邻近多个已重建帧作为参考帧，将所有 参考帧对称扩展IT个像素；以上次迭代中的估计值为当前帧，在所有扩展参考帧中以第i 块为中心的，矩形搜索窗口中进行运动估计，找到与当前块最匹配的块作为运动补偿 块，所有块的运动补偿块构成运动补偿帧; 4) 计算当前帧与运动补偿帧的残差测量值，对于关键帧，由于采用了直接编码，因此其 残差测量值为办= ;对于非关键帧，由于采用差值编码其测量值，解码端得到的 测量值为当前帧与关键帧的差值的测量值，因此其残差测量值为办a= + ; 5) 逐帧逐块的求解压缩感知非线性优化问题，得到残差的估计，对于关键帧，求解 mm||&| 办"二#办、，得到残差的估计，=w縱办，对于非关键帧，求 解mml&l办成== asWs，得到残差的估计必》* =少尬办； 6) 得到本次迭代当前帧解码帧的估计，即，对于关键帧妒=杰* +Xsw，对于非关键帧 KKk =dxA +Xm ； 7) 重复2)-6)，直到迭代条件满足。
2. 权利要求1所述一种基于字典学习残差重建的压缩感知视频重建方法，其特征在 于，所述对非关键帧进行的压缩感知编解码是基于与关键帧的差值(残差）进行的，在编码 非关键中的编码块时，先进行运动估计获得关键帧中与当前编码块最匹配的块，计算两个 块的差值，对差值进行压缩感知编码，即= = - 4);在解码端，非关键帧 的压缩感知解码得到也是残差的估计，即态，需加上当前块的运动补偿块，才能 得到当前块的解码。
3. 根据权利要求1所述一种基于字典学习残差重建的压缩感知视频重建方法，其特 征在于，所述进行残差重建时当前帧与运动补偿帧的残差测量值的获取方式，由于在编 码时对GOP内关键帧和非关键帧采用了不同的编码方式，因此在解码端计算其与运动补 偿帧的残差测量值时采用不同的计算方法，对关键帧有对非关键帧有 办放=y*+妒，#-#威Xsf〇
4. 根据权利要求1 一种基于字典学习残差重建的压缩感知视频重建方法，其特征在 于，所述在获得GOP内所有帧的初始估计之后，采用字典学习的基于运动估计与运动补偿 多帧参考的残差重建方法对所有帧进行迭代重建，具体步骤如下： 1) 对于当前编码帧，把当前GOP中与之邻近多个已重建帧作为参考帧，采用KLT字典 学习方法，为当前帧中的每个不重叠的SxS大小的块构建自适应残差域稀疏基； 2) 以块为单位，在当前帧的所有参考帧的相应搜索窗口中进行运动估计，得到当前帧 的运动补偿帧； 3) 根据已得到的当前帧中每个块的自适应残差域稀疏基，对当前帧的残差测量值进 行重建，得重建残差帧； 4) 将重建残差帧与运动补偿帧求和，得当前帧在本次迭代中的重建估计值。
5.根据权利要求4所述为当前帧中的每个不重叠的JxS大小的块构建自适应残差 域稀疏基，其特征在于，所述的字典学习的原子提取于所有参考帧差值中以块i位置为中 心的JTxfT大小的搜索窗口中重叠的5x5大小的块，所述自适应残差域稀疏基是利用当 前帧的所有参考帧以KLT方法进行字典学习得到的，具体步骤如下： 1) 计算相邻两个参考帧的差值(残差)，<*# =; 2) 对当前帧中的块i，在所有参考帧差值中以块i位置为中心的大小的搜索窗 口中，提取重叠的5x5大小的块作为其字典学习的残差原子； 3) 将残差原子向量化为一个矩阵，进行KL变换，即计算残差原子矩阵的相关矩
(r-5+l)2； 4) 对残差变换方阵对4行奇异值分解SVD，得i? = [/St/1"，邡卩为所得自适应稀疏基
【专利摘要】本发明涉及压缩感知和视频编解码领域，是一种基于字典学习残差重建的压缩感知视频重建方法。该方法先对视频划分图像组（Group of Picture,GOP），每组指定关键帧和非关键帧，关键帧和非关键帧采用不同采样率、不同方法逐帧逐块顺序编码。在解码端，取一个GOP，先采用多参考帧加权平均获得其初始重建；再采取迭代法获得GOP的最终重建。在迭代中先使用多参考帧对当前帧进行运动估计获得其运动补偿图像；接着采用多参考帧残差域字典学习，获得当前帧各个块的残差域自适应基，进行残差重建；最后，根据各帧的运动补偿图像和残差，得到该GOP的最终重建，进而得到重建视频，实现压缩感知视频的高质量重建。该方法可广泛应用于基于压缩感知的视频重建等多个领域。
【IPC分类】H04N19-177, H04N19-573, H04N19-61, H04N19-114
【公开号】CN104822063
【申请号】CN201510180111
【发明人】宋云, 李雪玉, 曾叶, 章登勇, 龙际珍
【申请人】长沙理工大学
【公开日】2015年8月5日
【申请日】2015年4月16日