专利名称：利用3d字典消除3d播放系统中块效应的方法
利用3D字典消除3D播放系统中块效应的方法技术领域
本发明属于图像处理领域，具体地说是一种利用3D字典消除块效应的方法，可用于消除基于深度图像渲染DIBR的3D播放系统中经过块离散余弦变换BDCT压缩后的3D图像中的块效应。
背景技术：
根据多媒体处理技术的最近进展，3D电视被期望成为一种新的播放方式，它可以为观众提供一种更自然、栩栩如生的家庭娱乐体验。为了实现3D电视中逼真的3D服务，基于深度图像渲染DIBR是一种必要技术。在先进三维电视系统技术ATTEST项目中DIBR技术第一次被提出，它是生成真实场景中虚拟左右视图的过程，它可以从参考图序列和对应的深度图序列中提供3D效果。DIBR中的参考图和深度图统称3D图像。由于深度信息可以通过额外的641ApS带宽的数据通道被有效的压缩和传输，DIBR作为一种用于3D电视系统的有前途的技术获得了很多关注。
块离散余弦变换BDCT广泛用于图像和视频压缩，已经被大多数图像和视频压缩标准采用，包括联合图像专家组JPEG、动态图像专家组MPEG、H. ^X、高级视频编码AVC等。 在基于BDCT的压缩编码中，首先将图像划分为许多8*8大小不重叠的图像块，对每个块进行离散余弦变换，得到离散余弦系数，然后对其进行量化和可变长度编码。在量化的过程中会令数据损失，从而导致压缩后的图像产生失真，即编码效应，包括块效应和振铃效应等。 H. 264/AVC等基于BDCT的编码标准同样用于3D电视中，经过压缩以后DIBR中的图像质量和3D效果明显下降，因此提高图像质量和3D效果就变得很重要。
传统的用于块效应消除的方法可分为两类，基于图像增强的方法和基于图像恢复的方法。基于图像增强的方法主要在空域或变换域中使用一些滤波器来减少块效应，研究者把块效应看作人工高频分量，提出了许多滤波技术，包括低通滤波，自适应滤波和循环滤波等，缺点是峰值信噪比提高不多，视觉效果一般。基于图像恢复的方法认为压缩过程是一个失真过程，为了从失真图像中恢复原始图像，图像恢复技术例如凸集投影POCS和最大后验概率MAP估计等被使用。在基于POCS的方法中，图像先验被表示为凸集，通过迭代过程来减少块效应，这种方法能够很好的减少块效应，原因是在块边界处强加了平滑约束，缺点是计算复杂度高，运算时间长。基于MAP的方法能够有效的减少块效应，但是计算复杂度高。发明内容
本发明的目的在于针对上述技术的不足，提出一种利用3D字典消除3D播放系统中块效应的方法，以提升块效应消除后的3D图像视觉效果，得到更高或相似的峰值信噪比和结构相似度，并减少计算复杂度。
实现上述目的的技术原理是利用KSVD算法训练一个3D通用字典，结合批处理正交匹配追踪Batch-OMP算法去除BDCT压缩3D图像中的块效应，其具体步骤包括如下
1)在一个无噪声的自然图像集中提取1^个8*8大小的图像块，50000 < H1< 150000，利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*512的通用参考字典^ ；在一个无噪声的深度图像集中提取n2个8*8大小的图像块，50000 <n2 < 150000, 利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*1观的通用深度字典Dd ；利用该通用参考字典和深度字典构造3D过完备字典D3d = [Dr, Dd]，其中KSVD指k-singular value decomposition，它是一种迭代训练过完备字典的方法；
2)采用基于块离散余弦变换BDCT的压缩编码标准中的JPEG标准对原始3D图像进行压缩，即根据JPEG图像压缩编码标准中的品质因数Q对原始3D图像中的参考图像Iq 和对应的深度图像Dci分别进行压缩，得到参考压缩图像I’和深度压缩图像D’ ；
3)找出参考压缩图像I’中所有8*8大小不重叠的图像块的边界，计算这些边界两边像素的差值CH，i = 1，2，3...，将这些差值的绝对值的一半看作噪声数据t = 0. 5*abs (Cri), i = 1，2，3...，计算所有Nh >= 2的噪声数据的标准差σ工；找出深度压缩图像D’中所有8*8大小不重叠的图像块的边界，计算这些边界两边像素的差值Cdi，i = 1， 2,3...,将这些差值的绝对值的一半看作噪声数据Ndi = 0. 5*abs (Cdi)，i = 1，2，3...，计算所有^li > = 2的噪声数据的标准差σ D ；
4)根据品质因数Q和标准差σ工计算参考压缩图像I’的误差阈值 T1 *U5^F(Q)；根据品质因数Q和标准差。D计算深度压缩图像D’的误差阈值 Td =V8*8*aD*1.15*^(0,
其中F(Q)表示块效应消除强度，由三次多项式拟合方法确定，其表达式为F(Q)= -0. 0001 X Q3+0. 0073 X Q2-O. 1710 X Q+2. 1580，Q 彡 30 ；
5)消除压缩图像中的块效应，获取块效应消除后的稀疏系数表示矩阵
5a)在参考压缩图像I’中按行列像素间隔[1，1]选取8*8大小的图像块，将这些图像块拉成列向量并构造为图像块矩阵&，利用3D字典D3d中的参考字典比和误差阈值T1 对所述图像块矩阵&中的每一列，按公式儿s.t. _辟U2 <= 7}去除块效应，得到稀疏系数表示矩阵&，其中)(Ik是&中的第k个8*8块的列向量表示形式，Θ工是& 的稀疏系数表示矩阵，θ ^t是Q1的第k列；
5b)在深度压缩图像D’中按行列像素间隔[1，1]选取8*8大小的图像块，将这些图像块拉成列向量并构造为图像块矩阵XD，利用3D字典D3d中的深度字典Dd和误差阈值Td 对所述图像块矩阵Α中的每一列，按公式ιηιι^ Θ^ s.t.去除块效应，得到稀疏系数表示矩阵，其中)(Dk是\中的第k个8*8块的列向量表示形式，ΘD是)(D 的稀疏系数表示矩阵，θ皿是ΘΒ的第k列；
6)利用块效应消除后的稀疏系数表示矩阵&和对应的参考字典比，得到块效应消除后的图像块矩阵克=/^*‘，将中的图像块放回参考图像中的原来位置，对图像块的重叠部分进行平均，得到块效应消除后的参考图像I” ；利用块效应消除后的稀疏系数表示矩阵‘和对应的深度字典Dd得到块效应消除后的图像块矩阵=Dd *Θο，将h中的图像块放回深度图像中的原来位置，对图像块的重叠部分进行平均，得到块效应消除后的深度图像D”。
本发明与现有技术相比具有如下优点
1.本发明由于利用KSVD算法和批处理正交匹配追踪算法训练一个3D通用字典， 并且设计了一个合理的自动计算用于稀疏表示的误差阈值的方法，利用3D通用字典和误差阈值将基于阈值稀疏表示原始信号的思想用于去除经BDCT压缩后的3D图像中存在的块效应，因而与现有技术相比能得到更高或相似的峰值信噪比和结构相似度，块效应消除后的3D图像视觉效果很好，计算复杂度低；
2.本发明中由于训练得到的3D字典包含自然图像和深度图像的大部分特征，故可用于很多BDCT压缩后的3D图像块效应消除过程中。
图1是现有的基于DIBR的3D播放系统框图2是本发明的流程图3是本发明训练得到的3D通用字典D3d的示意图4是本发明测试用的五对3D图像；
图5是在不同Q值的JPEG压缩下，用本发明对3D图像‘Ballet，，'Interview'进行块效应消除的仿真结果图。
具体实施方式
参照图1，现有的基于DIBR的3D播放系统包括发射和接收两部分，在发射端对深度图数据流Dtl进行深度预处理得到D1，利用H. 264/AVC等基于BDCT的编码器对深度图数据流D1和参考图数据流Itl进行编码，将编码数据送入传输通道，经传输通道到达接收端，利用相应的解码器对压缩数据进行解码，得到参考压缩图像I’和深度压缩图像D’，对参考压缩图像I’和深度压缩图像D’去除压缩效应，分别得到压缩效应消除后的参考图像I”和深度图像D”，然后利用基于深度图像渲染DIBR技术将压缩效应消除后的参考图像I”和深度图像D”渲染为3D图像并显示在3D电视中，本发明的方法正是用于图1中的去除压缩效应。
参照图2，本发明的实现步骤如下
步骤1.训练3D过完备字典。
对于一个无噪声的自然图像集，选取Ii1个8*8的图像块，50000 < Ii1 < 150000，仿真实验中Ii1选取100000，构造大小为64*叫的训练矩阵迭代次数设置为20次，使用大小为64*512的DCT字典进行字典初始化，设置图像块的稀疏度S1 = 6，利用KSVD算法和批处理正交匹配追踪算法按公式1)训练通用字典比，
权利要求
1. 一种利用3D字典消除3D播放系统中块效应的方法，包括如下步骤1)在一个无噪声的自然图像集中提取Ii1个8*8大小的图像块，50000< Ii1 < 150000， 利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*512的通用参考字典D,；在一个无噪声的深度图像集中提取 个8*8大小的图像块，50000 <n2< 150000，利用KSVD 算法和批处理正交匹配追踪算法训练一个大小为64*1观的通用深度字典Dd ；利用该通用参考字典和深度字典构造3D过完备字典D3d = [Dr, DJ，其中KSVD指k-singular value decomposition,它是一种迭代训练过完备字典的方法；2)采用基于块离散余弦变换BDCT的压缩编码标准中的JPEG标准对原始3D图像进行压缩，即根据JPEG图像压缩编码标准中的品质因数Q对原始3D图像中的参考图像Iq和对应的深度图像Dtl分别进行压缩，得到参考压缩图像I’和深度压缩图像D’ ；3)找出参考压缩图像I’中所有8*8大小不重叠的图像块的边界，计算这些边界两边像素的差值Ch，i = l,2,3...，将这些差值的绝对值的一半看作噪声数据Nh = 0. 5*abs (Cri)， i = 1,2,3...，计算所有Nh >= 2的噪声数据的标准差σ工；找出深度压缩图像D’中所有 8*8大小不重叠的图像块的边界，计算这些边界两边像素的差值Cdi，i = 1，2，3...，将这些差值的绝对值的一半看作噪声数据^li = 0. 5*abs(Cdi)，i = 1，2，3...，计算所有^ >= 2 的噪声数据的标准差σΒ ；4)根据品质因数Q和标准差ο工计算参考压缩图像I’的误差阈值 T1*U5^F(Q)；根据品质因数Q和标准差。D计算深度压缩图像D’的误差阈值 Td =V8*8*aD*1.15*^(0,其中F(Q)表示块效应消除强度，由三次多项式拟合方法确定，其表达式为F(Q) =-0.0 001XQ3+0. 0073XQ2-O. 1710XQ+2. 1580，Q 彡 30 ；5)消除压缩图像中的块效应，获取块效应消除后的稀疏系数表示矩阵5a)在参考压缩图像I’中按行列像素间隔[1，1]选取8*8大小的图像块，将这些图像块拉成列向量并构造为图像块矩阵X1,利用3D字典D3d中的参考字典比和误差阈值T1对所述图像块矩阵&中的每一列，按公式mm0/|0几s.t. -<= K去除块效应，得到稀疏系数表示矩阵&，其中)(Ik是&中的第k个8*8块的列向量表示形式，Θ工是&的稀疏系数表示矩阵，θ ^t是θ工的第k列；5b)在深度压缩图像D’中按行列像素间隔[1，1]选取8*8大小的图像块，将这些图像块拉成列向量并构造为图像块矩阵Χ ，利用3D字典D3d中的深度字典Dd和误差阈值Td对所述图像块矩阵\中的每一列，按公式ιηιι^ Θ』s.t.去除块效应，得到稀疏系数表示矩阵，其中)(Dk是\中的第k个8*8块的列向量表示形式，ΘΒ是)(D的稀疏系数表示矩阵，θ皿是ΘΒ的第k列；6)利用块效应消除后的稀疏系数表示矩阵&和对应的参考字典比，得到块效应消除后的图像块矩阵克=/^*‘，将中的图像块放回参考图像中的原来位置，对图像块的重叠部分进行平均，得到块效应消除后的参考图像I” ；利用块效应消除后的稀疏系数表示矩阵和对应的深度字典Dd得到块效应消除后的图像块矩阵=Dd *Θο，将中的图像块放回深度图像 的原来位置，对图像块的重叠部分进行平均，得到块效应消除后的深度图像2D”。
2.根据权利要求1所述的块效应消除方法，其中步骤(1)所述的利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*512的通用参考字典D,，按如下步骤进行(Ia)将H1个8*8大小的图像块构造成64*ηι的训练矩阵X1 ；(Ib)使用大小为64*512的DCT字典进行字典初始化，迭代次数为20次，设图像块的稀疏度S1 = 6，按照公式而！^枣内-找*^^ s.t. |外1 <=又训练通用字典Dr，其中Φ^是&的稀疏系数表示矩阵， 是Φ^的第j列。
3.根据权利要求1所述的块效应消除方法，其中步骤(2)所述的根据JPEG图像压缩编码标准中的品质因数Q对原始3D图像中的参考图像Itl和对应的深度图像Dtl分别进行压缩，是在JPEG压缩编码的品质因数Q中选用0到100之间的任一数值，确定相应的量化表， 根据JPEG压缩编码程序将参考图和对应的深度图分别压缩为JPEG图像。
全文摘要
本发明公开了一种利用3D字典消除块效应的方法，主要解决现有基于深度图像渲染DIBR的3D播放系统中经过块离散余弦变换压缩后存在的块效应问题。实现步骤为(1)利用KSVD算法和批处理正交匹配追踪算法训练一个3D字典；(2)控制JPEG标准中的品质因数对原始3D图像进行压缩；(3)将块效应看作高斯白噪声，计算3D压缩图像的噪声标准差；(4)根据品质因数和噪声标准差计算误差阈值；(5)消除压缩图像中的块效应，获取块效应消除后的稀疏系数表示矩阵；(6)利用3D字典和块效应消除后的稀疏系数表示矩阵得到块效应消除后的3D结果图。本发明与现有技术相比，可得到更高或相似的峰值信噪比和结构相似度，且块效应消除后的图像视觉效果更好。
文档编号H04N7/26GK102523454SQ20121000044
公开日2012年6月27日 申请日期2012年1月2日 优先权日2012年1月2日
发明者侯彪, 公茂果, 孙天, 焦李成, 郑喆坤, 马晶晶, 齐宏涛 申请人:西安电子科技大学