专利名称：一种基于小波－空间域联合估计的差错隐藏方法
技术领域：
本发明属于视频图像压缩技术领域，具体涉及一种基于小波-空间域联合估计的差错隐藏算法。
背景技术：
基于小波域的SPIHT(set partitioning in hierarchical trees)[1]图像压缩编码具有压缩效率高，算法复杂度低等优点，但在图像传输发生错误时，会引起图像质量下降。为了减少差错传递，一个简单有效的方法是将小波系数按其天然的小波树结构进行分组编码及传输，从而使某个小组中发生的错误不会影响其他组的解码[2]。
在丢包信道中传输打包压缩码流时，若某个包丢失，则在解码端就需对图像受损区域进行重构，由于基于小波域的SPIHT压缩码流丢包受损区域一般具有受损区域较大，区域边界呈渐进模糊状等特点，因而不利于差错隐藏的进行。
传统的差错隐藏有空间域和小波域两种。空间域方法方面，对于二维图像主要采用空间域内插；对于三维视频，主要通过估计运动矢量，重建丢失块的方式。但这些方法主要针对基于块编码和运动估计/补偿的视频算法，不适用于小波域的SPIHT算法。
小波域方法方面，主要是基于低频系数八邻域平均、高频系数置零的方法，如Rogers和Cosman提出的打包小波零树算法PZW算法(wavelet zerotree image compression withpacketization)[3]及其改进。
以上这些方法，对图像的重构质量均有待于提高。
发明内容
本发明的目的在于提出一种在压缩视频传输中可以明显提高图像重构质量的差错隐藏方法。
本发明提出的压缩视频传输中差错隐藏方法，是一种新的小波-空间域联合估计差错隐藏算法，该算法结合了小波域和空间域两方面的信息和处理手段，在多数应用场合，都可以明显提高图像的重构质量。
本发明提出的小波-空间域联合估计差错隐藏算法主要分为4步，包括小波域平均低频恢复、小波域指导下的空间块匹配、滤波处理和小波域信息融合四个步骤。如图1所示。
步骤一，针对在压缩视频传输过程小波树的丢失，采用PZW算法中的小波域的简单估计，对三维小波域低频系数进行简单的八邻域平均、对高频系数置零，得到初始重构图像帧组。
步骤二，对于每个受损帧在空间域对核心受损区域进行基于块的匹配搜索，通过选择对已知正确小波系数影响最小的块作为匹配块来得到匹配图像帧组。
步骤三，对于匹配图像帧组进行滤波处理，包括各匹配子块间的去块效应滤波和中值滤波。
步骤四，对滤波后的匹配图像帧组变换到小波域，与小波域已知正确信息相融合来得到最终重构图像。
下面对各步骤进一步介绍如下一、小波域平均低频恢复若某小波树在传输过程中丢失，则本发明首先进行PZW算法中小波域的简单估计。由于小波域低频子带具有高度的相关性，因此丢失系数可以通过其相邻系数的均值来估计；而高频系数一般较小，且人眼对于图像高频信息相对不敏感，因此在简单估计中可以将其直接置零，即得到了初始重构图像帧组。
二、小波域指导下的空间域块匹配由于小波变换滤波器的卷积作用，每帧图像的受损区域可以分为核心受损区域(为规则的正方形或长方形区域)，和其周围的过渡地带(与图像内容、使用小波种类等皆有关系)。若对初始重构图像帧组的受损区域(包括过渡地带)进行某空间域的处理，则对应到小波域会同时影响到正确小波系数的取值。很明显，在对受损区域的空间域处理时，若能使受损值无限接近于无损值，则该处理对已知正确小波系数的影响就趋向于零，反之就对正确系数有比较大的影响。
本发明将受损帧组每帧图像的核心受损区域分为数个子块，在每个子块的相应搜索范围内进行搜索，选取对已知小波系数影响最小的匹配块。对应于图像内容以及解码端计算能力的不同，可取不同的搜索区域大小，也可在前后帧进行搜索。例如，在本发明仿真中，核心受损区域大小为32×32，将其分为4个相同大小的子块。子块搜索区域选在本帧内，如图2所示，搜索区域5倍于子块面积。
设初始重构图像帧组的小波系数为Wo(x，y，z)，已知正确小波系数的坐标集合为CR，丢失小波树的坐标集合为CL。若对于本帧图像核心受损区域的某一子块，取中心为(x0，y0，z0)的搜索块作为匹配块，得到的相应小波变换系数为Wmatch(x，y，z，x0，y0，z0)。定义代价函数E为E(x0,y0,z0)=Σ(x,y,z)∈CR(Wo(x,y,z)-Wmatch(x,y,z,x0,y0,z0,))2]]>然后在设定搜索范围中，寻找使E最小的(x0，y0，z0)作为当前受损帧当前子块的匹配块，从而得到匹配图像帧组。
三、滤波处理1.去块效应滤波由于本发明将一个较大的核心受损区域分为数个子块，且各个子块寻找各自相应的匹配块，因此，匹配后的图像在受损区域一般可以明显看到不连续的块效应。
针对这一问题，本发明采用H.264编码环中的去块效应滤波器[4]。在该系统中，块边缘强度较大时的强滤波适用于本发明情况。如图3所示，对应于垂直边界p0new=(p2+2×p1+2×p0+2×q0+q1+4)/8]]>p1new=(p3+2×p2+2×p1+2×p0+q0+4)/8]]>p2new=(2×p3+3×p2+p1+p0+q0+4)/8]]>q侧的滤波类似于p侧，且水平边界的滤波与垂直边界完全对应。
2中值滤波除了子块之间的块效应外，核心受损区域到实际受损区域的过渡带中还有明显的不连续性。针对此问题，本发明在正方形核心受损区域的4条边界上采用中值滤波进行处理。经过处理，该过渡带变得模糊，由于去除了边界上人为加入的高频突变，并保留了过渡带中新估计的低频成分，从而使得下一步小波域的信息融合更为有效。
四、小波域信息融合如上文所述，以上各步处理对于已知正确小波系数都是有影响的。经过之前的处理，丢失小波树的估计已经进一步提高。因此最后应将正确小波系数与丢失小波树估计两者结合起来。
若初始重构图像帧组的小波系数为Wo(x，y，z)，经过匹配和滤波过后的图像小波系数为Wnew(x，y，z)，已知正确系数的坐标集合为CR，丢失小波树的坐标集合为CL。最终重构图像的小波系数为Wfinal(x,y,z)=Wo(x,y,z)(x,y,z)∈CRWnew(x,y,z)(x,y,z)∈CL]]>将小波系数Wfinal(x，y，z)反变换到空间域即可得最终重构图像。
本发明方法结合了小波域方法和空间域方法的信息和处理手段，相对原来这两种方法，可以明显提高图像的重构质量。
图1为算法流程。
图2为块匹配图示。
图3为去块效应图示。
图4为损失图像(未估计)。
图5为本发明步骤一简单恢复。
图6为本发明步骤二块匹配。
图7为本发明步骤三(1)去边缘。
图8为本发明步骤三(2)中值滤波。
图9为本发明步骤三(3)中值滤波后去边缘。
图10为本发明步骤四小波域信息融合。
图11为PZW算法和本发明结果比较。
具体实施例方式
仿真条件如下对352×288×8的Claire、missA等图像帧组进行三级三维小波变换，再对得到的低频子带进行两级二维小波变换，得到最低频ROOT子带为11×9，共99棵子树，压缩比CR＝60。则当某一棵小波树丢失时，核心受损区域大小为32×32。
按照如上所述差错隐藏方案进行估计。对每帧图像独立进行块匹配，搜索区域同发明内容中第二节所述。
表1本发明与PZW算法的比较
表1给出了几个视频序列随机丢失某棵树后，PZW算法和本发明方法的结果。本发明算法虽计算量较大，但可以看到，在大多数情况下，采用本发明方法可以对PZW算法有0.5～1dB左右的改善。主观质量也有明显提高。
一个帧组包含8帧图像。以帧1和帧8为例，图4～图10给出了Claire视频序列丢失树(6，6)时，用本发明方法进行差错估计每个步骤的效果。为了方便观察，图11给出了PZW算法和本发明方法处理Cliare视频序列帧1的结果比较。
参考文献(References) Said A，Pearlman W A。A new，fast and efficient image codec based on setpartitioning in hierarchical trees[J].IEEE Transactions on Circuits and Systemsfor Video Technology，1996，6(3)243-249. Creusere C D.A new method of robust image compression based on the embeddedzerotree wavelet algorithm[J].IEEE Transactions on Signal Processing，1997，6(10)1436-1442. Rogers J K，Cosman P C.Wavelet zerotree image compression withpacketization[J].IEEE Signal Processing Letters，1998，5(5)105~107. Richardson Iain E G，H.264/MPEG-4 Part 10 White Paper，2002.
权利要求
1.一种基于小波-空间域联合估计的差错隐藏方法，其特征在于同时采用小波域和空间域两方面的手段和信息，进行压缩视频传输中的差错隐藏，包括小波域平均低频恢复、小波域指导下的空间块匹配、滤波处理和小波域信息融合四个步骤。
2根据权利要求1所述的基于小波-空间域联合估计的差错隐藏方法，其特征在于步骤一，针对在压缩视频传输过程小波树的丢失，采用PZW算法中的小波域的简单估计，对三维小波域低频系数进行简单的八邻域平均、对高频系数置零，得到初始重构图像帧组。
3.根据权利要求1所述的基于小波-空间域联合估计的差错隐藏算法，其特征在于步骤二，对于每个受损帧在空间域对核心受损区域进行基于块的匹配搜索，通过选择对已知正确小波系数影响最小的块作为匹配块来得到匹配图像帧组。
4.根据权利要求1所述的基于小波-空间域联合估计的差错隐藏算法，其特征在于步骤三，对于匹配图像帧组进行滤波处理，包括各匹配子块间的去块效应滤波和中值滤波。
5.根据权利要求1所述的基于小波-空间域联合估计的差错隐藏算法，其特征在于步骤四，对滤波后的匹配图像帧组变换到小波域，与小波域已知正确信息相融合来得到最终重构图像。
全文摘要
本发明属于视频图像压缩技术领域，具体为一种压缩视频传输中基于小波－空间域联合估计的差错隐藏方法。该方法结合了小波域和空间域两个方面的手段和信息，对传输过程中的丢失信息进行更好的估计。该算法首先对三维小波域低频系数进行简单的八邻域平均来得到初始重构图像帧组；接着对于每个受损帧在空间域对核心受损区域进行基于块的匹配搜索，通过选择对已知正确小波系数影响最小的块作为匹配块来得到匹配图像帧组；最后将经过滤波处理的匹配图像帧组变换到小波域，与小波域已知正确信息相融合，得到最终重构图像帧组。仿真试验表明，该方法与传统的PZW算法相比，客观质量峰值信噪比提高0.5～1dB左右，主观质量也有明显改善。
文档编号H04N7/64GK101060634SQ200710040029
公开日2007年10月24日 申请日期2007年4月26日 优先权日2007年4月26日
发明者高佳, 胡波 申请人:复旦大学