基于块自适应采样和超分辨率重建的低码率图像编码方法
【技术领域】
[0001] 本发明设及图像压缩和图像超分辨率重建技术，具体设及一种基于块自适应采样 和超分辨率重建的低码率图像编码方法，属于图像通信领域。
【背景技术】
[0002] 图像压缩的目的是减少图像数据之间的冗余性，减少数据量，从而更有效地存储 和压缩。作为图像领域的基础技术之一，图像压缩一直受到广大研究者的关注。随着高分 辨率图像及视频的普及，图像压缩技术更显得重要。目前，JPEG是在网络及无线通信等领 域使用最广泛的静止图像压缩标准。但是，JPEG在低码率段压缩性能较差，解码图像存在 严重的压缩人工效应，如块效应等，导致图像的主观视觉效果明显降低。
[0003] 近年来，图像超分辨率重建技术得到了快速的发展，其主要目的是由观测的低分 辨率图像重构对应的高分辨率图像，即提升观测图像的分辨率。图像超分辨率重建方法一 般可W分为四类：基于插值的方法、基于样例的方法、基于重建的方法和基于稀疏表示的方 法。随着稀疏表示理论的发展，基于稀疏表示的超分辨率方法成为该领域的研究热点，并取 得了较好的研究成果。
[0004] 为了提升现有图像压缩标准在低码率段的压缩性能，可W在编码端对待编码图像 进行下采样，而在解码端将低分辨率的解码图像恢复到原始分辨率。但是，该方法仅适用于 很低的码率，即在低码率段可W提升JPEG的压缩性能，而中高码率段的压缩性能会下降， 并且性能提升的码率范围因图而异，因此在实际使用中有一定的局限性。
【发明内容】
阳0化]本发明的目的是将基于稀疏表示的超分辨率重建方法应用于静止图像压缩，提升 JPEG标准在中低码率段的率失真性能，并且保证在高码率段的性能与JPEG标准相当。为实 现上述目的，本发明采用W下措施构成的技术方案来实现。
[0006] 本发明提出的基于块自适应采样和超分辨率重建的低码率图像编码方法，主要包 括W下操作步骤：
[0007] (1)对原始待压缩图像分块，然后对各图像块进行多模式的下采样；
[0008] (2)在编码端对采样后的图像块进行多量化模式的JPEG编解码；
[0009] (3)采用基于稀疏表示的超分辨率方法对JPEG解码图像块重建；
[0010] (4)通过自适应的率失真优化方法，选择各图像块最优的采样模式及量化模式；
[0011] (5)根据选定的采样模式及量化模式对各图像块进行JPEG编解码及基于稀疏表 示的超分辨率重建；
[0012] (6)将最终的解码图像块按照原始顺序组合成图像。
【附图说明】
[0013] 图1是本发明基于块自适应采样和超分辨率重建的低码率图像编码方法的框图
[0014] 图2是基于稀疏表示的超分辨率重建方法的训练及重建过程的框图
[0015] 图3是JPEG及本发明对'Lena'测试图像的率失真性能比较
[0016] 图4是JPEG及本发明对'Peppers'测试图像的率失真性能比较 阳017] 图5是JPEG及本发明在相同码率0.化PP时，'Lena'解码图像视觉效果比较： 左-JPEG,右-本发明
[0018] 图6是JPEG及本发明在相同码率0. 3bpp时，'化ppers'解码图像视觉效果比较： 左-JPEG,右-本发明
【具体实施方式】
[0019] 下面结合附图对本发明作进一步说明：
[0020] 图1中，基于块自适应采样和超分辨率重建的低码率图像编码方法，包括W下步 骤：
[0021] (1)对原始待压缩图像分块，然后对各图像块进行多模式的下采样；
[0022] (2)在编码端对采样后的图像块进行多量化模式的JPEG编解码；
[0023] (3)采用基于稀疏表示的超分辨率方法对JPEG解码图像块重建；
[0024] (4)通过自适应的率失真优化方法，选择各图像块最优的采样模式及量化模式； [00巧](5)根据选定的采样模式及量化模式对各图像块进行JPEG编解码及基于稀疏表 示的超分辨率重建；
[0026] (6)将最终的解码图像块按照原始顺序组合成图像。
[0027] 具体地，所述步骤（1)中，我们首先将待编码的图像分为大小为16*16的图像块， 图像块之间互不重叠；然后对每个16*16的图像块分别采用四种模式采样（采样模式的定 义如表1)。
[00測表1义样模式
[0030] 所述步骤（2)中，对多模式采样得到的四组图像块分别利用JPEG标准编解码，并 且编解码的过程中采用多种量化模式，其中各量化模式的参数定义如表2所示。其中，QF 是JPEG标准对整图编码时采用的量化因子。因此，本发明中采用的量化因子QF'为
[0031]
[0032] 对应的量化步长Qstep定义为量化因子QF'与预设的JPEG量化表QTable的乘积，即
[0033] Qstep= Qrable^QF ^
[0034] 表2量化模式
[0036] 所述步骤（3)中，采用基于稀疏表示的超分辨率重建方法，对步骤（2)得到的低分 辨率解码图像块分别进行重建，各自得到一个对应的16*16的解码图像块。基于稀疏表示 的超分辨率重建方法的主要包括两个阶段（如图2所示），即字典训练阶段和重建阶段。
[0037] 在训练阶段，我们首先将高分辨率自然图像Ih进行采样，采样模式如表1所示 (采样模式0除外），然后对采样后的图像进行JPEG压缩得到对应的低分辨率图像Ii;利 用KSVD方法训练高低分辨率字典Dh和D1，使得对应的高低分辨率块组在高低分辨率字典 上具有相同的稀疏表示系数。由于在本发明中，图像块进行了多模式采样，并且需要考虑 JPEG编码的量化因子，因此在字典训练过程需要设定对应的降质过程来训练多组针对性的 字典。在重建阶段，我们首先根据待重建图像块的采样模式及量化因子选择对应的高低分 辨率字典对，然后利用OMP方法获得低分辨率图像块在低分辨率字典Di上的稀疏表示系数 a，进而通过稀疏系数a和高分辨率字典Dh重建高分辨率图像块。
[0038] 对于一个16*16的图像块，预设四种采样模式，而每个采样图像块对应八种量化 模式。所述步骤（4)中，我们首先计算出不同编码方式（即不同采样模式和量化模式）对 应的编码码率及失真，然后通过率失真优化准则选择出当前图像块的最优采样模式及量化 模式。率失真优化准则定义为
[0039]
W40] 上式中，i和j分别代表当前解码图像块采用的采样模式和量化模式;MSEi,,是指 编码过程采用i模式采样和j模式量化而得到的最终解码图像块与原始图像块之间的均方 误差；Rate,,是对应的编码码率；A是拉格朗日乘子。为了减少计算量，我们采用量化后的 非零DCT系数个数NZDi,,代替Rate 1,,，从而得到本发明采用的率失真优化准则 [0041 ]
[0042] 其中，本发明中采用的拉格朗日乘子A定义为
[0043]
W44] 式中，QF'为当前图像块进行JPEG编码时使用的量化因子。
[0045] 所述步骤巧）中，我们首先根据步骤（4)选择出的最优采样模式i和量化模式j 对大小为16*16图像块进行采样及JPEG编解码，然后在解码端利用基于稀疏表示的超分辨 率方法对解码图像块进行重建。
[0046] 所述步骤化）中，将经过编解码和超分辨率重建的所有图像块按原始顺序组合， 得到最终解码图像。
[0047] 用上述步骤对常用灰度测试图像'Lena'和'P巧pers'进行测试，并与JPEG压缩 标准比较率失真性能及解码图像的视觉效果。率失真性能比较如图3及图4所示，其中横 轴是码率，单位是bpp ;纵轴是峰值信噪比（PSNR)，单位是地。在相同的码率下，PSNR越高， 率失真性能越好。图5是在码率为0.化PP时，利用JPEG及本发明对'Lena'压缩结果的视 觉效果对比图。图6是在码率为0. 3bpp时，利用JPEG及本发明对'Peppers'压缩结果的 视觉效果对比图。在图5及图6中，左侧为JPEG的结果，右侧为本发明的结果。
【主权项】
1. 基于块自适应采样和超分辨率重建的低码率图像编码方法，其特征在于包括以下步 骤： 步骤一：对原始待压缩图像分块，然后对各图像块进行多模式的下采样； 步骤二：在编码端对采样后的图像块进行多量化模式的JPEG编解码； 步骤三：采用基于稀疏表示的超分辨率方法对JPEG解码图像块重建； 步骤四：通过自适应的率失真优化方法，选择各图像块最优的采样模式及量化模式； 步骤五：根据选定的采样模式及量化模式对各图像块进行JPEG编解码及基于稀疏表 示的超分辨率重建； 步骤六：将最终的解码图像块按照原始顺序组合成图像。2. 根据权利要求1所述的基于块自适应采样和超分辨率重建的低码率图像编码方法， 其特征在于步骤三及步骤五中所述的利用基于稀疏表示的超分辨率重建方法对JPEG解码 图像块进行重建：在字典训练阶段，根据采样模式及JPEG量化因子，针对性地训练了多组 高低分辨率字典对，以适用于不同的编码模式；在重建阶段，根据当前待重建的低分辨率块 的采样模式和量化因子，选择对应的高低分辨率字典进行重建。3. 根据权利要求1所述的基于块自适应采样和超分辨率重建的低码率图像编码方法， 其特征在于步骤四中所述的用于选择各图像块最优采样模式及量化模式的自适应率失真 优化方法：率失真优化准则定义为式中，i和j分别代表当前解码图像块采用的采样模式和量化模式;MSE1^是指编码过 程采用i模式采样和j模式量化而得到的最终解码图像块与原始图像块之间的均方误差； NZDli,是指量化后非零DCT系数的个数；λ是拉格朗日乘子，定义为式中，QF'为当前块进行JPEG编码时使用的量化因子。4. 根据权利要求1-3任一项所述的基于块自适应采样和超分辨率重建的低码率图像 编码方法，其特征在于是对二维灰度图像的编码过程；如果是对彩色图像进行编码，则可以 将彩色图像转换到YCbCr空间，然后将Y/Cb/Cr三个分量分别按照上述步骤一到六处理，最 后将YCbCr空间的编解码结果转换到RGB色彩空间。
【专利摘要】本发明公布了一种基于块自适应采样和超分辨率重建的低码率图像编码方法。主要包括以下步骤：对图像分块，然后对图像块进行多模式的下采样；对采样后的图像块进行多量化模式的JPEG编码；用基于稀疏表示的超分辨率方法对JPEG解码图像块重建；通过率失真优化选择各图像块的采样及量化模式；根据选定的模式对各图像块进行采样、JPEG编码及超分辨率重建；将解码图像块组合成图像。本发明所述低码率图像编码方法可以明显提升JPEG在低中码率段的率失真性能，并能保证在高码率段性能与JPEG标准相当。此外,在相同码率下,本发明方法的解码图像比JPEG具有更好的视觉效果，尤其是在低码率段。本方法可应用于网络及无线通信等带宽受限领域中的图像压缩。
【IPC分类】H04N19/124, H04N19/132, H04N19/176, H04N19/147
【公开号】CN105392009
【申请号】CN201510848755
【发明人】何小海, 陈洪刚, 马名浪, 滕奇志, 吴小强, 陶青川, 卿粼波
【申请人】四川大学
【公开日】2016年3月9日
【申请日】2015年11月27日