一种联合超分辨率和去压缩效应的图像编码性能提升方法与流程

本发明涉及图像压缩编码技术，具体涉及一种联合超分辨率和去压缩效应的图像编码性能提升方法，属于图像处理领域。

背景技术：

随着成像设备和显示设备的快速发展及普及，图像及视频成为主要的信息载体。随之而来的问题是图像及视频的数据量显著增加，这给现有的存储及传输系统带来了巨大的挑战。另一方面，图像及视频的分辨率越来越高，使得存储及传输系统面临的压力进一步加大。通过降低数据的冗余，以一定程度的信号失真为代价，有损编码技术可以显著减小数据量。但是，由于编码过程中的信息丢失，解码信号中通常存在不同程度的压缩效应。在存储及传输资源受限时，这种压缩效应尤为严重，严重影响图像信号的主观质量及利用价值。因此，有必要进一步提升现有压缩编码算法的性能，以适应快速增长的图像及视频信号数据量。

技术实现要素：

本发明的目的是针对现有的图像编码标准提出一种自适应编码性能提升方法。

本发明提出的联合超分辨率和去压缩效应的图像编码性能提升方法，主要包括以下操作步骤：

(一)针对jpeg压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；

(二)基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；

(三)基于选定的编码模式，对给定的图像进行编码。

附图说明

图1是本发明一种联合超分辨率和去压缩效应的图像编码性能提升方法的框图

图2是本发明中基于增强型残差模块的去压缩效应方法的框图

图3是本发明中基于增强型残差模块的超分辨率方法的框图

图4是本发明中增强型残差模块的框图

图5是本发明中采样失真和模式转换阈值之间的拟合曲线

图6是本发明中的去压缩效应方法及对比方法对测试图像“barbara”的处理结果(本实验中，jpeg质量因子设置为10)：其中，(a)为原始测试图像，(b)(c)(d)(e)分别为jpeg、对比方法1、对比方法2及本发明中的去压缩效应方法的处理结果

图7是本发明中的超分辨率方法及对比方法对测试图像“img092”的处理结果(本实验中，jpeg质量因子设置为10，超分辨率因子设置为2)：其中，(a)为原始测试图像，(b)(c)(d)(e)分别为双三次插值、对比方法3、对比方法4及本发明中的超分辨率方法的处理结果

图8是本发明中的编码性能提升方法及jpeg的率失真性能比较：其中，(a)和(b)的测试图像分别为“kodim05”和“kodim07”

图9是本发明中的编码性能提升方法及jpeg对测试图像“kodim05”的解码图像：其中，(a)为原始测试图像，(b)为jpeg在码率为0.197bpp时的解码图像，(c)为本发明中的编码性能提升方法在码率为0.196bpp时的解码图像，(d)为jpeg在码率为0.512bpp时的解码图像，(e)为本发明中的编码性能提升方法在码率为0.512bpp时的解码图像

图10是本发明中的编码性能提升方法及jpeg对测试图像“kodim07”的解码图像：其中，(a)为原始测试图像，(b)为jpeg在码率为0.200bpp时的解码图像，(c)为本发明中的编码性能提升方法在码率为0.199bpp时的解码图像，(d)为jpeg在码率为0.500bpp时的解码图像，(e)为本发明中的编码性能提升方法在码率为0.500bpp时的解码图像

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，一种联合超分辨率和去压缩效应的图像编码性能提升方法，具体可以分为以下三个步骤：

(一)针对jpeg压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；

(二)基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；

(三)基于选定的编码模式，对给定的图像进行编码。

具体地，所述步骤(一)中，构建如图2所示的去压缩效应网络和图3所示的超分辨率网络，图2及图3中的增强型残差模块的结构如图4所示。

图4右侧所示的增强型残差模块的基本组成单元是左侧的残差模块。残差模块由卷积层、非线性激活函数、卷积层组成，其表示为

其中和分别表示残差模块的输入及输出；和分别表示残差模块中的第一个和第二个卷积层(本发明中，残差模块中卷积层的卷积核数目设置为64，大小设置为3×3)；σ(·)表示非线性激活层，其定义为max(0,·)。为了方便表示，将残差模块实现的映射表示为f^rb(·)，即有

本发明中的增强型残差模块主要由五个残差模块组成，其表示为

其中和分别表示增强型残差模块的输入及输出；表示增强型残差模块中的第i个残差模块，且有[·]表示特征连接操作(特征连接层)；表示增强型残差模块中的特征融合操作(特征融合层，卷积核数目设置为64，大小设置为1×1)；表示增强型残差模块中的线性变换操作(线性变换层)。为了方便表示，将增强型残差模块实现的映射表示为f^erb(·)，即有

图2所示的去压缩效应网络的基本组成单元是图4中的增强型残差模块。具体地，首先将去压缩效应的输入图像i^ar分解为四个低分辨率的子图(抽样层)，即有

其中，m和n分别表示原始输入图像i^ar的高度和宽度。进一步地，将分解所得的四个子图连接，组合成一个四通道的张量即有

对于首先利用一个卷积层提取初始特征，即

其中，表示去压缩效应网络中的特征提取操作(特征提取层，卷积核数目设置为64，大小设置为3×3)。

然后，利用四个增强型残差模块对初始特征进行逐级变换，即

其中，f^erb,i表示去压缩效应网络中第i个增强型残差模块，且有

进一步地，对多个增强型残差模块生成的不同层次的特征进行融合，并重构残差分量。重构的四通道张量表示为

其中，表示去压缩效应网络中的特征融合操作(特征融合层，卷积核数目设置为64，大小设置为1×1)；表示去压缩效应网络中的残差重构操作(残差重构层，卷积核数目设置为4，大小设置为3×3)；表示去压缩效应网络中的线性变换操作(线性变换层)。

最后，去压缩效应处理结果由中的四个通道组合而得(重组层)，即

图3所示的超分辨率网络与图2所示的去压缩效应网络结构基本相同，主要区别在于超分辨率网络中引入了插值放大操作(插值放大层)。超分辨率网络的输入为低分辨率图像，输出为高分辨率图像。因此，插值放大操作的主要目的是重构初始的高分辨率图像。除插值放大层以外，超分辨率网络与去压缩效应网络的结构及参数设置完全一致。图3所示的超分辨率网络中，采用双三次插值实现插值放大。对于图2所示的去压缩效应网络及图3所示的超分辨率网络，本发明均采用均方误差代价函数进行训练。

具体地，所述步骤(二)中，对于给定的待编码图像，我们通过自适应编码模式判决方法从两种备选的编码模式中选择出合适的模式，备选模式包括全分辨率编码模式和低分辨率编码模式。全分辨率编码模式和低分辨率编码模式的细节将在步骤三中给出。整体而言，全分辨率编码模式更适用于中高码率段，而低分辨率编码模式更适合低码率段。在本发明中，最优编码模式与图像特性及编码质量参数相关。鉴于全分辨率编码模式和低分辨率编码模式的主要差异在于采样环节，我们采用采样失真来刻画图像特性。具体地，对于给定图像i，采样失真定义为

其中idu为i经过连续下采样和上采样的结果，采样因子为2。||·||1为l1范数，t为i中的像素数目。

鉴于jpeg中通过质量因子(qf)调整压缩率和码率，本发明利用样本图像建立采样失真和编码模式转换的阈值qf之间的关系。编码模式转换的阈值qf定义为全分辨率编码模式和低分辨率编码模式转换的临界qf。图5为样本点及拟合的转换关系，其中横轴为采样失真，纵轴为编码模式转换阈值qf。基于样本的分布情况，选用幂函数拟合样本点，即

q＝ad^b(10)

其中，q为切换两种编码模式的临界阈值qf，a和b为拟合参数。本发明中，a＝24.55及b＝-0.5258。

对于图像i及给定的jpeg编码质量因子qi，首先根据公式(9)计算出采样失真di，然后通过拟合函数(10)估计模式转换的阈值qi。当qi大于或等于qi时，采用全分辨率编码模式；当qi小于qi时，采用低分辨率编码模式。

具体地，所述步骤(三)中，当选定的编码模式为全分辨率编码模式时，则先采用已有的标准编解码器(如jpeg等)对待编码图像进行编解码；然后利用本发明步骤(一)中训练好的去压缩效应网络对解码图像进行处理以抑制压缩噪声。全分辨率编码模式表示为

i^f＝ar(dc(ec(i)))(11)

其中，i和i^f分别表示全分辨率编码模式中的输入图像和输出图像；ec(·)、dc(·)及ar(·)分别表示编码、解码及去压缩效应过程。

当选定的编码模式为低分辨率编码模式时，则先将待编码图像i进行采样，然后采用已有的标准编解码器对采样得到的低分辨率图像进行编解码；最后利用本发明步骤(一)中训练好的超分辨率网络将解码的低分辨率图像恢复到原始分辨率。低分辨率编码模式表示为

i^l＝sr(dc(ec(ds(i))))(12)

其中，i^l表示低分辨率编码模式中的输出图像；ds(·)及sr(·)分别表示下采样和超分辨率过程。

为了测试本发明中的去压缩效应方法、超分辨率方法及编码性能提升方法的性能，在常用测试图像上进行了去压缩效应实验、超分辨率实验、编码性能测试实验。

对于去压缩效应实验，测试图像为“barbara”，jpeg压缩的质量因子设置为10。两种对比方法为：

方法1：zhang等人提出的方法，参考文献“j.zhang,r.xiong,c.zhao,y.zhang,s.ma,andw.gao,concolor:constrainednon-convexlow-rankmodelforimagedeblocking,ieeetrans.imageprocess.,vol.25,no.3,pp.1246–1259,2016.”。

方法2：zhang等人提出的方法，参考文献“k.zhang,w.zuo,y.chen,d.meng,andl.zhang,beyondagaussiandenoiser:residuallearningofdeepcnnforimagedenoising.ieeetrans.imageprocess.,vol.26,no.7,pp.3142–3155,2017.”。

对于超分辨率实验，测试图像为“img092”，重建因子设置为2，jpeg压缩的质量因子设置为10。两种对比方法为：

方法3：li等人提出的方法，参考文献“t.li,x.he,l.qing,q.teng,andh.chen,aniterativeframeworkofcascadeddeblockingandsuperresolutionforcompressedimages,ieeetrans.multimedia,vol.20,no.6,pp.1305–1320,2018.”。

方法4：kim等人提出的方法，参考文献“j.kim,j.kwonlee,andk.mulee,accurateimagesuper-resolutionusingverydeepconvolutionalnetworks,inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition(cvpr),2016,pp.1646–1654.”。

对于编码性能测试的实验，测试图像为“kodim05”和“kodim07”。本发明中的编解码器采用jpeg，对比方法为jpeg。

去压缩效应实验：利用jpeg对测试图像“barbara”进行压缩，质量因子为10。压缩结果为去压缩效应方法的输入图像。“barbara”原始图像、jpeg压缩结果及各方法的处理结果分别如图6(a)、图6(b)、图6(c)、图6(d)及图6(e)所示。表一是本实验中各方法处理结果的客观评价参数。

表一

从图6中的实验结果可以看出，在质量因子为10时，jpeg压缩图像中存在非常严重的压缩效应，其中块效应尤为明显，严重影响主观视觉效果；方法1、方法2及本发明中的去压缩效应方法均能较好地抑制压缩效应，提升图像质量。但是，从局部放大图可以看出，本发明中的去压缩效应方法在抑制压缩效应的同时能更好地保持、恢复局部结构。从表一中给出的psnr及ssim参数上看，本发明中的去压缩效应方法明显优于jpeg、方法1及方法2。综合而言，本发明中的去压缩效应方法能有效处理jpeg压缩图像中的压缩效应。

超分辨率实验：利用双三次插值对测试图像“img092”进行2倍下采样，然后采用jpeg对采样结果进行压缩，压缩质量因子为10。压缩结果为超分辨率方法的输入图像。“img092”原始图像及各方法的处理结果分别如图7(a)、图7(b)、图7(c)、图7(d)及图7(e)所示。表二是本实验中各方法处理结果的客观评价参数。

表二

从图7中的实验结果可以看出，双三次插值方法的结果中存在严重锯齿、块效应等失真。方法3、方法4在提升分辨率的同时能抑制部分块效应，但是处理结果中仍存在明显的人工效应；同时，方法3、方法4的处理结果也存在一定程度的模糊。相比较而言，本发明中的超分辨率方法较好地抑制了压缩效应，处理结果比较清晰，图像边缘更为锐利。从表二可以看出，本发明中的超分辨率方法的处理结果的psnr及ssim明显优于对比方法。综合而言，本发明中的超分辨率方法能有效实现jpeg压缩图像的超分辨率。

编码性能测试实验：在不同压缩率下，利用jpeg及本发明中的编码性能提升方法对测试图像“kodim05”及“kodim07”进行编码。jpeg及本发明中的编码性能提升方法的率失真曲线如图8所示。“kodim05”原始图像及各方法的处理结果如图9所示。“kodim07”原始图像及各方法的处理结果如图10所示。

从图8所示的率失真曲线可以看出，本发明中的编码性能提升方法的率失真性能全面优于jpeg。在相同码率下，psnr提升显著；并且，本发明中的编码性能提升方法的有效码率范围基本覆盖了常用码率段。图9及图10中的结果表明，相同码率时，本发明中的编码性能提升方法的解码结果比jpeg的结果具有更好的视觉效果。综合而言，本发明中的编码性能提升方法能有效提升jpeg的编码性能。