结合多采样率下采样和超分辨率重建技术的图像编码框架的制作方法

本发明涉及图像超分辨率重建和图像压缩技术，具体涉及一种结合多采样率下采样和超分辨率重建技术的图像编码框架，属于图像通信领域。

背景技术：

图像压缩是一种通过减少原始图像数据间的冗余性来降低数据量的图像处理技术，可以解决图像设备的存储空间不足和传输带宽有限等问题。jpeg作为主流的图像编码标准之一，由于其具有较低的计算复杂度等优点，使得它在网络和无线通信等有损压缩领域被广泛地使用。然而，在码率有限的情况下，jpeg的压缩性能会大大降低，使得解码图像存在严重的压缩效应，从而降低了压缩后图像的视觉质量。

随着高清及超高清设备的普及，人们对图像与视频的分辨率的需求越来越高。然而受限于较高的设备成本与不同的使用环境等，使得获取的图像与视频质量仍不能满足需求。超分辨率重建是一种通过软件的方式对已知低分辨率图像进行分辨率提升的技术，可以在不需要更新硬件设备的前提下，获取到更高质量的图像，具有很高的实用性。近些年，随着机器学习的快速发展，基于深度学习的超分辨率重建方法进入了大众的视野。相比于传统的超分辨率重建技术，基于深度学习的超分辨率重建可以获得更高质量的图像，同时在重建阶段，具有更快的重建速度。

在编码端对待压缩图像进行下采样，同时在解码端通过超分辨率技术获得原始分辨率图像的方案，在一定程度上解决了现有压缩标准在低码率段效果不佳的问题。但是，该方案仅适用于较低码率段，随着码率的提升，压缩性能会有很大程度的下降，因此在实际应用中具有很大的局限性。

技术实现要素：

本发明提出的结合多采样率下采样和超分辨率重建技术的图像编码框架，用于提升jpeg编码标准在全码率段的率失真性能。同时所提出的框架也可应用于其它的第三方编码器以提升其编码性能。

本发明提出的结合多采样率下采样和超分辨率重建技术的图像编码框架，主要包括以下操作步骤：

(1)将原始图像按32×32大小进行分块，然后对每个块进行多种采样率的下采样；

(2)对下采样后的小块进行多量化参数的预编解码，并统计量化后dct系数的非零值的个数；

(3)用插值方法将解码后的图像小块插值到原始分辨率，并计算重建块与原始块间的均方误差；

(4)使用率失真优化算法，选择最优的采样率及其对应的下采样模式与量化参数；

(5)根据获得的最优采样模式与量化参数，使用jpeg对原始图像块进行下采样与编解码；

(6)通过使用基于深度学习的超分辨率重建技术训练出的模型，对解码后的图像小块进行超分辨率重建；

(7)将重建的图像块按照相应的方式组合，形成最终解码图像。

附图说明

图1是本发明结合多采样率下采样和超分辨率重建技术的图像编码框架的框图

图2是基于深度学习的超分辨率重建方法的针对性模型训练过程及其重建的框图

图3是本发明及jpeg压缩算法对‘bike’测试图像在全码率段的率失真性能比较

图4是本发明及jpeg压缩算法对‘lena’测试图像在全码率段的率失真性能比较

图5是在低码率段且码率同为0.2bpp时，本发明及jpeg的‘lena’解码图像的视觉效果比较：图(a)为jpeg解码图像，图(b)为本发明解码图像

图6是在中高码率段且码率同为1.06bpp时，本发明及jpeg的‘bike’解码图像的视觉效果比较：图(a)为jpeg解码图像，图(b)为本发明解码图像

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，结合多采样率下采样和超分辨率重建技术的图像编码框架，具体可以分为以下七个步骤：

(1)将原始图像按32×32大小进行分块，然后对每个块进行多种采样率的下采样；

(2)对下采样后的小块进行多量化参数的预编解码，并统计量化后dct系数的非零值的个数；

(3)用插值方法将解码后的图像小块插值到原始分辨率，并计算重建块与原始块间的均方误差；

(4)使用率失真优化算法，选择最优的采样率及其对应的下采样模式与量化参数；

(5)根据获得的最优采样模式与量化参数，使用jpeg对原始图像块进行下采样与编解码；

(6)通过使用基于深度学习的超分辨率重建技术训练出的多个模型，对解码后的图像小块进行超分辨率重建；

(7)将重建的图像块按照相应的方式组合，形成最终解码图像。

具体地，所述步骤(1)中，将原始待压缩图像分割成互不重叠的32×32大小的图像块；然后针对每一个图像块，设计了9种不同的采样率(对应于16种不同的下采样方式)表1中给出了多种采样率及其相应下采样方式。下采样均采用基于最小二乘的最优下采样方案，整个过程可公式化为

其中，h^h,v为低分辨率块对应的上采样矩阵，h和v分别表示水平以及垂直方向上的采样率，y为原始图像块。根据最小二乘算法，可以得到当前采样率下的最优下采样块为

在当前步骤进行下采样时，需要求出所有采样率下的上采样矩阵，并使用上述公式获得不同采样率下的最优下采样块。

表1采样率及其采样模式

所述步骤(2)中，给出了8个不同的量化参数，以分配更多的比特给每个下采样块，从而减弱下采样过程带来的高频信息损失，然后对16种不同分辨率的图像块进行标准jpeg编解码。在编码过程中，统计各个图像小块dct系数经过量化后的非零值的个数(nzc)，用于步骤(4)中率失真优化中的码率以减少计算量。同时,值得说明的是当前步骤中的预编解码不需要进行huffman编解码，只需进行dct正反变换和量化与逆量化过程。本发明中采用的量化参数qp为

其中qf是当前图像进行标准jpeg编码时使用的质量因子。

所述步骤(3)中，通过简单的插值方法对解码后的下采样图像小块进行上采样，并计算上采样后的图像块与原始图像块之间的均方误差(mse)，作为步骤(4)中率失真优化中的失真值。

所述步骤(4)中，结合步骤(2)和步骤(3)中计算得到的不同采样率和量化参数下的nzc和mse，通过率失真优化方法获得当前图像块的最优的采样率与量化参数，率失真优化过程定义为

min(j),wtihj＝mse+λnzc

计算多种采样率和量化参数下的最小的代价函数值，选择最小的j对应的采样率下的采样模式和量化参数，即为最优的采样模式和量化参数。同时在优化过程中，mse与量化因子qf成正比，并且nzc和量化因子qf成反比，通过大量数据拟合获得其函数关系，并通过求偏导获得拉格朗日乘子λ的值为

所述步骤(5)中，使用步骤(4)选择出的下采样率对每个32×32的图像块进行下采样，然后使用jpeg对下采样后的图像小块在选定的量化参数下进行编解码，在编解码过程中，使用步骤(4)获得的量化参数作为jpeg的质量因子。

所述步骤(6)中，使用基于深度学习的超分辨率重建技术对解码后的图像小块进行超分辨率重建，得到对应的32×32大小的最终图像块。图2给出了该超分辨率重建方法训练和重建过程的框图。

在训练阶段，将输入的训练图像在同一采样率下进行下采样，这个过程不考虑多采样率模式，以简化训练出的网络模型，然后在不同qp下对下采样后的训练图像进行jpeg编解码，再通过插值方法上采样解码图像，得到与训练图像同样大小的降质图像，最后将原始训练图像和上采样后的降质图像分别作为模型训练过程中的高、低分辨率图像进行字典训练，在训练阶段使用vdsr(superresolutionusingverydeepconvolutionalnetworks)算法，在每个qp下进行训练。在重建阶段，对每个解码后的图像小块，通过其量化参数qp，选择相应的网络模型来进行超分辨率重建。

所述步骤(7)中，将步骤(6)中重建的图像块按照步骤(1)中的分块方式进行相应的组合，形成最终的解码图像。

从测试图库中随机选出两幅灰度图像‘bike’，‘lena’，用上述步骤进行测试，并与jpeg标准比较率失真性能和解码图像的视觉质量。图3和图4给出了两幅图片的率失真性能，其中横轴为码率，单位是bpp；纵轴是峰值信噪比(psnr)，单位是db。在码率相同时，psnr越高，说明率失真性能越好。图5是在码率为0.2bpp时，标准jpeg与本发明对‘lena’压缩结果的主观视觉效果对比图。图6是在码率为1.06bpp时，标准jpeg与本发明对‘bike’压缩结果的主观视觉效果对比图。实验结果对其他的测试图像具有普适性。