一种基于超分辨率技术的图片压缩方法与流程

本发明涉及计算机图像处理领域，尤其涉及一种基于超分辨率技术的图片压缩方法。

背景技术：

近年来，随着各种移动互联网的快速发展，每天会有大量的图片在网络上传输，并在不同的终端被下载和查看，如何高效地存储并以低带宽成本传输这些图片成为一个亟待解决的问题。在移动设备发展初期，由于手机像素不高，拍照的相片分辨率较小，照片所占的内存和上传网络的数据流量很少。随着手机摄像头的分辨率不断提高，照片的质量有了大幅度提升。然而，这些高分辨率高质量的照片会带来几个问题：(1)首先，这些高质量的照片会占用大量的存储空间。例如，三星galaxyj7摄像头像素已经达到1300万，拍摄的照片能达到10m以上。如何以更小的空间来存储更多的高质量照片，是一个需要解决的问题。同时，对于微信、微博和今日头条等社交、媒体平台来说，用户每天上传海量图片到平台的服务器，也给平台带来了巨大的存储成本。(2)此外，如果将手机拍出来的照片没有经过一定的处理直接上传到网络，由于原始照片数据量很大，上传速度会很慢，同时用户在浏览图片的时候，由于照片数据量较大，需要更多的下载时间，给用户带来不好的上传和浏览照片的体验。(3)除了影响存储成本和图片传输速度，各个平台也要为传输海量图片付出巨大的带宽成本。例如，截至2016年12月，微信每个月活跃用户数达到8.89亿，用户平均好友数量达194人，每天通过微信平台下载和观看的照片数量有几百亿到几千亿张，平台传输这些海量照片需要支付巨大的带宽成本。因此，为了能够缩减海量图片带来的巨大存储成本和带宽成本，并提高照片的上传和访问速度，对图片进行高效地压缩是最有效途径。

图片压缩的目的是对图片源数据按一定的规则进行变换，减少图片数据中的冗余信息，以尽量少的比特数来表示图片，从而能够更加高效地存储和传输图片。同时，被压缩的图片需要能够很好地被复原成原始图片的质量，使它达到特定应用场合的要求。目前主流的图片压缩算法有jpeg算法，jpeg2000算法，基于小波变换的图片压缩等。同时，各大公司也推出自己的图片压缩算法，例如微软的jpegxr格式，google的webp格式，腾讯的tpg格式。这些算法在保持与jpeg相同清晰度的情况下，能够进一步有效压缩存储30％-40％，从而降低了存储成本和带宽成本。然而，由于各种终端(浏览器、手机等)对这些图片格式兼容性不好，目前主流的图片格式还是jpeg，这些高效的图片压缩算法只在各大公司内部使用。因此，为了提高压缩算法的通用性，需要研究在不改变图片格式的情况下，如何对图片进一步压缩具有更高的商业价值。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于超分辨率技术的图片压缩方法。巧妙地利用图片超分辨率技术，在不改变原有图片格式和编解码的前提下，达到高效压缩图片的目的。首先，通过在源端降低图片的分辨率，减小图片的尺寸，从而达到压缩图片的目的，其次，对降分辨率后的图片在互联网上进行传输或保存在源端，然后，在接收端利用基于最新的深度卷积神经网络的超分辨率技术在不同终端将压缩的图片还原成高分辨率图片，这样终端用户观看的仍然是原来的高质量图片。在三套公开数据集上测试，我们的重建效果已经达到世界领先水准。通过这样的图片处理和传输策略，不但能为各种社交平台省下大量存储成本和带宽成本，达到图片压缩的目的，同时，也能给用户节省流量，降低用户上传和加载图片的等待时间，提升用户体验。

本发明采用的技术方案是：

一种基于超分辨率技术的图片压缩方法，其包括如下步骤：

步骤1：将移动互联网平台的用户待上传的照片按缩放比例s进行降采样后得到低清图片，降采样的算法采用双三次插值算法；再按原有的图片压缩编码方式如jpeg、webp等将低清图片压缩并上传；这样用户上传的数据量比原有的压缩编码方式会进一步减少至少50％，上传所需流量减少，上传速度加快。

步骤2：移动互联网平台对压缩的低清图片进行存储和分发；由于图片的数据量被进一步压缩至少50％，这样社交平台所需的存储成本和带宽成本也会进一步减少至少50％。

步骤3：移动互联网平台用户通过不同接收终端下载压缩的低清图片，接收终端对下载压缩的低清图片进行相应的解码如jpeg、webp等得到低清图片。

步骤4：将解码后的低清图片使用深度卷积神经网络模型还原重建成高清图片供用户浏览；

所述深度卷积神经网络模型包括以下几个模块阶段，分别是底层特征提取阶段、利用密集网络模块提取高层特征阶段、特征层融合阶段、特征层降维阶段、反卷积阶段和重建阶段，所述深度卷积神经网络模型具体包括以下子步骤：

步骤4.1对网络模型输入的低分辨率子图像进行卷积运算和激活函数运算，得到包括边缘信息底层特征，其计算公式是：

fl(x)＝max(w1*x+b1,0)(1)

其中w1和b1分别是第一层卷积模版参数和偏置参数，f1为所得到的底层特征；

步骤4.2利用多个密集网络模块学习得到高层特征；

进一步地，每一个密集网络模块包括8个卷积层和8个激活层，其中激活函数为规整化线性单元函数，所有卷积层的卷积核大小为3*3；每一层激活层得到的特征会以叠加的方式加入以后的层里面，并使用特征增加率k来控制每一层得到的特征图通道数；在密集网络模块内，第n层输出有k*n个特征图。特征增长率k取16，每个密集网络模块内有8层，每个密集网络模块输出的特征图通道数为128个。

步骤4.3融合底层特征和高层特征，形成丰富的特征集合，从而能够为高分辨率图像的重建提供更多的信息。在步骤4.1中所得到的底层特征包含了图像的很多边缘和形状信息，而在步骤4.2中的密集网络模块所得到的高层特征表征图像更多的抽象和纹理信息。因此，结合步骤4.1所得到的底层特征和步骤4.2所得到的高层特征可以给还原高分辨率图像中的高频内容提供了更加丰富的信息。

底层特征和高层特征都是通过跳跃式连接直接叠加得到最后的特征集合，具体可以表示为：

fn+1＝hn+1([f1,f2,…,fn])(2)

其中fn+1为融合的特征集合，f1为第1层得到的底层特征，f2到fn为密集网络模块所得到的高层特征；h为不同特征的融合函数，n为卷积网络的层数。

在特征融合阶段，由于所有特征层都有前向跳跃式连接到fn+1，这样在反向传播的时候梯度信息可以直接从顶层传播到底层，解决了网络深度增加带来的梯度消失问题。

步骤4.4降低特征层的通道数，提高卷积神经网络模型的运算速度。

在完成步骤4.3的特征融合后，网络模型可以得到128*n个特征，当n较大时，特征的通道数就会很大，这样增加了网络模型训练阶段和测试阶段的计算复杂度，降低了网络模型的运算效率，并且模型参数也会相应增加。

为了降低网络模型的计算复杂度，本发明中采用了1*1的卷积层进行特征层通道数降维，并同时也减少了模型的参数量。进一步地，经过1*1卷积层降维后，本发明所得到的特征层通道数为256。

步骤4.5利用去卷积层学习上采样算子，得到高分辨率空间的特征。在步骤4.4中所得到的特征都是在低分辨率空间的，图像大小为d*d，所以必须要对这些特征进行上采样，得到高分辨率空间的特征，才能进行高分辨率图像的重建。在基于深度学习的超分辨率算法srcnn^[1]和vdsr^[2]中，上采样算子直接采用bicubic插值，这样不仅使得深度学习模型依赖简单的插值算法，而且会增大卷积神经模型的计算量，因为卷积过程是在插值之后进行。本发明使用去卷积层，不仅可以学习得到上采样的算子，提高图像的重建性能，同时也使得卷积操作从高分辨率空间转移至低分辨率空间进行，加速了神经网络模型的卷积运算过程。

步骤4.6利用去卷积所得到的特征，重建出高分辨率图像。将重建的图像与原始的高分辨率图像进行比较，计算模型的重建损失和梯度，并沿着网络模型的反向传播梯度到网络各层当中，更新网络中的参数，经过多次迭代后求解得到最终的网络模型参数w和b。

本发明创新性地结合了密集网络模块、融合了底层和高层特征并引入了去卷积层学习上采样算子，不仅增强了高清图片的重建效果，而且还加快了重建过程的运算速度。在网络优化过程中，将重建的图片与原始的高分辨率图片进行比较，计算模型的重建损失和梯度，并沿着网络模型的反向传播梯度到网络各层当中，更新网络中的参数，多次迭代求解得到最终的网络模型参数w和b。

由于传输过来的图片是低分辨率的，数据量被进一步压缩了至少50％，用户可以以更快的速度下载图片并节省流量消耗。同时，利用本发明步骤3中所得到的深度卷积网络模型对下载的图片进行重建，还原重建成的高清图片供用户在不同终端查看，不影响用户高清观看体验。

本发明采用以上技术方案，通过创新的超分辨率重建技术，可达到理想的图片压缩效果，并首次提出将它用在移动互联网的图片压缩和传输上，不仅提升用户上传和浏览图片的体验，而且能为各个社交平台进一步节约至少50％的存储成本和带宽成本。本发明提出的一种基于超分辨率技术的图片压缩方法，具有以下优点：

(1)本发明所提出的图片压缩方法，不仅能够达到有效压缩图片的目的，而且不需要改变图片原有的格式和编解码方式，可以跟主流的图片格式结合(包括jpeg、webp和tpg等格式)，兼容性很好，从而可以在各个终端很好的被使用。对于用户来说，上传和下载浏览的速度更快，同时能够节省流量。对于移动互联网平台来说，通过使用本发明的技术，可以在现有的图片压缩编解码基础上(包括jpeg、webp和tpg等)进一步节约至少50％的存储成本和带宽成本。

(2)本发明所提出的用于图片重建的超分辨率算法是基于一种最新的深度卷积神经网络模型，并在模型中引入了密集网络模块，不仅减少了模型的参数，使得网络内的信息反向传播总是存在较短的通路，优化了信息在极深网络上的流动，有效解决深度网络的训练难题。同时，结合了底层特征和高层特征，充分利用网络中所学习得到的信息，给高分辨率图片的重建和还原提供更加丰富的多层次信息。

(3)本发明所采用的图片超分辨率算法引入了去卷积层学习上采样算子，不仅提高了重建效果，而且加快了网络的运算性能。而在基于深度学习的超分辨率算法srcnn[1]和vdsr[2]中，上采样算子直接采用bicubic插值，这样不仅使得深度学习模型依赖简单的插值算法，而且会增大卷积神经模型的计算量，因为卷积过程是在插值之后进行。本发明的创新之处使用去卷积层，不仅可以学习得到上采样的算子，提高图片的重建性能，同时也使得卷积操作从高分辨率空间转移至低分辨率空间进行，加速了神经网络模型的卷积运算过程。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1是本发明的一种基于超分辨率技术的图片压缩方法的流程图；

图2是本发明的一种基于超分辨率技术的图片压缩方法的深度卷积神经模型结构图；

图3是本发明对降分辨率传输前的原始图片；

图4是本发明对降分辨率传输后还原的图片；

图5是本发明对降分辨率传输后还原的图片与原始图片在不同质量系数的存储大小对比；

图6是本发明与现有技术在urban100数据集上img096图片的重建效果比较图；

图7是本发明与现有技术在set14数据集上的重建效果比较图；

图8是本发明与现有技术在b100数据集上的重建效果比较图；

图9是本发明与现有技术在urban100数据集上img099图片的重建效果比较图。

具体实施方式

如图1-9之一所示，本发明公开了一种基于超分辨率技术的图片压缩方法，其包括如下步骤：

步骤1：将移动互联网平台的用户待上传的如图3所示的照片按缩放比例s进行降采样后得到低清图片，降采样的算法采用双三次插值算法；再按原有的图片压缩编码方式如jpeg、webp等将低清图片压缩并上传；这样用户上传的数据量比原有的压缩编码方式会进一步减少至少50％，上传所需流量减少，上传速度加快。

步骤2：移动互联网平台对压缩的低清图片进行存储和分发；由于图片的数据量被进一步压缩至少50％，这样社交平台所需的存储成本和带宽成本也会进一步减少至少50％。

步骤3：移动互联网平台用户通过不同接收终端下载压缩的低清图片，接收终端对下载压缩的低清图片进行相应的解码如jpeg、webp等得到低清图片。

步骤4：将解码后的低清图片使用深度卷积神经网络模型还原重建成高清图片供用户浏览；高清图片如图4所示。

如图2所示，所述深度卷积神经网络模型包括以下几个模块阶段，分别是底层特征提取阶段、利用密集网络模块提取高层特征阶段、特征层融合阶段、特征层降维阶段、反卷积阶段和重建阶段，所述深度卷积神经网络模型具体包括以下子步骤：

步骤4.1对网络模型输入的低分辨率子图像进行卷积运算和激活函数运算，得到包括边缘信息底层特征，其计算公式是：

fl(x)＝max(w1*x+b1,0)(1)

其中w1和b1分别是第一层卷积模版参数和偏置参数，f1为所得到的底层特征；

步骤4.2利用多个密集网络模块学习得到高层特征；

进一步地，每一个密集网络模块包括8个卷积层和8个激活层，其中激活函数为规整化线性单元函数，所有卷积层的卷积核大小为3*3；每一层激活层得到的特征会以叠加的方式加入以后的层里面，并使用特征增加率k来控制每一层得到的特征图通道数；在密集网络模块内，第n层输出有k*n个特征图。特征增长率k取16，每个密集网络模块内有8层，每个密集网络模块输出的特征图通道数为128个。

步骤4.3融合底层特征和高层特征，形成丰富的特征集合，从而能够为高分辨率图像的重建提供更多的信息。在步骤4.1中所得到的底层特征包含了图像的很多边缘和形状信息，而在步骤4.2中的密集网络模块所得到的高层特征表征图像更多的抽象和纹理信息。因此，结合步骤4.1所得到的底层特征和步骤4.2所得到的高层特征可以给还原高分辨率图像中的高频内容提供了更加丰富的信息。

底层特征和高层特征都是通过跳跃式连接直接叠加得到最后的特征集合，具体可以表示为：

fn+1＝hn+1([f1,f2,…,fn])(2)

其中fn+1为融合的特征集合，f1为第1层得到的底层特征，f2到fn为密集网络模块所得到的高层特征；h为不同特征的融合函数，n为卷积网络的层数。

在特征融合阶段，由于所有特征层都有前向跳跃式连接到fn+1，这样在反向传播的时候梯度信息可以直接从顶层传播到底层，解决了网络深度增加带来的梯度消失问题。

步骤4.4降低特征层的通道数，提高卷积神经网络模型的运算速度。

在完成步骤4.3的特征融合后，网络模型可以得到128*n个特征，当n较大时，特征的通道数就会很大，这样增加了网络模型训练阶段和测试阶段的计算复杂度，降低了网络模型的运算效率，并且模型参数也会相应增加。

为了降低网络模型的计算复杂度，本发明中采用了1*1的卷积层进行特征层通道数降维，并同时也减少了模型的参数量。进一步地，经过1*1卷积层降维后，本发明所得到的特征层通道数为256。

步骤4.5利用去卷积层学习上采样算子，得到高分辨率空间的特征。在步骤4.4中所得到的特征都是在低分辨率空间的，图像大小为d*d，所以必须要对这些特征进行上采样，得到高分辨率空间的特征，才能进行高分辨率图像的重建。在基于深度学习的超分辨率算法srcnn^[1]和vdsr^[2]中，上采样算子直接采用bicubic插值，这样不仅使得深度学习模型依赖简单的插值算法，而且会增大卷积神经模型的计算量，因为卷积过程是在插值之后进行。本发明使用去卷积层，不仅可以学习得到上采样的算子，提高图像的重建性能，同时也使得卷积操作从高分辨率空间转移至低分辨率空间进行，加速了神经网络模型的卷积运算过程。

步骤4.6利用去卷积所得到的特征，重建出高分辨率图像。将重建的图像与原始的高分辨率图像进行比较，计算模型的重建损失和梯度，并沿着网络模型的反向传播梯度到网络各层当中，更新网络中的参数，经过多次迭代后求解得到最终的网络模型参数w和b。

本发明创新性地结合了密集网络模块、融合了底层和高层特征并引入了去卷积层学习上采样算子，不仅增强了高清图片的重建效果，而且还加快了重建过程的运算速度。在网络优化过程中，将重建的图片与原始的高分辨率图片进行比较，计算模型的重建损失和梯度，并沿着网络模型的反向传播梯度到网络各层当中，更新网络中的参数，多次迭代求解得到最终的网络模型参数w和b。

由于传输过来的图片是低分辨率的，数据量被进一步压缩了至少50％，用户可以以更快的速度下载图片并节省流量消耗。同时，利用本发明步骤3中所得到的深度卷积网络模型对下载的图片进行重建，还原重建成的高清图片供用户在不同终端查看，不影响用户高清观看体验。

为了验证本发明所提出算法的压缩性能，本发明从社交平台微信的android和ios的客户端上一共下载了2270张图片，并使用本发明的算法进行压缩。在压缩前，2270张图片一共占用406m的存储空间。使用我们的技术后，2270张图片的存储大小变为111m，图片一共被压缩成原始大小的27.4％，所需存储空间减少72.6％。然而，如图2所示，用户所浏览的图片，经过本发明的超分辨率算法重建还原，与原始图片视觉上没有区别，达到很好的用户浏览效果。此外，为了与jpeg压缩算法比较，本发明收集了1427张手机照片。手机照片来自不同手机型号，包括android手机和苹果手机。如图5所示，在不同压缩质量系数的情况下，本发明方法在jpeg压缩基础上，还可以进一步有效压缩存储大小70％-72％。需要强调的是，本发明方法不仅限于jpeg压缩，在其他图片压缩方法(包括谷歌的webp压缩和腾讯的tpg压缩)的基础上，本发明算法仍然可以进一步压缩至少50％。

为了验证本发明所提出的超分辨率算法在对降分辨率后传输图片的重建性能，本发明采用国际上公开的四套数据集进行测试，分别包括set5、set14、b100和urban100。在比较实验中，缩放比例s取4。本发明得到的重建效果与目前已发表的技术比较，包括双三次插值法(bicubicinterpolation)、基于字典学习的aplus^[3]算法、基于3层卷积网络模型的srcnn^[1]算法、基于20层卷积神经网络的vdsr^[2]算法和基于深度监督技术的drcn^[4]算法。本发明采用峰值信噪比(psnr:peaksignaltonoiseratio)和结构相似性(ssim:structuralsimilarityindex)来衡量高分辨率图片的重建性能。从表1中可以看出，本发明比现有技术中经典的超分辨率算法srcnn的psnr值在四套数据集上分别提高了1.44db、1.54db、1.01db、0.63db。同时，利用四套数据集所有图片进行测试，比目前国际上已发表的重建效果最好的vdsr算法和drcn算法的psnr值也分别提高了0.51db和0.56db。图6-9为本发明与现有技术在不同数据集上的重建效果比较图，可以看出本发明的高分辨率图片重建效果比现有技术的重建效果在视觉上有了显著提升。由此可见，本发明较其他现有技术相比，高分辨率图片的重建效果有了显著的提高，在图片超分辨率的重建性能上也达到了新的国际标准。

表1本发明与现有技术的psnr值和ssim值

本发明采用以上技术方案，通过创新的超分辨率重建技术，可达到理想的图片压缩效果，并首次提出将它用在移动互联网的图片压缩和传输上，不仅提升用户上传和浏览图片的体验，而且能为各个社交平台进一步节约至少50％的存储成本和带宽成本。本发明提出的一种基于超分辨率技术的图片压缩方法，具有以下优点：

(1)本发明所提出的图片压缩方法，不仅能够达到有效压缩图片的目的，而且不需要改变图片原有的格式和编解码方式，可以跟主流的图片格式结合(包括jpeg、webp和tpg等格式)，兼容性很好，从而可以在各个终端很好的被使用。对于用户来说，上传和下载浏览的速度更快，同时能够节省流量。对于移动互联网平台来说，通过使用本发明的技术，可以在现有的图片压缩编解码基础上(包括jpeg、webp和tpg等)进一步节约至少50％的存储成本和带宽成本。

(2)本发明所提出的用于图片重建的超分辨率算法是基于一种最新的深度卷积神经网络模型，并在模型中引入了密集网络模块，不仅减少了模型的参数，使得网络内的信息反向传播总是存在较短的通路，优化了信息在极深网络上的流动，有效解决深度网络的训练难题。同时，结合了底层特征和高层特征，充分利用网络中所学习得到的信息，给高分辨率图片的重建和还原提供更加丰富的多层次信息。

(3)本发明所采用的图片超分辨率算法引入了去卷积层学习上采样算子，不仅提高了重建效果，而且加快了网络的运算性能。而在基于深度学习的超分辨率算法srcnn[1]和vdsr[2]中，上采样算子直接采用bicubic插值，这样不仅使得深度学习模型依赖简单的插值算法，而且会增大卷积神经模型的计算量，因为卷积过程是在插值之后进行。本发明的创新之处使用去卷积层，不仅可以学习得到上采样的算子，提高图片的重建性能，同时也使得卷积操作从高分辨率空间转移至低分辨率空间进行，加速了神经网络模型的卷积运算过程。

本发明中涉及的参考文献如下：

[1]c.dong,c.c.loy,k.he,andx.tang.imagesuper-resolutionusingdeepconvolutionalnetworks.ieeetransactionsonpatternanalysisandmachineintelligence,38(2):295–307,2016.

[2]j.kim,j.kwonlee,andk.mulee.accurateimagesuperresolutionusingverydeepconvolutionalnetworks.inieeeconferenceoncomputervisionandpatternrecognition,pages1646–1654,2016.

[3]r.timofte,v.desmet,andl.vangool.a+:adjustedanchoredneighborhoodregressionforfastsuper-resolution.inasianconferenceoncomputervision,pages111–126.springer,2014.

[4]j.kim,j.kwonlee,andk.mulee.deeply-recursiveconvolutionalnetworkforimagesuper-resolution.inieeeconferenceoncomputervisionandpatternrecognition,pages1637–1645,2016。