基于残差递归补偿和特征融合的多描述压缩图像增强方法

1.本发明属于图像质量增强领域，具体涉及的是一种基于残差递归补偿和特征融合的多描述压缩图像增强方法。


背景技术：

2.虽然现有的通信系统能够提供很宽的网络带宽，但是在人群密集的场所如演唱会的现场、足球比赛场地、学生宿舍楼群会出现网络拥堵的现象。此外，在极端的恶劣偏远地区通常只有有限的通信设备资源，这将导致数据包有很大的概率发生丢失。现有的图像压缩标准虽然可以实现高效的压缩，但是无法保证数据的可靠传输。不同于单描述压缩，多描述编码(mdc)将一个信源分成多个描述，并且经过不同的信道进行传输，那么在接收端如果接收到所有的描述就能恢复出高质量的图像。如果在接收端所有描述中的一个描述发生丢失，那么我们可以使用其他的描述恢复出一个较高质量的图像，这样就能实现可靠的图像传输。
3.虽然mdc使用量化模块可以极大的减少数据量，但是这将使得经过压缩的中路和边路图像发生不同程度的失真，特别是接收到的边路图像存在严重失真，因此，我们需要使用图像的压缩伪影去除技术来提升mdc图像的解码质量。通常，将压缩伪影去除技术分成两类，分别是传统的压缩伪影去除方法和基于深度学习的压缩伪影去除方法。例如，dabov等人提出了一种基于变换域的增强稀疏表示策略，并且通过分组和协同滤波来实现图像去噪。foi等人提出了基于形状自适应离散余弦变换(sa
‑
dct)的图像滤波方法，该方法定义了一种区域形状自适应的变换来有效地去除图像的块效应和边缘振荡效应。chang等人通过稀疏表示和冗余字典学习来减少jpeg压缩所带来的伪影，但是该方法无法恢复丢失一些高频信息。zhang等人提出了一种基于非凸低秩模型的图像去块方法(concolor)，该方法的优势在于不改变现有编解码器的情况下，将量化约束显式地变换到可行解空间来约束非凸的低秩优化，同时该方法利用一种自适应参数调整的交替最小化策略来解决对应的优化问题。
4.近年来，深度学习的卷积神经网络(cnn)技术得到广泛的关注和发展，卷积神经网络在计算机视觉领域已经取得了巨大成功，同时它能够用来解决图像超分、去雨、去雾、去噪等任务。此外，基于卷积神经网络的压缩伪影去除的方法也受到研究者的广泛关注。例如，yu等人提出了一种图像压缩伪影去除的方法并命名为arcnn，该方法验证了重用浅层网络的参数有利于训练模型的深层网络。为了解决深层网络不好训练的问题，zhang等人提出了一种基于残差学习的神经网络去噪方法并将其命名为dncnn，该方法利用残差学习和批归一化层来设计深层的卷积神经网络，这种设计有助于提升网络的收敛速度和去噪性能。为了进一步提升图像增强的性能，qiu等人提出了一种基于深度残差学习的jpeg压缩伪影去除方法，该方法将基于信号处理的图像恢复方法与深度残差学习模型相结合来恢复原始数据。以上这些方法没有充分利用图像的上下文信息来实现图像质量的增强。为了解决这个问题，chen等人提出多尺度稠密残差网络，该网络将不同空洞因子的空洞卷积引入到残
差网络的稠密模块并构建多尺度稠密模块来获得更大的感受野。不同于一般的单域神经网络处理方法，zhang等人提出了一种双域多尺度卷积神经网络方法(dmcnn)，该网络能够有效地提取全局信息来消除jpeg压缩伪影，但是它无法处理彩色图像。类似于dmcnn方法，zheng等人提出了一种隐式双域卷积网络(idcn)来减少彩色图像的压缩伪影。虽然dmcnn与idcn都采用了双支路的网络拓扑结构，但它们并没有充分地利用图像的高低频信息来实现特征互补。为了充分地利用图像高低频特征，jin等人提出了一种灵活的深度学习图像恢复方法，该方法首先将低质量的输入图分解为低频的结构图和高频的纹理图；其次，将两个图像分别送入质量增强网络并将纹理特征用于增强结构特征；最后，将预测的高质量的纹理图和结构图使用聚合网络进行合并。
5.虽然以上的方法可以取得良好的去噪性能，但是这些方法无法针对不同级别的压缩伪影实现自适应的图像增强。这些方法往往需要训练多个去噪网络模型，这将必然提升图像增强方法的复杂度，而且经过训练的多个模型会占用较大的存储空间，因此这些方法很难被广泛地采用。为了应对这一问题，li等人提出了一种面向不同质量因子jpeg压缩的单模型压缩伪影去除方法，该方法分别使用恢复支路和全局支路来解决局部震荡伪影和全局的块伪影与颜色漂移。此外，ogun kirmemis等人提出了一种bpg图像压缩的伪影去除方法。该算法需要从三个不同大小的压缩伪影去除网络中选择一个网络对图像进行去噪，但是如何挑选最佳的伪影去除网络是一个困难的问题。除了压缩图像的增强问题外，很多的研究者致力于解决视频压缩质量增强问题。例如，zhou等人提出一种基于双网络的压缩视频重建方法，该方法先用压缩网络去除图像压缩伪影，再使用超分辨率网络进一步提高压缩图像的质量。
6.总而言之，这些超大的深度学习模型很难满足轻量化设备的需求，因此，需要研究轻量化深度学习模型。


技术实现要素：

7.本发明提出了一种基于残差递归补偿和特征融合的多描述压缩图像增强方法，它是由三个部分组成：多描述低分辨率特征提取网络、多描述边路上采样重建网络和多描述中路上采样重建网络。该网络能够很好地解决现有深度学习模型大而导致的占用存储空间大、计算复杂度高的问题，能够解决压缩图像出现不同程度失真，特别是边路解码图像会出现严重的结构分裂伪影现象。
8.为了实现上述目的，本发明通过以下技术方案予以实现。
9.基于残差递归补偿和特征融合的多描述压缩图像增强方法，包括以下步骤：
10.步骤1)训练数据构建
11.在网络训练前，采用多描述随机偏移量化方法(mdroq)来获得多描述压缩图像，并且使用不同量化参数对(qstep0，qstep1)分别为(56，56.57)、(96，96.57)、(136，136.57)、(176，176.57)和(216，216.57)来获得不同程度失真的压缩图像作为数据集，多描述图像编码的输出包含两个边路解码图像x1、x2和中路解码图像x3；
12.步骤2)采用多描述低分辨率特征提取网络获取卷积特征图
13.多描述低分辨率特征提取网络包含两个部分的低分辨率特征提取网络，分别是边路低分辨率特征提取网络和中路低分辨率特征提取网络，经过低分辨率特征提取网络得到
两组边路低分辨率卷积特征图z1和z3和一组中路低分辨率卷积特征图z2；
14.步骤3)利用多描述边路上采样重建网络和多描述中路上采样重建网络提取网络的低分辨率卷积特征
15.将获得的边路低分辨率卷积特征图z1和z3分别输入两个边路上采样重建网路中得到两个边路解码增强图像r1和r3，将步骤2)中获得的z1、z3和z2，输入多描述中路上采样重建网络中得到中路解码增强图像r2；
16.步骤4)将步骤3)中获得的边路解码增强图像r1、r3和边路解码图像x1、x3融合获得最终的边路增强图像y1、y2，将步骤3)中获得的中路解码增强图像r2和中路解码图像x3融合获得最终的中路增强图像y2；
17.步骤5)损失函数
18.多描述图像的损失函数是由两个边路损失和一个中路损失组成的，采用平均绝对误差损失函数mae来作为图像增强任务的损失函数。
19.进一步的，所述步骤2)中的边路低分辨率特征提取网络首先使用一个序列化的操作conv+bn+prelu将图像转化为卷积特征，然后采用残差递归补偿方式对该卷积特征进行多层融合，在这个补偿过程中，使用了五个残差卷积块resb依次进行特征提取，同时将这些提取到的特征进行多次的通道加权平均融合，经过第五个残差卷积块的特征提取之后，将其与初始的卷积特征和前四次通道加权融合的特征再次进行通道加权特征融合得到该特征提取网络的低分辨率卷积特征，两个边路低分辨率特征提取网络在提取低分辨率特征过程中采用残差块参数共享策略。
20.进一步的，所述步骤2)中的中路低分辨率特征提取网络首先使用一个序列化的操作conv+bn+prelu将图像转化为卷积特征，然后采用残差递归补偿方式对该卷积特征进行多层融合，在这个补偿过程中，使用了五个残差卷积块resb依次进行特征提取，同时将这些提取到的特征进行多次的通道加权平均融合，经过第五个残差卷积块的特征提取之后，将其与初始的卷积特征和前四次通道加权融合的特征再次进行通道加权特征融合得到该特征提取网络的低分辨率卷积特征。中路低分辨率特征提取网络与边路低分辨率特征提取网络的相似点在于采用同一网络拓扑结构，但是这两个网络的可学习参数取值有所不同。换言之，这两个网络没有使用参数共享策略。
21.所述步骤3)中的多描述边路上采样重建网络中，首先将得到的边路低分辨率特征输入到五个串联的序列化操作conv+bn+prelu得到重建特征，同时在第三个序列化操作中引入跳跃连接，有助于梯度反向传播，最后，将得到的重建特征输入到上采样convt卷积层，即可得到边路解码增强图像，在两个多描述边路上采样重建网络中，深层的卷积层采用参数共享策略。
22.所述步骤3)中的多描述中路上采样重建网络中，首先将得到的两个边路低分辨率特征都输入五个序列化的操作conv+bn+prelu得到重建特征，同时在第三个序列化操作中引入跳跃连接，在跳跃连接之后将得到的边路融合特征与中路低分辨率特征沿通道维度进行串联，最后，将得到的重建特征输入到上采样convt卷积层，即可得到个中路解码增强图像。中路上采样重建网络不仅可以使用从两个边路解码图像提取的特征图，而且还可以使用从中路解码图像提取的特征图。因此，在边路上采样重建网络的结构之上，设计了能够融合这些特征图的中路上采样重建网络。
23.所述步骤1)中，网络训练开始之前，除了对训练样本进行处理，还需要进行网络训练参数和优化器的配置，在深度学习框架pytorch下使用nvidia rtx 2080ti gpu显卡来训练和测试，采用adam优化器来训练所提的网络，该优化器的初始学习率设置为2e
‑
4，采用固定步长为100epoch和乘性衰减率为0.5来迭代地减小学习率，每次使用批大小为8的一组图像更新网络参数，在整个训练数据集上网络迭代更新500次。
24.与现有技术相比，本发明的有益效果为：
25.1、边路低分辨率特征提取网络和中路低分辨特征提取网络采用同一网络拓扑结构，但是这两个网络的可学习参数取值有所不同，在两个边路低分辨率特征提取网络采用残差块参数共享策略，但是中路低分辨特征提取网络没有使用参数共享策略，这样可以有效地避免在深度神经网络训练过程中所提的模型出现过拟合的现象，同时降低深度神经网络的可学习参数量。
26.2、在两个边路上采样重建网络中，深层的卷积层同样采用参数共享策略，这种策略能够极大地降低网络模型的参数量，同时能够提高网络的泛化能力。但是不同于边路上采样重建网络，中路上采样重建网络不仅可以使用从两个边路解码图像提取的特征图，而且还可以使用从中路解码图像提取的特征图。通过中路上采样重建网络来融合这些特征图，从而更好地增强中路解码图像质量。
27.3、常用的图像重建损失包括内容损失、结构不相似性损失、全变分损失和梯度差损失等。对于图像重建任务的内容损失，往往采用l1范数或l2范数来构建损失函数。很多的研究工作表明由l2范数构建的均方误差损失(mse)会使得经过该损失函数约束的模型输出结果呈现过度平滑的效果。与之相比，由l1范数构建的平均绝对误差损失函数(mae)会使得经过该损失函数约束的模型输出结果和原图更接近。因此，在本发明中我们采用mae来作为图像增强任务的损失函数。
附图说明
28.图1为本发明基于残差递归补偿和特征融合的多描述压缩图像增强示意图。
29.图2为本发明的残差块示意图和多描述边路低分辨率特征提取网络示意图。
30.图3为本发明的多描述中路低分辨率特征提取网络示意图。
31.图4为本发明的多描述边路上采样重建网络示意图。
32.图5为本发明的多描述中路上采样重建网络示意图。
33.图6为本发明的多描述中路压缩增强图像在量化参数对(qstep0,qstep1)为(216,216.57)时的主观质量对比图，其中(a)为原始图像(b)为压缩后的图像(c)为arcnn方法(d)为fastarcnn方法(e)为dncnn方法(f)为本发明方法。
34.图7为本发明的多描述第一个边路压缩增强图像在量化参数对(qstep0,qstep1)为(216,216.57)时的主观质量对比图，其中(a)为原始图像(b)为压缩后的图像(c)为arcnn方法(d)为fastarcnn方法(e)为dncnn方法(f)为本发明方法。
35.图8为本发明的多描述第二个边路压缩增强图像在量化参数对(qstep0,qstep1)为(216,216.57)时的主观质量对比图，其中(a)为原始图像(b)为压缩后的图像(c)为arcnn方法(d)为fastarcnn方法(e)为dncnn方法(f)为本发明方法。
具体实施方式
36.下面结合附图和实施例对本发明作进一步的详细描述。为了更好的理解本发明的图像增强方法，先对本发明网络结构做详细介绍。
37.一、基于残差递归补偿和特征融合的多描述压缩图像增强方法的具体实现
38.如图1所示，所提的基于残差递归补偿和特征融合的多描述压缩图像增强方法总共有三个网络：多描述低分辨率特征提取网络、多描述边路上采样重建网络和多描述中路上采样重建网络。所提方法的实现步骤如下所示：
39.步骤1)训练数据集和测试数据集的构建
40.在网络训练前，我们采用多描述随机偏移量化方法(mdroq)来获得多描述压缩图像，并且使用不同量化参数对(qstep0,qstep1)分别为(56,56.57)、(96,96.57)、(136,136.57)、(176,176.57)和(216,216.57)来获得不同程度失真的压缩图像作为数据集。当量化参数对(qstep0,qstep1)越小时，多描述图像压缩失真越小，即能保留更多的原始信息。
41.步骤2)多描述低分辨率特征提取网络
42.由于多描述图像编码的输出包含多个边路解码图像和中路解码图像，因此设计含有两个部分的低分辨率特征提取网络，即边路低分辨率特征提取网络和中路特征提取网络，如图2和图3所示。经过低分辨率特征提取网络得到两组边路低分辨率卷积特征图和一组中路低分辨率卷积特征图。
43.步骤3)多描述边路上采样重建网络
44.如图4所示，第一个边路上采样重建网络将得到的第一个边路低分辨率特征z1输入到五个串联的序列化操作(conv+bn+prelu)得到重建特征，同时在第三个序列化操作中引入跳跃连接，有助于梯度反向传播。最后，将得到的重建特征输入到上采样(convt)卷积层，即可得到第一个边路解码增强图像r1。第二个边路上采样重建网络也是如此。在两个边路上采样重建网络中，深层的卷积层采用参数共享策略，这种策略能够保证参数量较少的同时增强图像重建效果。
45.步骤4)多描述中路上采样重建网络
46.如图5所示，不同于边路上采样重建网络，中路上采样重建网络不仅可以使用从两个边路解码图像提取的特征图，而且还可以使用从中路解码图像提取的特征图。因此，在边路上采样重建网络的结构之上，设计了中路上采样重建网络来融合这些特征图。
47.步骤5)损失函数
48.不同于单描述图像编码，多描述图像的损失函数是由两个边路损失和一个中路损失组成的。在本发明中，采用平均绝对误差损失函数(mae)来作为图像增强任务的损失函数。
49.二、基于残差递归补偿和特征融合的多描述压缩图像增强方法的训练
50.网络训练参数配置
51.在训练网络时，选择adam优化器来训练所提出的网络模型，并且将其学习率设为2e
‑
4，采用固定步长为100epoch和乘性衰减率为0.5来迭代地减小学习率。每次使用批大小为8的一组图像来更新网络参数，在整个训练数据集上网络迭代更新500次。
52.网络训练
53.本发明所提的基于残差递归补偿和特征融合的多描述压缩图像增强方法训练网
络所用损失函数可以表示为：
[0054][0055][0056][0057][0058]
其中,||
·
||1表示l1范数，loss1、loss2和loss3分别为两个边路损失和中路损失，i
1i
和分别为模型预测输出图与其对应的原始图像第i个像素的像素值，n为原始图像的像素总数。
[0059]
三、基于残差递归补偿和特征融合的多描述压缩图像增强方法的训练
[0060]
网络测试结果客观指标对比
[0061]
为了验证本发明方法的可行性，我们将其与多个图像增强方法，如arcnn、fastarcnn、和dncnn进行了比较。如表1
‑
3所示，表一为本发明的在不同(qstep0,qstep1)下经过多描述图像编码方法mdroq的压缩的第一个边路增强图像的客观质量对比，表2为本发明的在不同(qstep0,qstep1)下经过多描述图像编码方法mdroq的压缩的第二个边路增强图像的客观质量对比。表3为本发明的在不同(qstep0,qstep1)下经过多描述图像编码方法mdroq的压缩的中路增强图像的客观质量对比。
[0062]
从这三个表可以看出：在(qstep0,qstep1)分别为(56,56.57)、(96,96.57)、(136,136.57)、(176,176.57)和(216,216.57)时，经过所提方法增强的两个边路及中路解码图像的客观评价指标psnr和ssim明显高于其他方法。
[0063]
表1
[0064][0065]
表2
[0066][0067]
表3
[0068][0069]
如表4所示，将所提的方法与arcnn、fastarcnn和dncnn方法的网络参数量进行对比。从该表可以明显发现：arcnn和fastarcnn的参数量是我们方法参数量的一倍多，并且psnr和ssim比我们的方法要小。虽然dncnn方法与所提方法的参数总量非常接近，但是经过所提方法增强的图像的客观评价指标psnr和ssim高于其他方法。从表格5中可以发现所提方法的感受野比arcnn、fastarcnn和dncnn方法更大。
[0070]
表4
[0071][0072]
表5
[0073][0074]
arcnn网络提取的特征存在着大量的冗余信息，同时该网络需要通过增加网络参数量提升该网络的性能，这势必增加运行时间、计算成本和存储空间。虽然fastarcnn一定程度缓解了这些问题，但在量化参数对(qstep0,qstep1)较小即图像质量较高时，该方法恢复效果较差。相比于浅层网络方法arcnn和fastarcnn，使用更深网络结构的dncnn能够提升增强图像的质量，但是也会增加网络的计算量。上述方法能够解决多描述压缩图像增强问题，但是它们并没有考虑到多描述编码的边路独立解码和中路联合解码的特性，而所提方法的网络结构可以充分利用多描述编码的边路独立解码和中路联合解码的特性以及参数共享的策略，在降低网络复杂度的同时扩大感受野使图像拥有更多的空间相关性。
[0075]
网络测试结果主观指标对比
[0076]
在量化参数对(qstep0,qstep1)为(216,216.57)时，下面将比较本专利方法与arcnn、fastarcnn和dncnn方法增强图像的视觉质量。由于本专利方法采用残差递归补偿、特征融合、参数共享的方法相比于其他方法具有较低的网络复杂度，同时充分利用空间相关性信息得到更清晰的图像。图6为中路增强图像的对比图，从该图中中可以看出所提方法的视觉效果更好，这进一步验证了本文所提方法的有效性。图7和图8分别为第一个边路和第二个边路增强图像的对比图。从这两个图可以看出：所提方法的视觉效果仍然更好，而其他方法的视觉效果基本相同。通过对比这三个图可以发现，图7和8的边路解码图像存在严重的结构分裂伪影，这是由边路的独立解码特性和中路联合解码特性决定的。与之相比，中路图像包含更多细节同时更加清晰。
[0077]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。