基于注意力与蒸馏机制的轻量级超分辨率重建方法

recognition[c].proceedings ofthe ieee conference on computer vision and pattern recognition.2016:770-778.
[0009]
[4]lim b,son s,kim h,et al.enhanced deep residual networks for single image super-resolution[c].proceedings of the ieee conference on computer vision andpattern recognition workshops.2017:136-144.
[0010]
[5]zhang y,li k,li k,et al.image super-resolution using very deep residual channel attention networks[c].proceedings ofthe european conference on computer vision.2018:286-301.
[0011]
[6]hui z,wang x,gao x.fast and accurate single image super-resolution via information distillation network[c].proceedings ofthe ieee conference on computer vision andpattern recognition.2018:723-731.
[0012]
[7]kim j,lee j k,lee k m.accurate image super-resolution using very deep convolutional networks[c].proceedings of the ieee conference on computer vision andpattern recognition.2016:1646-1654.
[0013]
[8]tai y,yang j,liu x.image super-resolution via deep recursive residual network[c].proceedings of the ieee conference on computer vision and pattern recognition.2017:3147-3155.
[0014]
[9]tai y,yang j,liu x,et al.memnet:a persistent memory network for image restoration[c].proceedings ofthe ieee international conference on computer vision.2017:4539-4547.
[0015]
[10]hui z,gao x,yang y,et al.lightweight image super-resolution with information multi-distillation network[c].proceedings ofthe 27thacm international conference on multimedia.2019:2024-2032.
[0016]
[11]liu j,tang j,wu g.residual feature distillation network for lightweight image super-resolution[c].european conference on computervision.2020:41-55.


技术实现要素：

[0017]
为了在现有技术的基础上进行进一步的优化改进，本发明的提供了一种基于注意力与蒸馏机制的轻量级超分辨率重建方法。该方法及系统有利于在仅使用较低的参数与计算量的情况下实现图像超分辨率重建。
[0018]
其通过卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系。首先，提出的注意力卷积注意力(aca)模块能够更加高效的整合蒸馏出的特征，使得蒸馏网络更加高效。并在高效的同时，也严格控制参数，一个aca模块的参数仅有一个3
×
3卷积的一半；其次，提出的特征蒸馏和注意力结合的特征蒸馏模块(dab)能够高效提取特征，并堆叠了多个这样的模块设计了一个基于注意力与蒸馏机制的轻量级超分辨率重建网络(dan)。
[0019]
本方法引入了联合注意力机制，可以从蒸馏提取的特征中，精准定位更重要的特征信息，并增强对这些信息的表示。在权衡了网络模型与网络重建效果的前提下，设计了一个使用特征蒸馏和注意力的特征提取模块(dab)，在此基础上一个基于注意力与特征蒸馏
机制实现的轻量级超分辨率重建网络(dan)。
[0020]
实验结果表明，这种的网络结构能够在在网络模型与网络重建效果之间取得了良好的平衡。
[0021]
为实现上述目的，本发明采用的技术方案是：
[0022]
一种基于注意力与蒸馏机制的轻量级超分辨率重建方法，其特征在于，以注意力与特征蒸馏结合的特征提取网络作为单幅图像超分辨率重建的深度网络，将一张输入的低分辨率图像通过该网络映射至高分辨率图像；
[0023]
所述注意力与特征蒸馏结合的特征提取网络包括：浅层特征提取模块、非线性深层特征提取模块以及上采样重建模块；
[0024]
所述浅层特征提取模块采用一个3
×
3的卷积从输入的低分辨率图像提取浅层特征；
[0025]
所述非线性深层特征提取模块由多个特征蒸馏和注意力结合的特征提取模块堆叠构成；
[0026]
所述上采样重建模块采用亚像素卷积上采样的方法。
[0027]
进一步地，一个所述特征蒸馏和注意力结合的特征提取模块包含一个rfdb特征蒸馏模块和一个注意力卷积注意力模块；所述注意力卷积注意力模块由一个协同注意力模块、一个1
×
1卷积和一个增强的空间注意力模块构成，以对将蒸馏后的信息进行整合。使用该模块可以灵活聚合和提取更具有代表性的特征，使得上下文和中间特征可以很好的交互，这有利于高质量sr图像的重建。
[0028]
进一步地，将输入的低分辨率图像i
lr
，以高分辨率图像i
hr
为目标，经过网络得到相应的超分辨率图像i
sr
；其过程的公式描述为：
[0029]isr
＝h
dan
(i
lr
)
[0030]
其中h
dan
(
·
)代表注意力与特征蒸馏结合的特征提取网络；
[0031]
采用l1损失函数对网络进行优化；通过n组训练数据进行训练；损失函数定义为：
[0032][0033]
其中θ代表网络模型中可以迭代的参数；训练结束后，得到注意力与特征蒸馏结合的特征提取网络的模型参数，直接用于图像超分辨率重建。
[0034]
进一步地，所述非线性深层特征提取模块由n个特征蒸馏和注意力结合的特征提取模块堆叠构成；
[0035]fk
＝hk(f
k-1
),k＝1,...,n
[0036]
其中hk代表第k个特征蒸馏和注意力结合的特征提取模块，f
k-1
和fk分别代表第k个特征蒸馏和注意力结合的特征提取模块的输入与输出的特征；每一个注意力与特征蒸馏结合的特征提取网络的输出特征fk，最终到被连接到一起，之后，首先使用一个1
×
1的卷积降低通道，然后再用一个3
×
3的卷积以平滑地聚合这些特征，该过程由公式描述为：
[0037]
y＝h
assemble
(concat(f1,...,fn))+f0[0038]
其中y代表非线性深层特征提取模块的输出，h
assemble
是一个1
×
1卷积接着一个3
×
3卷积。
[0039]
提出的注意力卷积注意力模块放置于特征蒸馏操作后。在特征蒸馏操作中，虽然能够保留网络中重要的信息，但后续的操作也同样重要。需要将蒸馏后的信息进行整合，否则网络会无法判别不同网络层次中蒸馏出的特征哪些是重要的，而哪些是较为次要的。因此注意力卷积注意力模块专门为整合蒸馏特征而设计，它比原先仅使用1
×
1卷积拥有更强的整合蒸馏特征能力。
[0040]
以及，一种基于注意力与蒸馏机制的轻量级超分辨率重建系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，以实现如上所述的方法。
[0041]
与现有技术相比，本发明及其优选方案的有益效果主要有两点：1、提出的注意力卷积注意力模块能够更加高效的整合蒸馏出的特征，使得蒸馏网络更加高效。并在高效的同时，也严格控制参数，一个注意力卷积注意力模块的参数仅有一个3
×
3卷积的一半。2、重新优化了rfdb模块，基于充分的消融实验结果，去除了多余的残差连接，这样不仅是效果变得更好，而且并不增加参数。并在最后加入了注意力卷积注意力模块。本发明将这个整合后的新模块称为特征蒸馏和注意力结合的特征提取模块并堆叠多个这样的特征蒸馏和注意力结合的特征提取模块组成了注意力与特征蒸馏结合的特征提取网络。
附图说明
[0042]
图1是本发明实施例中注意力与特征蒸馏结合的特征提取网络的结构示意图。
[0043]
图2是本发明实施例中注意力与特征蒸馏结合的特征提取模块的结构示意图。
[0044]
图3是本发明实施例中注意力卷积注意力模块的结构示意图。
[0045]
图4是本发明实施例中本方法与其他四种方法的重建结果对比图。
具体实施方式
[0046]
下面结合附图及实施例对本发明做进一步说明。
[0047]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0048]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0049]
如图1所示，本实施例注意力与特征蒸馏结合的特征提取网络分为三个部分，分别为：浅层特征提取模块、非线性深层特征提取模块以及上采样重建模块。
[0050]
在浅层特征提取部分，采用一个3
×
3的卷积用来从输入的i
lr
图像提取浅层特征：
[0051]
f0＝cs(i
lr
)
[0052]
其中cs(
·
)代表浅层提取模块，f0代表提取到的浅层特征。
[0053]
紧接着的是非线性特征提取模块，它是图像超分辨率重建效果的关键。本实施例采用的方式为：由n个特征蒸馏和注意力结合的特征提取模块堆叠构成，以逐个提取图像特
征，其过程可以被公式描述为：
[0054]fk
＝hk(f
k-1
),k＝1,...,n
[0055]
其中hk代表第k个特征蒸馏和注意力结合的特征提取模块，f
k-1
和fk则分别代表第k个特征蒸馏和注意力结合的特征提取模块的输入与输出的特征。每一个注意力与特征蒸馏结合的特征提取网络的输出特征fk，最终到会被连接到一起。在这之后，则希望将这些特征进行聚合。为了在该操作中为减少参数，首先使用一个1
×
1的卷积先降低通道，然后再用一个3
×
3的卷积来平滑地聚合这些特征。该过程可以被公式描述为：
[0056]
y＝h
assemble
(concat(f1,...,fn))+f0[0057]
其中y代表的是非线性深层特征提取模块的输出，h
assemble
是一个1
×
1卷积接着一个3
×
3卷积。
[0058]
非线性深层特征提取模块的输出将作为上采样重建模块的输入。本实施例采用亚像素卷积上采样的方法。
[0059]
如图2所示，本实施例特征蒸馏和注意力结合的特征提取模块由两部分组成。上半部分采用rfdb中的特征蒸馏结构，下半部分则是采用了注意力卷积注意力模块，如图3所示，由一个协同注意力模块、一个1
×
1卷积和一个增强的空间注意力模块构成
[1]
。使用该模块能够在参数和计算的约束下，如何防止信息丢失，如何利用中间特征就变得非常重要。使用这种方法，可以使得丢失的信息减少，从而得到更准确的特征。并且该类方法能够降低模型的复杂性，并且促使其在现实场景中的应用。
[0060]
如图3所示，具体地，注意力卷积注意力模块首先使输入通过一个联合注意力精准定位更重要的特征信息，并增强对它们的表示。后做一个1
×
1卷积使得网络能够在降低通道数的同时融合这些特征。最后为了最大化模块的有效性，最好与空间注意力相结合。本实施例提出的模块在最后加上了一个增强的空间注意力块，它在残差块的末端工作时能够获得更具代表性的特征。使用该模块，蒸馏出的特征就会被有效整合，并增强网络对重要信息的表达。
[0061]
本实施例还提供了一种基于注意力与蒸馏机制的轻量级超分辨率重建系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法。
[0062]
为了验证本实施例方案的效果，提供的测试实例中，分别做了缩放因子为2与4的实验，缩放因子为2的原图裁剪大小为240
×
240，缩放因子为4的原图裁剪大小为320
×
320。采用了随机水平翻转以及90度的旋转来增强数据集。优化器采用adam方式，β1，β2，ε分别为0.9,0.999,10-8
。训练初始学习率为5
×
10-4
，每个epoch训练500个批次(mini-batch)，并且每当训练400个epoch后学习率就
×
0.5来实现衰退。本发明将批大小(batchsize)设置为128，使用l1损失训练1300个epoch。之后将学习率定为1
×
10-4
训练1000个epoch来实现微调。表中所有实验结果都是使用机器学习库pytorch(版本＝1.9.0)以及通过一个nvidia3090 gpu训练得到。
[0063]
为将本发明提出的方法与几种具有代表性的轻量级图像超分辨率重建网络进行了对比。在表1中，分别显示了本发明提出的方法与这些网络在5个数据集中尺度因子(scale)为2与尺度因子为4的比较结果。可以很清楚地发现，本发明提出的方法从这些网络中脱颖而出，在维持模型参数较小的同时，拥有出众的图像超分辨率重建效果。
[0064]
在图4中，可以直观地将本实施例的方法在urban100数据集上与其它方法进行比较。通过对超分辨率(sr)图像结果的横向比较，可以看出本实施例提出的方法可以比其它方法拥有更准确的重建细节，并具有更小的失真。所有这些结果都说明了本实施例提出的dan的有效性和卓越性。
[0065]
表1
[0066]
[0067][0068]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0069]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0070]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0071]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0072]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所
作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。