一种轻量化图像和视频质量重建方法、装置和设备与流程

1.本发明涉及图像处理技术领域，具体涉及一种轻量化图像和视频质量重建方法、装置和设备。


背景技术：

2.随着科学技术的发展，手机、平板等移动设备已经完全融入人们日常生活中，并且对此类设备的成像质量要求也变得越来越高。但是在移动终端上显示的图片或视频，由于压缩、传输、存储等操作会产生大量噪声、细节丢失等失真，极大的影响用户的视觉体验。近年来，为了提高终端显示的图片或视频的视觉质量，图像或视频去噪和超分辨技术被广泛使用。并且，随着深度学习在计算机视觉领域的快速发展，基于深度学习的图像或视频增强已成为新的解决方案。但是在工业界，基于深度学习超分方法在落地过程中却面临着两个巨大的挑战：1.图像或视频恢复模型方法复杂度太高；2.移动设备算力有限。


技术实现要素：

3.有鉴于此，本发明实施例提供一种轻量化图像和视频质量重建方法、装置和设备，以提供一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。
4.为实现上述目的，本发明实施例提供如下技术方案：
5.一种轻量化图像和视频质量重建方法，包括：
6.获取待处理图像；
7.对所述待处理图像进行x倍降采样处理，并进行通道扩展，得到第一特征图；
8.对所述第一特征图进行低级特征提取；
9.对提取到的低级特征进行n倍上采样，所述n不小于2；
10.对所述n倍上采样的采样结果进行高级特征提取，得到重建特征；
11.对所述重建特征进行m倍上采样，所述m不小于2；
12.采用预设的高频注意力结构对所述待处理图像提取高频特征图并和m倍上采样的采样结果进行处理得到增强高频后的结果图。
13.可选地，上述轻量化图像和视频质量重建方法中，所述对所述待处理图像进行x倍降采样处理，得到第一特征图，同时扩展第一特征图的通道数；
14.采用预设卷积核与所述待处理图像进行步长为x的卷积操作，得到降采样x倍的特征图，记为第一特征图；
15.对所述第一特征图进行一次非线性变换，以扩展第一特征图的通道数。
16.可选地，对所述第一特征图进行一次非线性变换，包括：
17.采用信息增强模块对所述第一特征图进行一次非线性变换。
18.可选地，对所述第一特征图进行低级特征提取，包括：
19.采用特征增强的特征增强蒸馏模块对所述第一特征图的通道进行第一次蒸馏，由所述第一特征图的通道中蒸馏出a个通道的特征图，记为第一蒸馏特征图，所述a为一个预
设的正整数；
20.对于第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，记为第一降维特征图；
21.采用特征增强的特征增强蒸馏模块对所述第一降维特征图的通道进行第二次蒸馏，由所述第一降维特征图的通道中蒸馏出c个通道的特征图，记为第二蒸馏特征图；
22.对于第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，得到b个通道的特征图，记为第二降维特征图，所述b为对所述待处理图像进行x倍降采样处理后的通道数；
23.对所述第一特征图、第一蒸馏特征图、第二蒸馏特征图以及第二降维特征图在通道维度进行融合，得到第一融合特征图；
24.再对所述第一融合特征图进行特征融合和通道降维，得到具有d个通道的特征图，记为第二特征图；
25.然后对所述第二特征图进行特征提取，得到第三特征图，该特征提取结果即为低级特征提取结果。
26.可选地，对提取到的低级特征进行n倍上采样，所述n不小于2，包括：
27.将对所述第三特征图与所述第二特征图在通道维度上进行融合，并采用1*1卷积对融合结果进行特征融合，得到第四特征图；
28.对所述第四特征图进行一次2倍上采样。
29.可选地，对所述n倍上采样的采样结果进行高级特征提取，得到重建特征，包括：
30.采用特征增强的特征增强蒸馏模块对所述第四特征图的2倍上采样结果进行高级特征提取，得到重建特征。
31.可选地，对所述重建特征进行m倍上采样为：
32.对所述重建特征进行2倍上采样。
33.可选地，所述采用预设的高频注意力结构对所述待处理图像提取高频特征图并和m倍上采样的采样结果进行处理得到增强高频后的结果图，包括：
34.使用sobel算子提取所述待处理图像的高频特征图；
35.将提取到的高频特征图与所述重建特征在通道维度上进行融合；
36.采用1*1卷积对所述高频特征图与所述重建特征的融合结果进行通道降维处理，得到仅具有一个通道的特征图；
37.对该仅具有一个通道的特征图进行非线性变换，得到该仅具有一个通道的特征图进行线性变换后，特征图的每个像素位置的值，将每个像素位置的值作为高频特征的权重，从而得到高频特征注意力特征图；
38.将所述高频特征注意力特征图与所述重建特征进行点乘，得到具有高频信息增强后的特征图；
39.采用双三次差值方法对所述待处理图像进行上采样处理；
40.将所述重建特征进行2倍上采样的采样结果、具有高频信息增强后的特征图与所述待处理图像的上采样处理结果进行叠加，得到增强高频后的结果图。
41.一种轻量化图像和视频质量重建装置，包括：
42.采集单元，用于获取待处理图像；
43.处理单元，用于对所述待处理图像进行x倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行n倍上采样，所述n不小于2；对所述n倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行m倍上采样，所述m不小于2；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和m倍上采样的采样结果进行处理得到增强高频后的结果图。
44.一种轻量化图像和视频质量重建系统，包括：上述任意一项所述的轻量化图像和视频质量重建装置。
45.基于上述技术方案，本发明实施例提供的上述方案，通过对所述待处理图像进行x倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行n倍上采样；对所述n倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行m倍上采样；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和m倍上采样的采样结果进行处理得到增强高频后的结果图，提供了一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
47.图1为本技术实施例提供的轻量化图像和视频质量重建方法的网络结构图；
48.图2为本技术实施例提供的轻量化图像和视频质量重建方法的流程示意图；
49.图3为本技术另一实施例提供的轻量化图像和视频质量重建方法的流程示意图；
50.图4为本技术另一实施例提供的轻量化图像和视频质量重建方法的流程示意图；
51.图5为本技术另一实施例提供的轻量化图像和视频质量重建装置的结构示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.目前现有的基于深度学习的轻量化图像或视频恢复仍有很多不足，如泛化性低、网络复杂、计算量大，使移动设备发烫现象严重。因此，本发明的创新点在于充分考虑移动端设备有限的算力，结合移动设备真实落地场景，在复杂的图像或视频退化下，设计了一种兼顾去噪和超分辨的轻量化图像和视频质量重建方法，以实现在移动设备上的实时处理，并避免设备发烫现象。
54.本技术公开了一种轻量化图像和视频质量重建方法，参见图1和图2，该方法可以包括：
55.步骤s101：获取待处理图像；
56.所述待处理图像，指的是需要采用本技术实施例公开的方法进行处理的图像，其
可以为图片，该图片可以是视频图像中的每一帧的图像；
57.参见图1，在本步骤中，所述待处理图像作为input数据。
58.步骤s102：对所述待处理图像进行x倍降采样处理，并进行通道扩展，得到第一特征图；
59.在对所述待处理图像进行x倍降采样处理，得到特征图时，可以采用预设卷积核与所述待处理图像进行步长为x的卷积操作，得到降采样x倍的特征图；
60.具体的可以采用pixelunshuffle方法(亚像素卷积下采样方法)，对输入的图片进行降采样处理，得到特征图；
61.例如，假设待处理图像的形状为[3,h,w]，所述h和w是图片的高度和宽度，对该待处理图像使用pixelunshuffle操作进行2倍降采样得到图1中所示出的第一特征图f
d1
，pixelunshuffle操作的具体实现如下：
[0062]
首先，定义大小为[12，1，2，2]的全0卷积核，然后把卷积核中[0：：4，0，0，0]、[1：：4，0，d，1]、[2：：4，0，1，d]和[3：：4，0，1，0]位置赋值为1，此时得到预设卷积核。接着使用定义好的预设卷积核与输入的待处理图像进行步长为2的卷积操作，这样得到降采样2倍的第一特征图，其形状为[12,h//2,w//2]，即得到了一个通道为12，高度和宽度减半的低维度的第一特征图f
d1
；
[0063]
在通道扩展时，可以通过对所述第一特征图进行一次非线性变换的方式扩展第一特征图的通道数，具体过程可以包括：
[0064]
采用信息增强模块(feature enhanced module,以下简称fem)对所述降采样x倍的特征图进行处理，以扩展特征图的通道数，得到第一特征图，其中，所述fem模块由一个3
×
3卷积、一个lrelu(泄露修正线性)函数组成，假设输入的x倍的特征图有12个通道，经过fem模块处理后，会得到有48个特征图的增强特征fe，记为第一特征图fe；
[0065]
步骤s103：对所述第一特征图进行低级特征提取；
[0066]
在本步骤中，如图1所示，所述低级特征提取主要通过特征增强的特征增强蒸馏模块(feature enhanced distillation block,以下简称fedb)来实现，由于在信息蒸馏的过程中，特征图的数量是逐级递减的，特征的减少，在一定程度上影响了网络的表达能力，因此，本技术公开了一种具体的低级特征提取提取方案，具体的，参见图3，该提取方案可以包括：
[0067]
步骤s201：在通道维度采用特征增强的特征增强蒸馏模块对所述第一特征图fe的通道进行第一次蒸馏操作，由所述第一特征图fe的通道中蒸馏出a个通道的特征图，记为第一蒸馏特征图f
dis1
，其中，所述a的值可以为3或其他值；
[0068]
步骤s202：对于第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，得到第一降维特征图f
re1
；
[0069]
具体的，可以使用一个3
×
3卷积、一个lrelu函数对所述第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维；
[0070]
所述第一降维特征图的通道数的数量可以依据用户需求自行选择，例如所述第一特征图fe的通道数为48，所述a的值为3，所述第一降维特征图的通道数可以为33；
[0071]
步骤s203：采用特征增强的特征增强蒸馏模块对所述第一降维特征图f
re1
的特征图的通道进行第二次蒸馏，由所述对所述第一降维特征图f
re1
的通道中蒸馏出c个通道的特
征图，记为第二蒸馏特征图f
dis2
；
[0072]
步骤s204：对于第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，得到b个通道的特征图，记为第二降维特征图f
re2
；
[0073]
所述b为对所述待处理图像进行x倍降采样处理后的通道数，例如，所述b的值为12；
[0074]
在本步骤中，具体可以使用一个3
×
3卷积、一个lrelu函数进行对第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作；
[0075]
步骤s205：对所述第一特征图、第一蒸馏特征图、第二蒸馏特征图以及第二降维特征图在通道维度进行融合，得到第一融合特征图；
[0076]
本步骤可以理解为对第一特征图、第一蒸馏特征图、第二蒸馏特征图以及第二降维特征图进行concatenate操作(融合操作)，具体的实现为将第一特征图fe、第一蒸馏特征图f
dis1
、第二蒸馏特征图f
dis2
以及第二降维特征图f
re2
，在通道维度融合得到第一融合特征图，进一步的，为了优化融合结果，本技术中可以采用gct(门限通道变换)模块对融合的特征进一步优化得到输出f
o1
，此时将所述f
o1
作为第一融合特征图，其中gct是一种轻量级的注意力机制，其具体实现可以参考参考文献yang z,and zhu l,wu y,et al.gated channel transformation for visual recognition[c]//2020 ieee conference on computer vision and pattern recognition(cvpr),2020。
[0077]
在本方案中，当所述第一蒸馏特征图和第二蒸馏特征图的通道数为3，第二降维特征图的通道数为12时，融合得到的特征图的通道数为30的第一融合特征图。
[0078]
步骤s206：再对所述第一融合特征图进行特征融合和通道降维，得到具有d个通道的特征图，记为第二特征图f
d2
；
[0079]
在本步骤中，具体采用一个1
×
1卷积对所述第一融合特征图进行特征融合和通道降维，例如，把30个特征图进行特征融合得到12个第二特征图f
d2
，如图1所示的f
d2
；
[0080]
步骤s207：然后对所述第二特征图f
d2
进行特征提取，得到第三特征图f
d3
，该特征提取结果即为低级特征提取结果；
[0081]
在本步骤中，参见图1，可以再次采用fedb模块对所述第二特征图f
d2
进行处理得到第三特征图f
d3
。
[0082]
步骤s104：对提取到的低级特征进行n倍上采样，所述n不小于2；
[0083]
具体的，本步骤包括：
[0084]
参见图1，对所述第三特征图f
d3
与所述第二特征图f
d2
在通道维度上进行concatenate操作(融合操作)，并采用1*1卷积对融合结果进行特征融合，得到第四特征图f
d4
；
[0085]
如图1所示，对所述第四特征图f
d4
进行一次2倍上采样，具体的使用pixelshuffle(亚像素卷积上采样)对第四特征图f
d4
进行一次2倍上采样，得到具有高级表征的特征图f1。
[0086]
步骤s105：对所述n倍上采样的采样结果进行高级特征提取，得到重建特征；
[0087]
本步骤具体为，参见图1，再次采用特征增强的特征增强蒸馏模块对所述第四特征图的2倍上采样结果(特征图f1)进行高级特征提取，得到重建特征f2。
[0088]
步骤s106：对所述重建特征进行m倍上采样，得到f
u1
，所述m不小于2；
[0089]
参见图1，本步骤具体为用pixelshuffle操作，对所述重建特征f2进行2倍上采样
得到特征图f
u1
。
[0090]
步骤s107：采用预设的高频注意力结构对所述待处理图像提取高频特征图并和m倍上采样的采样结果进行处理得到增强高频后的结果图；
[0091]
本步骤，为了更好的恢复图片的高频细节，本发明设计了高频注意力结构(high frequency attention，简称为hfa)，来增强恢复图片的高频细节，具体的，参见图4，本步骤过程如下：
[0092]
步骤s301：使用sobel算子提取所述待处理图像的高频特征图；
[0093]
所述hfa为基于sobel算子的高频注意力结构。
[0094]
步骤s302：将提取到的高频特征图与所述重建特征在通道维度上进行融合；
[0095]
在本步骤中，将步骤s301提取到的高频特征图后和所述重建特征f2在通道维度上通过concatenate操作级联起来；
[0096]
步骤s303：采用1*1卷积对所述高频特征图与所述重建特征的融合结果进行通道降维处理，得到仅具有一个通道的特征图；
[0097]
步骤s304：对该仅具有一个通道的特征图进行非线性变换，得到该仅具有一个通道的特征图进行线性变换后，特征图的每个像素位置的值，将每个像素位置的值作为高频特征的权重，从而得到高频特征注意力特征图；
[0098]
在本步骤中，使用sigmoid操作对所述仅具有一个通道的特征图的进行非线性变换，所谓的sigmoid操作对特征图的进行非线性变换，指的是使用sigmoid函数对特征图的进行非线性变换，其中，sigmoid函数是一个在生物学中常见的s型函数，也称为s型生长曲线；
[0099]
步骤s305：参见图1，将所述高频特征注意力特征图与所述重建特征进行点乘，得到具有高频信息增强后的特征图f
u2
；
[0100]
步骤s306：采用双三次差值方法对所述待处理图像进行上采样处理；
[0101]
本步骤中，参见图1，采用双三次差值方法bicubic对所述待处理图像进行插值上采样处理得到特征图f
u3
；
[0102]
步骤s307：参见图3，将所述重建特征进行2倍上采样的采样结果f
u1
、具有高频信息增强后的特征图f
u2
与所述待处理图像的上采样处理结果f
u3
进行叠加，得到增强高频后的结果图；
[0103]
本步骤中，将所述f
u1
,f
u2
和f
u3
进行相加得到增强高频后的结果图，将所述增强高频后的结果图作为待处理图像的处理结果进行输出。
[0104]
本技术上述实施例公开的技术方案，在对图片处理时，所用到的处理模型复杂程度低，进而对模型的尺寸要求较小，能够使得应用本方案的实体设备应用到移动终端设备上，并且，在图片处理过程中，模型的数据计算量较小，在移动端运行时不会出现设备发烫的问题。
[0105]
对应于上述方法，本技术还公开了一种轻量化图像和视频质量重建装置，本实施例中，装置中各个单元的具体工作内容，请参见上述方法实施例的内容。
[0106]
下面对本发明实施例提供的进程内信息的轻量化图像和视频质量重建装置进行描述，下文描述的进程内信息的轻量化图像和视频质量重建装置与上文描述的轻量化图像和视频质量重建方法可相互对应参照。
[0107]
参见图5，该装置可以包括：采集单元100和处理单元200，方法和装置中的具体实施方式可以相互借鉴；
[0108]
与上述方法中步骤s101相对应，所述采集器100用于获取待处理图像；
[0109]
与上述方法中步骤s102-s107相对应，所述处理单元200用于对所述待处理图像进行x倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行n倍上采样，所述n不小于2；对所述n倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行m倍上采样，所述m不小于2；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和m倍上采样的采样结果进行处理得到增强高频后的结果图。
[0110]
对应的，本技术还提供了一种轻量化图像和视频质量重建系统，该系统可以包括：本技术上述任意一项实施例所述的轻量化图像和视频质量重建装置。
[0111]
本发明还提供一种非暂态电子设备可读存储介质，其包括：程序，当其藉由电子设备运行时，使得所述轻量化图像和视频质量重建方法。
[0112]
本发明还提供一种电子设备，该电子设备应用有所述非暂态电子设备可读存储介质或轻量化图像和视频质量重建系统。
[0113]
为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0114]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0115]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0116]
结合本文中所公开的实施例描述的方法或方法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0117]
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0118]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。