视频超分辨率重建方法、装置、存储介质及电子设备与流程

1.本技术涉及视频处理技术领域，具体涉及一种视频超分辨率重建方法、装置、存储介质及电子设备。


背景技术：

2.超分辨率重建(super-resolution reconstruction)是一种通过对低分辨率的图像进行重建得到高分辨率图像的技术。超分辨率重建技术被广泛地应用在各个领域，例如视频处理领域等。
3.然而，目前应用于视频处理领域的视频超分辨率重建技术普遍存在处理效果差的问题。


技术实现要素：

4.本技术实施例提供了一种视频超分辨率重建方法、装置、存储介质及电子设备，可以有效地提升视频超分辨率重建的处理效果。
5.第一方面，本技术实施例提供了一种视频超分辨率重建方法，包括：
6.从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取所述关键帧的相邻帧；
7.对所述关键帧和所述相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；
8.基于所述关键帧特征利用注意力机制对所述相邻帧特征进行过滤处理，得到所述相邻帧特征的过滤结果；
9.对所述关键帧特征和所述过滤结果进行卷积运算处理，得到卷积运算结果；
10.对所述卷积运算结果和所述关键帧特征进行超分辨率重建处理得到重建帧。
11.第二方面，本技术实施例提供了一种视频超分辨率重建装置，包括：
12.获取模块，用于从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取所述关键帧的相邻帧；
13.特征模块，用于对所述关键帧和所述相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；
14.过滤模块，用于基于所述关键帧特征利用注意力机制对所述相邻帧特征进行过滤处理，得到所述相邻帧特征的过滤结果；
15.卷积运算模块，用于对所述关键帧特征和所述过滤结果进行卷积运算处理，得到卷积运算结果；
16.重建模块，用于对所述卷积运算结果和所述关键帧特征进行超分辨率重建处理得到重建帧。
17.第三方面，本技术实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本技术任一实施例提供的视频超分辨率重建方法。
18.第四方面，本技术实施例提供的电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行本技术任一实施例提供的视频超分辨率重建方法。
19.本技术实施例通过从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取关键帧的相邻帧；对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果；对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧。
20.本技术中利用注意力机制对相邻帧特征进行过滤处理，过滤掉对于关键帧来说相邻帧中多余的特征信息，避免多余的特征信息对关键帧重建的干扰，有效地提升超分辨率重建的处理效果。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本技术实施例提供的视频超分辨率重建方法的第一种流程示意图。
23.图2是本技术实施例提供的视频超分辨率重建方法的第二种流程示意图。
24.图3是本技术实施例提供的视频超分辨率重建网络的第一种结构示意图。
25.图4是本技术实施例提供的视频超分辨率重建网络的第二种结构示意图。
26.图5是本技术实施例提供的注意力模块的第一种部分结构示意图。
27.图6是本技术实施例提供的注意力模块的第二种部分结构示意图。
28.图7是本技术实施例提供的注意力模块的第一种整体结构示意图。
29.图8是本技术实施例提供的注意力模块的第二种整体结构示意图。
30.图9是本技术实施例提供的卷积运算处理模块的一种结构示意图。
31.图10是本技术实施例提供的卷积计算单元的一种结构示意图。
32.图11是本技术实施例提供的卷积子单元的第一种结构示意图。
33.图12是本技术实施例提供的卷积子单元的第二种结构示意图。
34.图13是本技术实施例提供的重建模块的一种结构示意图。
35.图14是本技术实施例提供的视频超分辨率重建装置的模块示意图。
36.图15是本技术实施例提供的电子设备的结构示意图。
37.图16是本技术实施例提供的电子设备的另一结构示意图。
具体实施方式
38.请参照图式，其中相同的组件符号代表相同的组件，本技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本技术具体实施例，其不应被视为限制本技术未在此详述的其它具体实施例。
39.本技术实施例提供一种视频超分辨率重建方法，该视频超分辨率重建方法的执行主体可以是本技术实施例提供的视频超分辨率重建装置，或者集成了该视频超分辨率重建
装置的电子设备，其中该视频超分辨率重建装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑(pda，personal digital assistant)等。以下进行具体分析说明。
40.比如，当处于使用电子设备的场景时，该电子设备可以获取需要处理的视频帧序列，然后从视频帧序列中确定需要进行超分辨率重建的关键帧并且获取与关键帧相邻的相邻帧，之后对关键帧和相邻帧均进行特征提取处理，可以得到分别对应的关键帧特征和相邻帧特征，然后基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果；对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧，所得到的重建帧的分辨率要大于关键帧的分辨率。以下进行具体分析。
41.本技术实施例提供一种视频超分辨率重建方法，如图1所示，图1为本技术实施例提供的视频超分辨率重建方法的第一种流程示意图，该视频超分辨率重建方法可以包括：
42.101、从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取关键帧的相邻帧。
43.其中，视频帧序列可以有多种获取方式。例如，可以获取直播时的实时视频流，从中获取需要处理的视频帧序列。又例如，当用户在线观看视频时，通过提前缓冲内容来获取在线视频的视频帧序列。再例如，当用户观看本地视频时，可以通过解析本地视频文件获取视频帧序列。具体可以根据实际需求确定获取方式。
44.其中，相邻帧指的是和关键帧相邻的视频帧。比如，当关键帧为t时刻的视频帧，那么相邻帧可以指的是t-1时刻的视频帧和t+1时刻的视频帧。又或者，时间跨度可以更远，当关键帧为t时刻的视频帧时，相邻帧可以指的是t-2时刻的视频帧、t-1时刻的视频帧、t+1时刻的视频帧以及t+2时刻的视频帧。
45.可以理解的是，本技术实施例所提供的技术方案并不仅限于关键帧为当前帧、相邻帧为前后一帧的三帧方案，还可以提供更多的相邻帧，以获取更多的前后帧信息，提高重建帧的精度。譬如，可以为关键帧为当前帧、相邻帧为前后多帧的多帧方案。具体可以根据实际需求进行设置。
46.在一些实施例中，可以先对输入的关键帧和相邻帧进行变换处理，之后对变换处理后的关键帧和相邻帧再进行特征提取等处理。
47.比如，当关键帧为当前t时刻视频帧，相邻帧为t-1时刻视频帧和t+1时刻视频帧时，可以对获取到t时刻视频帧、t-1时刻视频帧和t+1时刻视频帧均进行颜色空间转变处理，将颜色空间转换到yuv颜色空间。当转换到yuv颜色空间时，对三帧视频帧的y通道进行处理。
48.又比如，可以将当前t时刻视频帧设为关键帧，将t-3时刻视频帧、t-2时刻视频帧、t-1时刻视频帧、t+1时刻视频帧、t+2时刻视频帧、t+3时刻视频帧设为相邻帧，将获取到关键帧和相邻帧进行颜色空间转变处理，将颜色空间转换到yuv颜色空间，然后对七帧视频帧的y通道进行接下来的处理。
49.可以理解的是，本技术的技术方案并不限于相邻帧为前一帧和后一帧、关键帧为当前帧的三帧方案，还可以通过输入更多的前后帧。通过注意力机制对更多的帧图像进行特征提取，利用更多的帧信息，可以提高重建帧的精度。
50.102、对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征。
51.其中，对关键帧和相邻帧进行特征提取处理的方法有多种。比如，当关键帧为当前t时刻视频帧，相邻帧为t-1时刻视频帧和t+1时刻视频帧时，可以将三帧视频帧的y通道输入至卷积块中，通过卷积块提取得到三帧视频帧对应的帧特征，也即关键帧特征和相邻帧特征。
52.其中，卷积块有多种结构表现形式，例如，卷积块中可以包括多层含有不同卷积核的卷积层。
53.举例来说，通过多层含有不同卷积核的卷积层对关键帧和相邻帧同时进行特征提取处理，得到关键帧特征和相邻帧特征。
54.其中，在通过卷积层进行特征提取处理时，卷积层的数量可以根据实际计算的需求进行改变。譬如，当计算精度需求较高时，可以使用数量较多的卷积层进行特征提取处理；当计算精度需求较低时，可以使用数量较少的卷积层进行特征提取处理。
55.103、基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果。
56.在提取得到关键帧特征和相邻帧特征之后，由于相邻帧特征中存在与关键帧不相关的多余特征信息，因此需要利用注意力机制确定相邻帧特征中哪些特征是重建过程中所需的。具体地，利用注意力机制对相邻帧进行过滤处理就是利用注意力机制基于关键帧特征和相邻帧特征提取到相邻帧特征的特征掩膜，通过掩膜对相邻帧特征进行过滤处理。
57.在一些实施例中，“基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果”的方法包括：
58.利用注意力机制对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜；
59.基于特征掩膜对相邻帧特征进行处理，得到相邻帧特征的过滤结果。
60.在一些实施例中，“利用注意力机制对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜”的方法包括：
61.对关键帧特征和相邻帧特征进行拼接处理，得到特征拼接结果；
62.对特征拼接结果进行卷积处理，得到特征卷积结果；
63.对特征卷积结果进行提取处理，得到相邻帧的特征掩膜。
64.其中，对关键帧特征和相邻帧特征进行拼接处理的方式可以有多种。例如，可以通过拼接(concat)函数将关键帧特征和相邻帧特征拼接起来。
65.其中，对特征拼接结果进行卷积处理的方式可以有多种。例如，可以将特征拼接结果依次输入至多层卷积层中，通过多层的卷积计算后得到特征卷积结果。又譬如，可以将特征拼接结果输入至单层卷积层中，经过单层卷积计算后得到特征卷积结果。其中，通过卷积层对特征拼接结果进行卷积处理时，卷积层的数量可以根据实际计算的需求进行改变。例如，当计算精度需求较多时，可以通过多层的卷积层进行处理，当计算精度需求较低时，可以通过单层的卷积层进行处理。
66.其中，对特征卷积结果进行提取处理得到特征掩膜的方式可以有多种。例如，可以通过激活函数实现对特征卷积结果进行提取处理，得到特征掩膜。其中，激活函数有多种，譬如有relu函数、sigmoid函数等，具体可以根据实际需求设置激活函数的种类。
67.举例来说，当关键帧特征为t时刻的视频帧特征，相邻帧特征为t-1时刻的视频帧特征时，获取t-1时刻的视频帧特征的特征掩膜。通过拼接函数对t时刻的视频帧特征和t-1时刻的视频帧特征进行拼接处理，得到特征拼接结果。当特征拼接结果通过多层的卷积计算后得到特征卷积结果时，将特征卷积结果输入到sigmoid函数，可以输出t-1时刻的视频帧特征的特征掩膜。可以理解的是，当关键帧特征为t时刻的视频帧特征，相邻帧特征为前后多个时刻的视频帧特征时，也可以用类似的方式得到多个相邻帧特征的特征掩膜。
68.在本技术实施例中实际上利用到了注意力机制获取到特征掩膜。通过注意力机制获取到的掩膜，对前后视频帧特征进行选择，减少因物体运动而产生的伪影问题对重建帧的影响。并且，利用注意力机制可以实现前后视频帧的隐式对齐，实现难度低。
69.与常用的基于光流网络的视频超分辨率重建方案相比，常用的方案在进行重建时需要使用到全局信息，因此在计算时对设备端的缓存需求较大，但是本技术实施例中的技术方案不需要使用到全局信息，每次计算视频帧中的一个像素点时，仅需要一个较小感受野的特征信息，对于设备端的缓存需求较小。而且，由于不需要使用到全局信息，还降低了视频超分辨率重建过程中的计算量，提高了重建的效率。
70.其中，基于特征掩膜对相邻帧特征进行处理的方式可以有多种。例如，可以通过对特征掩膜和相邻帧特征进行乘积运算的处理方式获取到相邻帧特征的过滤结果。
71.举例来说，当获取到t-1时刻视频帧特征的特征掩膜时，将t-1时刻的视频帧特征和该特征掩膜进行乘积运算，滤除掉t-1时刻的视频帧特征中不需要的特征信息，得到过滤结果。
72.104、对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果。
73.在一些实施例中，“对关键帧特征和过滤结果进行卷积运算处理”的方法可以包括：
74.对关键帧特征和过滤结果进行拼接处理，得到拼接结果；
75.对拼接结果进行下采样处理，得到下采样结果；
76.对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果；
77.对多帧卷积结果进行上采样处理，得到卷积运算结果。
78.其中，当获取到过滤结果时，需要拼接关键帧特征和过滤结果。拼接的方式可以有多种。例如，可以利用拼接函数将关键帧特征和过滤结果进行拼接处理，以实现合并。又例如，可以利用将关键帧特征和过滤结果进行相乘或者相加运算，以实现合并。
79.其中，当获取到拼接结果时，可以对拼接结果进行下采样处理，以实现在低分辨率尺寸上的重建。对拼接结果进行下采样处理的方式可以有多种。譬如，可以通过下采样函数对拼接结果进行下采样处理。例如，可以通过space2depth(一种无精度损失的下采样方式)对拼接结果进行下采样处理。
80.通过对拼接结果进行下采样处理，可以在低分辨率尺寸上实现重建，减少了重建过程的整体计算量，提高了超分辨率重建的效率。而且本技术实施例所提供的重建方法是在较小的图像尺度上进行计算，计算量较小，对设备端的功耗和算力要求较低，更有利于在现有的设备端侧上进行部署。
81.在一些实施例中，当获取到多帧卷积结果时，可以对多帧卷积结果进行上采样处理，以将结果放大至关键帧的视频帧尺寸。进行上采样处理的方式可以有多种。例如，可以
通过像素重排(depth2space)的方式将经过多次计算后的多帧卷积结果放大至原始视频帧尺寸。
82.由于space2depth和depth2space是无精度损失的采样方式，在使用这两种方式进行采样处理时，可以有效地提高视频帧超分辨率重建的精度，避免采样损失对重建精度的影响。
83.其中，在对下采样结果进行卷积处理时，可以加入相邻帧在重建过程中输出的隐特征，将隐特征和下采样结果同时进行卷积处理。
84.则在一些实施例中，在“对关键帧特征和过滤结果进行卷积运算处理”之前，该方法还包括：
85.在相邻帧的超分辨率重建过程中，对相邻帧特征进行隐特征提取处理，得到相邻帧的隐特征。
86.在关键帧进行超分辨率重建时，相邻帧也可以进行超分辨率重建。举例来说，在对相邻帧进行超分辨率重建时，当相邻帧特征为t-1时刻的视频帧特征时，可以获取t-2时刻的视频帧特征和t时刻的视频帧特征。通过对三个时刻视频帧特征进行掩膜提取处理并基于掩膜对特征进行处理，可以得到t-2时刻的视频帧特征的过滤结果和t时刻的视频帧特征的过滤结果。将两个时刻的视频帧特征的过滤结果和t-1时刻的视频帧特征进行拼接，将拼接得到的结果进行下采样处理，得到t-1时刻的下采样处理结果。对下采样处理结果进行卷积处理，在卷积处理的过程中可以加入t-2时刻的视频帧的隐特征，输出t-1时刻视频帧的隐特征。
87.由于t-1时刻视频帧的隐特征获取过程中不仅与t-2时刻视频帧、t-1时刻视频帧以及t时刻视频帧的特征相关，而且还加入了t-2时刻视频帧的隐特征，因此t-1时刻视频帧的隐特征即可以传递t-1时刻的视频帧信息，也可以传递前几帧视频帧的信息。
88.在重建过程中加入隐特征进行计算，可以传递上一帧视频帧以及前几帧视频帧的信息，通过隐特征的信息传递，使得当前帧不仅可以使用到前后帧的信息，也可以获取到多帧前的信息，而获取到更多的帧间信息可以避免帧间扰动的发生。并且通过隐特征的信息传递，能够有效地帮助帧间稳定，使得重建帧能够与前后帧保持连续性。
89.在一些实施例中，该“对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果”的方法可以包括：
90.对下采样结果进行卷积处理，得到下采样卷积结果；
91.对下采样卷积结果和隐特征进行卷积处理，得到隐特征卷积结果；
92.对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
93.举例来说，可以下采样结果进行卷积处理后再加入隐特征后再进行卷积处理，得到多帧卷积结果。
94.又比如，可以将下采样结果和隐特征同时进行卷积处理，得到多帧卷积结果。则在一些实施例中，该“对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果”的方法可以包括：
95.对下采样结果和隐特征进行卷积处理，得到隐特征卷积结果；
96.对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
97.在一些实施例中，该“对下采样结果进行卷积处理，得到下采样卷积结果”的方法
可以包括：
98.对下采样结果进行卷积处理，得到下采样计算结果；
99.对下采样计算结果进行激活处理，得到下采样激活结果；
100.融合下采样结果和下采样激活结果，得到下采样卷积结果。
101.其中，融合下采样结果和下采样激活结果的方式有多种。例如，可以对下采样结果和下采样激活结果进行相加或乘积运算，以实现两个结果的融合。
102.举例来说，在进行卷积处理时，可以将下采样结果依次经过卷积层和激活函数进行卷积处理和激活处理后得到下采样激活结果。将下采样结果和下采样激活结果进行相加运算之后，可以得到下采样卷积结果。
103.可以理解的是，在对下采样卷积结果和隐特征进行卷积处理时，以及在对隐特征卷积结果进行卷积处理时，可以参照“对下采样结果进行卷积处理，得到下采样卷积结果”的方式进行处理。
104.举例来说，在对下采样卷积结果和隐特征进行卷积处理时，将下采样卷积结果和隐特征依次经过卷积层和激活函数进行卷积处理和激活处理后得到激活结果，然后融合激活结果、下采样卷积结果和隐特征，可以得到隐特征卷积结果。
105.又举例来说，在对下采样卷积结果和隐特征进行卷积处理时，将下采样卷积结果和隐特征依次经过卷积层和激活函数进行卷积处理和激活处理后得到激活结果，然后融合激活结果、下采样卷积结果和隐特征，再将融合得到的结果再依次经过卷积层和激活函数进行卷积处理和激活处理，以此类推，处理多次后可以得到隐特征卷积结果。
106.可以理解的是，在本技术实施例所提供的视频超分辨率重建方法中，当进行卷积处理时，可以根据实际计算需求对卷积处理中所使用到的卷积块、卷积层、或者任何可以进行卷积处理的模块的数量进行调整，譬如，当计算精度需求较高时，可以使用较多的卷积层进行卷积处理；当计算精度需求较低时，可以使用较低的卷积层进行卷积处理。
107.105、对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧。
108.在一些实施例中，该“对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧”的方法可以包括：
109.融合卷积运算结果和关键帧特征，得到帧融合结果；
110.对帧融合结果进行卷积处理，得到待重建卷积结果；
111.对待重建卷积结果进行上采样处理，得到重建帧。
112.当经过多次卷积计算后并通过像素重排的方法(depth2space)进行上采样后可以得到卷积运算结果。将卷积运算结果和与关键帧的特征进行融合，再次通过多次卷积操作，可以得到一个需放大的特征(也即待重建卷积结果)。对待重建卷积结果进行上采样处理后即可得到重建帧。
113.举例来说，当转换到yuv颜色空间进行重建处理时，所使用的是关键帧的y通道，那么通过一系列处理后所得到的实际上是重建帧的y通道。而只有y通道是不能获取到重建帧的，此时还需要获取关键帧的u通道、v通道并对其进行双线性放大，将经过双线性放大的u通道、v通道和重建帧的y通道进行合并，并将合并后所得的图像转变回原始的颜色空间，才可以得到重建帧的完整帧图像。
114.本技术实施例通过从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获
取关键帧的相邻帧；对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果；对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧，其中所述重建帧的分辨率大于所述关键帧的分辨率。
115.由于本技术中利用注意力机制对相邻帧特征进行过滤处理，过滤掉对于关键帧来说相邻帧中多余的特征信息，避免多余的特征信息对关键帧重建的干扰，有效地提升超分辨率重建的处理效果。。
116.本技术实施例还提供了一种视频超分辨率放大方法，如图2所示，图2为本技术实施例所提供的视频超分辨率放大方法的第二种流程示意图，该方法可以在神经网络上实现，例如可以在预训练的视频超分辨率重建网络上实现，如图3所示，图3为本技术实施例所提供的视频超分辨率重建网络的第一种结构示意图。则该方法可以包括：
117.201、从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取关键帧的相邻帧。
118.其中，视频帧序列可以有多种获取方式。例如，可以获取直播时的实时视频流，从中获取需要处理的视频帧序列。又例如，当用户在线观看视频时，通过提前缓冲内容来获取在线视频的视频帧序列。再例如，当用户观看本地视频时，可以通过解析本地视频文件获取视频帧序列。具体可以根据实际需求确定获取方式。
119.其中，相邻帧指的是和关键帧相邻的视频帧。比如，当关键帧为t时刻的视频帧，那么相邻帧可以指的是t-1时刻的视频帧和t+1时刻的视频帧。又或者，时间跨度可以更远，当关键帧为t时刻的视频帧时，相邻帧可以指的是t-2时刻的视频帧、t-1时刻的视频帧、t+1时刻的视频帧以及t+2时刻的视频帧。
120.在一些实施例中，可以先对输入的关键帧和相邻帧进行变换处理，之后对变换处理后的关键帧和相邻帧再进行特征提取等处理。
121.比如，当关键帧为当前t时刻视频帧，相邻帧为t-1时刻视频帧和t+1时刻视频帧时，可以对获取到t时刻视频帧、t-1时刻视频帧和t+1时刻视频帧均进行颜色空间转变处理，将颜色空间转换到yuv颜色空间。当转换到yuv颜色空间时，对三帧视频帧的y通道进行接下来的处理。
122.又比如，可以将当前t时刻视频帧设为关键帧，将t-3时刻视频帧、t-2时刻视频帧、t-1时刻视频帧、t+1时刻视频帧、t+2时刻视频帧、t+3时刻视频帧设为相邻帧，将获取到关键帧和相邻帧进行颜色空间转变处理，将颜色空间转换到yuv颜色空间，然后对七帧视频帧的y通道进行接下来的处理。
123.可以理解的是，本技术的技术方案并不限于相邻帧为前一帧和后一帧、关键帧为当前帧的三帧方案，还可以通过输入更多的前后帧。通过注意力机制对更多的帧图像进行特征提取，利用更多的帧信息，可以提高重建帧的精度。例如，可以将前两帧和后两帧设为相邻帧、当前帧设为关键帧的五帧方案，又例如，可以扩展为前后多帧为相邻帧、当前帧设为关键帧的多帧方案。具体可以根据实际需求进行设置。
124.202、获取预训练的视频超分辨率重建网络，其中预训练的视频超分辨率重建网络包括特征提取模块、注意力模块、卷积运算处理模块和重建模块。
125.在获取到需要进行重建的视频帧之前，可以对视频超分辨率重建网络进行预训练。在预训练之前，需要获取网络模型进行训练的输入图像和监督图像，将输入图像和监督图像作为样本数据组。
126.则在一些实施例中，“从视频帧序列中获取需要进行超分辨率重建的关键帧”之前，该方法还可以包括：
127.获取多个第一视频帧序列，第一视频帧序列中包括多帧连续的视频帧；
128.对每一第一视频帧序列进行下采样处理，得到对应的第二视频帧序列，其中第二视频帧序列中每一视频帧的分辨率小于第一视频帧序列中每一视频帧的分辨率；
129.将每一第一视频帧序列和对应的第二视频帧序列设为视频帧序列样本组；
130.根据视频帧序列样本组对视频超分辨率重建网络进行训练。
131.举例来说，可以获取到真实高分辨率的视频帧序列，真实高分辨率的视频帧序列作为监督图像。通过对视频帧序列进行下采样处理，降低序列中每个视频帧的分辨率，可以得到低分辨率的视频帧序列，低分辨率的视频帧序列作为输入图像。将高分辨率的视频帧序列和低分辨率的视频帧序列设为样本组，通过样本组对视频超分辨率重建网络进行训练。
132.又举例来说，获取现有的高分辨率视频帧序列，对视频帧序列进行不同程度的模糊后进行下采样，得到低分辨率的视频帧序列。并且可以在该低分辨率的视频帧序列上加入噪声来生成网络模型训练的输入图像，而原始的高分辨率视频帧序列作为监督图像。
133.则在一些实施例中，该“根据视频帧序列样本组对视频超分辨率重建网络进行训练”的方法可以包括：
134.通过视频超分辨率重建网络对第二视频帧序列进行超分辨率重建，得到第二视频帧序列对应的重建视频帧序列；
135.根据重建视频帧序列和第一视频帧序列，得到视频超分辨率重建网络的重建损失；
136.根据重建损失对视频超分辨率重建网络进行训练。
137.举例来说，可以将低分辨率的视频帧序列输入至视频超分辨率重建网络进行重建，得到重建视频帧序列。根据高分辨率的视频帧序列、重建视频帧序列以及损失函数，可以得到重建网络的损失。通过损失对重建网络进行多次迭代训练。当网络的参数收敛时，可以得到预训练完成的视频超分辨率重建网络。
138.其中，重建损失可以有多种形式。例如，可以为回归损失函数，譬如可以为l1loss函数，l1loss函数是均方误差(mse，mean square error)函数。又譬如，可以为l2loss函数，l2loss函数是平均绝对误差(mae，mean absolute error)函数。又例如，可以将神经网络作为重建损失，譬如vggloss，其中vgg是一种神经网络模型。又例如，可以将多种损失函数进行组合，得到混合损失函数，将混合损失函数的结果作为重建损失。譬如，在一些实施例中，重建损失可以为以下形式：
139.loss＝α
×
l1(hr,gt)+β
×
l2(hr,gt)+γ
×
vgg(hr,gt)
140.其中，α、β、γ为权重系数，可以根据实际训练中的需求进行设置。hr为重建的视频帧序列，gt为高分辨率的视频帧序列。
141.可以理解的是，本技术实施例中所提供的视频超分辨率重建网络中特征提取模
块、注意力模块、卷积运算处理模块和重建模块的数量均可以根据实际需求进行设置。例如，当需要获取更多的前后帧信息以提高重建帧图像的精度时，可以增加注意力模块的数量，以利用注意力机制对更多的视频帧图像进行处理，获取更多的图像信息。具体可以根据实际需求进行设置。
142.203、通过特征提取模块对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征。
143.如图4所示，图4为本技术实施例提供的视频超分辨率重建网络的第二种结构示意图。举例来说，当关键帧为t时刻视频帧时，相邻帧可以为t-1时刻视频帧和t+1时刻视频帧。如图4所示，将t时刻视频帧、t-1时刻视频帧和t+1时刻视频帧输入至每个特征提取模块中分别进行特征提取，可以得到t时刻视频帧的特征、t-1时刻视频帧的特征和t+1时刻视频帧的特征。
144.又例如，可以将当前t时刻视频帧设为关键帧，将t-3时刻视频帧、t-2时刻视频帧、t-1时刻视频帧、t+1时刻视频帧、t+2时刻视频帧、t+3时刻视频帧设为相邻帧，将获取到关键帧和相邻帧分别输入7个特征提取模块中进行特征提取，可以得到各个时刻视频帧的特征。
145.其中，特征提取模块有多种表现形式。例如，特征提取模块可以由多层含有不同卷积核的卷积层组成。又例如，特征提取模块中可以由单层卷积层组成。可以理解的是，可以改变特征提取模块中的卷积层的层数，以满足不同的计算需求。譬如，当设备端的计算力较强时，特征提取模块中可以包含多层卷积层，当设备端的计算力较弱时，特征提取模块中可以包含单层卷积层，具体根据实际需求进行设置。
146.204、通过注意力模块对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜。
147.在一些实施例中，注意力模块可以包括卷积单元和激活单元，如图5所示，图5为本技术实施例提供的注意力模块的第一种部分结构示意图。
148.则“通过注意力模块对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜”的方法，可以包括：
149.对关键帧特征和相邻帧特征进行拼接处理，得到特征拼接结果；
150.通过卷积单元对特征拼接结果进行卷积处理，得到特征卷积结果；
151.通过激活单元对特征卷积结果进行提取处理，得到相邻帧的特征掩膜。
152.举例来说，如图5所示，关键帧特征和相邻帧特征经过卷积单元和激活单元后即可得到相邻帧的特征掩膜。
153.其中，对关键帧特征和相邻帧特征进行拼接处理的方式可以有多种。例如，可以通过拼接(concat)函数将关键帧特征和相邻帧特征拼接起来。
154.其中，卷积单元和激活单元的组合方式有多种。譬如，注意力模块可以由一个卷积单元和一个激活单元组成。又例如，注意力模块中可以包括多个卷积单元和多个激活单元，按照卷积单元-激活单元的形式进行排列。
155.其中，卷积单元的表现形式有多种。譬如卷积单元中可以包括多层包含不同卷积核的卷积层。
156.其中，激活单元的表现形式有种。譬如，激活单元中的激活函数可以使用relu函
数。又譬如，激活单元中的激活函数可以使用sigmoid函数等，具体可以根据实际需求设置激活函数的种类。
157.可以理解是，注意力模块中卷积单元和激活单元的数量可以按照实际计算的需求进行设置，以满足不同的设备端。譬如，当设备端的计算能力较强时，可以增加注意力模块中的卷积单元的数量，以提高重建帧的精度。
158.举例来说，如图6所示，图6为本技术实施例所提供的注意力模块的第二种部分结构示意图。注意力模块中可以包括多个卷积单元和激活单元。当获取到t时刻视频帧的特征、t-1时刻视频帧的特征时，将t时刻和t-1时刻视频帧的特征依次输入至注意力模块中的卷积单元和激活单元，可以得到t-1时刻视频帧的特征掩膜。
159.205、通过注意力模块融合特征掩膜和相邻帧特征，得到相邻帧特征的过滤结果。
160.在基于特征掩膜对相邻帧特征进行处理时，实际上可以通过注意力模块融合特征掩膜和相邻帧特征，以得到过滤结果。
161.其中，融合特征掩膜和相邻帧特征的方式有多种。例如，可以将特征掩膜和相邻帧特征进行相加或相减操作。又例如，可以将特征掩膜和相邻帧特征进行相乘操作。
162.举例来说，图7为本技术实施例所提供的注意力模块的第一种整体结构示意图。如图7所示，当关键帧特征和相邻帧特征依次经过卷积单元和激活单元得到相邻帧的特征掩膜后，将相邻帧特征和特征掩膜进行融合，可以得到相邻帧特征的过滤结果。
163.又比如，图8为本技术实施例所提供的注意力模块的第二种整体结构示意图。如图8所示，将t时刻视频帧的特征和t-1时刻视频帧的特征依次输入多个卷积单元和激活单元的组合后可以获取到t-1时刻视频帧的特征掩膜。当得到t-1时刻视频帧的特征掩膜时，将t-1时刻视频帧特征与特征掩膜进行相乘操作，得到t-1时刻视频帧特征的过滤结果。以此类推，对t+1时刻视频帧特征也进行相同的操作，可以得到t+1时刻视频帧特征的过滤结果。
164.206、通过卷积运算处理模块对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果。
165.在一些实施例中，卷积运算处理模块中可以包括下采样单元、卷积计算单元和第一上采样单元。如图9所示，图9为本技术实施例提供的卷积运算处理模块的一种结构示意图。
166.则“通过卷积运算处理模块对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果”的方法，可以包括：
167.对关键帧特征和过滤结果进行拼接处理，得到拼接结果；
168.通过下采样单元对拼接结果进行下采样处理，得到下采样结果；
169.通过卷积计算单元对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果；
170.通过第一上采样单元对多帧卷积结果进行上采样处理，得到卷积运算结果。
171.其中，当获取到过滤结果时，需要合并关键帧特征和过滤结果。合并的方式可以有多种。例如，可以利用拼接函数将关键帧特征和过滤结果进行拼接处理，以实现合并。又例如，可以利用将关键帧特征和过滤结果进行相乘或者相加运算，以实现合并。
172.其中，当获取到拼接结果时，可以对拼接结果进行下采样处理，以实现在低分辨率尺寸上的重建。其中，对拼接结果进行下采样处理的方式可以有多种。譬如，可以通过下采
样单元对拼接结果进行下采样处理。其中，下采样单元中可以通过space2depth(一种无精度损失的下采样方式)对拼接结果进行下采样处理。通过对拼接结果进行下采样处理，可以在低分辨率尺寸上实现重建，减少了重建过程的整体计算量，提高了超分辨率重建的效率。
173.其中，当获取到多帧卷积结果时，可以对多帧卷积结果进行上采样处理，以将结果放大至关键帧的视频帧尺寸。其中，进行上采样处理的方式可以有多种。例如，可以通过第一上采样单元对多帧卷积结果进行上采样处理。其中第一上采样单元可以通过像素重排(depth2space)的方式将经过多次计算后的多帧卷积结果放大至原始视频帧尺寸。
174.由于space2depth和depth2space是无精度损失的采样方式，在使用这两种方式进行采样处理时，可以有效地提高视频帧超分辨率重建的精度，避免采样损失对重建精度的影响。
175.其中，在对下采样结果进行卷积处理时，可以加入相邻帧在重建过程中输出的隐特征，将隐特征和下采样结果同时进行卷积处理。
176.则在一些实施例中，在“通过卷积运算处理模块对关键帧特征和过滤结果进行卷积运算处理”之前，还可以包括：
177.在相邻帧的超分辨率重建过程中，对相邻帧特征进行隐特征提取处理，得到相邻帧的隐特征。
178.举例来说，在对相邻帧进行超分辨率重建时，当相邻帧特征为t-1时刻视频帧特征时，可以获取t-2时刻视频帧特征和t时刻视频帧特征。通过对t-2时刻视频帧特征和t-1时刻视频帧特征进行掩膜提取处理，并将提取出来的掩膜与t-2时刻视频帧特征进行融合处理，可以得到t-2时刻视频帧特征的过滤结果，通过对t-1时刻视频帧特征和t时刻视频帧特征进行同样的处理，也可以得到t时刻视频帧特征的过滤结果。
179.对两个时刻的视频帧特征的过滤结果和t-1时刻视频帧特征进行拼接，将拼接得到的结果进行下采样处理，得到t-1时刻的下采样处理结果。对下采样处理结果进行卷积处理，在卷积处理的过程中可以加入t-2时刻的视频帧的隐特征，输出t-1时刻视频帧的隐特征。
180.在重建过程中加入隐特征进行计算，可以传递上一帧视频帧以及前几帧视频帧的信息，使得需要重建的视频帧获取到更多的帧间信息，避免了帧间扰动的发生，并且通过隐特征的信息传递，使得重建帧能够保持前后一致性。
181.在一些实施例中，卷积计算单元包括n个卷积子单元，其中n为大于零的正整数，如图10所示，图10为本技术实施例所提供的卷积计算单元的一种结构示意图。
182.则该“通过卷积计算单元对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果”可以包括：
183.通过前m个卷积子单元对下采样结果进行卷积处理，得到下采样卷积结果，其中m为整数且n＞m≥0；
184.通过第m+1个卷积子单元对下采样卷积结果和隐特征进行卷积处理，得到隐特征卷积结果；
185.通过n-m-1个卷积子单元对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
186.举例来说，可以通过前m个卷积子单元对下采样结果进行卷积处理后得到下采样卷积结果。加入隐特征后通过第m+1个卷积子单元对隐特征和下采样卷积结果再进行卷积
处理，得到隐特征卷积结果。通过剩下的n-m-1个卷积子单元对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
187.在一些实施例中，还可以通过n个卷积子单元对下采样结果和隐特征同时进行卷积处理，得到多帧卷积结果。则该“通过卷积计算单元对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果”的方法可以包括：
188.通过第一个卷积子单元对下采样结果和隐特征进行卷积处理，得到隐特征卷积结果；
189.通过n-1个卷积子单元对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
190.在一些实施例中，每一卷积子单元中包括卷积层和激活层，如图11所示，图11为本技术实施例所提供的卷积子单元的第一种结构示意图。
191.则该“通过前m个卷积子单元对下采样结果进行卷积处理，得到下采样卷积结果”，可以包括：
192.通过第一个卷积子单元的卷积层对下采样结果进行卷积处理，得到下采样计算结果；
193.通过第一个卷积子单元的激活层对下采样计算结果进行激活处理，得到下采样激活结果；
194.融合下采样结果和下采样激活结果，得到下采样融合结果；
195.以此类推，将下采样融合结果输入至下一个卷积子单元中进行处理，直至第m个卷积子单元输出下采样卷积结果。
196.其中，卷积层的表现形式可以有多种。例如，卷积层可以通过多层包含不同卷积核的子卷积层实现卷积处理。
197.其中，激活层的表现形式可以有多种。例如，激活层可以通过不同的激活函数实现激活处理。
198.以第一个卷积子单元的卷积处理过程为示例，如图12所示，图12为本技术实施例所提供的卷积子单元的第二种结构示意图。下采样结果依次通过卷积层、激活层、卷积层进行处理得到下采样激活结果，将下采样激活结果和下采样结果进行相加运算得到下采样融合结果，以实现下采样结果和下采样激活结果的融合。以此处理过程类推，在每个卷积子单元中都进行相同的处理，直到最后一个(也即第m个)卷积子单元输出下采样卷积结果。
199.207、通过重建模块对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧，其中重建帧的分辨率大于关键帧的分辨率。
200.在一些实施例中，重建模块可以包括卷积计算单元和第二上采样单元。如图13所示，图13为本技术实施例所提供的重建模块的一种结构示意图。
201.则该“通过重建模块对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧”的方法可以包括：
202.融合卷积运算结果和关键帧特征，得到帧融合结果；
203.通过卷积计算单元对帧融合结果进行卷积处理，得到待重建卷积结果；
204.通过第二上采样单元对待重建卷积结果进行上采样处理，得到重建帧。
205.举例来说，可以将重建结构和关键帧特征进行相加运算得到帧融合结果，以实现融合。然后，通过卷积计算单元对帧融合结果进行卷积处理，得到待重建卷积结果，待重建
卷积结果是一个还需放大倍数尺寸平方个数通道数的特征。之后，通过像素重排方式对待卷积运算结果进行上采样操作，得到重建帧。
206.其中，卷积计算单元的表现形式可以有多种。例如，卷积计算单元中可以包括多个卷积神经网络(cnn，convolutional neural networks)块。在通过卷积计算单元进行卷积处理时，可以通过其中所包含的多个卷积神经网络块依次进行卷积处理。
207.在一些实施例中，当重建过程中所使用的是关键帧的y通道时，最后所得到的实际上是重建帧的y通道。那么在获取到重建帧的y通道后，还需要对关键帧的u通道、v通道和重建帧的y通道进行合并处理，以得到重建帧。
208.则“通过第二上采样单元对待重建卷积结果进行上采样处理”之后，该方法还可以包括：
209.当获取到重建帧的y通道时，对关键帧的u通道和y通道进行放大处理；
210.合并放大后的关键帧的u通道和y通道与重建帧的y通道，得到重建帧。
211.其中，放大处理的方式可以有多种。例如，可以通过双线性放大的方式进行放大处理。又例如，可以通过像素重排的方式实现放大处理。
212.可以理解的是，在本技术实施例所提供的视频超分辨率重建方法中，当进行卷积处理时，可以根据实际计算需求对卷积处理中所使用到的卷积块、卷积层、或者任何可以进行卷积处理的模块的数量进行调整，譬如，当计算精度需求较高时，可以使用较多的卷积层进行卷积处理；当计算精度需求较低时，可以使用较低的卷积层进行卷积处理。
213.本技术实施例中从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取关键帧的相邻帧；获取预训练的视频超分辨率重建网络，预训练的视频超分辨率重建网络包括特征提取模块、注意力模块、卷积运算处理模块和重建模块；通过特征提取模块对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；通过注意力模块对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜；通过注意力模块融合特征掩膜和相邻帧特征，得到相邻帧特征的过滤结果；通过卷积运算处理模块对关键帧特征和过滤结果进行重建处理，得到卷积运算结果；通过重建模块对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧，其中重建帧的分辨率大于关键帧的分辨率。
214.由于本技术中利用注意力机制获取特征掩膜，通过特征掩膜过滤掉对于关键帧来说相邻帧中多余的特征信息，避免了多余的特征信息对关键帧重建的干扰，有效地提升了超分辨率重建的处理效果。
215.为便于更好的实施本技术实施例提供的视频超分辨率重建方法，本技术实施例还提供一种基于上述视频超分辨率重建方法的装置。其中名词的含义与上述视频超分辨率重建方法中相同，具体实现细节可以参考方法实施例中的说明。
216.请参阅图14，图14为本技术实施例提供的视频超分辨率重建装置300的模块示意图。具体而言，该视频超分辨率重建装置300，包括：获取模块301、特征模块302、过滤模块303、卷积运算模块304、重建模块305。
217.获取模块301，用于从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取所述关键帧的相邻帧；
218.特征模块302，用于对所述关键帧和所述相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；
219.过滤模块303，用于基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；
220.卷积运算模块304，用于对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果；
221.重建模块305，用于对所述卷积运算结果和所述关键帧特征进行超分辨率重建处理得到重建帧，其中所述重建帧的分辨率大于所述关键帧的分辨率。
222.在一些实施方式中，该过滤模块303用于：
223.利用注意力机制对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜；
224.基于特征掩膜对相邻帧特征进行处理，得到相邻帧特征的过滤结果。
225.在一些实施方式中，该过滤模块303用于：
226.对关键帧特征和相邻帧特征进行拼接处理，得到特征拼接结果；
227.对特征拼接结果进行卷积处理，得到特征卷积结果；
228.对特征卷积结果进行提取处理，得到相邻帧的特征掩膜。
229.在一些实施方式中，该卷积运算模块304用于：
230.在相邻帧的超分辨率重建过程中，对相邻帧特征进行隐特征提取处理，得到相邻帧的隐特征。
231.在一些实施方式中，该卷积运算模块304用于：
232.对关键帧特征和过滤结果进行拼接处理，得到拼接结果；
233.对拼接结果进行下采样处理，得到下采样结果；
234.对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果；
235.对多帧卷积结果进行上采样处理，得到卷积运算结果。
236.在一些实施方式中，该卷积运算模块304用于：
237.对下采样结果进行卷积处理，得到下采样卷积结果；
238.对下采样卷积结果和隐特征进行卷积处理，得到隐特征卷积结果；
239.对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
240.在一些实施方式中，该卷积运算模块304用于：
241.对下采样结果进行卷积处理，得到下采样计算结果；
242.对下采样计算结果进行激活处理，得到下采样激活结果；
243.融合下采样结果和下采样激活结果，得到下采样卷积结果。
244.在一些实施方式中，该重建模块305用于：
245.融合所述卷积运算结果和所述关键帧特征，得到帧融合结果；
246.对所述帧融合结果进行卷积处理，得到待重建卷积结果；
247.对所述待重建卷积结果进行上采样处理，得到所述重建帧。
248.本技术实施例所提供的视频超分辨率重建装置通过获取模块301从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取所述关键帧的相邻帧；通过特征模块302对所述关键帧和所述相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；通过过滤模块303基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；通过卷积运算模块304对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算
结果；通过重建模块305对所述卷积运算结果和所述关键帧特征进行超分辨率重建处理得到重建帧，其中所述重建帧的分辨率大于所述关键帧的分辨率。
249.本技术实施例中由于利用注意力机制对相邻帧特征进行过滤处理，过滤掉对于关键帧来说相邻帧中多余的特征信息，避免了多余的特征信息对关键帧重建的干扰，有效地提升了超分辨率重建的处理效果。
250.本技术实施例还提供一种电子设备400。请参阅图15，电子设备400包括处理器401以及存储器。其中，处理器401与存储器电性连接。
251.该处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备400的各种功能并处理数据，从而对电子设备400进行整体监控。
252.该存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
253.在本技术实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：
254.从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取关键帧的相邻帧；
255.对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；
256.基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；
257.对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果；
258.对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧，其中所述重建帧的分辨率大于所述关键帧的分辨率。
259.在一些实施例中，处理器401可以具体执行以下步骤：
260.利用注意力机制对关键帧特征和相邻帧特征进行掩膜提取处理，得到相邻帧的特征掩膜；
261.基于特征掩膜对相邻帧特征进行处理，得到相邻帧特征的过滤结果。
262.在一些实施例中，处理器401可以具体执行以下步骤：
263.对关键帧特征和相邻帧特征进行拼接处理，得到特征拼接结果；
264.对特征拼接结果进行卷积处理，得到特征卷积结果；
265.对特征卷积结果进行提取处理，得到相邻帧的特征掩膜。
266.在一些实施例中，处理器401可以具体执行以下步骤：
267.在所述相邻帧的超分辨率重建过程中，对所述相邻帧特征进行隐特征提取处理，
得到所述相邻帧的隐特征。
268.在一些实施例中，处理器401可以具体执行以下步骤：
269.对关键帧特征和过滤结果进行拼接处理，得到拼接结果；
270.对拼接结果进行下采样处理，得到下采样结果；
271.对下采样结果和相邻帧的隐特征进行卷积处理，得到多帧卷积结果；
272.对多帧卷积结果进行上采样处理，得到卷积运算结果。
273.在一些实施例中，处理器401可以具体执行以下步骤：
274.对下采样结果进行卷积处理，得到下采样卷积结果；
275.对下采样卷积结果和隐特征进行卷积处理，得到隐特征卷积结果；
276.对隐特征卷积结果进行卷积处理，得到多帧卷积结果。
277.在一些实施例中，处理器401可以具体执行以下步骤：
278.对下采样结果进行卷积处理，得到下采样计算结果；
279.对下采样计算结果进行激活处理，得到下采样激活结果；
280.融合下采样结果和下采样激活结果，得到下采样卷积结果。
281.在一些实施例中，处理器401可以具体执行以下步骤：
282.融合所述卷积运算结果和所述关键帧特征，得到帧融合结果；
283.对所述帧融合结果进行卷积处理，得到待重建卷积结果；
284.对所述待重建卷积结果进行上采样处理，得到所述重建帧。
285.由上可知，本技术实施例的电子设备利用注意力机制对相邻帧特征进行过滤处理，过滤掉对于关键帧来说相邻帧中多余的特征信息，避免了多余的特征信息对关键帧重建的干扰，有效地提升超分辨率重建的处理效果。
286.请一并参阅图16，在某些实施方式中，电子设备400还可以包括：显示器403、射频电路404、音频电路405以及电源406。其中，其中，显示器403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。
287.该显示器403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器403可以包括显示面板，在某些实施方式中，可以采用液晶显示器(liquid crystal display，lcd)、或者有机发光二极管(organic light-emitting diode，oled)等形式来配置显示面板。
288.该射频电路404可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
289.该音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
290.该电源406可以用于给电子设备400的各个部件供电。在一些实施例中，电源406可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
291.尽管中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。
292.本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优
选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本技术保护范围之内。
293.本技术实施例还提供一种存储介质，该存储介质存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上述任一实施例中的视频超分辨率重建方法，比如：
294.从视频帧序列中获取需要进行超分辨率重建的关键帧，以及获取关键帧的相邻帧；
295.对关键帧和相邻帧进行特征提取处理，得到关键帧特征和相邻帧特征；
296.基于关键帧特征利用注意力机制对相邻帧特征进行过滤处理，得到相邻帧特征的过滤结果；
297.对关键帧特征和过滤结果进行卷积运算处理，得到卷积运算结果；
298.对卷积运算结果和关键帧特征进行超分辨率重建处理得到重建帧，其中所述重建帧的分辨率大于所述关键帧的分辨率。
299.在本技术实施例中，存储介质可以是磁碟、光盘、只读存储器(read only memory，rom)、或者随机存取记忆体(random access memory，ram)等。
300.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
301.需要说明的是，对本技术实施例的视频超分辨率重建方法而言，本领域普通测试人员可以理解实现本技术实施例的视频超分辨率重建方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如视频超分辨率重建方法的实施例的流程。其中，该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
302.对本技术实施例的视频超分辨率重建装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。
303.以上对本技术实施例所提供的一种视频超分辨率重建方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述本说明书内容不应理解为对本技术的限制。