图像超分辨率重建的方法、电子设备及存储介质与流程

1.本申请涉及计算机技术领域，尤其涉及一种图像超分辨率重建的方法、电子设备及存储介质。


背景技术：

2.随着信息技术的发展，图像被应用到各种领域中。例如，将图像应用到医疗领域、卫星遥感领域等。目前，人们对图像画质的要求越来越高，因此提高图像的分辨率十分重要。
3.图像超分辨率重建的核心是利用低分辨率图像构建出高分辨率图像。相关技术中都采用神经网络基于低分辨率图像重建超分辨率图像。但在实际应用中，这种方法训练难度大，网络复杂且计算量高。


技术实现要素：

4.本申请实施例提供一种图像超分辨率重建的方法、电子设备及存储介质，可以解决相关技术中采用神经网络重建超分辨率图像时训练难度大，网络复杂且计算量高的问题。
5.一方面，本申请一实施例提供了一种图像超分辨率重建的方法，包括：
6.基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；
7.对所述目标图像进行插值处理，得到尺寸为所述目标图像的所述指定倍数的第二子图；
8.将所述第一子图和所述第二子图进行融合处理，得到超分辨率图像，其中，所述超分辨率图像为所述目标图像的所述指定倍数。
9.本申请一实施例中，所述深度学习的神经网络模型还包括信号叠加单元，所述将所述第一子图和所述第二子图进行融合处理，得到超分辨率图像，包括：
10.利用所述信号叠加单元，对所述第一子图和所述第二子图进行加法运算，得到所述超分辨率图像。
11.本申请一实施例中，所述深度学习的神经网络模型中的卷积层采用分时复用的方式复用卷积运算电路来完成卷积操作，其中复用的次数是根据单帧图像的可用耗时以及所述卷积运算电路的单次卷积运算耗时确定的；
12.所述神经网络模型中的一层卷积层和一层激活层构成一个交替电路，每个交替电路采用分时复用的方式完成交替的卷积层和激活层的处理操作。
13.一方面，本申请一实施例提供了一种图像超分辨率重建的装置，包括：
14.第一确定模块，用于基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；
15.第二确定模块，用于对所述目标图像进行插值处理，得到尺寸为所述目标图像的所述指定倍数的第二子图；
16.融合处理模块，用于将所述第一子图和所述第二子图进行融合处理，得到超分辨率图像，其中，所述超分辨率图像为所述目标图像的所述指定倍数。
17.本申请一实施例中，所述深度学习的神经网络模型包括特征提取单元、特征筛选单元、高频信号生成单元、高频上采样单元，所述第一确定模块，用于：
18.基于所述特征提取单元对所述目标图像进行特征提取，得到第一特征；
19.基于所述特征筛选单元对所述第一特征进行特征筛选操作，得到第二特征；
20.基于所述高频信号生成单元对所述第二特征进行处理，得到高频信号特征；
21.基于所述高频上采样单元对所述高频信号特征进行上采样处理，得到所述第一子图。
22.本申请一实施例中，所述特征提取单元包括：
23.依序串联的第一卷积块、第二卷积块序列以及第一特征融合单元；
24.其中，所述第一卷积块中包括多个串联的卷积层；
25.所述第二卷积块序列中包括多个第二卷积块，且每个所述第二卷积块中包括卷积层和激活层；
26.所述第一特征融合单元，用于将所述第一卷积块和所述第二卷积块序列中的第一指定低层特征和第一指定高层特征进行融合处理，得到所述第一特征。
27.本申请一实施例中，所述特征筛选单元，包括：
28.依序串联的至少一个空间和通道注意力模块。
29.本申请一实施例中，所述空间和通道注意力模块，包括：
30.依序串联的第三卷积块、池化层、第四卷积块以及第二特征融合单元；
31.所述第三卷积块和所述第四卷积块中均包括交替的卷积层和激活层；
32.所述第二特征融合单元，用于将所述第三卷积块和所述第四卷积块中的第二指定低层特征和第二指定高层特征进行融合处理，得到第二子特征；并，将所述第三卷积块和所述第四卷积块中的第三指定低层特征和所述第二子特征进行融合处理，得到所述第二特征；
33.其中，所述第二指定低层特征的层级高于所述第三指定低层特征。
34.本申请一实施例中，所述第三卷积块中各神经网络层的输入通道和输出通道数相同；
35.所述第四卷积块中的神经网络层的输出通道数符合先变小再变大的趋势，且所述第四卷积块输入通道数和输出通道数相同；
36.所述第二特征融合单元，用于将所述第三卷积块和所述第四卷积块中的第二指定低层特征和第二指定高层特征进行融合处理，得到第二子特征时，具体用于：
37.将所述第三卷积块和所述第四卷积块中的所述第二指定低层特征和所述第二指定高层特征进行乘法运算，得到所述第二子特征；所述第二子特征与所述第二特征的尺寸相同；
38.所述第二特征融合单元，用于将所述第三卷积块和所述第四卷积块中的第三指定低层特征和所述第二子特征进行融合处理时，具体用于：
39.将所述第三卷积块和所述第四卷积块中的所述第三指定低层特征和所述第二子特征进行加法运算。
40.本申请一实施例中，所述高频信号生成单元，包括：依序交替的卷积层和激活层，并最后连接有第三特征融合单元；
41.其中，所述第三特征融合单元用于将所述高频信号生成单元中的所述依序交替的卷积层和激活层中的第三指定低层特征和所述第三特征融合单元的上一神经网络层输出的第三指定高层特征进行融合处理，得到所述高频信号特征；或者，
42.所述第三特征融合单元用于将所述特征筛选单元的输出结果与所述第三指定高层特征进行融合处理，得到所述高频信号特征。
43.本申请一实施例中，所述高频上采样单元，包括：
44.复制单元和第五卷积块，所述第五卷积块中包括依序交替的卷积层和激活层；
45.其中，所述复制单元用于将输入的所述高频信号特征对应的特征图中的每个特征点复制n2‑
1次，并排列成n＊n的特征块，其中n为所述指定倍数，且由各特征点的特征块拼接为超分辨率特征图；
46.所述第五卷积块用于对所述超分辨率特征图进行处理，得到所述第一子图。
47.本申请一实施例中，所述深度学习的神经网络模型还包括信号叠加单元，所述融合处理模块，用于：
48.利用所述信号叠加单元，对所述第一子图和所述第二子图进行加法运算，得到所述超分辨率图像。
49.本申请一实施例中，所述深度学习的神经网络模型中的卷积层采用分时复用的方式复用卷积运算电路来完成卷积操作，其中复用的次数是根据单帧图像的可用耗时以及所述卷积运算电路的单次卷积运算耗时确定的；
50.所述神经网络模型中的一层卷积层和一层激活层构成一个交替电路，每个交替电路采用分时复用的方式完成交替的卷积层和激活层的处理操作。
51.一方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
52.一方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
53.一方面，本申请一实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种tcp传输性能的控制的各种可选实现方式中提供的方法。
54.本申请实施例中，首先基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；然后对目标图像进行插值处理，得到尺寸为目标图像的指定倍数的第二子图；最后将第一子图和第二子图进行融合处理，得到超分辨率图像，其中，超分辨率图像为目标图像的指定倍数。从而可以解决相关技术中采用神经网络重建超分辨率图像时训练难度大，网络复杂且计算量高的问题。
附图说明
55.为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使
用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1为本申请实施例提供的图像超分辨率重建的方法的应用场景示意图；
57.图2为本申请一实施例提供的图像超分辨率重建的方法的流程示意图；
58.图3为本申请一实施例提供的特征提取单元结构示意图；
59.图4为本申请一实施例提供的特征筛选单元结构示意图；
60.图5为本申请一实施例提供的高频信号生成单元的结构示意图；
61.图6为本申请一实施例提供的高频上采样单元的结构示意图；
62.图7为本申请一实施例提供的复制单元的结构示意图；
63.图8为本申请一实施例提供的构建超分辨率图像的结构示意图；
64.图9为本申请一实施例提供的图像超分辨率重建的装置的结构示意图；
65.图10为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
66.为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
67.为了方便理解，下面对本申请实施例中涉及的名词进行解释：
68.终端设备：可以安装各类应用，并且能够将已安装的应用中提供的对象进行显示的设备，该电子设备可以是移动的，也可以是固定的。例如，桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视、车载设备、个人数字助理(personal digital assistant，pda)、销售终端(point of sales，pos)或其它能够实现上述功能的电子设备等。
69.应用：即应用程序，可以完成某项或多项业务的计算机程序，一般具有可视的显示界面，能与用户进行交互，比如拍照软件等都可以称为应用。
70.客户端(client)或称为用户端，是指与服务器相对应，为客户提供本地服务的程序。除了一些只在本地运行的应用程序之外，一般安装在普通的客户机上，需要与服务端互相配合运行。因特网发展以后，较常用的用户端包括了如万维网使用的网页浏览器，收寄电子邮件时的电子邮件客户端，以及即时通讯的客户端软件等。对于这一类应用程序，需要网络中有相应的服务器和服务程序来提供相应的服务，如数据库服务，电子邮件服务等等，这样在客户机和服务器端，需要建立特定的通信连接，来保证应用程序的正常运行。
71.附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
72.在具体实践过程中，图像被应用到各种领域。例如，将图像应用到医疗领域、卫星遥感领域等。目前，人们对图像画质的要求越来越高，因此提高图像的分辨率十分重要。现有技术中图像超分辨率重建的方法中基于神经网络的方法构建的超分辨率图像质量能够满足需求。但该方法训练难度大，网络复杂且计算量高。
73.为此，本申请提供了一种图像超分辨率重建的方法，首先基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；然后对目标图像进行插值处理，得到尺
寸为目标图像的指定倍数的第二子图；最后将第一子图和第二子图进行融合处理，得到超分辨率图像。本申请实施例能够将传统的插值方法和深度学习方法融合来重构超分辨率图像，可以从一定程度上降低网络复杂度，减少计算量和训练难度。
74.在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
75.参考图1，其为本申请实施例提供的图像超分辨率重建的方法的应用场景示意图。该应用场景包括多个终端设备101(包括终端设备101
‑
1、终端设备101
‑
2、......终端设备101
‑
n)和服务器102。其中，终端设备101和服务器102之间通过无线或有线网络连接，终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视、智能摄像机等电子设备。服务器102可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
76.用户通过终端设备101发送图像超分辨率重建的指令至服务器102中，服务器102首先基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；然后对目标图像进行插值处理，得到尺寸为目标图像的指定倍数的第二子图；最后将第一子图和第二子图进行融合处理，得到超分辨率图像，其中，超分辨率图像为目标图像的指定倍数，服务器102发送融合处理后的超分辨率图像至终端设备101，通过终端设备101中的显示屏幕展示超分辨率图像。
77.当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
78.为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
79.下面结合图1所示的应用场景，对本申请实施例提供的技术方案进行说明。
80.参考图2，本申请实施例提供一种图像超分辨率重建的方法，包括以下步骤：
81.s201，基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；
82.s202，对目标图像进行插值处理，得到尺寸为目标图像的指定倍数的第二子图；
83.s203，将第一子图和第二子图进行融合处理，得到超分辨率图像，其中，超分辨率图像为目标图像的指定倍数。
84.本申请的一实施例中，深度学习的神经网络模型包括特征提取单元、特征筛选单元、高频信号生成单元、高频上采样单元，接下来按照上述不同功能的单元说明步骤s201的执行过程。
85.一、特征提取单元
86.为了提取低分辨率的目标图像的特征，可以基于特征提取单元对目标图像进行特征提取，得到第一特征。
87.可选地，特征提取单元包括：依序串联的第一卷积块、第二卷积块序列以及第一特征融合单元；其中，第一卷积块中包括多个串联的卷积层；第二卷积块序列中包括多个第二卷积块，且每个第二卷积块中包括卷积层和激活层；第一特征融合单元，用于将第一卷积块和第二卷积块序列中的第一指定低层特征和第一指定高层特征进行融合处理，得到第一特征。
88.示例性地，如图3所示，第一卷积块为3个串联的卷积层，第二卷积块序列中包括2个第二卷积块，每个卷积块中包括一个卷积层和一个激活层，第一指定低层特征可以是图3中标号为1、2、3、4、5、6中任意一个对应的输出结果，第一指定高层特征为第二卷积块序列的输出结果，也即图3中标号为7对应的输出结果，在第一特征融合单元中，将第一指定低层特征和第一指定高层特征进行加和处理，得到第一子图。图3为根据标号3对应的第一指定低层特征与标号7对应的第一指定高层特征进行加和处理，得到的第一特征。
89.可选地，卷积层可以是3＊3的卷积层，激活层中的激活函数可以是relu(rectified linear unit，整流线性单元)或者sigmoid，在此仅是举例，并不限定具体的卷积层和激活层，可根据实际应用情况进行调整。
90.通过特征提取单元对目标图像的处理，可以提高目标图像的分辨率。
91.二、特征筛选单元
92.为了进一步的筛选更为有用的特征，在对目标对象进行特征提取，得到第一特征后，基于特征筛选单元对第一特征进行特征筛选操作，得到第二特征。
93.可选地，特征筛选单元，包括：依序串联的至少一个空间和通道注意力模块。其中，空间和通道注意力模块，包括：依序串联的第三卷积块、池化层、第四卷积块以及第二特征融合单元。第三卷积块和第四卷积块中均包括交替的卷积层和激活层。
94.第二特征融合单元，用于将第三卷积块和第四卷积块中的第二指定低层特征和第二指定高层特征进行融合处理，得到第二子特征；并，将第三卷积块和第四卷积块中的第三指定低层特征和第二子特征进行融合处理，得到第二特征；其中，第二指定低层特征的层级高于第三指定低层特征。
95.可选地，将第三卷积块和第四卷积块中的第二指定低层特征和第二指定高层特征进行乘法运算，得到第二子特征；第二子特征与第二特征的尺寸相同；将第三卷积块和第四卷积块中的第三指定低层特征和第二子特征进行加法运算。
96.示例性地，如图4所示，第三卷积块为卷积层
‑
激活层
‑
卷积层的串联方式，第四卷积块为卷积层
‑
激活层
‑
卷积层
‑
激活层的串联方式，第二指定低层特征可以是图4中标号为1、2、3、4、5、6、7中任意一个对应的输出结果，第二指定高层特征为第四卷积块的输出结果，也即图4中标号为8对应的输出结果，第三指定低层特征可以是图4中标号为1、2、3、4、5、6、7中任意一个对应的输出结果，但是，第二指定低层特征的层级高于第三指定低层特征。图4为根据标号3对应的第二指定低层特征与标号8对应的第二指定高层特征进行乘法运算，得到的第二子特征。根据标号1对应的第三指定低层特征与标号9对应的第二子特征进行加和处理，得到的第二特征。
97.本申请的一实施例中，第三卷积块中各神经网络层的输入通道和输出通道数相同；第四卷积块中的神经网络层的输出通道数符合先变小再变大的趋势，且第四卷积块输入通道数和输出通道数相同。
98.可选地，如图4所示，第三卷积块中卷积层
‑
激活层
‑
卷积层的输入通道和输出通道数可以均为16通道数，第四卷积块中第一个卷积层的输入通道数可以为16通道数，第一个卷积层的输出通道数可以为4通道数，第一个激活层的输入通道数可以为4通道数，第一个激活层的输出通道数可以为4通道数，第二个卷积层的输入通道数可以为4通道数，第二个卷积层的输出通道数可以为16通道数，第二个激活层的输入通道数可以为16通道数，第二个激活层的输出通道数可以为16通道数。
99.可选地，卷积层可以是3＊3的卷积层，激活层中的激活函数可以是relu(rectified linear unit，整流线性单元)或者sigmoid，在此仅是举例，并不限定具体的卷积层和激活层，可根据实际应用情况进行调整。
100.通过特征筛选单元对提取特征后的目标图像进一步处理，利用筛选后的特征可以进一步提高目标图像的分辨率。
101.三、高频信号生成单元
102.基于特征筛选单元之后，为了得到更真实的高频信号，基于高频信号生成单元对第二特征进行处理，得到高频信号特征。
103.可选地，高频信号生成单元，包括：依序交替的卷积层和激活层，并最后连接有第三特征融合单元；其中，第三特征融合单元用于将高频信号生成单元中的依序交替的卷积层和激活层中的第三指定低层特征和第三特征融合单元的上一神经网络层输出的第三指定高层特征进行融合处理，得到高频信号特征；或者，第三特征融合单元用于将特征筛选单元的输出结果与第三指定高层特征进行融合处理，得到高频信号特征。
104.示例性地，如图5所示，高频信号生成单元，包括卷积层
‑
激活层
‑
卷积层
‑
激活层
‑
卷积层
‑
第三特征融合单元。第三指定低层特征可以是图5中标号为2、3、4、5中任意一个对应的输出结果，第三指定高层特征为图5中标号为6对应的输出结果，在第三特征融合单元中，将第三指定低层特征和第三指定高层特征进行加和处理，得到高频信号特征。或者，将特征筛选单元的输出结果(即图5中标号为1对应的输出结果)与第三指定高层特征进行加和处理，得到高频信号特征。图5为根据标号1对应的第三指定低层特征与标号6对应的第三指定高层特征进行加和处理，得到的高频信号特征。
105.可选地，卷积层可以是3＊3的卷积层，激活层中的激活函数可以是relu(rectified linear unit，整流线性单元)或者sigmoid，在此仅是举例，并不限定具体的卷积层和激活层，可根据实际应用情况进行调整。
106.通过特征筛选单元筛选出合适的特征，由高频信号生成单元生成高分辨率所需的信息。
107.四、高频上采样单元
108.为了得到超分辨率信号，基于高频上采样单元对高频信号特征进行上采样处理，得到第一子图。
109.可选地，高频上采样单元，包括：复制单元和第五卷积块，第五卷积块中包括依序交替的卷积层和激活层；其中，复制单元用于将输入的高频信号特征对应的特征图中的每
个特征点复制n2‑
1次，并排列成n＊n的特征块，其中n为指定倍数，且由各特征点的特征块拼接为超分辨率特征图；第五卷积块用于对超分辨率特征图进行处理，得到第一子图。
110.示例性地，如图6所示，第五卷积块包括：卷积层
‑
激活层
‑
卷积层，如图7所示，复制单元通过将一个点复制为四个点，实现水平放大2倍，垂直放大2倍的需求。
111.可选地，卷积层可以是3＊3的卷积层，激活层中的激活函数可以是relu(rectified linear unit，整流线性单元)或者sigmoid，在此仅是举例，并不限定具体的卷积层和激活层，可根据实际应用情况进行调整。
112.通过高频上采样单元处理后，使得第一子图与待生成的超分辨率图像的像素点个数相同。
113.本申请一实施例中，深度学习的神经网络模型还包括信号叠加单元，用于执行步骤203时，对第一子图和第二子图进行加法运算，得到超分辨率图像。
114.示例性地，如图8所示，将低分辨率信号分别输入至特征提取单元、普通信号上采样单元(即步骤s202)，特征提取单元输出第一特征，并将第一特征输入特征筛选单元，特征筛选单元输出第二特征，并将第二特征输入高频信号生成单元，使得高频信号生成单元输出高频信号特征，并将高频信号特征输入高频上采样单元，使得高频上采样单元输出第一子图，将第一子图与普通上采样单元输出的第二子图输入信号叠加单元进行加法运算，输出超分辨率图像。
115.本申请实施例中，首先基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；然后对目标图像进行插值处理，得到尺寸为目标图像的指定倍数的第二子图；最后将第一子图和第二子图进行融合处理，得到超分辨率图像，其中，超分辨率图像为目标图像的指定倍数。从而可以解决相关技术中采用神经网络重建超分辨率图像时训练难度大，网络复杂且计算量高的问题。
116.本申请一实施例中，深度学习的神经网络模型中的卷积层采用分时复用的方式复用卷积运算电路来完成卷积操作，其中复用的次数是根据单帧图像的可用耗时以及卷积运算电路的单次卷积运算耗时确定的；神经网络模型中的一层卷积层和一层激活层构成一个交替电路，每个交替电路采用分时复用的方式完成交替的卷积层和激活层的处理操作。
117.如图9所示，基于与上述图像超分辨率重建的方法相同的发明构思，本申请实施例还提供了一种图像超分辨率重建的装置90，包括：第一确定模块901、第二确定模块902、融合处理模块903。
118.第一确定模块901，用于基于深度学习的神经网络模型将目标图像扩大到指定倍数，得到第一子图；
119.第二确定模块902，用于对所述目标图像进行插值处理，得到尺寸为所述目标图像的所述指定倍数的第二子图；
120.融合处理模块903，用于将所述第一子图和所述第二子图进行融合处理，得到超分辨率图像，其中，所述超分辨率图像为所述目标图像的所述指定倍数。
121.本申请一实施例中，所述深度学习的神经网络模型包括特征提取单元、特征筛选单元、高频信号生成单元、高频上采样单元，所述第一确定模块901，用于：
122.基于所述特征提取单元对所述目标图像进行特征提取，得到第一特征；
123.基于所述特征筛选单元对所述第一特征进行特征筛选操作，得到第二特征；
124.基于所述高频信号生成单元对所述第二特征进行处理，得到高频信号特征；
125.基于所述高频上采样单元对所述高频信号特征进行上采样处理，得到所述第一子图。
126.本申请一实施例中，所述特征提取单元包括：
127.依序串联的第一卷积块、第二卷积块序列以及第一特征融合单元；
128.其中，所述第一卷积块中包括多个串联的卷积层；
129.所述第二卷积块序列中包括多个第二卷积块，且每个所述第二卷积块中包括卷积层和激活层；
130.所述第一特征融合单元，用于将所述第一卷积块和所述第二卷积块序列中的第一指定低层特征和第一指定高层特征进行融合处理，得到所述第一特征。
131.本申请一实施例中，所述特征筛选单元，包括：
132.依序串联的至少一个空间和通道注意力模块。
133.本申请一实施例中，所述空间和通道注意力模块，包括：
134.依序串联的第三卷积块、池化层、第四卷积块以及第二特征融合单元；
135.所述第三卷积块和所述第四卷积块中均包括交替的卷积层和激活层；
136.所述第二特征融合单元，用于将所述第三卷积块和所述第四卷积块中的第二指定低层特征和第二指定高层特征进行融合处理，得到第二子特征；并，将所述第三卷积块和所述第四卷积块中的第三指定低层特征和所述第二子特征进行融合处理，得到所述第二特征；
137.其中，所述第二指定低层特征的层级高于所述第三指定低层特征。
138.本申请一实施例中，所述第三卷积块中各神经网络层的输入通道和输出通道数相同；
139.所述第四卷积块中的神经网络层的输出通道数符合先变小再变大的趋势，且所述第四卷积块输入通道数和输出通道数相同；
140.所述第二特征融合单元，用于将所述第三卷积块和所述第四卷积块中的第二指定低层特征和第二指定高层特征进行融合处理，得到第二子特征时，具体用于：
141.将所述第三卷积块和所述第四卷积块中的所述第二指定低层特征和所述第二指定高层特征进行乘法运算，得到所述第二子特征；所述第二子特征与所述第二特征的尺寸相同；
142.所述第二特征融合单元，用于将所述第三卷积块和所述第四卷积块中的第三指定低层特征和所述第二子特征进行融合处理时，具体用于：
143.将所述第三卷积块和所述第四卷积块中的所述第三指定低层特征和所述第二子特征进行加法运算。
144.本申请一实施例中，所述高频信号生成单元，包括：依序交替的卷积层和激活层，并最后连接有第三特征融合单元；
145.其中，所述第三特征融合单元用于将所述高频信号生成单元中的所述依序交替的卷积层和激活层中的第三指定低层特征和所述第三特征融合单元的上一神经网络层输出的第三指定高层特征进行融合处理，得到所述高频信号特征；或者，
146.所述第三特征融合单元用于将所述特征筛选单元的输出结果与所述第三指定高
层特征进行融合处理，得到所述高频信号特征。
147.本申请一实施例中，所述高频上采样单元，包括：
148.复制单元和第五卷积块，所述第五卷积块中包括依序交替的卷积层和激活层；
149.其中，所述复制单元用于将输入的所述高频信号特征对应的特征图中的每个特征点复制n2‑
1次，并排列成n＊n的特征块，其中n为所述指定倍数，且由各特征点的特征块拼接为超分辨率特征图；
150.所述第五卷积块用于对所述超分辨率特征图进行处理，得到所述第一子图。
151.本申请一实施例中，所述深度学习的神经网络模型还包括信号叠加单元，所述融合处理模块903，用于：
152.利用所述信号叠加单元，对所述第一子图和所述第二子图进行加法运算，得到所述超分辨率图像。
153.本申请一实施例中，所述深度学习的神经网络模型中的卷积层采用分时复用的方式复用卷积运算电路来完成卷积操作，其中复用的次数是根据单帧图像的可用耗时以及所述卷积运算电路的单次卷积运算耗时确定的；
154.所述神经网络模型中的一层卷积层和一层激活层构成一个交替电路，每个交替电路采用分时复用的方式完成交替的卷积层和激活层的处理操作。
155.本申请实施例提的图像超分辨率重建的装置与上述图像超分辨率重建的方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
156.基于与上述图像超分辨率重建的方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)、服务器等。如图10所示，该电子设备100可以包括处理器1001和存储器1002。
157.处理器1001可以是通用处理器，例如中央处理器(cpu)、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
158.存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
159.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(ram，random access memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等各种可以存储程序代码的介质。
160.或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器(ram，random access memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等各种可以存储程序代码的介质。
161.根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像超分辨率重建的的方法。
162.以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。