图像重建方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像重建方法、装置、电子设备及存储介质。


背景技术：

2.随着信息化技术的发展，人们对数字图像质量的要求也越来越高，特别是在医学、自动驾驶、天文以及监控等计算机视觉领域中，都需要获得高分辨率的、细节丰富的高清图像。然而，在实际图像采集时，往往受到成像系统自身的空间分辨率、光线或射线强度、空间距离以及系统噪声等因素的影响，而导致获得的图像的空间分辨率不高。
3.单图像超分辨率(single image super resolution，sisr)重建技术主要基于软件算法层面的设计，其可以实现从低分辨率(low resolution，lr)观测图像到高分辨率(high resolution，hr)观测图像的提升。随着深度学习的发展和普及应用，在图像处理领域里也常常采用深度学习技术对超分辨率图像进行处理。相关技术中，常常采用卷积神经网络进行单图像超分辨率重建，但相关技术中的图像重建大多侧重于学习更广泛或更深的模型，往往会影响重建图像的图像质量。因此，如何提供一种图像重建方法，提高重建图像的图像质量，成为了亟待解决的技术问题。


技术实现要素：

4.本技术实施例的主要目的在于提出一种图像重建方法、装置、电子设备及存储介质，旨在提高重建图像的图像质量。
5.为实现上述目的，本技术实施例的第一方面提出了一种图像重建方法，该方法包括：
6.获取原始图像；
7.利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核；
8.对目标模糊核进行变维处理，根据目标模糊核生成退化图像；
9.将原始图像和退化图像输入到预先训练得到的图像恢复模型中进行处理，得到重建图像。
10.其中，上述重建图像的分辨率大于原始图像的分辨率。
11.在一些实施例，上述利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核，包括：
12.将原始图像与中间模糊核相乘并经过下采样处理，得到第一图像；
13.将第一图像加上噪声，得到第二图像；
14.根据第一图像与第二图像的像素值差异确定目标模糊核，其中，中间模糊核是确定目标模糊核过程中设置的模糊核。
15.在一些实施例，上述根据第一图像与第二图像的像素值差异确定目标模糊核，包
括：
16.将第一图像与第二图像的像素值差异满足预设条件的情况下对应的中间模糊核确定为目标模糊核。
17.在确定目标模糊核的过程中可能会设置多个中间模糊核，直到第一图像和第二图像的像素值的差异满足预设条件，将此时对应的中间模糊核确定为目标模糊核即可。
18.而第一图像与第二图像的像素值差异满足预设条件具体可以是指，第一图像和第二图像的像素值的差异小于或者等于第一预设阈值，该第一预设阈值可以是预先设置的数值。
19.在一些实施例，上述对目标模糊核进行变维处理，生成退化图像，包括：
20.对目标模糊核进行降维处理和拉伸处理，以使退化图像与原始图像的维度相同。
21.上述退化图像与原始图像的维度相同可以是指彼此的宽和高分别相同(两者的通道数可以相同也可以不相同)。
22.在一些实施例，上述对目标模糊核进行降维处理和拉伸处理，包括：
23.将目标模糊核转化为列向量；
24.对列向量进行降维处理，得到降维后的线性向量；
25.对降维后的线性向量进行拉伸处理，得到退化图像。
26.在一些实施例，上述图像恢复模型包括n个残差密集块，在训练得到图像恢复模型的过程中，n个残差密集块中的任意一个残差密集块中的任意两层处于可连接状态，n为大于或者等于1的整数。
27.在一些实施例，上述图像恢复模型包括m个残差密集块，在图像恢复模型对原始图像和退化图像处理的过程中，m个残差密集块的中的任意一个残差密集块的输入信息均包括退化图像，m为大于或者等于1的整数。
28.在另一些实施例，还可以是图像恢复模型包括m个残差密集块，在图像恢复模型对原始图像和退化图像处理的过程中，m个残差密集块中的部分残差密集块的输入包括退化信息，m为大于或者等于1的整数。
29.在一些实施例，图像恢复模型是根据训练集合中的训练图像集训练得到的，其中，训练集合包括输入图像，输入图像对应的标准图像，以及根据输入图像确定的退化参考图像，其中，输入图像是对标准图像进行退化处理后得到的图像，输入图像的分辨率小于标准图像的分辨率，退化参考图像是根据与输入图像匹配的模糊核确定的，退化参考图像与输入图像的维度相同。
30.上述输入图像可以包括多个图像，每个图像是对对应的标准图像进行退化处理后得到的图像。该输入图像可以称为低分辨率图像，标准图像可以称为高分辨率图像。
31.为实现上述目的，本技术实施例的第二方面提出了一种图像重建装置，该装置包括：
32.图像获取模块，用于获取原始图像；
33.图像处理模块，图像处理模块具体用于：
34.利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核；
35.对目标模糊核进行变维处理，生成退化图像；
36.将原始图像和退化图像输入到预先训练得到的图像恢复模型中进行处理，得到重建图像，其中，重建图像的分辨率大于原始图像的分辨率。
37.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，电子设备包括存储器和处理器，其中，存储器中存储有程序，程序被处理器执行时处理器用于执行第一方面实施例的图像重建方法。
38.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，计算机可读存储有计算机程序，在计算机程序被计算机执行时，计算机用于执行第一方面实施例的图像重建方法。
39.本技术实施例提出的图像重建方法、装置、电子设备及存储介质，其通过获取原始图像，利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核。进而，对目标模糊核进行变维处理，生成退化图像，将原始图像和退化图像输入到预先训练得到的图像恢复模型中进行处理，得到重建图像。相较于相关技术，本技术通过确定与原始图像匹配的目标模糊核，使得目标模糊核更接近于真实模糊核，能够减小模糊核的未知对图像重建造成的影响，实现对具有任意模糊核的图像进行重建。另外，本技术将根据目标模糊核生成的退化图像与原始图像一起作为已训练的图像恢复模型的输入，使得在图像恢复模型对原始图像和退化图像处理的过程中，图像恢复模型内的模块能够融合退化图像的图像信息，提高重建图像的图像质量。
附图说明
40.图1是本技术实施例提供的图像重建方法的流程图；
41.图2是图1中的步骤s102的流程图；
42.图3是图1中的步骤s103的流程图；
43.图4是本技术实施例提供的图像重建方法应用于一具体应用场景的示意图；
44.图5是本技术实施例提供的图像重建方法的图像恢复模型中的残差密集块的示意图；
45.图6是本技术实施例提供的图像重建装置的结构示意图；
46.图7是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
47.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
48.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
49.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
50.首先，对本技术中涉及的若干名词进行解析：
51.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
52.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
53.图像复原：图像复原是图像处理中最重要的任务之一，其包括图像去噪、去模糊、图像修复、超分辨等，都是底层视觉中被广泛研究的问题。实际中我们得到的图像往往是退化后的图像(如带噪声图像、模糊图像、被采样的图像等。
54.自然图像先验：借助于不同的自然图像先验信息，可以估计出不同的原始图像。常用的自然图像的先验信息有自然图像的局部平滑性、非局部自相似性、稀疏性等特征；
55.(1)局部平滑性：自然图像相邻像素点之间的像素值在一定程度上是连续变化的。从频谱上观察，自然图像以低频分量为主；从梯度直方图上观察，自然图像梯度统计趋近于0。
56.(2)非局部相似性：在自然图像的不同位置，存在相似的纹理，且许多自然图像自身的纹理存在规律性。这说明自然图像本身信息是冗余的，我们可以利用图像的冗余信息对图像缺失或被污染的部分进行修复。利用图像非局部相似性首先要找到图像中相似的纹理，最常用的方法是块匹配，即把图像分解成一个一个的小块，每个小块看作是一个单元，在图像中寻找与其相似的一个或多个小块。
57.(3)稀疏性：稀疏性本身是指矩阵或向量中非零元素个数很少。对于自然图像来说，就是其可以用少量的几个独立成分来表示。即图像可以通过某些线性变化变成稀疏信号。图像的稀疏性是图像可以用压缩感知方法进行恢复的先决条件。压缩感知进行图像恢复的过程为：图像经过线性基变换ψ可以变成稀疏向量s。对原始图像进行随机采样可以得到观测向量y。利用观测向量y和恢复矩阵θ(常常是冗余字典)可以恢复出原始图像。
58.(4)统计特性：统计特性是通过对大量图像进行学习得到的统计规律。这种特性比较抽象，一般对图像进行概率分布建模，将统计特性融合在概率模型的求解的参数里。一个比较常见的例子是epll先验(expected patch log likelihood)，其使用混合高斯模型从大量自然图像块中学习到先验知识。基于监督模型的深度学习方法也是利用神经网络去自学习自然图像中的统计特性。
59.图像超分辨率(image super resolution)：图像超分辨率是指由一幅低分辨率图
像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。超分辨率(super-resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
60.图像退化：图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，导致图像质量的下降，这种现象叫做图像退化。
61.图像退化模型：输入图像f(x,y)经过某个退化系统后输出的是一幅退化的图像。原始图像f(x,y)经过一个退化算子或退化系统h(x,y)的作用，再和噪声n(x,y)进行叠加，形成退化后的图像g(x,y)。图1表示退化过程的输入和输出的关系，其中h(x,y)概括了退化系统的物理过程，就是所需的退化数学模型。退化模型主要有：非线性退化、模糊退化、运动退化和随机噪声退化。
62.模糊核：指模糊图像(或者叫平滑图像)时使用内核、掩码。模糊核实际上就是一个矩阵，清晰图像与模糊核卷积后导致图像变得模糊，因此叫模糊核。模糊核是卷积核的一种。图像卷积操作的本质是矩阵卷积。
63.高斯白噪声(white gaussian noise)：如果一个噪声，它的瞬时值服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。在一般的通信系统的工作频率范围内热噪声的频谱是均匀分布的，好像白光的频谱在可见光的频谱范围内均匀分布那样，所以热噪声又常称为白噪声。由于热噪声是由大量自由电子的运动产生的，其统计特性服从高斯分布，因而将热噪声称为高斯白噪声。高斯白噪声的功率谱密度服从均匀分布，幅度分布服从高斯分布。高斯白噪声在任意两个不同时刻上的随机变量之间，不仅是互不相关的，而且还是统计独立的。
64.图像上采样(upsampling)：图像上采样是指放大图像，也称图像插值(interpolating)，其主要目的在于放大原图像,从而使图像可以显示在更高分辨率的显示设备上。上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法主要包括基于边缘的图像插值算法和基于区域的图像插值算法。
65.图像下采样(subsampled)：图像下采样是指缩小图像，也称降采样(downsampled)，其主要目的在于使得图像符合显示区域的大小，以及生成对应图像的缩略图。下采样原理：对于一幅图像i尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的得分辨率图像，当然s应该是m和n的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
66.半二次方分裂法(half quadratic splitting；hqs)：hqs一般是将正则项中的原始变量进行变量替换，然后增加拉格朗日乘子项和二次惩罚项，使得在去耦合的同时，能够简化计算。
67.快速傅里叶变换(fast fourier transform；fft)：fft是利用计算机计算离散傅里叶变换(dft)的高效、快速计算方法的统称。fft的基本思想是把原始的n点序列，依次分解成一系列的短序列。充分利用dft计算式中指数因子所具有的对称性质和周期性质，进而求出这些短序列相应的dft并进行适当组合，达到删除重复计算，减少乘法运算和简化结构
的目的。计算离散傅里叶变换的快速方法，有按时间抽取的fft算法和按频率抽取的fft算法。前者是将时域信号序列按偶奇分排，后者是将频域信号序列按偶奇分排。它们都借助于的两个特点：一是周期性；二是对称性，这里符号*代表其共轭。这样，便可以把离散傅里叶变换的计算分成若干步进行，计算效率大为提高。
68.最大后验概率估计(maximum a posteriori estimation，map)：在贝叶斯统计学中，“最大后验概率估计”是后验概率分布的众数。利用最大后验概率估计可以获得对实验数据中无法直接观察到的量的点估计。它与最大似然估计中的经典方法有密切关系，但是它使用了一个增广的优化目标，进一步考虑了被估计量的先验概率分布。所以最大后验概率估计可以看作是规则化(regularization)的最大似然估计。map估计可以通过以下几种方式计算：1、解析方法，当后验分布的模能够用解析解方式表示的时候用这种方法；2、通过数值优化，如共轭梯度法或牛顿法。这通常需要一阶或二阶导数，必须通过分析或数值方法进行评估；3、通过期望最大化算法的修改实现，这种方法不需要后验密度的导数；4、通过使用模拟退火的蒙特卡罗方法。
69.主成分分析法(principal component analysis，pca)：pca是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。可以使用特征分解或奇异值分解(svd)这两种方法进行pca。pca将n维输入数据缩减为r维，其中r《n。简单地说，pca实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移使得其中一个轴(主轴)与数据点之间的方差最小，坐标转换后去掉高方差的正交轴，得到降维数据集。
70.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
71.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
72.基于此，本技术实施例提供一种图像重建方法、装置、电子设备及存储介质，实现对具有任意模糊核的图像进行重建，提高重建图像的图像质量。
73.本技术实施例提供的图像重建方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的图像重建方法。
74.本技术实施例提供的图像重建方法，涉及图像处理技术领域。本技术实施例提供的图像重建方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现医疗图像对比方法的应用等，但并不局限于以上形
式。
75.图1是本技术实施例提供的图像重建方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s104：
76.步骤s101，获取原始图像；
77.步骤s102，利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核；
78.步骤s103，对目标模糊核进行变维处理，生成退化图像；
79.步骤s104，将原始图像和退化图像输入到预先训练得到的图像恢复模型中进行处理，得到重建图像，其中，重建图像的分辨率大于原始图像的分辨率。
80.上述原始图像可以是低分辨率图像，通过上述步骤s101至步骤s104能够对这一低分辨率图像进行图像重建，以提高原始图像的图像分辨率。
81.具体地，由于在进行图像重建过程中，考虑到了模糊核对重建图像的图像质量的影响，将根据目标模糊核生成的退化图像也作为输入的一部分，通过已训练的图像恢复模型对原始图像和退化图像一起进行处理，使得已训练的图像恢复模型中也融合了退化图像的图像信息，经过以上步骤s101至步骤s104得到的重建图像，相较于原始图像以及通过相关技术进行图像重建得到的新图像，图像分辨率更高。
82.在一些实施例，在执行本技术实施例的步骤101之前，该图像重建方法还包括：
83.获取图像恢复模型；
84.对图像恢复模型进行训练得到已训练的图像恢复模型。
85.具体地，图像恢复模型可以是采用残差密集块(residual dense block，rdb)作为基本组成块的深度残差卷积模型。图像恢复模型根据训练集合中的训练图像集训练得到，其中，训练集合包括输入图像，输入图像对应的标准图像，以及根据输入图像确定的退化参考图像，其中，输入图像是对标准图像进行退化处理后得到的图像。
86.上述输入图像可以包括多个图像，每个图像是对对应的标准图像进行退化处理后得到的图像。该输入图像可以称为低分辨率图像，标准图像可以称为高分辨率图像。退化参考图像是根据与输入图像匹配的模糊核确定的。退化参考图像与输入图像的维度相同，具体可以是指退化图像的宽与原始图像的宽相同，退化图像的高与原始图像的高相同。
87.由于，利用常用的sisr退化模型可以方便地将高分辨率图像hr转化为低分辨图像lr，因此，可以将这一sisr退化模型作为预设的图像退化模型，利用sisr退化模型对原始图像进行退化处理，从而确定与原始图像匹配的目标模糊核。sisr退化模型的表示形式如公式(1)所示：
88.lr＝(hr*k)
↓s+n
ꢀꢀꢀꢀꢀ
公式(1)
89.其中，lr表示低分辨率图像，hr表示高分辨率图像，k表示模糊核，n表示高斯白噪声，*表示卷积运算，
↓
表示下采样操作，s表示下采样倍数。
90.具体地，请参阅图2，,步骤s102可以包括但不限于包括步骤s201至步骤s203：
91.步骤s201，将原始图像与中间模糊核相乘并经过下采样处理，得到第一图像；
92.步骤s202，将第一图像加上噪声，得到第二图像；
93.步骤s203，根据第一图像与第二图像的像素值差异确定目标模糊核；
94.其中，中间模糊核是确定目标模糊核过程中设置的模糊核。可以将第一图像与第
二图像的像素值差异满足预设条件的情况下对应的中间模糊核确定为目标模糊核。
95.在确定目标模糊核的过程中可能会设置多个中间模糊核，直到第一图像和第二图像的像素值的差异满足预设条件，将此时对应的中间模糊核确定为目标模糊核即可。
96.而第一图像与第二图像的像素值差异满足预设条件具体可以是指，第一图像和第二图像的像素值的差异小于或者等于第一预设阈值，该第一预设阈值可以是预先设置的数值。
97.具体地，根据sisr退化模型，在本技术实施例中可以将第一图像表示为(x*k)
↓s,第二图像可以表示为y，y＝(x*k)
↓s+,其中，x为原始图像，k为中间模糊核，s为下采样倍数，n为加上的噪声。进而根据第一图像与第二图像的像素值差异来确定目标模糊核。在一些具体实施例中，可以将第一图像与第二图像的像素值差异小于或者等于第一预设阈值的情况下对应的中间模糊核确定为目标模糊核。例如，根据图像的先验信息，在确定预设条件时，融合数据项与先验项的最大后验概率估计，将第一图像与第二图像的像素值差异满足公式(2)时的中间模糊核确定为目标模糊核k。
[0098][0099]
其中，arg min函数是指使组合式达到最小值时的k与x，数据项为先验项为先验项为和为正则项，γ和η为正则项参数。需要说明的是，表示x的梯度图。
[0100]
进一步地，利用半二次方分裂法(hqs)对公式(2)进行求解，得到关于k和的迭代解，k和的迭代解分别以公式(3)和公式(4)表示：
[0101][0102][0103]
其中，是y的梯度图，是通过估计得到的边缘图，是x的潜影。
[0104]
进一步地，由于上述公式(3)和公式(4)可以看作是关于k和的交替最小化问题。因而，可以利用快速傅里叶变换法(fft)对上述公式(3)进行求解，得到关于k的闭式表达式，k的闭式表达式以公式(5)表示：
[0105][0106]
其中，f和f-1
表示fft和逆fft，和分别代表水平和垂直方向的梯度变换。
[0107]
通过上述方式可以较为方便地确定与原始图像匹配的目标模糊核，使得目标模糊核更接近于真实模糊核，能够减小模糊核的未知对图像重建造成的影响，实现对具有任意模糊核的图像进行重建。需要说明的是，在其他实施例，还可以将第一图像与第二图像的像素值差异满足其他预设条件的情况下对应的中间模糊核确定为目标模糊核；也可以采用其他方法对目标模糊核k进行计算求解，不限于此。
[0108]
在一些实施例中，步骤s103可以包括但不限于包括对目标模糊核进行降维处理和拉伸处理，以使得退化图像与原始图像的维度相同。
[0109]
上述退化图像和原始图像的维度相同具体可以是指退化图像的宽与原始图像的宽相同，退化图像的高与原始图像的高相同。也就是说，退化图像与原始图像的维度相同可
以是指彼此的宽和高分别相同，而退化图像和原始图像的维度相同时，退化图像和原始图像的通道数可以相同也可以不同。
[0110]
请参阅图3，在一些具体实施例中，对目标模糊核进行降维处理和拉伸处理可以包括但不限于包括步骤s301至步骤s303：
[0111]
步骤s301，将目标模糊核转化为列向量；
[0112]
步骤s302，对列向量进行降维处理，得到降维后的线性向量；
[0113]
步骤s303，对降维后的线性向量进行拉伸处理，得到退化图像。
[0114]
具体地，由于目标模糊核的尺寸为w
×
w，原始图像的尺寸为w
×h×
c，其中，c为通道数。首先将目标模糊核k转化为列向量，其中，列向量的表示形式可以为w2+1。通过主成分分析法(pca)对列向量进行降维处理，例如，通过主成分分析法将列向量降至t维，得到降维之后的线性向量。进而，对降维之后的线性向量进行拉伸处理，将线性向量拉伸成尺寸为w
×h×
t的退化图像。此时，退化图像与原始图像处于相同维度，在相同维度下，退化图像与原始图像的宽度和高度均相同，而退化图像与原始图像的通道数可以相同或者不同，并不做限制。通过对目标模糊核k进行变维处理，使得退化图像与原始图像处于相同维度，从而能够将退化图像和原始图像进行连接，在后续步骤中将退化图像和原始图像一起输入至已训练的图像恢复模型中进行处理，使得已训练的图像恢复模型在图像重建过程中能够融合退化图像的图像先验信息，提高重建图像的图像质量。
[0115]
需要说明的是，除了上述的采用主成分分析法对列向量进行降维处理，还可以是采用其他方式对列向量进行降维处理，不限于此。
[0116]
请参阅图4，在具体的应用场景中，图像恢复模型包括至少一个残差密集块(rdb)和至少一个卷积层。根据目标模糊核生成的退化图像与原始图像一起作为已训练的图像恢复模型的输入，在图像恢复模型对原始图像lr和退化图像p处理的过程中，使得图像恢复模型内的模块能够融合退化图像的图像信息，通过已训练的图像恢复模型对原始图像lr和退化图像p处理，得到重建图像sr，使得重建图像sr的图像分辨率大于原始图像lr。
[0117]
具体地，图像恢复模型包括m个残差密集块，在图像恢复模型对原始图像和退化图像处理的过程中，m个残差密集块的中的任意一个rdb模块的输入信息均包括退化图像，m为大于或者等于1的整数。在一些其他实施例中，也可以是m个残差密集块中的部分残差密集块的输入包括退化信息，不限于此。
[0118]
进一步地，为了提高图像处理质量，也可以是在输入退化图像之前，对退化图像进行卷积处理，再将经过卷积处理之后的退化图像和原始图像一起输入到已训练的图像恢复模型中，以提高重建图像的图像质量。
[0119]
请参阅图5，在一些实施中，图像恢复模型包括n个残差密集块，在训练得到图像恢复模型的过程中，n个残差密集块中的任意一个残差密集块中的任意两层处于可连接状态，n为大于或者等于1的整数。
[0120]
具体地，通过残差密集块(rdb)可以充分利用原始图像和退化图像的所有分层特征。需要说明的是，残差密集块包含密集连通层和带有局部残差学习(lrl)的局部特征融合(lff)。另外，残差密集块还支持残差密集块之间的连续记忆。例如，一个残差密集块的输出可以直接访问下一个残差密集块的任意层，从而使状态连续传递任意一个残差密集块中的任意两层之间可以直接连接，能够充分提取所有层的层次特征，也方便特征信息之间的融
合。残差密集块的每个卷积层都可以访问所有的后续层，传递需要保留的信息。将前面的残差密集块与当前残差密集块的所有前面层的状态连接，局部特征融合通过自适应地保存信息来提取局部密集特征。此外，局部特征融合还通过稳定更大网络的训练来实现极高的增长率。在提取多层局部密集特征之后，可以进行全局特征融合(gff)以全局方式自适应地保留分层特征。
[0121]
本技术实施例通过获取原始图像，利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核。进而，对目标模糊核进行变维处理，生成退化图像，将原始图像和退化图像输入到预先训练得到的图像恢复模型中进行处理，得到重建图像。相较于相关技术，本技术通过确定与原始图像匹配的目标模糊核，使得目标模糊核更接近于真实模糊核，能够减小模糊核的未知对图像重建造成的影响，实现对具有任意模糊核的图像进行图像重建。另外，本技术将根据目标模糊核生成的退化图像与原始图像一起作为已训练的图像恢复模型的输入，使得在图像恢复模型对原始图像和退化图像处理的过程中，图像恢复模型内的模块能够融合退化图像的图像信息，提高重建图像的图像质量。
[0122]
请参阅图6，本技术实施例还提供一种图像重建装置，可以实现上述图像重建方法，该装置包括：
[0123]
图像获取模块601，用于获取原始图像；
[0124]
图像处理模块602，图像处理模块具体用于：
[0125]
利用预设的图像退化模型对原始图像进行退化处理，确定与原始图像匹配的目标模糊核；
[0126]
对目标模糊核进行变维处理，生成退化图像；
[0127]
将原始图像和退化图像输入到预先训练得到的图像恢复模型中进行处理，得到重建图像，其中，重建图像的分辨率大于原始图像的分辨率。
[0128]
本技术实施例还提供了一种电子设备，电子设备包括存储器、处理器、其中，存储器中存储有程序，程序被处理器执行时实现上述图像重建方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0129]
下面结合图7对电子设备的硬件结构进行详细说明。如图7所示，电子设备包括：
[0130]
处理器701，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0131]
存储器702，可以采用rom(readonlymemory，只读存储器)、静态存储设备、动态存储设备或者ram(randomaccessmemory，随机存取存储器)等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行本技术实施例的基于知识蒸馏的预测方法。
[0132]
该电子设备还可以包括：
[0133]
输入/输出接口703，用于实现信息输入及输出；
[0134]
通信接口704，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；和
[0135]
总线705，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通
信接口704)之间传输信息；
[0136]
其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。
[0137]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储有计算机程序，在计算机程序被计算机执行时，计算机用于执行上述图像重建方法。
[0138]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0139]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0140]
本领域技术人员可以理解的是，图1-3中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0141]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0142]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0143]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0144]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0145]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的
相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0146]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0147]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0148]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序的介质。
[0149]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。