一种基于三级卷积神经网络的单幅图像超分辨率重建方法

1.本技术涉及图像高质量重建技术领域，尤其涉及一种基于三级卷积神经网络的单幅图像超分辨率重建方法和系统。


背景技术：

2.目前在图像高质量重建技术领域，已有不少现有技术使用卷积神经网络来时先图像的超分辨率图像，例如：
3.cn108830790b采用单级精简卷积神经网络，利用多帧来实现视频超分辨率重建方法。
4.cn108921789a采用单级递归残差网络来实现超分辨率单幅图像的重建方法。
5.cn109064405a构建多尺度超分辨率模型，通过在高层特征提取模块中采用双路径架构以及局部残差学习和层次特征融合，实现单幅图像超分辨率重建。
6.cn109767386a发明一种基于深度学习的快速图像超分辨率重建方法，采用融合特征抽取与细节重建的卷积神经网络来实现单幅图像超分辨率重建。
7.cn109829855a公开了一种基于融合多层次特征图的超分辨率重建方法，类似于cn109767386a，采用融合特征抽取与细节重建的卷积神经网络来实现单幅图像超分辨率重建，只是网络结构不一致。
8.以上方法仍然存在部分图像模糊，在高倍数分辨率情况下特定目标图像的重建质量一般的技术问题。


技术实现要素：

9.有鉴于此，本技术的目的在于提出一种基于三级卷积神经网络的单幅图像超分辨率重建方法和系统，本技术能够针对性的解决现有的问题。
10.基于上述目的，本技术提出了一种基于三级卷积神经网络的单幅图像超分辨率重建方法，包括：
11.步骤1.利用下/上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型；
12.步骤2.利用采集的低分辨率图像信息和放大倍数，建立三级分辨率图像模型；
13.步骤3.利用双三次线性插值法将低一级的分辨率图像分别转化为高一级的分辨率图像，利用16个梯度算子对各级分辨率图像提取图像特征；
14.步骤4.逐级利用上采样技术和卷积神经网络来实现图像高质量重建。
15.基于上述目的，本技术还提出了一种基于三级卷积神经网络的单幅图像超分辨率重建系统，包括：
16.训练模块，利用下/上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型；
17.三级建模模块，利用采集的低分辨率图像信息和放大倍数，建立三级分辨率图像
模型；
18.特征提取模块，利用双三次线性插值法将低一级的分辨率图像分别转化为高一级的分辨率图像，利用16个梯度算子对各级分辨率图像提取图像特征；
19.图像重建模块，逐级利用上采样技术和卷积神经网络来实现图像高质量重建。
20.总的来说，本技术的优势及给用户带来的体验在于：
21.本技术利用三级卷积神经网络和双三次插值技术，采取逐级重建的方法，实现高倍数单幅图像超分辨率重建方法。这种方法能够消除部分图像模糊，改善高倍数分辨率情况下特定目标图像的重建质量。
附图说明
22.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
23.图1是本技术一种基于三级卷积神经网络的高倍数单幅图像超分辨率重建方法流程示意图。
24.图2是三级分辨率图像模型示意图。
25.图3是16个梯度算子示意图。
26.图4是卷积神经网络的训练流程示意图。
27.图5是卷积神经网络结构图。
28.图6是li级分辨率图像的重建过程示意图。
29.图7为本技术实施例提供的一种图像超分辨率重建(放大4倍)效果示意图。
30.图8示出根据本技术实施例的基于三级卷积神经网络的单幅图像超分辨率重建系统的构成图。
31.图9示出了本技术一实施例所提供的一种电子设备的结构示意图。
32.图10示出了本技术一实施例所提供的一种存储介质的示意图。
具体实施方式
33.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
34.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
35.图1为一种基于3级卷积神经网络的高倍数单幅图像超分辨率重建方法。将图像的放大倍数分成3级，逐级利用上采样技术和卷积神经网络实现图像重建。具体步骤如下：
36.步骤1.利用上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型。
37.1.1根据放大倍数n及高分辨率图像信息，建立3级分辨率图像模型。
38.低分辨率图像大小为w0×
h0，高分辨率图像大小为w3×
h3，满足w3＝n*w0和h3＝n*h0。设三级分辨率图像模型示意图如图2所示，w1＝[w0*l],h1＝[h0*l]，w2＝[w0*l2]，h2＝[h0*l2]，其中，l满足l3＝n，符号[]表示就近取整。其中w代表图像的长，h代表图像的宽。
[0039]
1.2采集原始高分辨率图像(如车牌图像)，利用下/上采样技术，建立3级分辨率清晰图像集和模糊图像集。将高分辨率图像(l3级)分别利用下采样技术，得到l0，l1，l2级分辨率清晰图像。将l0，l1，l2级分辨率清晰图像，采用上采样技术，得到l1，l2，l3级分辨率模糊图像，由此形成3个图像集{li级分辨率清晰图像，li级分辨率模糊图像}，其中i＝0，1，2，3，下同。
[0040]
1.3利用16个梯度算子(如图3)对li级分辨率模糊图像进行提取16维图像特征，拼接构成三维特征图像wi×hi
×
16，wi和hi分别表示li级分辨率图像的长和宽。以不重叠方式提取图像块5
×5×
16，并转化为20
×
20特征图像，作为训练的输入特征图集。每幅图像转化为ni幅20
×
20特征图像构成输入向量集，其中ni＝(w
i-4)
×
(h
i-4)。如果图像样本数为m，则总的输入向量集大小为20
×
20
×
mni。li级分辨率清晰图像，以不重叠方式提取图像块5
×
5，转为列向量25
×
1，构成目标输出向量。每幅li级分辨率清晰图像转化为ni个25
×
1的高分辨率图像向量集，总的目标输出向量集大小为25
×
mni。
[0041]
1.4.将输入特征图集和目标输出向量集作为输入集和目标向量集对卷积神经网络进行训练，获得训练后的卷积神经网络模型。训练过程如图4所示，卷积神经网络的结构如图5所示。
[0042]
步骤2.利用采集的低分辨率图像信息和放大倍数n，建立3级低分辨率图像模型。
[0043]
步骤3.利用双三次线性插值法将低分辨率图像转化为li级分辨率图像。利用一、二阶等16个梯度算子对li级分辨率图像进行卷积，提取16维特征图像，拼接构成三维特征图像wi×hi
×
16。以不重叠方式提取图像块5
×5×
16，并转化为20
×
20特征图像。每幅图像可转化为nr幅20
×
20特征图像构成输入向量集，其中nr＝(w
i-4)*(h
i-4)，i＝1，2，3。
[0044]
步骤2.利用采集的低分辨率图像信息和放大倍数n，建立三级分辨率图像模型。
[0045]
步骤3.利用双三次线性插值法将l
i-1
级分辨率图像分别转化为li级分辨率图像，利用16个梯度算子对li级分辨率图像提取图像特征。
[0046]
3.1利用16个梯度算子对li级分辨率清晰图像进行卷积，提取16维特征图像。
[0047]
3.2拼接构成三维特征图像。以不重叠方式提取图像块，并转化为特征图像作为输入特征集。
[0048]
步骤4.逐级利用上采样技术和卷积神经网络来实现图像高质量重建。
[0049]
4.1将输入特征集作为卷积神经网络的输入向量，计算实际输出向量，并转化为图像块5
×
5。
[0050]
4.2对li级分辨率图像，以重叠方式提取图像块5
×
5，并计算其均值，与4.1中对应图像块做平滑处理，形成图像。
[0051]
4.3采用迭代反投影方法来修正重建所得的li级分辨率清晰图像。li级分辨率图像的重建过程如图6所示。
[0052]
4.4重复执行4.1～4.3，直至实现l3级图像高质量重建。
[0053]
申请实施例提供了一种基于三级卷积神经网络的单幅图像超分辨率重建系统，该系统用于执行上述实施例所述的基于三级卷积神经网络的单幅图像超分辨率重建方法，如图8所示，该系统包括：
[0054]
训练模块501，利用下/上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型；
[0055]
三级建模模块502，利用采集的低分辨率图像信息，建立三级分辨率图像模型；
[0056]
特征提取模块503，利用双三次线性插值法将低一级的分辨率图像分别转化为高一级的分辨率图像，利用16个梯度算子对各级分辨率图像提取图像特征；
[0057]
图像重建模块504，逐级利用上采样技术和卷积神经网络来实现图像高质量重建。
[0058]
本技术的上述实施例提供的基于三级卷积神经网络的单幅图像超分辨率重建系统与本技术实施例提供的基于三级卷积神经网络的单幅图像超分辨率重建方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0059]
本技术实施方式还提供一种与前述实施方式所提供的基于三级卷积神经网络的单幅图像超分辨率重建方法对应的电子设备，以执行上基于三级卷积神经网络的单幅图像超分辨率重建方法。本技术实施例不做限定。
[0060]
请参考图9，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图9所示，所述电子设备20包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的基于三级卷积神经网络的单幅图像超分辨率重建方法。
[0061]
其中，存储器201可能包含高速随机存取存储器(ram：randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
[0062]
总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述基于三级卷积神经网络的单幅图像超分辨率重建方法可以应用于处理器200中，或者由处理器200实现。
[0063]
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0064]
本技术实施例提供的电子设备与本技术实施例提供的基于三级卷积神经网络的单幅图像超分辨率重建方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
[0065]
本技术实施方式还提供一种与前述实施方式所提供的基于三级卷积神经网络的单幅图像超分辨率重建方法对应的计算机可读存储介质，请参考图10，其示出的计算机可
读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于三级卷积神经网络的单幅图像超分辨率重建方法。
[0066]
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0067]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的基于三级卷积神经网络的单幅图像超分辨率重建方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0068]
需要说明的是：
[0069]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0070]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0071]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0072]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0073]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0074]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行
的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0075]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0076]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。