一种基于渐进式网络建模的图像超分方法与流程

1.本发明属于图像处理技术领域，具体是一种基于渐进式网络建模的图像超分方法。


背景技术：

2.在大量的电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件、cmos图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。因此目前急需一种基于渐进式网络建模的图像超分方法，用于解决图像超分的问题。


技术实现要素：

3.为了解决上述方案存在的问题，本发明提供了一种基于渐进式网络建模的图像超分方法。
4.本发明的目的可以通过以下技术方案实现：
5.一种基于渐进式网络建模的图像超分方法，具体方法包括：
6.步骤一：获取图像判断模型和超分图像，识别超分图像的分辨率、像素和尺寸，并将识别的分辨率、像素和尺寸整合标记为判断输入数据，将判断输入数据输入到判断模型中，获得超分图像的最大超分倍数n；
7.步骤二：获取图像重建模型；
8.步骤三：对超分图像进行双三次插值，获得w1图像，记录w1图像的插值方法；
9.步骤四：通过图像重建模型对w1图像进行重建，获得m1图像，识别m1图像的清晰度l1，当识别的清晰度l1《x1时，x1为阈值，返回步骤三中，调整超分图像的插值方法，重新获取m1图像；将清晰度l1≥x1的m1图像进行保存；
10.步骤五：循环步骤三和步骤四，直到获得mv图像，当v＝n时，停止步骤三和步骤四的循环，进入下一步骤；
11.步骤六：对所有储存的mv图像进行坐标关联定位；根据关联定位制作超分图像集；
12.步骤七：设置超分滚动框，通过超分滚动框对超分图像进行超分。
13.进一步地，获取图像重建模型的方法包括：
14.从互联网中获取大量的进行双三次插值的图像和对应的重建图像，将获取的进行双三次插值的图像和对应的重建图像划分为训练集、测试集和校验集；构建人工智能模型，人工智能模型即为卷积神经网络模型；通过训练集、测试集和校验集对人工智能模型进行训练、测试和校验；将训练完成的人工智能模型标记为图像重建模型。
15.进一步地，进行一次双三次插值为放大一次，且放大倍数为一倍。
16.进一步地，对所有储存的mv图像进行坐标关联定位的方法包括：
17.获取记录的所有wv图像的插值方法，识别未采用双三次插值的wv图像，获取对应清晰度不满足要求的经过双三次插值处理的wv
′
图像，将wv
′
图像中的坐标标记到对应wv图像中的对应位置；
18.将所有wv图像以图像中心为原点，按照图像名称大小，从上往下依次排列，再在w1图像上方对应放置超分图像，将相同像素点在不同wv图像中的坐标点，标记为同类关联点，同类关联点内的所有坐标点按照wv图像的排列顺序进行关联。
19.进一步地，设置超分滚动框的方法包括：
20.设置自定位边框，所述自定位边框的边界拐点处设置有定位节点，定位节点用于识别超分图像上对应的坐标，根据自定位边框形状将识别的坐标点进行连线；设置滚动单元，滚动单元用于当识别的坐标点连线后进行自定位边框内的图像放大或缩小，将滚动单元和自定位边框整合标记为超分滚动框。
21.进一步地，所述自定位边框的形状为规则形状。
22.进一步地，滚动单元对自定位边框内的图像放大或缩小的方法包括：输入放大或缩小和拖动放大或缩小。
23.进一步地，通过超分滚动框对超分图像进行超分的方法包括：
24.设置超分滚动框的形状，将超分滚动框放在需要进行超分的超分图像上，设置超分滚动框的大小，设置完成后，识别超分滚动框的拐点坐标，将识别的坐标点进行连线，固定超分滚动框；将坐标点连线形成的边框标记为超分框，将超分框在超分图像集中进行投影，选择超分方式，根据选择的超分方式对超分框内的超分图像进行超分。
25.与现有技术相比，本发明的有益效果是：通过设置图像判断模型，优先判断超分图像的最大超分倍数，为后续的数据处理提供迭代上限，降低数据的处理量；
26.通过对超分图像进行双三次插值，进行一次双三次插值为放大一次，且放大倍数为一倍；通过逐步的进行插值和超分，使得获得的图像更加便于后续步骤中图像的重建，使得重建后的图像更加的清晰，且当获得的图像的清晰度不满足要求时，还可以及时的调整，确保最终的超分图像符合要求；通过超分图像集和超分滚动框的相互配合，为用户提供多种超分选择，确保具有符合用户要求的超分后图像。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明方法流程图；
29.图2为本发明双三次插值法示意图；
30.图3为本发明同类关联点示意图。
具体实施方式
31.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.如图1至图3所示，一种基于渐进式网络建模的图像超分方法，具体方法包括：
33.步骤一：获取图像判断模型和超分图像，超分图像即为需要进行图像超分的图像，图像判断模型用于判断超分图像的最大超分倍数；识别超分图像的分辨率、像素和尺寸，并将识别的分辨率、像素和尺寸整合标记为判断输入数据，将判断输入数据输入到判断模型中，获得超分图像的最大超分倍数n；其中n为正整数；
34.获取图像判断模型的方法包括：
35.获取历史判断输入数据输；所述历史判断输入数据输包括分辨率、像素和尺寸；为历史判断输入数据输设置对应的最大超分倍数；构建人工智能模型，人工智能模型即为神经网络模型；将历史判断输入数据输和对应的最大超分倍数划分为训练集、测试集和校验集；通过训练集、测试集和校验集对人工智能模型进行训练、测试和校验；将训练完成的人工智能模型标记为图像判断模型；
36.步骤二：获取图像重建模型；图像重建模型用于对进行过双三次插值的图像进行重建；
37.获取图像重建模型的方法包括：
38.从互联网中获取大量的进行双三次插值的图像和对应的重建图像，将获取的进行双三次插值的图像和对应的重建图像划分为训练集、测试集和校验集；构建人工智能模型，人工智能模型即为卷积神经网络模型；通过训练集、测试集和校验集对人工智能模型进行训练、测试和校验；将训练完成的人工智能模型标记为图像重建模型；
39.步骤三：对超分图像进行双三次插值，获得w1图像，记录w1图像的插值方法，w1图像即为进行了一次双三次插值；进行一次双三次插值为放大一次，且放大倍数为一倍；放大倍数为一倍是指由n倍变为n+1倍，例如之前的放大倍数为7倍，则在进行一次双三次插值，放大倍数为8倍，而不是由7倍变为14倍；
40.例如：假设源图像a大小为m*n，缩放后的目标图像b的大小为m*n；那么根据比例可以得到b(x，y)在a上的对应坐标为a(x，y)＝a(x*(m/m)，y*(n/n))。选取最近的16个像素点作为计算目标图像b(x，y)处像素值的参数；
41.如图2所示p点就是目标图像b在(x，y)处对应于源图像中的位置，p的坐标位置会出现小数部分，假设p的坐标为p(x+u，y+v)，其中x，y分别表示整数部分，u，v分别表示小数部分，得到如图2所示的最近16个像素的位置，在这里用a(i，j)(i，j＝0，1，2，3)来表示。
42.基于bicubic基函数的双三次插值法，bicubic基函数形式如下：
[0043][0044]
其中a取-0.5，求出bicubic函数中的参数x，从而获得16个像素所对应的系数。通过描述如何求出a(i，j)对应的系数k_ij，假设行系数为k_i，列系数为k_j；以a00位置为例：
首先，求出当前像素与p点的位置，比如a00距离p(x+u，y+v)的距离为(1+u，1+v)；则可以得到：k_i_0＝w(1+u)，k_j_0＝w(1+v)，同理可以得到所有行和列对应的系数：
[0045]
k_i_0＝w(1+u)，k_i_1＝w(u)，k__i_2＝w(1-u)，k_i_3＝w(2-u)；k_j_0＝w(1+v)，k_j_1＝w(v)，k_j_2＝w(1-v)，k_j_3＝w(2-v)；
[0046]
由k_i_j＝k_i*k_j就可以得到每个像素a(i，j)对应的权值了；
[0047]
最后通过求和公式可以得到目标图片b(x，y)对应的像素值：
[0048]
pixelb(x，y)＝pixela(0，0)*k_0_0+pixela(0，1)*k_0_1+
…
+pixela(3，3)*k_3_3。
[0049]
步骤四：通过图像重建模型对w1图像进行重建，获得m1图像，m1图像即为w1图像经过重建后的图像；识别m1图像的清晰度l1，当识别的清晰度l1《x1时，x1为阈值，返回步骤三中，调整超分图像的插值方法，例如将双三次插值改为使用基于深度学习的插值方法，重新获取m1图像；将清晰度l1≥x1的m1图像进行保存；
[0050]
步骤五：循环步骤三和步骤四，直到获得mv图像，v为正整数，v为第v次获得的m图像，当v＝n时，停止步骤三和步骤四的循环，进入下一步骤；
[0051]
步骤六：对所有储存的mv图像进行坐标关联定位；根据关联定位制作超分图像集；
[0052]
对所有储存的mv图像进行坐标关联定位并制作超分图像集的方法包括：
[0053]
获取记录的所有wv图像的插值方法，识别未采用双三次插值的wv图像，获取对应清晰度不满足要求的经过双三次插值处理的wv
′
图像，将wv
′
图像中的坐标标记到对应wv图像中的对应位置；
[0054]
如图3所示，将所有wv图像以图像中心为原点，按照图像名称大小，即w1、w2、w3、
……
，从上往下依次排列，再在w1图像上方对应放置超分图像，超分图像即为初始图像；将相同像素点在不同wv图像中的坐标点，标记为同类关联点，即为图3中从w1中一直串联到w3中的曲线所对应的坐标点，同类关联点内的所有坐标点按照wv图像的排列顺序进行关联；如图3中从w1中一直串联到w3中的曲线；超分图像集即为排列好的wv图像和超分图像；
[0055]
步骤七：设置超分滚动框，通过超分滚动框对超分图像进行超分；
[0056]
设置超分滚动框的方法包括：
[0057]
设置自定位边框，所述自定位边框的形状为规则形状，例如：圆形、正多边形、矩形等规则形状，可由用户进行调整选择，所述自定位边框的边界拐点处设置有定位节点，定位节点用于识别超分图像上对应的坐标，相当于定位节点位于超分图像上的某个位置，识别这个位置的坐标；根据自定位边框形状将识别的坐标点进行连线；设置滚动单元，滚动单元用于当识别的坐标点连线后进行自定位边框内的图像放大或缩小，滚动单元对自定位边框内的图像放大或缩小的方法包括：输入放大或缩小和拖动放大或缩小；输入放大或缩小指的是直接输入放大或缩小的倍数，拖动放大或缩小指的是通过鼠标滚轮进行放大或缩小，当是使用手机操作时，为手动拉大或缩小；将滚动单元和自定位边框整合标记为超分滚动框。
[0058]
通过超分滚动框对超分图像进行超分的方法包括：
[0059]
设置超分滚动框的形状，将超分滚动框放在需要进行超分的超分图像上，设置超分滚动框的大小，设置完成后，识别超分滚动框的拐点坐标，将识别的坐标点进行连线，固定超分滚动框；此时超分滚动框就相当于放大镜，可以对超分滚动框内的图像进行放大或
缩小；将坐标点连线形成的边框标记为超分框，将超分框在超分图像集中进行投影，相当于将超分图像上的超分框按照坐标分别投影到w1、w2、w3、
……
上；选择超分方式，超分方式即为滚动单元对自定位边框内的图像放大或缩小的方法，根据选择的超分方式对超分框内的超分图像进行超分。
[0060]
本发明的工作原理：获取图像判断模型和超分图像，识别超分图像的分辨率、像素和尺寸，并将识别的分辨率、像素和尺寸整合标记为判断输入数据，将判断输入数据输入到判断模型中，获得超分图像的最大超分倍数n；从互联网中获取大量的进行双三次插值的图像和对应的重建图像，将获取的进行双三次插值的图像和对应的重建图像划分为训练集、测试集和校验集；构建人工智能模型，人工智能模型即为卷积神经网络模型；通过训练集、测试集和校验集对人工智能模型进行训练、测试和校验；将训练完成的人工智能模型标记为图像重建模型；对超分图像进行双三次插值，获得w1图像，记录w1图像的插值方法；通过图像重建模型对w1图像进行重建，获得m1图像，识别m1图像的清晰度l1，当识别的清晰度l1《x1时，x1为阈值，返回步骤三中，调整超分图像的插值方法，重新获取m1图像；将清晰度l1≥x1的m1图像进行保存；进行迭代，直到获得mv图像，当v＝n时，停止步骤三和步骤四的循环，进入下一步骤；对所有储存的mv图像进行坐标关联定位；根据关联定位制作超分图像集；设置超分滚动框，通过超分滚动框对超分图像进行超分。
[0061]
在本发明所提供的实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。
[0062]
另对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0063]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0064]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0065]
最后应说明的是，以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。