图像超分辨率重建方法、设备及介质与流程

本发明涉及图像重建，尤其涉及一种图像超分辨率重建方法、设备及介质。

背景技术：

1、图像超分辨率重建（super resolution，sr）的核心思想是利用一组非冗余的低分辨率图像（low resolution，lr）重建出一幅或多幅高分辨率图像（high resolution，hr）。目前，图像超分辨率重建算法可以分为3大类，分别是基于插值、基于学习和基于重建的超分辨率重建算法。基于插值的超分辨率重建算法简单，处理速度快，但是在重建中，未考虑图像的降质退化模型，会导致重建图像纹理和边缘模糊，出现锯齿等现象。基于学习的超分辨率重建算法通过训练图像数据集学习低分辨与高分辨图像之间的映射关系，来预测低分辨图像中丢失的高频信息，从而达到重建高分辨率图像的目的，但是算法计算量大，需要足够多的数据集，不具备普适性。基于重建的超分辨率重建算法将图像的先验知识加入，把图像超分辨率这个超不适定问题适定化。

2、随着图像超分辨率重建算法的发展，现有技术中对多个图像先验的方法组合，进而提高重建图像质量，如：将tv先验和poe先验结合来增强图像的属性；将tv先验和l1先验与非稀疏同时自回归先验（sar）组合，通过调节权重来控制各先验的贡献量；将tv先验和frobenius正则化相结合，实现各先验贡献量自适应。虽然，这些算法重建效果比单先验重建在一定程度上抑制了噪声。但是，重建的图像在图像边缘仍然存在伪影和阶梯效应。

技术实现思路

1、本发明要解决的技术问题是：为了解决现有技术中分辨率重建方法重建后发的图像平滑区域易产生伪影和阶梯效应的问题，本发明提供一种图像超分辨率重建方法，能够有效降低重建图像的伪影和阶梯效应，可以有效提高超分辨率重建效果。

2、本发明解决其技术问题所采用的技术方案是：一种图像超分辨率重建方法，包括以下步骤：

3、s1：输入低分辨率图像；

4、s2：获取初始高分辨率图像，从步骤s1输入的所述低分辨率图像中选取其中一帧作为参考图像，对所述参考图像进行插值重建，重建后得到所述初始高分辨率图像，其中， t表示迭代次数，在步骤s2中， t＝1；

5、s3：收敛性判断，根据所述迭代次数判断是否进入下一步；

6、若所述迭代次数 t=1，则进入下一步骤；

7、若所述迭代次数 t＞1，则判断是否满足截止条件；

8、若满足所述截止条件，则结束图像超分辨率重建，输出目标高分辨率图像；

9、反之，若不满足所述截止条件，则进入下一步骤；

10、s4：图像配准，通过图像配准获取当前高分辨率图像和所述低分辨率图像之间的运动变化关系，得到相对运动变换参数mk；

11、s5：全变分先验，采用全变分先验对所述当前高分辨率图像优化，得到第一中间变量w；

12、s6：超参数估计，根据所述当前高分辨率图像和所述低分辨率图像得到超参数估计，以及；

13、s7：亮通道先验，设置惩罚参数，比较和的大小；为所述惩罚参数的初始值，为所述惩罚参数的循环判断限值；

14、若，则采用亮通道先验对所述当前高分辨率图像优化，得到矩阵和辅助变量g ；

15、若，则执行，返回s2步骤；

16、s8：重建高分辨率图像，结合全变分先验和亮通道先验模型，根据所述相对运动变换参数mk、所述第一中间变量w、所述超参数估计,,、所述矩阵和所述辅助变量g对所述当前高分辨率图像重建，获取新的高分辨率图像，执行，返回s2步骤。

17、进一步，具体地，在所述步骤s3中，所述截止条件为：

18、（1）

19、其中，是降序排列，为当前高分辨率图像，为前一次高分辨率图像，p为上采样因子，n为所述低分辨率图像的像素数， ε是一个定值，取值为1*10-5。

20、进一步，具体地，在所述步骤s4中，所述相对运动变换参数mk的计算包括：

21、设所述相对运动变换参数mk服从多元高斯分布，即：

22、（2）

23、其中，为初始相对运动变换参数，为先验协方差矩阵，初始相对运动变换参数通过lucas–kanade光流法或频域配准法计算获得；

24、在得到所述当前高分辨率图像后，所述相对运动变换参数mk通过最小化方程来估计:

25、（3）

26、其中，，s为降采样矩阵；为模糊矩阵；为运动变换矩阵；且为期望值，所述近似为：

27、（4）

28、其中，与均为设置的变量，，为中间计算变量，的计算公式如下：

29、（5）

30、所述相对运动变换参数mk的计算公式为：

31、（6）

32、（7）

33、其中，为第n次迭代求解的先验协方差矩阵，第n+1次迭代求解的先验协方差矩阵，为中间变量，计算公式为：

34、（8）。

35、进一步，具体地，在所述步骤s5中，所述全变分先验的数学表达式为：

36、（9）

37、其中，所述采用各向同性模型，所述数学表达式如下：

38、（10）

39、其中，和分别表示所述当前高分辨率图像的水平梯度和垂直梯度；

40、根据所述当前高分辨率图像的水平梯度和垂直梯度计算所述第一中间变量w的元素：

41、（11）

42、（12）

43、所述第一中间变量w的计算公式为：

44、（13）

45、其中， diag（）表示对角矩阵。

46、进一步，具体地，在所述步骤s6中，所述超参数的估计公式为:

47、（14）

48、所述超参数的估计公式为：

49、（15）

50、所述超参数为经验超参数，所述超参数估计公式为：

51、（16）

52、其中，为经验值。

53、进一步，具体地，在所述步骤s7中，所述亮通道先验的数学表达式为：

54、（17）

55、其中，是超参数，是所述当前高分辨率图像的亮通道，将转换为：

56、（18）

57、为一个的矩阵，第i行的元素计算公式为:

58、（19）

59、其中，q为给定邻域中最小值的位置；

60、在所述亮通道先验中采用半二次分裂法进行求解0阶范数，引入辅助向量g，近似为：

61、（20）

62、其中，当趋于无穷大，和近似相等，通过最小化公式来计算辅助向量g：

63、（21）

64、辅助向量g为：

65、（22）

66、通过放大来迭代更新g和，使得近似等于，亮通道先验模型为：

67、（23）。

68、进一步，具体地，在所述步骤s8中新的高分辨率图像计算公式为：

69、全变分-亮通道先验模型的表达式为:

70、（24）

71、其中，为全变分先验，表示亮通道先验；

72、所述高分辨率图像估计公式为：

73、（25）

74、将所述公式（20）和所述公式（25）代入所述公式（24）得到全变分-亮通道先验简化公式：

75、（26）

76、其中，[1]为全1矩阵，以及

77、（27）

78、其中，是协方差矩阵的元素。

79、一种计算机设备，包括：

80、处理器；

81、存储器，用于存储可执行指令；

82、其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如上所述的图像超分辨率重建方法。

83、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如上所述的图像超分辨率重建方法。

84、本发明的有益效果是，本发明的一种图像超分辨率重建方法通过全变分先验的保持边缘能力和亮通道先验的噪声抑制能力，达到有效地保持重建图像的边缘、去除伪影的效果，得到更高质量地图像，即使在高噪声情况下，也能很好的阻止图像降质；且将全变分先验模型和亮通道先验模型相结合的新的超分辨率重建算法，有效提高了高分辨率图像的重建效果，可以得到高质量的图片结果。