一种基于数据不确定性的图像超分辨率重建方法及系统

本发明涉及数字图像处理领域，更具体的说是涉及一种基于数据不确定性的图像超分辨率重建方法及系统。

背景技术：

1、超分辨率重建技术是指将一张低分辨率图像转换为高分辨率图像的方法，从而提升图像的视觉效果，是图像处理中的关键技术，并为图像检测、图像分割等领域提供了关键的技术支持。然而在真实应用场景中，由于低分辨率图像和高分辨率图像往往不是一一对应的，导致其重建的超分辨率结果无法有效的应用于后续任务中，且无法判断其可靠性,而数据不确定性可以很有效的衡量该区域的可靠程度，因此利用不确定性图为超分辨率重建过程提供有效地指导可以有效推动其在实际场景中的应用。

2、数据不确定可用于描述该图像数据的波动程度，通常在实际应用中，具有复杂纹理变化的困难样本在学习过程中波动程度较大，其学习得到的数据不确定性也相应较高，而如白色墙等简单样本在学习过程中很容易学习得到最优解，因此该区域的数据不确定性也相应较低。而难样本相比于简单样本通常更难以学习，需要网络提供更多的关注度才能够获得整体更优的结果。因此，利用不确定性来为网络提供对于这些困难样本的注意力是十分重要的。

3、当前的超分辨率重建技术大多是利用更多的卷积操作来提升整体模型的表达效果，却忽视了重建结果的可靠性问题，这使得目前的大多数技术仍无法完成在遥感图像处理、医学图像处理等实际场景中完成有效应用，且重建结果无法得到人们的认可。

4、虽然目前有人开始研究超分辨率重建过程中的不确定性问题，但他们大多数研究仅仅是利用不确定性的像素强度来观测结果的可靠性，生成的不确定性很难有效指导基于深度学习的超分辨率重建网络的有效学习，且由于生成不确定性建模成本的增加，导致网络的学习效果较差，这也导致之前的大多数不确定性学习方法无法大规模的应用于超分辨率重建任务中。

5、虽然有人提出了不确定性加权损失等技术来加强对关键区域的关注，但在学习过程中，低不确定性区域往往是更容易学习的，而高不确定性区域在学习后期才会有相对较好的学习效果，因此这两种区域在重建过程中往往学习程度是不一致的，这也导致它们始终存在学习上的不一致，这也为这种不确定性加权损失的有效性带来了巨大挑战，阻碍了深度学习网络对于两种不确定性区域的有效学习，且难以获得令人满意的重建结果。因此，在单帧超分辨率重建任务中仍迫切需要一种有效的方法来利用不确定性。

技术实现思路

1、有鉴于此，本发明提出了一种基于数据不确定性的图像超分辨率重建方法及系统，将其应用于自然图像的超分辨率重建任务中，通过有效分离开高低不确定性区域，有效解决两种区域在学习过程种相互矛盾的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明实施例提供一种基于数据不确定性的图像超分辨率重建方法，包括以下步骤：

4、s1、获取一张需要重建的低分辨率图像；

5、s2、将所述低分辨率图像输入不确定性优化模型，生成不确定性图和相对应的第一图像超分辨率重建结果；所述不确定性优化模型使用不确定性损失进行优化；

6、s3、根据所述不确定性图，计算获得所述不确定性优化模型的损失权重函数；

7、s4、根据所述损失权重函数完成掩膜不确定性驱动损失的计算，用于优化基础模型；

8、s5、将所述低分辨率图像输入优化后的所述基础模型，经过卷积和残差模块的处理后，获得相对应的第二图像超分辨率重建结果；

9、s6、将所述第一图像超分辨率重建结果和第二图像超分辨率重建结果进行融合，并根据所述损失权重函数获得对应的融合权重，最终获得超分辨率图像。

10、进一步地，所述步骤s2具体包括：

11、构建超分辨率重建网络，假设网络输入的低分辨率图像表示为x，高分辨率图像为y，重建的超分辨率图像为，且假设y服从高斯分布，其中为待重建的样本的均值，为待重建的样本的方差；

12、当进行m次随机采样后，条件似然函数用下列公式表示：

13、

14、其中，为给定的高斯先验网络的参数；i表示随机采样的索引，表示第i次采样时模型预测的不确定性，表示第i次采样时使用参数优化的网络生成的重建结果；

15、通过最大化上述公式中的对数似然，得到用于降低数据不确定性的损失函数，具体形式如下所示：

16、

17、式中，表示不确定性优化模型优化时使用的不确定性损失， n表示样本点的数量，表示生成的不确定性图。

18、进一步地，所述步骤s3具体包括：

19、利用不确定性图选择非负线性函数作为损失函数的权重系数，具体的表达形式如下所示：

20、

21、

22、其中，表示不确定性图，s表示不确定性变换函数结果，表示非负线性缩放函数，表示不确定性变换函数结果中在每个点处的值；

23、计算所述非负线性缩放函数的平均值，具体形式如下所示：

24、

25、其中，h，w分别表示不确定性变换函数图的高度和宽度，将作为过滤阈值筛选出不确定性水平相对较低的区域，并生成一组新的权重系数来调节原始l1损失函数；

26、新的权重系数的具体形式如下所示：

27、

28、其中，表示修正后的权重图的像素位置。

29、进一步地，所述步骤s4具体包括：

30、根据所述损失权重函数完成掩膜不确定性驱动损失的计算，不确定性驱动损失mudl如下所示：

31、

32、式中，表示不确定性驱动损失。

33、进一步地，所述步骤s6具体包括：

34、根据如下计算公式获得融合结果：

35、

36、

37、其中，r表示两个不同超分辨率重建结果的融合权重，用以鉴别是否为高不确定性区域；如果使用该像素值，则设置为1，未使用则设置为0；表示第一图像超分辨率重建结果；表示第二图像超分辨率重建结果；表示最终的图像超分辨率图像。

38、第二方面，本发明实施例还提供一种基于数据不确定性的图像超分辨率重建系统，包括：

39、获取模块，用于获取一张需要重建的低分辨率图像；

40、第一生成模块，用于将所述低分辨率图像输入不确定性优化模型，生成不确定性图和相对应的第一图像超分辨率重建结果；所述不确定性优化模型使用不确定性损失进行优化；

41、损失权重函数计算模块，用于根据所述不确定性图，计算获得所述不确定性优化模型的损失权重函数；

42、不确定性驱动损失计算模块，用于根据所述损失权重函数完成掩膜不确定性驱动损失的计算，用于优化基础模型；

43、第二生成模块，用于将所述低分辨率图像输入优化后的所述基础模型，经过卷积和残差模块的处理后，获得相对应的第二图像超分辨率重建结果；

44、融合模块，用于将所述第一图像超分辨率重建结果和第二图像超分辨率重建结果进行融合，并根据所述损失权重函数获得对应的融合权重，最终获得超分辨率图像。

45、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于数据不确定性的图像超分辨率重建方法，可以更好地利用不确定性来提升超分辨率重建任务的表达效果，并为实际使用的真实场景中超分辨率重建结果提供不确定性标签。整体来说，设计了一种两步的网络框架，第一步先利用超分辨率重建网络完成不确定性的学习，从而有效的获得不确定性结果和重建的高分辨率图像。在第二步中，使用第一步的不确定性结果帮助重建网络对于高不确定性区域的学习，而在最终的融合结果中，在高不确定性区域使用第二步的结果，而低不确定性区域则使用第一步中的结果，从而全面完成两种区域重建效果的有效提升。