基于扩散模型的中国传统山水画超分方法

本发明属于图像处理，具体涉及到基于扩散模型的中国传统山水画超分方法。

背景技术：

1、中国传统山水画具有很高的艺术审美价值和文化价值。然而，在中国传统山水画数字化的过程中，面临着画作分辨率低，成像效果差等问题。当前，已有学者提出了许多基于不同理论的图像超分方法，如何更好的重建图像纹理及结构信息是图像超分任务中研究的重要内容。

2、为了实现更好的高分辨率图像重建，kai zhang等人提出了一种具有维度拉伸策略的通用图像超分网络框架，该框架同时考虑了模糊核与图像噪声级别。但是，其模型设计时未考虑图像的非局部自相似属性。为了利用图像通道间的相关性，yulun zhang等人提出了深度残差通道注意力网络实现了图像超分任务。然而，其模型深度较深需要占用较多的系统资源。为了重建图像结构，cheng ma等人提出了基于生成对抗网络的图像超分模型，该模型利用图像的梯度图来引导图像的重建，但模型性能会受到生成对抗网络自身缺陷的制约。

3、上述这些图像的超分方法主要针对的是自然图像的超分问题，对于解决纹理与结构较为丰富的中国传统山水画的超分问题具有一定的局限性。此外，这些方法训练过程较为复杂，模型训练时稳定性不易控制，且超分后图像的某些区域容易出现伪影。

技术实现思路

1、本发明所要解决的技术问题在于解决现有技术的缺点，提供一种训练过程平稳、图像重建质量高的基于扩散模型的中国传统山水画超分方法。

2、解决上述技术问题所采用的技术方案是：一种基于扩散模型的中国传统山水画超分方法，由下述步骤组成：

3、步骤1.构建模型训练数据集

4、获取高分辨率中国传统山水画图像数据集a，对其进行连续下采样和上采样操作后得到降质的中国传统山水画图像数据集b，作为训练数据集；

5、步骤2.构建中国传统山水画超分扩撒模型

6、步骤2.1.构建中国传统山水画超分扩散模型的前向高斯扩散过程

7、从中国传统山水画图像数据集b中取图像x作为前向高斯扩散过程起点图像x0，经过时间步t次不断的向前向高斯扩散过程起点图像x0中添加噪声，t∈[1,t]，t为最大时间步，按照下式(1)得到高斯噪声图像xt，在任意时间步t时，得到高斯噪声图像xt的采样方式服从如下式(2)的分布：

8、

9、

10、

11、

12、αt＝1-βt

13、式中,q(·)为在前向高斯扩散过程起点图像x0条件下得到高斯噪声图像xt的概率分布，为高斯分布，βt为时间步t时的预定义比例因子，i为单位对角矩阵，∈为高斯噪声；

14、步骤2.2.构建并训练噪声估计网络fθ(xt,t)得到中国传统山水画超分扩模型

15、向u-net网络添加注意力模块得到噪声估计网络fθ(xt,t)，根据步骤2.1构建的前向高斯扩散过程，将高斯噪声图像xt和时间步t输入到噪声估计网络fθ(xt,t)中，用损失函数训练噪声估计网络fθ(xt,t)，得到中国传统山水画超分扩撒模型；

16、所述注意力模块的公式为：

17、

18、式中，xin为注意力模块函数的输入，xout为注意力模块函数的输出，fec(·)为增强通道注意力函数，fes(·)为增强空间注意力函数，为元素级的加法操作；

19、步骤3.利用中国传统山水画超分扩撒模型完成反向扩散去噪重建，以实现对中国传统山水画的超分辨率重建

20、将低分辨率的中国传统山水画图像进行上采样后的图像作为反向扩散去噪重建过程的起点图像，通过时间步t次迭代的去噪过程，按照下式(4)得到超分辨率的中国传统山水画，在任意时间步t时，图像去噪采样方式服从如下式(5)分布；

21、

22、

23、

24、

25、式中，x′t为时间步t次去噪图像，x′t-1为时间步t-1次去噪图像，xd为低分辨率的中国传统山水画上采样后的图像，a为对图像xd下采样后得到的矩阵，a*是a的伪逆矩阵，γ是控制因子，q(·)为图像去噪采样方式服从的概率分布，μθ(·)为均值，σθ(·)2为方差，f′θ(·)为训练好的噪声估计网络；

26、步骤4.利用颜色校正方法对得到的超分辨率中国传统山水画进行颜色校正，得到最终的高分辨率中国传统山水画。

27、作为一种优选的技术方案，所述步骤2.1中时间步t时的预定义比例因子βt按照下式(6)得到；

28、

29、

30、式中，ε为常量因子，fr(·)为生成一维张量的函数，tp为采样次数常量。

31、作为一种优选的技术方案，所述常量因子ε∈{0.007,0.008,0.009}，采样次数常量tp∈{2000,3000,4000}。

32、作为一种优选的技术方案，所述步骤2.2中增强通道注意力函数为：

33、

34、

35、

36、

37、式中，fsg(·)为执行sigmoid函数操作，xi为增强通道注意力函数输入中第i个通道的张量，c1为增强通道注意力函数输入的最大通道数，τ为常数因子，fln(·)为执行layernorm函数操作，fc(·)为执行卷积操作，fsf(·)为执行softmax函数操作，为元素级的乘法，⊙为点积；

38、所述增强空间注意力函数fes(·)的计算公式为：

39、

40、

41、

42、

43、式中，xj为增强空间注意力函数输入中第j个通道的张量，c2是增强空间注意力函数输入的最大通道数，fgpa(·)为执行全局平均池化操作。

44、作为一种优选的技术方案，所述常数因子τ∈{0.001,0.0001}。

45、作为一种优选的技术方案，所述步骤2.2中损失函数为：

46、l(θ)＝e||fθ(xt,t)-∈||1   (9)

47、式中，l(θ)为损失函数，e||·||1为l1范数的期望，θ为u-net网络的参数集合。

48、作为一种优选的技术方案，所述步骤3中控制因子γ∈[0.5,1]。

49、作为一种优选的技术方案，所述步骤4中颜色校正方法为：采用小波分解方法将得到的高分辨率中国传统山水画分解为低频图像和高频图像同时对xd采用小波分解为低频图像和高频图像然后将高频图像和低频图像按照下式(10)进行组合，

50、

51、式中，ω1，ω2均为权重因子，ω1∈{0.8,0.9,1}，ω2∈{0.8,0.9,1}，为最终得到颜色校正后的高分辨率中国传统山水画。

52、本发明的有益效果如下：

53、本发明通过前向高斯扩散过程，逐步地向图像中添加噪声直到输入的图像变成纯噪声图，利用损失函数对噪声估计网络进行训练，从而使扩散模型能够高质量的完成噪声消除任务，并使其在反向扩散去噪重建过程中能够完成中国传统山水画的超分任务。最后，利用颜色校正方法实现对中国传统山水画的颜色校正，使其视觉效果更佳自然、舒适。本发明具有训练过程平稳，图像重建质量较高等优势，可用于中国传统山水画超分任务。