基于协方差优化扩散模型的图像处理方法、系统及装置

本发明涉及信号处理领域，具体地，涉及一种图像处理方法、系统、装置及存储介质。

背景技术：

1、随着媒体技术的发展，海量数据在实时传输、分析、存储方面都面临着巨大的挑战。比如媒体图像在各方面大量应用发展，对图像分辨率以及成像速度等提出更高需求，图像稀疏重构能解决由于图像信息量大而导致压缩过程中图像信号部分丢失、图像压缩效率低的问题，以便重构出应用所需要的图像。

2、近年来，随着数据量的大幅增长，高性能并行架构(gpu)与深度学习的发展，大量基于数据驱动的深度学习图像重构方法被提出。典型的方法基于监督学习框架，该类方法利用训练数据集中的训练样本对，将低质量图像信号作为深度网络模型的输入，高质量的信号作为深度网络模型的目标，采用反向梯度传播算法优化深度网络模型。

3、然而，这类方法训练的模型通常只能应对单一的应用场景，对于不同的图像重构问题需要重新收集训练样本对并重新训练模型。因而，这类方法需要消耗大量资源，限制了该类方法的应用场景。

4、针对上述方法的技术缺陷，已有研究人员提出了解决方法，如plug-and-play,red，深度生成先验方法等，有效缓解了在不同应用场景下重新训练模型所消耗的大量计算资源。然而，这些方法受限于先验的表达能力性能通常劣于监督学习方法。近年来，随着扩散模型的发展，稳定训练高质量的深度图像先验成为可能。2022年以来，使用扩散模型作为深度图像先验求解图像复原与增强的问题成为了一个可行性很高的方向。但是，如今的方法基于高斯近似，其中的协方差为启发式的选取，因而性能可以进一步提高当使用更准确的协方差。

技术实现思路

1、本发明针对现有技术的不足，提供了一种图像处理方法、系统、终端及存储介质，在现有基于扩散模型的图像处理方法中使用最优协方差，提升图像处理性能。

2、根据本发明的第一方面，提供一种基于协方差优化扩散模型的图像处理方法，用于图像重构、图像去噪、图像复原、图像去模糊或图像超分辨率，包括：

3、获得测量值y，建立图像线性退化模型，根据所述图像线性退化模型导出基于高斯近似的引导方法。

4、使用卷积层，非线性层，上下采样层搭建u-net架构网络作为无条件扩散模型。利用所述无条件扩散模型提供所述引导方法中的高斯近似的均值与协方差。所述无条件扩散模型是未训练的无条件扩散模型或预训练的无条件扩散模型。

5、对于未训练的无条件扩散模型，使用极大似然法，基于获取的训练图像训练所述无条件扩散模型，所述无条件扩散模型的输出作为所述引导方法中的高斯近似的均值与协方差。

6、对于预训练的无条件扩散模型，由所述预训练无条件扩散模型提供均值预测，包含逆扩散协方差预测分支时转换逆扩散协方差最优值作为所述高斯近似的最优协方差，不包含逆扩散协方差预测分支时通过蒙特卡洛法估计所述高斯近似的最优协方差。

7、使用所述高斯近似的引导方法引导所述无条件扩散模型，所述引导方法将无条件后验均值转化为有条件后验均值，以用于有条件的逆扩散过程采样。有条件的逆扩散过程的最终样本服从给定所述测量值后原始图像x0的条件分布，使用所述最终样本作为重构图像。

8、可选的，所述的基于协方差优化扩散模型的图像处理方法，其特征在于，获得测量值y，建立图像线性退化模型，根据所述图像线性退化模型导出基于高斯近似的引导方法，包括：

9、根据不同的图像退化场景建立图像退化数学模型，包括如下任一种：

10、-图像线性退化模型的一般形式为：y＝ax0+n，其中，原始图像为x0，测量值y，a是测量矩阵，n为标准差为σ的加性高斯白噪声。

11、-当所述图像处理为图像稀疏重构时：记原始图像为x0，将所述原始图像由采样矩阵a进行采样，获得测量信号y＝ax0+n；

12、-当所述图像处理为图像去噪时：记原始图像为x0，将所述原始图像x0与噪声矩阵相加，获得测量信号y，该测量信号y为带噪图像；

13、-当所述图像处理为压缩感知图像重构时：记原始图像为x0，将所述原始图像x0与一个随机采样矩阵相乘，获得测量值y＝ax0+n；

14、-当所述图像处理为图像复原时：记原始图像为x0，将所述原始图像x0与一个0-1对角采样矩阵diag(m)相乘，获得测量值y＝diag(m)x0+n。该测量值为丢失像素点待复原的图像，所述0-1对角采样矩阵diag(m)是一个对角矩阵，且m中的元素非0即1。

15、-当所述图像处理为图像去模糊时：记原始图像为x0，将所述原始图像x0与一个卷积核k做卷积，获得测量值y＝x0*k+n。

16、-当所述图像处理为图像超分辨率时：记原始图像为x0，将所述原始图像x0降采样，获得测量值y＝downsample(x0)+n

17、根据高斯近似在引导中用法的不同，引导可分为两类，包括：

18、-基于有条件后验均值和后验均值描述似然得分函数：

19、

20、其中，σt是所述带噪图像的噪声标准差，后验期望可以使用所述无条件扩散模型的输出获得。基于各向同性高斯近似的条件，导出得分函数近似的闭式解，或是基于共轭梯度获得得分函数近似的数值解；

21、-根据贝叶斯定理，pt(x0|xt,y)∝pt(y|x0)pt(x0|xt)。使用qt(x0|xt)近似pt(x0|xt)，得到pt(x0|xt,y)的近似qt(x0|xt,y)∝pt(y|x0)qt(x0|xt)。其中，qt(x0|xt,y)为高斯分布。使用qt(x0|xt,y)的均值作为有条件后验均值的近似。基于各向同性高斯近似条件，导出所述高斯分布均值的闭式解，或是基于共轭梯度获得所述高斯分布均值的数值解。

22、可选的，所述的基于协方差优化扩散模型的图像处理方法，其特征在于，所述基于各向同性高斯近似条件，导出得分函数近似的闭式解，或是基于共轭梯度获得得分函数近似的数值解，包括：

23、在各向同性高斯近似的条件下，即根据图像退化数学模型，导出基于高斯近似的得分函数近似公式，包括如下任一种：

24、-一般形式下的闭式解为

25、

26、避免高维矩阵求逆操作，获得高效计算的闭式解形式，包括如下任一种：

27、定义符号f为离散傅里叶变换矩阵，⊙为哈达玛积，⊙s逐块乘法运算符，为s倍块平均降采样，为k的傅里叶变换系数，为的共轭，f↓s为对s倍降采样信号的离散傅里叶变换矩阵。

28、-对于图像复原，v的闭式解为

29、

30、其中，

31、-对于图像去模糊，v的闭式解为

32、

33、-对于图像超分辨率，v的闭式解为

34、

35、根据所述一般形式下的闭式解，若定义临时变量u满足v＝atu，则u为逆矩阵乘向量的形式，且逆矩阵为对称正定矩阵，可以将u表示成为对称正定线性方程的解，即

36、

37、对称正定线性方程可以用成熟的共轭梯度法高效求解。

38、可选的，所述基于各向同性高斯近似的条件，导出qt(x0|xt,y)均值的闭式解，或是基于共轭梯度获得qt(x0|xt,y)均值的数值解，包括：

39、在各向同性高斯近似的条件下，即根据所述图像退化线性模型，导出qt(x0|xt,y)的均值公式，包括如下任一种：

40、-一般形式下的闭式解为

41、

42、避免高维矩阵求逆操作，获得高效计算的闭式解形式，包括如下任一种：

43、-对于图像复原，闭式解为

44、

45、-对于图像去模糊，闭式解为

46、

47、-对于图像超分辨率，闭式解为

48、

49、根据所述一般形式下的闭式解，观察到其为逆矩阵乘向量的形式，且逆矩阵为对称正定矩阵，可以将qt(x0|xt,y)均值表示成为对称正定线性方程的解，即

50、

51、对称正定线性方程可以用成熟的共轭梯度法高效求解。

52、可选的，基于协方差优化扩散模型的图像处理方法，其特征在于，对于未训练的无条件扩散模型，使用极大似然法，基于获取的训练图像训练所述无条件扩散模型，所述无条件扩散模型的输出作为所述引导方法中的高斯近似的均值与协方差，包括：

53、-使用可微神经网络参数化时间相关的高斯分布其中xt是扩散过程中的带噪图像，该高斯分布的均值μt(xt)与协方差σt(xt)为所述可微神经网络的输出，所述可微神经网络的输入是所述带噪图像xt。

54、-通过最小化qt(x0|xt)与pt(x0|xt)之间的kl散度的期望作为损失函数训练所述可微神经网络:

55、

56、其中，pt(x0|xt)是真实的给定带噪图像xt下原始图像x0的后验分布。理论可证明，这相当于使用极大似然法训练。

57、-为了使用单一网络输出所有时间t下高斯分布的均值与协方差，使用积分定义最终的所述损失函数：

58、

59、其中，θ是神经网络的参数。

60、-使用蒙特卡洛积分法计算目标函数值。

61、可选的，所述的基于协方差优化扩散模型的图像处理方法，其特征在于，所述对于预训练的无条件扩散模型，由所述预训练无条件扩散模型提供均值预测，包含逆扩散协方差预测分支时转换逆扩散协方差最优值作为所述高斯近似的最优协方差，不包含逆扩散协方差预测分支时通过蒙特卡洛法估计所述高斯近似的最优协方差，包括：

62、若所述预训练的无条件扩散模型包含所述逆扩散协方差预测分支，在对角协方差的约束下转换所述逆扩散协方差的最优值，获得高斯近似协方差最优值，具体的：

63、

64、其中，vt为逆扩散方差(协方差对角线上元素)，rt为所需高斯近似的方差。因而，可以做如下转换

65、

66、若所述预训练的无条件扩散模型不包含逆扩散协方差预测分支，在各向同性且输入无关的协方差约束下，使用蒙特卡洛法

67、

68、近似rt的解析的优解：

69、

70、可选的，所述使用所述高斯近似的引导方法引导所述无条件扩散模型，所述引导方法将无有条件后验均值转化为有条件后验均值，以用于有条件的逆扩散过程采样。有条件的逆扩散过程的最终样本服从给定所述测量值后原始图像x0的条件分布，使用所述最终样本作为重构图像，包括：

71、-定义原始图像x0时间相关的高斯扰动核得到x0,xt,y时间相关的联合分布

72、-根据所述联合分布定义随机边界条件的常微分方程(ordinary differentialequation，ode)：

73、

74、其中，为真实的有条件后验均值，基于所述引导方法估计。所述常微分方程定义的xt对所有t服从分布pt(xt|y)。特别的，在t＝0处为给定所述测量值后原始图像x0的条件分布p(x0|y)。

75、-通过从高斯分布中采样xt，并使用ode求解器从t＝t至t＝0模拟所述ode，x0服从p(x0|y)。

76、根据本发明的第二方面，提供一种图像处理系统，用于图像重构、图像去噪、图像复原、图像去模糊或图像超分辨率，包括：

77、测量引导模块：包括测量模型建立子模块和高斯近似引导子模块，其中：测量模型建立子模块获得测量值，建立图像线性退化模型，根据不同的图像退化场景建立图像退化数学模型；高斯近似引导子模块根据所述图像线性退化模型引导得出基于高斯近似的引导方法；

78、无条件扩散模型建立模块：使用卷积层、非线性层和上下采样层搭建u-net架构网络作为无条件扩散模型，利用所述无条件扩散模型提供所述引导方法中的高斯近似的均值与协方差；所述无条件扩散模型是未训练的无条件扩散模型或预训练的无条件扩散模型；

79、高斯近似的均值与协方差预测模块：对于未训练的无条件扩散模型，使用极大似然法，基于训练图像训练所述无条件扩散模型，所述无条件扩散模型的输出作为所述引导方法中的高斯近似的均值与协方差；对于预训练的无条件扩散模型，由所述预训练无条件扩散模型提供均值预测，包含逆扩散协方差预测分支时，转换逆扩散协方差最优值作为所述高斯近似的最优协方差，不包含逆扩散协方差预测分支时，通过蒙特卡洛法估计所述高斯近似的最优协方差；

80、重建模块：使用所述高斯近似的引导方法引导所述无条件扩散模型，所述引导方法将无条件后验均值转化为有条件后验均值，以用于有条件的逆扩散过程采样，有条件的逆扩散过程的最终样本服从给定所述测量值后原始图像x0的条件分布，使用所述最终样本作为重构图像。

81、根据本发明的第三方面，提供一种图像处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器可用于执行所述计算机程序时可用于执行上述所述的图像处理方法或系统。

82、本发明与现有技术相比，具有如下至少一项的有益效果：

83、本发明提供的图像处理方法、装置及存储介质，用于图像重构、图像去噪、图像复原、图像去模糊或图像超分辨率，相较于标准的基于监督学习的深度神经网络方法，保证了重构精度的同时，能应用于各种重建问题，大大节省了资源。

84、本发明提供的图像处理方法、装置及存储介质，相较于现有的引导无条件扩散模型的方法，本发明使用极大似然获得最优协方差，提高了重构精度并降低了对超参数的敏感度，提高了图像重构、图像去噪、图像复原、图像去模糊或图像超分辨率等的图像处理精度。

85、本发明提供的图像处理方法、装置及存储介质，相较于传统的迭代优化算法，提高了运算速度和重构精度。