一种基于扩散模型的单幅图像超分辨重建方法

本发明涉及图像数据处理，尤其涉及一种基于扩散模型的单幅图像超分辨重建方法。

背景技术：

1、单幅图像超分辨重建(sisr)任务在计算机视觉和图像处理领域具有重要的应用价值。sisr是指从低分辨率(lr)图像中重建为高分辨(hr)图像的过程。在sisr任务中，由于lr图像中丢失了大量细节和高频信息，而hr图像的恢复需要通过一些方法来填补这些缺失的信息。

2、为了学习lr和hr之间的映射关系，出现了许多基于生成模型的方法，将其分为5类：基于自回归(autoregressives)的方法，基于变分自编码器(vaes)的方法，基于归一化流(normalizingflows)的方法，基于生成对抗网络(gans)的方法和基于去噪扩散(ddpm)的方法，然而这些生成模型都面对3个困境：采样的多样性，采样质量，和快速采样。

3、最近，去噪扩散模型成为了一个强大的生成模型，它们在样本的高质量和多样性方面展示出了令人印象深刻的结果，同时它们还有良好的数据模式覆盖。基于扩散模型的sisr方法，它利用马尔科夫链将高斯分布中的潜在变量转化为复杂分布中的数据，解决了sr的不适性的本质问题并且采样的数据质量高。然而，sisr任务不同于其他生成任务，将ddpm应用于sisr任务还需要解决，基于扩散模型(ddpm)中采样速度慢的问题，以及sisr中，面临着超分的不确定性和生成对抗网络(gan)训练的不稳定性问题。

技术实现思路

1、本发明的目的在于提供一种基于扩散模型的单幅图像超分辨重建方法，旨在解决基于ddpm的sisr方法中采样速度慢以及对抗网络训练不稳定的问题。

2、为实现上述目的，本发明提供了一种基于扩散模型的单幅图像超分辨重建方法，包括以下步骤：

3、收集网络数据中的高清图像，构建模型训练数据集，并形成配对的高分辨图像和低分辨图像；

4、将所述数据集混合，得到混合训练集；

5、基于所述混合训练集利用多峰分布对去噪分布进行建模，得到去噪模型；

6、基于所述去噪模型和所述低分辨图像进行扩散重建所述高分辨图像。

7、其中，所述多峰分布是利用对抗网络建模得到的。

8、其中，所述高分辨图像大小为128×128，所述低分辨图像大小为16×16和32×32。

9、其中，所述多峰分布中存在多个峰值或模式。

10、其中，所述对抗网络去噪分布中引入潜在变量方法，并定义为一个100维的潜在随机向量。

11、本发明的一种基于扩散模型的单幅图像超分辨重建方法，收集网络数据中的高清图像，构建模型训练数据集，并形成配对的高分辨图像和低分辨图像；将所述数据集混合，得到混合训练集；基于所述混合训练集利用多峰分布对去噪分布进行建模，得到去噪模型；基于所述去噪模型和所述低分辨图像进行扩散重建所述高分辨图像，该方法设计了一种新的条件图像生成方法，称为srddgan，srddgan引入一种多峰分布去建模去模拟去噪分布，其中多峰分布是条件gan来建模的，同时注入潜在变量以促进gan的稳定性训练以及提供多样性，解决基于ddpm的sisr方法中采样速度慢以及对抗网络训练不稳定的问题。

技术特征：

1.一种基于扩散模型的单幅图像超分辨重建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于扩散模型的单幅图像超分辨重建方法，其特征在于，

3.如权利要求1所述的一种基于扩散模型的单幅图像超分辨重建方法，其特征在于，

4.如权利要求1所述的一种基于扩散模型的单幅图像超分辨重建方法，其特征在于，

5.如权利要求1所述的一种基于扩散模型的单幅图像超分辨重建方法，其特征在于，

技术总结
本发明涉及图像数据处理技术领域，具体涉及一种基于扩散模型的单幅图像超分辨重建方法，收集网络数据中的高清图像，构建模型训练数据集，并形成配对的高分辨图像和低分辨图像；将数据集混合，得到混合训练集；基于混合训练集利用多峰分布对去噪分布进行建模，得到去噪模型；基于去噪模型和低分辨图像进行扩散重建高分辨图像，该方法设计了一种新的条件图像生成方法，称为SRDDGAN，SRDDGAN引入一种多峰分布去建模，其中去噪分布是条件GAN来建模的，同时注入潜在变量以促进GAN的稳定性训练以及提供多样性，解决基于DDPM的SISR方法中采样速度慢以及对抗网络训练不稳定的问题。

技术研发人员：王鑫,肖恒,蔡竟业,覃琴,邓建华
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/1/15