基于梯度优化扩散模型的图像超分辨率方法、系统及介质

本发明属于图像处理的，具体涉及一种基于梯度优化扩散模型的图像超分辨率方法、系统及介质。
背景技术：
：：1、近年来，扩散模型在图像生成任务方面取得了重大进展。与其他生成模型不同，它们在没有模式崩溃问题的情况下表现出显著的进步。扩散模型在潜在空间中具有更紧凑的表示，有助于避免变分自编码器中发现的模糊样本问题。此外，它们可以模拟自然图像的高度复杂分布，而不需要处理自回归模型中的数十亿个参数。最近的研究表明，扩散模型的鲁棒生成能力扩展了其对各种条件任务的适用性，如图像超分辨率、图像着色和图像补全等。图像超分辨率是一种通过将低分辨率图像转换为高分辨率图像来增加图像细节和清晰度的技术，为了提升在图像超分辨率任务上的性能，研究人员提出了不同的扩散模型。2、srdiff使用基于流的方法解决单图超分辨率中的过度平滑和模式崩溃等问题，该方法通过马尔可夫链将噪声转化为多样逼真的超分辨率图像，并通过残差预测加速模型收敛，能够产生高质量且具有丰富细节的图像重建结果，提供了易于训练的图像处理策略。ddrm为图像恢复任务引入了一种有效的无监督方法，利用预训练的去噪扩散生成模型来解决图像处理中的各种线性逆问题，在重建和感知质量方面优于现有的无监督方法，同时也展示了对分布外自然图像的鲁棒泛化性。sr3是一种通过重复细化实现图像超分辨率的方法，它的成功部分归功于大模型容量和大训练数据集的使用，主要缺点是模型在相似的条件下生成非常相似的图像，从而限制了重建图像的多样性。diffbir通过在推理过程中引入潜在图像引导，并利用预训练的稳定扩散来保持生成能力。stablesr引入可控的特征包装模块来平衡质量和保真度，引入渐进的聚合采样策略来适应不同的分辨率。3、现有的基于扩散模型的方法在处理图像超分辨率问题时，不同的起始噪声条件下的重建性能出现显著波动，特别地，当扩散模型处理局部低分辨率图像时，重建图像与真实图像之间存在不一致性问题尤为严重。扩散模型在图像超分辨率中的应用面临着独特的挑战，与一般的内容生成任务不同，图像超分辨率需要从低分辨率图像中重建具有高质量细节且准确的高分辨率图像，这构成了一个不适定逆问题，意味着相同的低分辨率图像可以对应多个高分辨率图像解，而不是唯一解。扩散模型强大的生成能力进一步扩大了解空间，导致解空间内高分辨率图像质量参差不齐。此外，扩散模型的输出与输入的随机高斯噪声密切相关，随机性加上巨大的解空间，导致通过条件扩散模型找到高质量的高分辨率图像解非常具有挑战性。技术实现思路1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于梯度优化扩散模型的图像超分辨率方法、系统及介质，本发明引入去噪中间变量与输入低分辨率图像的一致性约束，通过局部放缩和定位引导的方法，针对不同的特征区域灵活地调整一致性约束，有效解决不合理的去噪重建过程引发的不稳定性和不一致性问题。2、为了达到上述目的，本发明采用以下技术方案：3、第一方面，本发明提供了一种基于梯度优化扩散模型的图像超分辨率方法，包括下述步骤：4、a、将像素空间投影至低维度的隐空间，在隐空间建立条件扩散模型的去噪重建过程；5、b、在去噪重建过程的每个时间步，计算去噪中间变量与输入低分辨率图像的一致性约束，得到一致性约束矩阵p；6、c、在去噪重建过程的每个时间步，动态放缩去噪中间变量与输入低分辨率图像的一致性约束，得到局部放缩后的一致性约束q；7、d、在去噪重建过程的每个时间步，使用梯度优化方法增强去噪中间变量与输入低分辨率图像的表示一致性；8、e、在去噪重建过程的每个时间步，提取输入低分辨率图像的轮廓掩码作为定位引导信息，从而融合梯度优化前后的去噪变量；9、f、迭代步骤b-e直至完成去噪步数，将完成去噪步数后得到的去噪变量的潜在表示通过预训练的解码器投影到像素空间，得到高分辨率的去噪图像。10、作为优选的技术方案，所述步骤a具体为：11、a1、在图像超分辨率任务中，输入一张低分辨率图像，条件扩散模型对条件信息的预处理过程具体为：将输入的低分辨率图像y通过预训练的编码器投影到低维度的隐空间，从而得到低分辨率图像的潜在表示；12、a2、根据标准高斯分布随机采样值，将随机高斯噪声作为条件扩散模型的去噪重建过程的起始输入；13、a3、将低分辨率图像的潜在表示和随机高斯噪声拼接后输入扩散模型，按照给定的去噪。14、作为优选的技术方案，所述步骤a3中，条件扩散模型的去噪重建过程具体为：15、条件扩散模型的去噪过程是一个以高斯噪声为起点，以输入低分辨率图像的潜在表示作为输入条件，符合马尔科夫链的逐步去噪重建的过程，通过迭代执行t个时间步得到一系列的去噪变量，去噪过程如下所示：16、，17、其中，为第t个时间步的去噪变量，为真实的无噪声图像，为预设的衰减系数，，i表示单位矩阵；由于中存在未知的，构建参数为的神经网络近似该去噪过程：18、，，19、其中可学习的协方差，可学习的平均值，为神经网络预测的噪声；20、综上所述，根据推导表示为：21、，其中为在每一步引入的随机噪声；根据推导立即表示表示为：。22、作为优选的技术方案，所述步骤b具体为：23、b1、将去噪过程计算的立即表示通过预训练的解码器投影到像素空间，得到重建的立即表示；24、b2、将重建的立即表示通过双三次插值函数下采样得到低分辨率的立即表示；25、b3、将低分辨率的立即表示与输入的低分辨率图像y计算欧几里德范数，从而得到一致性约束矩阵p，如下所示：，其中y为输入的低分辨率图像表示，代表解码器网络，代表双三次插值函数。26、作为优选的技术方案，所述步骤c具体为：27、c1、根据所述一致性约束矩阵p，将p中的元素按照值的大小进行排序，得到topk元素值及其索引；28、c2、通过局部放缩方法动态调节一致性约束，平衡去噪和细节保留之间的权衡，具体为：构建线性变换方程组，将所述topk元素值线性放缩至给定上界和下界的新矩阵中，其余元素值保持不变，得到局部放缩后的一致性约束q。29、作为优选的技术方案，所述步骤c2具体为：30、对一致性约束矩阵p进行排序得到的topk元素值为，topk元素值中包括k个元素中的最大值和k个元素中的最小值，根据给定的上界和下界构建线性变换方程组：31、，，32、其中和是待定的系数；33、根据计算得到的系数和对上述k个元素进行线性变换，从而映射到新的坐标系中：34、，其中是映射后的新元素；35、在原始一致性约束矩阵中，除了topk元素以外的元素保持值不变，仅更新topk元素值为映射后的新元素值，得到局部放缩后的一致性约束q。36、作为优选的技术方案，所述步骤d具体为：37、d1、根据所述的局部放缩后的一致性约束q，在第t个时间步计算关于去噪变量的梯度；38、d2、根据步骤a3得到的第t-1个时间步的去噪变量，和步骤d1得到的梯度，将第t-1个时间步的去噪变量的值进一步更新为，如下所示：，其中为梯度更新的步长常量。39、作为优选的技术方案，所述步骤e具体为：40、e1、使用边缘检测算子提取输入低分辨率图像y的轮廓掩码矩阵m作为定位引导信息；41、e2、第t-1个时间步的去噪变量最终表示为，其中e表示元素全为1的矩阵，定位了去噪变量中的边缘元素位置，定位了去噪变量中的平滑元素位置。42、第二方面，本发明提供了一种基于梯度优化扩散模型的图像超分辨率系统，应用于所述的基于梯度优化扩散模型的图像超分辨率方法，包括去噪过程构建模块、一致性约束计算模块、一致性约束缩放模块、梯度优化模块、定位融合模块以及图像生成模块；43、所述去噪过程构建模块，用于将像素空间投影至低维度的隐空间，在隐空间建立条件扩散模型的去噪重建过程；44、所述一致性约束计算模块，用于在去噪重建过程的每个时间步，计算去噪中间变量与输入低分辨率图像的一致性约束，得到一致性约束矩阵p；45、所述一致性约束缩放模块，用于在去噪重建过程的每个时间步，动态放缩去噪中间变量与输入低分辨率图像的一致性约束，得到局部放缩后的一致性约束q；46、所述梯度优化模块，用于在去噪重建过程的每个时间步，使用梯度优化方法增强去噪中间变量与输入低分辨率图像的表示一致性；47、所述定位融合模块，用于在去噪重建过程的每个时间步，提取输入低分辨率图像的轮廓掩码作为定位引导信息，从而融合梯度优化前后的去噪变量；48、所述图像生成模块，用于将完成去噪步数后得到的去噪变量的潜在表示通过预训练的解码器投影到像素空间，得到高分辨率的去噪图像。49、第三方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于梯度优化扩散模型的图像超分辨率方法。50、本发明与现有技术相比，具有如下优点和有益效果：51、1、本发明利用先验知识来指导模型的学习过程，引入去噪中间变量与输入低分辨率图像的一致性约束，使得去噪重建过程不会偏离先验知识，同时帮助模型减小图像超分辨率问题的解空间，防止不合理的去噪重建引发的不稳定性和不一致性问题。52、2、本发明通过局部放缩的方式动态调节一致性约束的程度，使得模型根据不同特征区域的不一致性程度，灵活地调整一致性约束的强度，从而平衡全局一致性和局部适应性，更好地保留图像的结构和细节信息。53、3、本发明通过轮廓信息来强化对梯度优化方法的定位引导，使得模型对图像细节的纠正集中在关键区域，有助于防止模型过度干预图像的其他部分，既保持图像的整体一致性，又提高了模型的处理效率。当前第1页12当前第1页12