基于图像质量启发的盲图像去运动模糊算法

本发明属于图像去模糊处理，具体地说，是一种基于图像质量启发的盲图像去运动模糊算法。

背景技术：

1、随着图像采集设备的不断普及，数字图像的获取方式越来越方便，但是在图像获取的过程中通常会产生模糊，而模糊不仅会导致图像质量出现显著的下降，还会影响目标检测与识别等多种计算机视觉任务的应用，虽然研究人员提出了多种去模糊算法，但是去除非均匀的运动模糊依然非常具有挑战。

2、传统的图像去模糊算法通常依靠手工设计的图像先验，这种方式无法有效处理复杂的运动模糊。随着深度学习的发展，研究人员采用神经网络学习图像的先验知识或者估计运动模糊核，并将深度先验融合进传统的图像去模糊算法之中，但是此类算法存在计算量大以及存在振铃效应的缺点。

3、近几年来，基于深度神经网络的算法直接从训练数据中学习一个从模糊图像到清晰图像的映射模型。这些去模糊算法取得了长足的进展，但是依然存在依赖训练数据和泛化能力差的问题。图像去模糊是一个不适定的问题，模型在学习映射的过程中，缺乏先验知识的引导。而“analysis-by-synthesis”理论表明，先验知识对图像处理很重要，不同的先验知识可能产生不同的处理结果。因此为基于映射的去模糊算法引入合理的先验知识是有必要的。

4、综上所述，现有技术存在的问题是：

5、(1)基于映射的图像去模糊算法，存在依赖训练数据和泛化能力差的问题。

6、(2)图像恢复是不适定的，缺乏先验知识的引导，难以处理严重的失真。

7、解决上述技术问题的难度：上述技术问题的主要难点在于获取有利于引导去模糊模型学习的先验知识并对先验知识进行量化，以及采取适当的策略将知识有效地嵌入去模糊模型。

8、解决上述技术问题的意义：在图像恢复的过程中为网络引入有效的先验知识，可以有效引导模型，更好地处理严重的模糊失真，先验知识可以作为一种正则化方式，减少模型过拟合的风险，降低模型对训练数据的依赖，提升模型的泛化能力

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于图像质量启发的盲图像去运动模糊算法。

2、基于去模糊算法旨在提高图像质量以及去模糊过程缺乏先验知识的事实，本发明提出了将无参考图像质量评价模型中的图像质量先验知识嵌入图像去模糊模型中的算法，具体而言，首先，训练面向真实失真的无参考图像质量评价模型，并借助基于深度神经网络的无参考图像质量评价模型提取包含质量信息的深度特征作为先验知识，然后，采用特征预测策略将先验知识嵌入图像去模糊模型的编码器中，最后，采用编码器复用策略将图像去模糊模型中解码器的输出图像再次输入模型编码器中并预测质量评价模型提取的清晰图像的质量特征。本发明在不增加计算成本的基础上，为去模糊模型引入图像质量先验知识，提高了模型的去模糊效果和泛化性能。

3、本发明采用的基于图像质量启发的盲图像去运动模糊算法具体技术方案包括以下步骤：

4、步骤一、构建基于深度卷积神经网络的面向真实失真的无参考图像质量评价模型，借助该模型从图像中提取深度特征作为图像质量先验知识；

5、步骤二、将先验知识嵌入编码器：为编码器引入特征预测模块，在编码器进行编码的同时，以多任务学习的方式同时进行图像编码以及预测步骤一得到的包含质量信息的深度特征；

6、步骤三、将先验知识嵌入解码器：引入编码器复用预测模块，并将解码器的输出图像再次输入步骤二中的编码器并预测步骤一得到的清晰图像的深度特征。

7、在上述技术方案中，步骤一中，构建图像质量评价模型并提取质量先验知识，包括：

8、(3)采用真实失真质量评价数据集微调imagenet预训练模型，得到面向真实失真的质量评价模型。传统的质量评价算法多数针对模拟失真进行设计，而本项目面向的非均匀运动模糊属于真实失真，其复杂度远超过模拟失真。现有的面向模拟失真的算法难以有效评价真实失真。因此需要采用真实失真图像质量评价数据集训练无参考图像模型，使模型具备评估运动模糊图像质量的能力，为提供图像质量知识做准备。

9、(4)借助无参考质量评价模型提取先验知识。通过(1)中训练得到的无参考图像质量评价模型可以提取运动模糊图像的中间特征。不同模糊程度的图像具备不同的质量特征，通过该特征可以反映图像的质量，因而可以将该特征作为图像质量先验知识。将无参考质量评价模型记为miqa，输入图像记为iin，质量先验特征可以表示为：

10、fk＝miqa(iin)

11、在上述技术方案中，步骤二中，采取特征预测策略将先验知识嵌入去模糊模型编码器，包括：

12、(3)构建特征预测器。质量先验特征和编码器输出特征的维度通常不一致，因此本算法引入特征预测解决该问题。该预测器包含三层全连接层，该预测旨在将去模糊模型的特征映射到先验知识特征的维度。将编码器记为e，预测器记为p，特征预测器预测的特征可以表示为：

13、

14、(4)采用多任务学习的方式进行先验特征预测。多任务学习可以增强相似任务间的性能，因此编码器在将输入图像编码成特征空间的同时，通过学习图像质量特征预测任务，损失函数如下：

15、le＝mse(fp,fk)。

16、在上述技术方案中，步骤三中，采用编码器复用策略将先验知识嵌入解码器，包括：

17、(3)采用编码器复用策略提取去模糊图像的特征。编码器的输入为低维度的特征，输出为高维度的图像，这与质量评价模型相反。采用步骤二的方式难以直接将知识嵌入解码器。为了解决该问题，本项目提出编码器复用策略。将去模糊模型解码器输出的去模糊图像再次输入步骤二中的编码器，在此过程中，该编码器参数被冻结，仅用作特征提取。将编码器记为d，编码器输出图像为：

18、iout＝d(fe)

19、提取特征并通过质量预测器进行预测得到特征

20、

21、(4)将清晰图像的质量先验知识嵌入解码器。在质量特征空间中拉近(1)中得到的去模糊图像和步骤一中得到的清晰图像质量特征之间的距离，若清晰图像的质量特征为则解码器知识嵌入损失如下所示：

22、

23、本发明的有益效果：本发明将图像质量相关知识嵌入图像去模糊模型，通过训练面向真实失真的无参考质量评价模型并提取深度特征作为质量先验知识，可以有效对知识进行提取和量化表示；通过特征预测策略可以将先验知识嵌入编码器，通过编码器复用策略可以将先验知识嵌入解码器。嵌入的质量先验知识可以指导模型的学习，提升去模糊性能，同时先验知识还可以作为模型的正则化方式，提升模型的泛化能力。

技术特征：

1.一种基于图像质量启发的盲图像去运动模糊算法，其特征在于，包括以下步骤：

2.根据权利要求1所述的的基于图像质量启发的盲图像去运动模糊算法，其特征在于，在所述步骤一中，构建图像质量评价模型并提取质量先验知识，包括：

3.根据权利要求1所述的的基于图像质量启发的盲图像去运动模糊算法，其特征在于，在所述步骤二中，采取特征预测策略将先验知识嵌入去模糊模型编码器，包括：

4.根据权利要求1所述的的基于图像质量启发的盲图像去运动模糊算法，其特征在于，在所述步骤三中，采用编码器复用策略将先验知识嵌入解码器，包括：

技术总结
本发明属于图像去模糊处理技术领域，具体地说，是一种基于图像质量启发的盲图像去运动模糊算法，基于去模糊算法旨在提高图像质量以及去模糊过程缺乏先验知识的事实，提出了图像质量先验引导的盲图像去运动模糊算法。具体而言，首先，借助基于深度神经网络的无参考图像质量评价模型提取包含质量信息的深度特征作为先验知识。然后，采用特征预测策略将先验知识嵌入图像去模糊模型的编码器中。最后，采用编码器复用策略将图像去模糊模型中解码器的输出图像再次输入模型编码器中并预测质量评价模型提取的清晰图像的质量特征。本发明在不增加计算成本的基础上，为去模糊模型引入图像质量先验知识，提高了模型的去模糊效果和泛化性能。

技术研发人员：宋天舒,程德强,寇旗旗,李雷达,陈亮亮,江鹤
受保护的技术使用者：中国矿业大学
技术研发日：
技术公布日：2024/1/15