基于不确定性估计的半监督无参考图像质量评价方法与流程

本发明属于计算机视觉，具体涉及一种基于不确定性估计的半监督无参考图像质量评价方法。

背景技术：

1、客观图像质量评价是一种通过建立数学模型对图像进行客观打分的过程。该过程利用计算机模拟人类视觉系统对图像的感知过程，从而为图像质量进行客观评价，而不受主观因素的影响。随着机器学习和深度学习技术的发展，客观图像质量评价方法也在不断演进和提升。现在，通过利用大规模图像数据库、深度神经网络等技术，可以构建更加准确和精细的客观评价模型。这些模型可以通过大量的训练数据，学习到图像质量的特征和规律，从而实现更加精确的图像质量评价，并在作为诸多视觉系统的前端预处理方法发挥重要的作用。半监督学习是介于监督学习和无监督学习之间的一种机器学习方法，它利用少量带标签的数据和大量未标记的数据来进行模型训练和预测。相比于监督学习，半监督学习能够在保持高准确率的同时，使用更少的带标签数据进行模型的训练，从而大大降低了人工标注数据的成本。

2、半监督无参考图像质量评价方法，通过利用部分主观意见得分来补偿性得让模型学习到降质模式。但是，由于人工注释图像质量非常昂贵和耗时，大多数可用的图像质量评价数据库通常规模有限。相比之下，人们可以很容易地从图像退化或恢复过程中收集无标签数据，这些数据有望提供有关图像失真感知和图像内容理解的额外知识，因此利用几乎没有收集成本的无标签数据进行半监督学习以提高模型预测性能是一种有前景的替代方法。

3、现有的半监督无参考图像质量评价方法没有考虑输出软标签的不确定性，导致准确率低，vishnu prabhakaran等人在2023年会议proceedings of the ieee/cvf winterconference on applications of computer vision(wacv)workshops第538页至547页文章公布了名为“image quality assessment using semi-supervised representationlearning”的论文，该方法提出对比学习学习图像质量评估(iqa)特征表示的框架，并使用标记和未标记图像组合来学习iqa的特征表示图像编码器进行预训练，以根据图像质量对图像进行聚类。然而，该方法直接采用未标记图像经过降质处理的版本，由于不同真实失真图像存在的大量噪声，单纯从失真类型和失真程度建模无法更好保证半监督无参考图像质量评价模型的预测准确度。

4、现有基于知识蒸馏的无参考图像质量评价方法的主要缺点：(1)现有技术没有考虑无标签数据可以以各种不受约束的方式进行收集，这导致其与有标签数据的分布可能会有很大不同，导致半监督学习到的客观模型可能会为那些严重偏离有标签数据分布的无标签图像生成不正确的伪标签；(2)现有技术为模型的训练引入大量的噪声数据，导致模型预测性能下降。需要提供有关图像失真类型和失真程度的额外领域知识。上述问题导致半监督无参考图像质量评价模型的预测准确度降低。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于不确定性估计的半监督无参考图像质量评价方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种基于不确定性估计的半监督无参考图像质量评价方法，包括：

3、步骤1：获取待测rgb图像；

4、步骤2：将所述待测rgb图像输入至训练完成的图像质量评价模型中，得到所述待测rgb图像的质量评价结果，所述质量评价结果包括图像质量的预测平均意见得分以及不确定性值；

5、其中，所述图像质量评价模型为基于不确定性估计的半监督无参考的图像质量评价网络；

6、所述图像质量评价网络，包括级联的特征提取模块、特征分布获取模块和不确定性度量模块，其中，所述特征提取模块用于提取所述待测rgb图像的图像特征，并获取该图像特征对应的均值和对角协方差，所述特征分布获取模块用于根据所述均值和所述对角协方差得到所述图像特征对应的高斯分布，所述不确定性度量模块用于对所述高斯分布进行多次采样，并根据多次采样特征得到所述待测rgb图像的质量评价结果。

7、与现有技术相比，本发明的有益效果在于：

8、1.本发明的基于不确定性估计的半监督无参考图像质量评价方法，通过构建的图像质量评价模型对待测rgb图像的质量评价结果进行预测，该图像质量评价模型包含有不确定性潜在空间建模，预测得到的质量评价结果包括对预测平均意见得分的不确定性的估计，提升了图像质量评价预测精度。

9、2.本发明的基于不确定性估计的半监督无参考图像质量评价方法，在对构建的图像质量评价模型训练时，利用图像三元组的相对质量信息设计了特征分布相似性约束，能够挖掘更多的质量相关信息，进一步提高了图像质量评价预测精度。

10、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

技术特征：

1.一种基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，包括：

2.根据权利要求1所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述特征提取模块包括：特征提取器、第一头分支和第二头分支，其中，

3.根据权利要求1所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述采样特征表示为：

4.根据权利要求1所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述图像质量评价模型的训练过程包括：

5.根据权利要求4所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述第一图像集的rgb图像的数量小于所述多个rgb图像数量的50％。

6.根据权利要求4所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述步骤③包括：

7.根据权利要求6所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述步骤iii包括：

8.根据权利要求4所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，所述损失函数表示为：

9.根据权利要求8所述的基于不确定性估计的半监督无参考图像质量评价方法，其特征在于，

技术总结
本发明涉及一种基于不确定性估计的半监督无参考图像质量评价方法，包括：步骤1：获取待测RGB图像；步骤2：将待测RGB图像输入至训练完成的图像质量评价模型中，得到待测RGB图像的质量评价结果，质量评价结果包括图像质量的预测平均意见得分以及不确定性值；其中，图像质量评价模型为基于不确定性估计的半监督无参考的图像质量评价网络。本发明的基于不确定性估计的半监督无参考图像质量评价方法，解决了半监督无参考算法在伪标签选择中面临的不确定性问题，提升图像质量评价预测准确度。

技术研发人员：路文,伍凌帆,施文杰,丁旭辉,史阳,江华
受保护的技术使用者：苏州觅踪智能科技有限公司
技术研发日：
技术公布日：2024/2/19