一种图像质量评估方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种图像质量评估方法及装置。

背景技术：

社交媒体交互的很大一部分包括分享图片。然而，图像在采集、后处理、传输和存储过程中总会或多或少地引入失真。因此，图像质量评估成为一个重要的研究课题。而在现实应用中，参考图像并不总是可获取的。例如，在社交平台上，用户分享图片，而他们的好友在没有任何参考的情况下浏览图片。这促进了无参考图像质量评估成为机器感知领域研究中最广泛和最深入的领域。通常图像遭受两种不同类型的失真。一种是由快衰落、白噪声、粉色高斯噪声、jpeg、jpeg2000、高斯模糊、全局对比度降低等由单一因素引起具有特定失真类型的合成失真。另一种是相机在捕捉、处理和存储过程中引入的真实失真。由于在拍摄过程中过度曝光、曝光不足、运动导致的模糊、低光噪声和压缩误差等多种失真因素融合而造成的真实失真，其没有特定的失真类型。

而现有的技术对图像进行质量评估，局限于对具有特定失真类型的图像即上述合成失真类型的图像进行评估，例如申请号为“cn201910364614.0”的“一种基于图像失真类型的图像质量评估的方法”，其先用离散余弦转换(dct)把高维度图像的信息量在低维度图像上表示出来，提取出失真特征值。然后，利用支持向量机(svm)，建立标签为1，2，3，4，...，n的svm分类器模型，将失真类型分为n种，再将图像的失真特征值输入，通过决策函数对所选图像进行失真类型分类。最后，根据失真类型，在相应的回归评估模型中计算图像质量预测分数。该方法需要失真类型分类，而对于没有明确的失真类型定义的，由各种失真因素融合而成，所造成的真实失真并不适用，无法对由多种失真因素融合而造成真实失真的图像进行图像评估。

技术实现要素：

本发明实施例提供一种图像质量评估方法及装置，既能对由单一失真因素造成的具有明确失真类型的失真图像进行质量分数评估，又能对由多种失真因素融合后造成的不具备明确失真类型的失真图像进行质量分数评估。

本发明一实施例提供一种图像质量评估方法，包括：

获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；

按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；

将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、jpeg压缩失真、jpeg2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；

以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；

获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。

进一步的，在所述按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集之后，还包括：按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。

进一步的，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：

通过以下过度曝光处理函数调整所述样本图像的亮度分量：

其中，所述λ1，δ1，γ1和v1为形状参数、k为失真等级、l为亮度分量，i为亮度分量所对应的行坐标j为亮度分量所对应的纵坐标。

进一步的，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：

通过以下欠曝光处理函数调整所述样本图像的亮度分量：

其中，所述λ2，δ2，γ2和v2为形状参数、k为失真等级、l为亮度分量。

进一步的，所述以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型，具体包括：

以一训练图像集、训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，输入神经网络中进行预训练，直至所述神经网络的总损失函数收敛；其中，在预训练时所述神径网络的总损失函数为：

其中，为自适应排序损失函数，

为上界控制损失函数，

为下界控制损失函数，

训练图像集可表示为为所述样本图像、y0为所述样本图像的标准质量评价分数、θ为网络参数，k为失真等级、为动态变化补偿算子、τw为预设的质量分数上限、τb为预设的质量分数下限、n和m为降序图像列的索引号、λr为自适应排序损失函数的权重值、λb为上界控制损失函数的权重值、λw为下界控制损失函数的权重值；

将一组样本图像集输入所述初始图像质量评估模型中，进行微调训练，直至微调训练时对应的损失函数收敛，获得所述图像质量评估模型；其中，所述样本图像集中包括若干所述样本图像；所述微调训练时对应的损失函数为：

n为样本图像集中图像的数量、π为第二网络参数、ii表示所述样本图像集中的样本图像,yi表示所述样图像中样本图像的标准质量评价分数。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例提供了一种图像评估装置，包括第一图像处理模块、第二图像处理模块、第三图像处理模块、图像质量评估模型构建模块以及图像评估模块；

所述第一图像处理模块，用于获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；

所述第二图像处理模块，用于按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；

所述第三图像处理模块，用于将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、jpeg压缩失真、jpeg2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；

所述图像质量评估模型构建模块，用于以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；

所述图像评估模块，用于获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。

进一步的，还包括第四图像处理模块，所述第四图像处理模块，用于按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。

通过实施本发明实施例具有如下有益效果：

本发明实施例提供了一种图像质量评估方法及装置，所述方法首先，调整样本图像的亮度分量来模拟图像的过度/欠曝光失真，获得第一训练图像集，通过预设的图像处理器对第一训练图像集的图像进行处理，将过度/欠曝光失真的失真因素与预设图像处理器对应的失真因素融合在一起，生成由多种失真因素融合所造成的真实失真图像集，即上述第二训练图像集，此外还通过预设的失真类型和失真等级对样本图像进行图像处理，这样生成由某种是特定的失真因素造成失真的合成失真图像集，即上述合成失真训练图像集，紧接着根据上述第二训练图像集或合成失真训练图像集，通过神经网络构建图像质量评估模型，最后将待评估图像输入到图像质量评估模型中，获得对应的预测质量评价分数。与现有技术相比，本发明实施例所提供的图像质量评估方法，能够实现对由单一的失真因素，所造成失真的，有特定失真类型的图像(即合成失真图像)进行质量评估，也能够实现对由多种失真因素融合所造成失真的，无特定失真类型的图像(即真实失真图像)的质量评估。

附图说明

图1是本发明一实施例提供的一种图像质量评估方法的流程示意图。

图2是本发明一实施例提供的一种图像质量评估方法的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供的一种图像质量评估方法包括：

步骤s101:获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；

步骤s102:按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；

步骤s103:将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、jpeg压缩失真、jpeg2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；

步骤s104:以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；

步骤s105:获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。

对于步骤s101:首先获取一张样本图像，如果该样本图像为rgb图像则将其转换为hsv图像，然后提取hsv图像的亮度分量并进行调整，从而来模拟图像因过度/欠曝光失真造成的失真，具体包括以下两种调整方式：

在一个优选的实施例中，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：

通过以下过度曝光处理函数调整所述样本图像的亮度分量：

其中，所述λ1，δ1，γ1和v1为形状参数、k为失真等级、l为亮度分量，i为亮度分量所对应的行坐标j为亮度分量所对应的纵坐标。一实施例用于模拟过度曝光失真。

在一个优选的实施例中，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：

通过以下欠曝光处理函数调整所述样本图像的亮度分量：

其中，所述λ2，δ2，γ2和v2为形状参数、k为失真等级、l为亮度分量。这一实施例用来模拟欠曝光失真。

上述两种亮度分量调整方式根据实际情况需要进行选择，从而实现样本图像的模拟过度/欠曝光失真的模拟；最后，把更改了亮度分量的hsv图像转换回rgb三通道图像，生成第一训练图像集，第一训练图像集中包括了不同失真等级的图像，需要说明的是当失真等级为0时，即代表原样本图像。

对于步骤s102：首先对预设图像处理器进行说明：为了模拟样本图像因抖动，对焦错误，光晕和对比度失真等单一因素或多因素组合造成的图像失真，本发明通过采用不同的图像处理器进行组合，得到上述预设的图像处理器，然后对第一训练图像集的图像进行图像处理。优选的，预设的图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；即上述预设的图像处理器可以是单独的一个图像处理器，也可以是几个图像处理器的组合；因此对这一实施例再进行进一步的描述。

首先我们使用一个图像处理器来处理it1：表示上述第一训练图像集中的图像。l＝1,2,3,4分别代表运动滤波器、高斯低通滤波器、色差变换和全局对比度衰退图像处理器的索引号，把l的所有组合定义为一个集合ω＝{{1},{2},{3},{4},{1,2},{1,3},…,{1,2,3,4}}.然后执行融合策略获得融合图像it2：最终生成上述第二训练图像集，当只用一种图像处理器例如是运动滤波器进行处理时，则用来模拟样本图像，受过度/欠曝光失真因素以及图像抖动的因素，两种失真因素的融合所造成的失真。当用两种图像处理器的组合，例如是运动滤波器和全局对比度衰退处理器进行处理时，则用来模拟样本图像，受过度/欠曝光失真因素、图像抖动的因素以及对比度失真；三种失真因素的融合所造成的失真。通过这一实施例可以模拟出样本图像由于多种失真因素(至少两种)融合，而造成的真实失真的情况。

在一个优选的实施例中，还包括：按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。在这一实施例中，优选的对第二训练图像集进行概率为1/2的jpeg压缩处理。模拟压缩失真的情形。

对于步骤s103,首先需要说明的是此步骤命名为步骤s103，并不代表该步骤是在步骤s101和步骤s102之后才执行的，其也可以在步骤s101之前执行。步骤的命名仅仅是为了表述的方便，不作为计算机执行顺序的限定。通过步骤s101和步骤s102完成了对样本图像进行真实失真(由多种失真因素融合所造成的失真，无明确的失真类型)的模拟，而步骤s103是为了对样本图像进行合成失真的(由单一失真因素所造成的失真，有明确的失真类型)模拟。这一步骤主要按预设的失真类型和失真等级进行图像处理即可。所述失真类型包括但不限于斯模糊、jpeg压缩失真、jpeg2000压缩失真、快速衰退失真或高斯白噪音，其中的一种，最终生成合成失真训练图像集。

对于步骤s104,一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，以训练图像集中各图像的预测质量评价分数为输出，通过神经网络构建质量评估模型，具体构建方式如下：

以一训练图像集、训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，输入神经网络中进行预训练，直至所述神经网络的总损失函数收敛；其中，在预训练时所述神径网络的总损失函数为：

其中，为自适应排序损失函数，

为上界控制损失函数，

为下界控制损失函数，

训练图像集可表示为为所述样本图像、y0为所述样本图像的标准质量评价分数、θ为网络参数，k为失真等级、为动态变化补偿算子、τw为预设的质量分数上限、τb为预设的质量分数下限、n和m为降序图像列的索引号、λr为自适应排序损失函数的权重值、λb为上界控制损失函数的权重值、λw为下界控制损失函数的权重值；

将一组样本图像集输入所述初始图像质量评估模型中，进行微调训练，直至微调训练时对应的损失函数收敛，获得所述图像质量评估模型；其中，所述样本图像集中包括若干所述样本图像；所述微调训练时对应的损失函数为：

n为样本图像集中图像的数量、π为第二网络参数、ii表示所述样本图像集中的样本图像,yi表示所述样图像中样本图像的标准质量评价分数。传统的排序学习函数，由于排序间距是常数，上下界也没有限制，所以排序的输出结果容易失控。本发明这一实施例在预训练时，设置自适应排序损失函数和上、下界控制损失函数使得预训练的排序结果能更好的适应图像的标准质量评价分数。本文所提及的标准质量评价分数指的预设的用于参考的标准分数。当选取的训练图像集为上述第二训练图像时，则所构建的图像质量评估模型可以用于对真实失真的图像进行评估，若选取的训练图像集为上述合成失真训练图像集，则所构建的图像质量评估模型可以用于对合成失真的图像进行评估。

对于步骤s105,获取一待评估图像，将所述待评估图像输入所述图像质量评估模型中，即可获得所述待评估图像的预测质量评价分数，用户根据得出的预测质量评价分数对待评估图像进行评估。

在上述方法项实施例的基础上，本发明对应提供了一装置项实施例；

如图2所示，本发明另一实施例提供了一种图像质量评估装置，包括第一图像处理模块、第二图像处理模块、第三图像处理模块、图像质量评估模型构建模块以及图像评估模块；

所述第一图像处理模块，用于获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；

所述第二图像处理模块，用于按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；

所述第三图像处理模块，用于将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、jpeg压缩失真、jpeg2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；

所述图像质量评估模型构建模块，用于以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；

所述图像评估模块，用于获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。

在一个优选的实施例中，还包括第四图像处理模块；所述第四图像处理模块，用于按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。

可以理解的是，上述装置项实施例是与本发明方法项实施例相对应的，其可以实现本发明上述任意一项方法项实施例提供的图像质量评估方法。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。所述示意图仅仅是图像质量评估装置的示例，并不构成对图像质量评估装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

与现有技术相比，本发明实施例所提供的图像质量评估方法，能够实现对由单一的失真因素，所造成失真的，有特定失真类型的图像进行质量评估，也能够实现对由多种失真因素融合所造成失真的，无特定失真类型的图像的质量评估。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。