混合降质图像的图像质量评价方法和装置与流程

本发明涉及图像降质的度量技术领域，特别是涉及一种混合降质图像的图像质量评价方法和装置。

背景技术

图像在获取、压缩及存储过程中引入的降质使得用户所获得的降质图像和理想画质图像在视觉上存在很大的差异。这些降质的成因不同，表现的特征不同，对视觉的影响也不同，需要区别对待。譬如，在做图像评价时将降质类型划分为钝化降质和噪声降质，并分别量化，再对钝化分量和噪声分量分别加权，可以得到更加准确的质量评价结果；在做图像增强时根据钝化程度决定锐化强度，根据噪声大小选择平滑滤波器强度，可以产生更好的增强效果。

目前，图像降质的度量有两个分支：基于信号的测量及基于视觉的测量。

其中，基于信号的测量对图像的噪声大小以及模糊核的形状进行估计。图像噪声一般被假设成高斯噪声，将噪声估计退化成噪声的方差估计问题。图像的钝化来源于压缩或运动模糊，可以用模糊度或者钝化滤波器形状描述钝化过程。这些方法都是基于信号本身，即将图像视为一个广义信号，而不考虑人的视觉对这些降质的敏感程度。

另外，基于视觉的降质表征技术得到长足发展，其衍生出无参考、半参考和全参考三个图像质量评价分支。目前基于视觉的降质描述多是对图像降质因素的综合描述，而不能对降质的成分分别度量及描述。

总之，现有的图像质量评估方法所得到的质量评估结果不够准确，需要做进一步地改进。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种混合降质图像的图像质量评价方法和装置，用于解决现有图像降质度量结果不够准确的问题。

为实现上述目的及其他相关目的，本发明提供以下解决方案：

第一方面

一种混合降质图像的图像质量评价方法，所述图像质量评价方法包括：1)提取图像特征，所述图像特征包括待检测的混合降质图像的图像特征、钝化图像的图像特征及噪声图像的图像特征，所述钝化图像由所述混合降质图像做保边滤波得到，所述噪声图像由所述混合降质图像和钝化图像计算得到；2)计算所述混合降质图像对应的理想画质图像的图像特征，所述理想画质图像的图像特征由所述钝化图像的图像特征输入预先构建的图像特征退化模型中计算得到；3)根据所述混合降质图像的图像特征、噪声图像的图像特征及理想画质图像的图像特征构建出所述混合降质图像的质量特征，并将所述质量特征输入预先训练完成的图像质量分数预测模型中评价出所述混合降质图像的质量分数。

上述方案相比于现有技术具有以下优点：其一，将不同性质的降质因素的影响用噪声及钝化两种降质主元分别进行描述，这不仅简化了降质描述，而且对降质的描述具有视觉属性，能够更好地反映降质对视觉的影响；其二，本发明是基于噪声降质特征、钝化降质特征和混合降质特征来实现的，优化了对降质特征的估计，提取的视觉特征在一定程度上和人眼视觉特征一致，从而解决了现有图像质量评价结果不够准确的问题。

第二方面

一种混合降质图像的图像质量评价装置，所述图像质量评价装置包括：特征提取模块，用于提取图像特征，所述图像特征包括待检测的混合降质图像的图像特征、钝化图像的图像特征、噪声图像的图像特征，所述钝化图像由所述混合降质图像做保边滤波得到，所述噪声图像由所述混合降质图像和钝化图像计算得到；第一计算模块，用于计算所述混合降质图像对应的理想画质图像的图像特征，所述理想画质图像的图像特征由所述钝化图像的图像特征输入预先构建的图像特征退化模型中计算得到；第二计算模块，用于根据所述混合降质图像的图像特征、噪声图像的图像特征及理想画质图像的图像特征构建出所述混合降质图像的质量特征，并将所述质量特征输入预先训练完成的图像质量分数预测模型中评价出所述混合降质图像的质量分数。

本方案是与上述第一方面中方法对应的产品方案，因此其与上述第一方案具有相同的有益效果。

附图说明

图1为本发明实施例中理想画质图像、降质图像和去噪图像的效果对比图。

图2为本发明实施例中理想画质图像、降质图像和去噪图像mscn分布。

图3为本发明实施例中理想画质图像、噪声图像和钝化图像的效果对比图。

图4为本发明实施例中理想画质图像、噪声图像和钝化图像mscn分布图。

图5为本发明提供的一种混合降质图像的图像质量评价装置的原理示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例1

本实施例提供了一种混合降质图像的图像质量评价方法，该图像质量评价方法具体包括以下步骤：

步骤1)提取图像特征，所述图像特征包括待检测的混合降质图像的图像特征、钝化图像的图像特征及噪声图像的图像特征，所述钝化图像由所述混合降质图像做保边滤波得到，所述噪声图像由所述混合降质图像和钝化图像计算得到；

步骤2)计算所述混合降质图像对应的理想画质图像的图像特征，所述理想画质图像的图像特征由所述钝化图像的图像特征输入预先构建的图像特征退化模型中计算得到；

步骤3)根据所述混合降质图像的图像特征、噪声图像的图像特征及理想画质图像的图像特征构建出所述混合降质图像的质量特征，并将所述质量特征输入预先训练完成的图像质量分数预测模型中评价出所述混合降质图像的质量分数。

上述实施例中的图像质量评价方法的技术原理在于：将待测的图像进行特征提取，然后有序地将提取的特征直接输入或再进行计算后输入预先生成的图像特征退化模型和图像质量分数预测模型中来得出待测图像的质量分数。所以，为便于本领域技术人员更好地理解本发明的技术方案，以下将通过“提取图像特征-模型生成-模型测试”的逻辑顺序来对本实施例的技术方案进行详细而具体的示例说明。

内容概述

关于模型生成部分，其具体包括以下步骤：

步骤s11，对混合降质图像i进行滤波，降低噪声影响，得到以钝化为主要降质因素的钝化图像b；

步骤s12，分别提取无失真图像s以及对应的钝化降质图像b的特征feats、featb；

步骤s13，利用feats和featb构建脊回归线性退化模型rr；

步骤s14，使用梯度下降算法求解退化模型参数w，由此得到图像特征退化模型；

步骤s15，提取混合降质图像i的特征feati和图像噪声特征featn,利用feat和dmos训练svr，由此得到图像质量分数预测模型，其中

需要说明的是，由于训练钝化引起的降质模型需要基于样本图像集，本实施例中的样本图像集由理想画质图像和它们对应的混合降质图像对组成。

关于模型测试部分，其具体包括以下步骤：

步骤s21，对输入图像i进行保边滤波，得到只受钝化影响的钝化图像b，图像噪声n＝|i-b|；

步骤s22，分别对i、b和n做去均值和对比度归一化处理；

步骤s23，计算特征向量feati、featb和featn；

将featb输入到rr模型估计出图像i对应的理想画质图像s的特征feats；

步骤s24，构建图像i的质量特征描述

步骤s25，将feat输入到svr得到最终的质量分数quality。

以下将通过“数据库构建‐钝化图像和噪声图像获取‐特征提取‐模型训练‐模型测试‐quality计算‐性能评估”的顺序对上述概括内容进行详细说明。

数据库构建

多失真图像数据集md(multiplydistortiondatabase,md)包含总共465幅图像，其中理想画质图像15幅，其余450幅图像是这15图像的降质版本。md总共分为两个part，part1有225幅降质图像，它是由15幅理想画质图像先进行高斯模糊，然后使用jpeg压缩产生，高斯模糊和jpeg压缩都为3个等级，所以每幅理想画质图产生9幅混合降质图像和6幅单降质图像。part2的225幅降质图像是由15幅理想画质图像先进行高斯模糊，然后叠加高斯白噪声产生，高斯模糊和高斯白噪声同样为3个等级，所以每幅理想画质图像也产生9幅混合降质图像和6幅单降质图像。

md提供了所有降质图像的平均差异主观得分值dmos(differentialmeanopinionscore,dmos)。每一幅图像的dmos值是由图像方面的专家经过合理的打分程序给出的图像分数值，分数值越大，图像降质越严重，视觉效果越差，反之亦然。与dmos值相似的还有mos(meanopinionscore,mos)值，mos值与dmos的关系是：mos＝maxmos-dmos，其中maxmos＝max{mos1,…,mosi},i＝1,…,c，c为数据库图像个数。通过计算算法给出的图像quality和图像专家给出的dmos或mos分数值之间的相关性，就可以衡量算法性能的优劣。

本发明从md中随机抽取80％的图像训练线性特征退化模型。假如降质图像x被选中，那么它对应的理想画质图像y也要被选入训练数据集，所以训练数据集t＝{(x1,y1),…,(xi,yi)},1≤i≤m，m表示训练集样本数目。

需要说明的是，以下将在多失真图像数据库上训练从钝化图像特征到理想画质图像特征的线性退化模型。

钝化图像和噪声图像获取

图像主分量表征方法从钝化和噪声角度衡量图像的降质程度，因此需要获得钝化图像和噪声图像，然后才能分别对它们进行特征描述。

混合降质图像受到噪声和钝化的影响后的图像退化模型为：

x＝h*s+n

其中x表示混合降质图像，s表示理想画质图像，h表示模糊核，n表示加性噪声，*表示卷积。钝化图像b＝x-n，由于噪声图像n是未知的，为了得到钝化图像b，必须通过滤波的方法去除噪声的影响。但是，在去除噪声的同时，不能对钝化图像的分布产生明显影响，否则后续对于钝化主成分的估计将会出现偏差，因此，需要选择一种对图像本身分布影响最小的降噪算法。

设计降噪算法最基本的要求是在滤除噪声的同时，不能引入和丢失图像原有的信息。基于空间域和频率域的3维块匹配降噪算法bm3d(blockmatching-3d)吸取了空间域nlm算法中计算相似块的方法，又融合了小波域中去除噪声的方法。bm3d在滤除噪声的同时对图像分布几乎不会产生影响。因此，本发明中去噪过程采用bm3d，去噪后得到只受钝化影响的钝化图像b。

现实世界中的噪声多是乘性噪声，为了简化对噪声的估计，数字图像处理领域一般认为图像中存在的是加性噪声。本发明为了简化模型和计算简单，也将噪声视为加性噪声。根据图像退化模型，噪声图像n＝i-b。

为了证明通过降噪方法获得钝化图像的正确性，图1依次给出了理想画质图像imgorg，和它对应的降质图像imgnoise，以及使用bm3d算法降噪后的图像imgdenoise，图2给出它们的mscn分布图。自然图像的平均对比度归一化系数mscn(meansubtractedcontrastnormalized)近似符合高斯分布，降质图像的mscn分布则会偏离高斯分布。给定一幅图像i(x，y)，它的mscn系数计算公式如下：

其中：

x∈{1，2...m}，j∈{1,2...n}是图像像素索引，m，n分别表示图像的高度和宽度；

ω＝{ωk,l|k＝-k，,...，k，l＝-l,...,l}是高斯加权窗口；i(x,y)表示图像i在空间域坐标(x,y)点的亮度值；c是一个很小的常数，以防止除数为零；局部均值μ(x,y)以及方差σ(x,y)分别用来表示图像i在(x,y)点的平均亮度以及对比度。

图2中origin分布的均值μ1＝0.0032，方差为，noise分布的均值μ2＝0.0041为，方差为，μ2＞μ1是因为噪声导致图像偏离了原来的近似高斯分布，是因为图像中叠加的是随机的高斯白噪声导致方差变大。denoise分布的均值μ3＝0.0031为，方差为，μ1≈μ3，证明了去噪过程几乎对图像本身的mscn分布没有产生影响。

特征提取

图像质量相关的特征必须能够区分不同程度的降质，即它对不同降质程度的图像具有良好的分类性能。

研究表明，理想画质图像的mscn分布趋近于高斯分布，如图2中origin所示。图像在受到不同降质因素影响后会发生不同形状改变，图3给出一组理想画质图像、噪声图像和钝化图像，图4展示了降质对图像mscn分布的影响。与原图像分布比较，噪声noise使得图像分布的方差变大，钝化blur使得分布的方差变小，均值距零点也有一定的偏移。为了捕捉不同的降质因素对图像的mscn分布产生的影响，本发明采用mscn曲线的形状参数α和方差σ²作为图像质量的描述子。

为了得到mscn分布的均值和方差，算法采用广义高斯分布ggd(generalizedgaussiandistribution)拟合mscn系数。零均值的ggd分布概率密度函数如下：

α表示ggd概率密度函数的形状参数，σ²表示方差；γ(a)函数和β函数的定义如下：

之所以采用零均值的ggd概率密度函数拟合mscn系数是因为mscn系数的均值一般都非常小，接近零值，图2的三个分布很好的证明了这一点(μ1≈μ2≈μ3≈0)。

简单的采用ggd的形状参数α和σ²还不足以描述形态各异的mscn分布，可以看到图4中的noise分布并不是关于零点严格对称的零均值ggd(虽然大部分的ggd均值接近于零)。为了更加细致的描述mscn分布特性，本发明从四个方向去描述mscn的分布曲线，四个方向分别是：水平方向、垂直方向、主对角线方向、副对角线方向，四个方向的定义如下：

由于分方向的mscn分布并不是严格地左右对称，因此需要对左右的分布形状分别描述。非对称广义高斯分布aggd(asymmetricgeneralizedgaussiandistribution)可以很好的拟合这种左右非对称的分布形状，aggd的概率密度函数定义如下：

其中：

ν反映了aggd分布的形状，分别为aggd分布的左方差、右方差，分别控制左右两边的延伸程度。

对于mscn每个方向的分布，最终特征参数构成为其中η定义如下：

综上，给定一幅图像，先计算其mscn分布系数，对于mscn系数分布采用(α,σ²)两参数描述。然后求出其水平方向、垂直方向、主对角线和副对角线方向的mscn系数，对于每个方向的分布采用描述。因此，对于一幅图像我们采用这18个(2+4*4)参数作为其特征参数。

模型训练

本发明的核心问题是解决如何从钝化图像特征估计出理想画质图像特征，建立钝化图像特征到理想画质图像特征之间的特征映射问题。在图像超分辨率研究领域，通常先使用双线性插值将给定的低分率理想画质图像i插值到想要输出的目标图像大小，然后再经过模糊下采样过程，得到与i同样大小的低分辨率模糊图像b，最终建立从b的像素块到i的像素块之间的线性映射关系。，在给定训练集t＝{(x1,y1),…,(xi,yi)},1≤i≤m的情况下，我们建立了从钝化图像特征到理想画质图像特征之间的脊回归线性退化模型rr，给出如下模型最小化目标函数f＝{f¹,…,f^d}：

其中，j∈{1,…,m},xj表示第j个训练样本的钝化图像d维特征向量，yj表示第j个训练样本的理想画质图像d维特征向量，d＝18。表示回归系数矩阵w的第i行w＝[w1,…,wd]。

模型求解

上述脊回归损失函数存在解析解：

w＝(xx^t+λi)^-1yx^t

其中x＝[x1,…,xm],y＝[y1,…,ym]，解析解求解速度快，复杂度低，但是也存在一定的局限性。研究实验表明当数据样本m≥10000时，解析解的准确率迅速降低，为了得到w的最优值，我们选择求解速度较慢的梯度下降算法迭代求解上述最优化问题。

梯度下降求解过程如下：

已知最小化目标函数为

初始解w＝w0,初始化步长参数为θ＞0,终止条件为d＜ε

1)目标函数对w求导得：

2)确定当前位置下降距离

3)如果d＜ε，算法终止，w的最优解为w^*＝w,否则转到4)

4)更新w，w＝w-d,转到1)

模型测试

本发明是盲图像质量评估方法，因此，对于一幅输入图像i，不必区分降质类型。首先利用bm3d算法对其进行降噪处理，降噪后得到钝化图像b，噪声图像n＝|i-b|。然后分别计算图像i、图像b和图像n的mscn系数，使用ggd拟合mscn系数。最后计算i、b和n各自四个方向上的系数分布矩阵，使用aggd拟合各个方向的系数分布。计算得到图像i、图像b和图像n特征如下：

基于钝化图像b的特征描述featb，可以估计其对应的理想画质图像s的特征参数feats，估计方法如下：

feats＝w*featb

w是rr模型训练部分得到的线性特征退化矩阵。

为了构建图像i的质量特征，还需要定义理想画质图像与降质图像的特征差异

最后给出输入图像i的单尺度质量特征描述：

feati描述图像i的混合失真特性，描述图像i与预估理想画质图像特征之间的特征差异，差异因素包括了钝化和噪声两种，featn给出了噪声因素的描述，因此钝化因素也可以由和featn唯一确定。

研究表明，人眼视觉系统hvs(humanvisionsystem)对于图像的感知和距离有关，观察者与图像之间的距离不同，从图像上获取到的信息也不相同。当观察者和图像之间距离较近时，观察到的图像尺度较大，关察到更多的图像细节；当观察者和图像之间距离较远时，观察到的图像尺度较小，丢失了细节信息，但获得了图像的轮廓信息。因此，为了获得较为全面的特征描述，本发明从两个尺度提取特征描述子对图像的质量进行描述。其中，第二个尺度的图像由第一个尺度的图像经过下采样得到。因此，对于图像i的最终特征描述为：

feat＝[featup,featdown]

quality计算

待检测图像i的quality值使用支持向量回归svr(supportvectorregression)得到。svr被广泛用于从特征空间到质量分数的映射函数，对于给定训练数据集{(x1,y1),…,(xl,yl)},xi∈r^d,xi表示d维特征向量，yi表示相对应的dmos值，给定参数c＞0,ε＞0，标准的svr回归的损失函数如下：

其中：

k(xi,xj)＝φ(xi)^tφ(xj)，

k(xi,xj)表示核函数，一般采用径向基核函数rbf(radialbasisfunction)，

对于本发明而言在训练集t＝{(x1,y1),…,(xi,yi)},1≤i≤m使用svr训练得到回归模型，测试集只需要输入待检测图像i的特征便可以得到该图像的质量分数。

训练输入(xi,yi)构成：

通过网格参数寻优算法优化模型参数，最后得到最佳训练模型qmodel，待检测图像i的质量分数quality，

性能评估

图像质量评价方法一般使用srooc(spearmanrankordercorrelationcoefficient)、

plcc(pearsonlinearcorrelationcoefficient)、rmse(rootmeansquarederror)作为算法性能度量指标。通过计算图像i的dmos值和算法给出的quality之间的srocc、plcc、rmse就可以度量算法的准确性。后两个度量标准在计算之前需要将客观质量分数quality映射到主观质量分数空间，使用非线性映射函数：

βi(i＝1,…5)是回归参数，在训练集训练得到。

本发明与目前表现较好的同类无参考质量评估算法，srooc提高了大约4％，plcc提高了约5％，实验结果证明本发明提取的视觉特征在一定程度上和人眼视觉特征一致。

综上来看，本发明相比于现有技术具有以下有益效果：

1、本发明提供了一种对混合图像降质进行简化描述的方法，将不同性质的降质因素的影响用噪声及钝化两种降质主元分别进行描述，简化了降质描述模型；

2、本发明先滤除噪声再进行钝化降质估计的分步式估计方法，该方法的计算过程简单，计算复杂度低。虽然降噪过程会引入的额外钝化，但其程度较轻，对降质估计的精度影响较小；

3、本发明所涉及的对降质的描述具有视觉属性，能够更好地反映降质对视觉的影响，因此研究的结果更适用于基于视觉的信号处理；

4、本发明引入了线性降质模型描述钝化过程对视觉特征的影响，提出基于脊回归估计退化模型参数的方法，并基于退化模型估计理想画质图像的特征，最终用理想画质图像特征与钝化图像特征之差描述钝化对视觉的影响；

5、本明基于钝化图像特征估计理想画质图像特征，优化了对降质特征的估计。

实施例2

另外，本实施例还提供了一种混合降质图像的图像质量评价装置，该图像质量评价装置是与实施例1中技术方案对应的产品方案，为此两者是具有相同技术原理、解决相同技术问题、具有相同技术效果的方案不同体现，故对具体内容不做赘述。

具体的，见图5，给出了本发明一种混合降质图像的图像质量评价装置的原理示意图，如图所示，所述图像质量评价装置200包括：特征提取模块210，用于提取图像特征，所述图像特征包括待检测的混合降质图像的图像特征、钝化图像的图像特征、噪声图像的图像特征，所述钝化图像由所述混合降质图像做保边滤波得到，所述噪声图像由所述混合降质图像和钝化图像计算得到；第一计算模块220，用于计算所述混合降质图像对应的理想画质图像的图像特征，所述理想画质图像的图像特征由所述钝化图像的图像特征输入预先构建的图像特征退化模型中计算得到；第二计算模块230，用于根据所述混合降质图像的图像特征、噪声图像的图像特征及理想画质图像的图像特征构建出所述混合降质图像的质量特征，并将所述质量特征输入预先训练完成的图像质量分数预测模型中评价出所述混合降质图像的质量分数。

具体的，所述特征提取模块还包括：由所述混合降质图像做保边滤波得到所述钝化图像的钝化图像生成单元，用于采用3维块匹配降噪算法对混合降质图像进行处理得到其对应的钝化图像。

具体的，所述图像质量分数预测模型由对训练图像集提取的特征和所述训练图像集的dmos值进行支持向量回归训练得到。

具体的，所述图像特征退化模型为由训练图像集中的理想画质图像的特征和所述理想画质图像对应的钝化图像的特征构建的脊回归线性退化模型。

具体的，所述训练图像集包括若干幅理想画质图像和每幅所述理想画质图像对应产生的若干幅混合降质图像和若干幅单降质图像。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。