一种全参考融合的图像客观质量评价方法与流程

文档序号:15048231发布日期:2018-07-27 23:17阅读:1672来源:国知局

本发明属于图像处理领域,尤其是平面图像的质量评价。



背景技术:

随着信息技术的发展,人们通过各种显示设备获取信息的需求逐渐增加。数字图像作为信息表达与交流的工具,获得了广泛的应用。然而,在实际的图像采集、分析、传输、处理和重建过程中,不可避免会发生失真现象,因此,为了保障终端用户的体验质量,图像质量评价扮演了重要的角色[1]

图像质量评价分为主观评价方法和客观评价方法,由于人类是最终的接收者,所以最可靠的是主观评价方法,但是缺点在于耗时费力,难以运用于实际。图像客观评价方法旨在通过算法模型,自动而且准确地预测图像质量,使得预测的图像质量分数趋近于人类主观评价值。在客观评价方法中,根据使用原始无失真图像信息的多少,可以分为全参考(fullreference,fr)图像质量评价、半参考(reducedreference,rr)图像质量评价和无参考(noreference,nr)图像质量评价。由于fr图像质量评价不仅利用了失真信息,而且采用了全部的参考图像信息,因此大多数fr方法呈现了比较好的评价性能。单一的fr方法往往考虑某一个或几个特征,比如梯度、相位一致性等,本发明提出的方法融合了6种全参考度量,充分考虑了多种特征反映的人眼视觉特性,使得预测的质量分数与人眼主观评价分数更加吻合。

[1]wangz,bovik.modernimagequalityassessment[j].synthesislecturesonimagevideo&multimediaprocessing,2006,2(1):156.



技术实现要素:

本发明针对图像质量评价中单一全参考度量方法不足以反映人眼视觉特性的问题,提出一种全参考融合的图像客观质量评价方法,能够预测出与人眼主观评价高度吻合的质量分数。技术方案如下:

一种全参考融合的图像客观质量评价方法,包括以下步骤:

第一步,选择图片数据库作为模型训练的输入,将图片按照失真类型分组,每种失真类型下有不同程度失真的图片,分别获得每组图片的文件名及标签;

第二步,特征提取,选用梯度相似度gsim,带有颜色信息的特征相似度fsimc,梯度幅值相似度偏差gmsd,梯度相似性度量,内部生成机制igm和多尺度结构相似性ms-ssim6种全参考度量算法,对每种失真类型中的图片分别打分,每组图片经过一种全参考度量算法运算会得到一个特征向量,将得到的6个特征向量组成特征矩阵。

第三步,数据预处理,将失真图像标签和失真类型对应的特征向量分数分别规范化到(1,100)和(0,1)之间,并进行转置处理以满足svm训练需要。

第四步,特征训练,利用svm训练标签和特征向量,得到图像的特征向量和标签的映射关系模型,即为质量评价模型;

第五步,利用所得到的质量评价模型评价图片质量。

本发明融合了多种fr图像质量评价方法,提取图像特征,通过svm回归,得到图像质量评价模型。实验表明,该模型在测试数据库上有很高的回归准确率,且预测的客观质量分数与人眼的主观质量分数有很高的一致性。

附图说明

图1本发明的实现框图。

具体实施方式

下面结合附图1对发明做进一步阐述。

第一步,数据库选择。

实验素材选择liverelease2数据库,包含29张参考图像,5种失真类型jpeg2000、jpeg、whitenoise、gaussianblur和fastfadingrayleigh,每种失真类型下有不同程度失真的图像。数据库具体信息见表1。

表1liverelease2数据库信息

第二步,特征提取。

本发明选用了梯度相似度(gradientsimilarityindex,gsim),带有颜色信息的特征相似度(featuresimilaritywithchrominanceinformation,fsimc),梯度幅值相似度偏差(gradientmagnitudesimilaritydeviation,gmsd),梯度相似性度量(gradientsimilaritybasedmetric,gsm),内部生成机制(internalgenerativemechanism,igm),多尺度结构相似性(multi-scalestructuralsimilarity,ms-ssim)6种fr度量方法,组成frmetrics_set,利用frmetrics_set分别对liverelease2数据库中5种失真类型图像与相应的参考图像按如下6种计算方法提取特征:

①gsim假设人类视觉系统在很大程度上依赖视觉低层特征来理解图像信号,通过如下方式:

其中,x,y分别表示原始图像和失真图像,c5为常数,gx,gy分别为原始图像和失真图像的梯度幅值,gh,gv分别为水平和垂直方向上的sobel卷积运算。

②fsimc是fsim方法的扩展,在特征相似性基础上考虑了颜色信息,可以比较图像的亮度和颜色信息,通过如下公式计算:

其中,spc(x),sg(x)分别为与相位一致和梯度幅值有关的参数,si(x),sq(x)分别为yiq颜色空间中与i、q两个颜色通道相关的参数,pcm(x)用于衡量相似度的重要性,λ用于调整颜色特征的重要程度。

③gmsd考虑到梯度对失真敏感,不同的结构有不同程度的失真,可以通过下式实现:

其中,mr,md分别为参考图像和失真图像的梯度幅值,c为常数。

④gsm在ssim的基础上,用梯度相似性来度量图像亮度、对比度和结构的变化,梯度相似度可以通过如下公式计算:

其中,k=c4/max(gx-gy)2,c4为常数,gx,gy为图像块x,y的梯度值。

q=(1-w(g,e))·g+w(g,e)·e(9)

e表示亮度相似度,xi,yi表示图像块中位置i处的像素,l表示像素值的动态范围,w(g,e)是一个与g,e相关的权重,质量分数q是对梯度和亮度相似度的平均。

⑤igm考虑了hvs的视觉特性,即积极预测感觉信息,避免剩余不确定性,主要包括边缘和结构相似性以及用psnr估计衰减两个部分,公式如下:

q=pαvβ(11)

υ(xp,yp)=g(xp,yp)s(xp,yp)(13)

其中,qi是第i级的感知质量分数,ρ表示不同尺度之间的相对重要性,ρ=[0.0448,0.2856,0.3001,0.2363,0.1333],p是用psnr表示的不适感觉变化,v是边缘和结构相似性指标υ(xp,yp)的平均值。

⑥ms-ssim融入了图像细节,适用于不同分辨率下的应用,可通过下式表示:

其中,lm表示m尺度的亮度比较,cj,sj分别表示第i个尺度的对比度比较,结构比较,αm,βj,γj用于调节各部分相对重要性。

将提取出的特征向量保存在score_(*).mat文件的score变量中,(*)表示5种失真类型中的一种,score中是特征向量组成的矩阵。

第三步,数据预处理。

主要包括两个方面的数据规范化处理:

一是训练数据库中失真图像的mos值的归一化,映射到(1,100)区间,上一步特征矩阵的归一化,映射到(0,1)区间。归一化采用mapminmax函数,映射计算通过下式:

y=(ymax-ymin)×(x-xmin)/(xmax-xmin)+ymin(16)

其中,x是原始数据,y是归一化后的数据,xmin和xmax是原始数据x的最小值和最大值,ymin和ymax是映射的范围参数。

二是转置操作,将归一化后的mos值和特征矩阵都执行转置操作,以适应svm参数输入的需要。

第四步,特征训练。

使用台湾大学林智仁教授等开发的libsvm软件包,将转置后的mos值和特征矩阵输入svm进行训练。首先利用svmcgforregress.m寻找回归的最佳参数,主要包括惩罚参数c和核函数参数g,选用epsilon-svr类型的svm,损失函数值设置为0.1,采用rbf核函数,利用得到的最佳参数c和g对svm进行训练,得到一个图像质量评价模型,然后利用模型在该数据库上做回归预测。

实验表明,该模型在liverelease2上的平方相关系数可以达到96.0.625%,说明该回归模型有非常高的准确率。

第五步,比较和分析方法性能。

为验证本发明得到的预测的质量分数与人眼主观评价的质量分数有很高的一致性,选择三个常用的图像质量算法评估指标,分别是皮尔森线性相关系数(pearsonlinearcorrelationcoefficient,plcc)、斯皮尔曼秩相关系数(spearmanrank-ordercorrelationcoefficient,srocc)和均方根误差(rootmeansquarederror,rmse)。其中,plcc和rmse用于评估算法准确性,而srocc则用于评估算法的预测单调性。图像质量评价算法性能越好,则plcc和srocc的值越接近于1,rmse的值越小,即表示算法预测的质量分数越趋近于人眼主观质量分数。本发明的方法(proposed)与一些优秀的fr质量评价方法在liverelease2数据库上的性能对比见表2。

表2算法性能对比

表格中粗体部分表示某一类评估方法下,性能最优的算法。根据表2可知,本发明提出的方法,plcc和srocc均是所有方法中最大的,rmse是其中最小的。由此可知,本发明提出的方法,在liverelease2上测试,与主观质量分数保持较高的一致性,可以作为一个优秀的图像质量评价模型,生成与人眼视觉主观评价的质量分数比较接近的客观质量分数。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1