本发明涉及一种图像质量评价方法,尤其是涉及一种基于梯度自相似度的无参考图像客观质量评价方法。
背景技术:
图像是人类获取信息的重要途径,图像质量表示图像向人或设备提供信息的能力,直接关系着所获取信息的充分性与准确性。然而,图像在获取、处理、传输和存储的过程中,由于各种因素影响,因此将不可避免的产生降质问题,这给信息的获取或图像的后期处理带来了极大困难。因此,建立有效的图像质量评价机制非常重要,如在图像去噪、图像融合等处理过程中可用于各种算法的性能比较、参数选择;在图像编码与通信领域可用于指导整个图像的传输过程并评估系统性能。
图像质量评价方法可以分为两类:主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分,得到平均评价分用以衡量图像质量;后者是利用数学模型计算图像质量。主观评价方法的实验结果比较可靠,但费时费力。客观评价方法又可分为三类:全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法,当前研究最多的是全参考图像质量评价方法,但是多数应用中无法获得相应的原始图像,因此,无参考图像质量评价方法的研究更具实用价值。
无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种,特定失真评价方法只能对某种特定失真类型的图像进行评价,例如jpeg、jpeg2k及gblur失真等,无法对其它失真类型的图像及多种处理技术处理后的图像进行质量评价;通用评价方法可以同时对多种失真类型的图像进行评价。
然而,现有的通用无参考图像质量评价方法并没有充分考虑结构失真对视觉质量的影响,因此,如何在评价过程中有效地提取视觉结构特征信息,在评价过程中与人眼视觉特性结合,通过梯度自相似度特征提取和机器学习等方法,使得客观评价结果更加符合人类视觉感知系统,是图像进行客观质量评价过程中需要研究解决的问题。
技术实现要素:
本发明所要解决的技术问题是提供一种基于梯度自相似度的无参考图像客观质量评价方法,其能够充分考虑到图像梯度自相似度改变对视觉质量的影响,从而能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于梯度自相似度的无参考图像客观质量评价方法,其特征在于包括以下步骤:
①令{id(x,y)}表示待评价的失真图像,其中,1≤x≤w,1≤y≤h,w表示{id(x,y)}的宽度,h表示{id(x,y)}的高度,id(x,y)表示{id(x,y)}中坐标位置为(x,y)的像素点的像素值;
②对{id(x,y)}实施梯度滤波,得到{id(x,y)}的梯度信息的幅值图像,记为{md(x,y)},其中,md(x,y)表示{md(x,y)}中坐标位置为(x,y)的像素点的像素值;
③对{md(x,y)}进行四个方向的滤波处理,得到{md(x,y)}的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像,对应记为{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和
④计算{md(x,y)}与{hd(x,y)}之间的自相似度图像,记为{hd,sim(x,y)};同样,计算{md(x,y)}与{vd(x,y)}之间的自相似度图像,记为{vd,sim(x,y)};计算{md(x,y)}与{dd(x,y)}之间的自相似度图像,记为{dd,sim(x,y)};计算{md(x,y)}与
⑤采用像素间特征提取方法中的局部二值化模式操作对{hd,sim(x,y)}进行处理,得到{hd,sim(x,y)}的像素间特征图,记为{hd,sim,lbp(x,y)};同样,采用像素间特征提取方法中的局部二值化模式操作对{vd,sim(x,y)}进行处理,得到{vd,sim(x,y)}的像素间特征图,记为{vd,sim,lbp(x,y)};采用像素间特征提取方法中的局部二值化模式操作对{dd,sim(x,y)}进行处理,得到{dd,sim(x,y)}的像素间特征图,记为{dd,sim,lbp(x,y)};采用像素间特征提取方法中的局部二值化模式操作对
并采用像素内特征提取方法中的等步长量化操作对{hd,sim(x,y)}进行处理,得到{hd,sim(x,y)}的像素内特征图,记为{hd,sim,q(x,y)};同样,采用像素内特征提取方法中的等步长量化操作对{vd,sim(x,y)}进行处理,得到{vd,sim(x,y)}的像素内特征图,记为{vd,sim,q(x,y)};采用像素内特征提取方法中的等步长量化操作对{dd,sim(x,y)}进行处理,得到{dd,sim(x,y)}的像素内特征图,记为{dd,sim,q(x,y)};采用像素内特征提取方法中的等步长量化操作对
⑥采用直方图统计方法对{hd,sim,lbp(x,y)}进行统计操作,得到{hd,sim,lbp(x,y)}的直方图统计特征向量,记为hd,sim,lbp,hist;同样,采用直方图统计方法对{vd,sim,lbp(x,y)}进行统计操作,得到{vd,sim,lbp(x,y)}的直方图统计特征向量,记为vd,sim,lbp,hist;采用直方图统计方法对{dd,sim,lbp(x,y)}进行统计操作,得到{dd,sim,lbp(x,y)}的直方图统计特征向量,记为dd,sim,lbp,hist;采用直方图统计方法对
采用直方图统计方法对{hd,sim,q(x,y)}进行统计操作,得到{hd,sim,q(x,y)}的直方图统计特征向量,记为hd,sim,q,hist;同样,采用直方图统计方法对{vd,sim,q(x,y)}进行统计操作,得到{vd,sim,q(x,y)}的直方图统计特征向量,记为vd,sim,q,hist;采用直方图统计方法对{dd,sim,q(x,y)}进行统计操作,得到{dd,sim,q(x,y)}的直方图统计特征向量,记为dd,sim,q,hist;采用直方图统计方法对
⑦采用n”幅原始的无失真图像,建立其在不同失真类型不同失真程度下的失真图像集合,将该失真图像集合作为训练集,训练集包括多幅失真图像;然后利用主观质量评价方法评价出训练集中的每幅失真图像的主观评分值,将训练集中的第j幅失真图像的主观评分值记为dmosj;再按照步骤①至步骤⑥的操作,以相同的方式获取训练集中的每幅失真图像对应的8个直方图统计特征向量,将训练集中的第j幅失真图像对应的8个直方图统计特征向量依次记为
⑧利用支持向量回归对训练集中的所有失真图像各自的主观评分值及对应的8个直方图统计特征向量进行训练,使得经过训练得到的回归函数值与主观评分值之间的误差最小,拟合得到最优的权值矢量wopt和最优的偏置项bopt;接着利用wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、
所述的步骤②中采用以sobel算子作为梯度算子的梯度滤波器对{id(x,y)}实施梯度滤波。
所述的步骤③中hd(x,y)=md(x,y+1),vd(x,y)=md(x+1,y),dd(x,y)=md(x+1,y+1),
所述的步骤④中
所述的步骤⑤中的像素间特征提取方法中的局部二值化模式操作中的邻域参数p取值为8,且局部半径参数r取值为1;所述的步骤⑤中的像素内特征提取方法中的等步长量化操作的步长δ取值为0.1。
与现有技术相比,本发明的优点在于:
1)本发明方法在充分利用了视觉感知特性的基础上,采用计算梯度自相似度的方法获取视觉感知特征,因此能有效地提高客观评价结果与主观感知之间的相关性。
2)本发明方法在提取特征时,采用了像素间特征提取方法和像素内特征提取方法相结合,使得图像特征更能反映图像失真程度。
3)本发明方法采用机器学习的方法即支持向量回归模拟视觉记忆检索功能,能够获得更加准确的失真图像的客观质量评价预测值。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于梯度自相似度的无参考图像客观质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
①令{id(x,y)}表示待评价的失真图像,其中,1≤x≤w,1≤y≤h,w表示{id(x,y)}的宽度,h表示{id(x,y)}的高度,id(x,y)表示{id(x,y)}中坐标位置为(x,y)的像素点的像素值。
②对{id(x,y)}实施梯度滤波,得到{id(x,y)}的梯度信息的幅值图像,记为{md(x,y)},其中,md(x,y)表示{md(x,y)}中坐标位置为(x,y)的像素点的像素值。
在本实施例中,步骤②中采用以sobel算子作为梯度算子的梯度滤波器对{id(x,y)}实施梯度滤波。
③对{md(x,y)}进行四个方向的滤波处理,得到{md(x,y)}的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像,对应记为{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和
在本实施例中,步骤③中hd(x,y)=md(x,y+1),vd(x,y)=md(x+1,y),dd(x,y)=md(x+1,y+1),
④计算{md(x,y)}与{hd(x,y)}之间的自相似度图像,记为{hd,sim(x,y)};同样,计算{md(x,y)}与{vd(x,y)}之间的自相似度图像,记为{vd,sim(x,y)};计算{md(x,y)}与{dd(x,y)}之间的自相似度图像,记为{dd,sim(x,y)};计算{md(x,y)}与
在本实施例中,步骤④中
⑤采用现有的像素间特征提取方法中的局部二值化模式操作对{hd,sim(x,y)}进行处理,得到{hd,sim(x,y)}的像素间特征图,记为{hd,sim,lbp(x,y)};同样,采用现有的像素间特征提取方法中的局部二值化模式操作对{vd,sim(x,y)}进行处理,得到{vd,sim(x,y)}的像素间特征图,记为{vd,sim,lbp(x,y)};采用现有的像素间特征提取方法中的局部二值化模式操作对{dd,sim(x,y)}进行处理,得到{dd,sim(x,y)}的像素间特征图,记为{dd,sim,lbp(x,y)};采用现有的像素间特征提取方法中的局部二值化模式操作对
并采用现有的像素内特征提取方法中的等步长量化操作对{hd,sim(x,y)}进行处理,得到{hd,sim(x,y)}的像素内特征图,记为{hd,sim,q(x,y)};同样,采用现有的像素内特征提取方法中的等步长量化操作对{vd,sim(x,y)}进行处理,得到{vd,sim(x,y)}的像素内特征图,记为{vd,sim,q(x,y)};采用现有的像素内特征提取方法中的等步长量化操作对{dd,sim(x,y)}进行处理,得到{dd,sim(x,y)}的像素内特征图,记为{dd,sim,q(x,y)};采用现有的像素内特征提取方法中的等步长量化操作对
在本实施例中,步骤⑤中的像素间特征提取方法中的局部二值化模式操作中的邻域参数p取值为8,且局部半径参数r取值为1;步骤⑤中的像素内特征提取方法中的等步长量化操作的步长δ取值为0.1。
⑥采用现有的直方图统计方法对{hd,sim,lbp(x,y)}进行统计操作,得到{hd,sim,lbp(x,y)}的直方图统计特征向量,记为hd,sim,lbp,hist;同样,采用现有的直方图统计方法对{vd,sim,lbp(x,y)}进行统计操作,得到{vd,sim,lbp(x,y)}的直方图统计特征向量,记为vd,sim,lbp,hist;采用现有的直方图统计方法对{dd,sim,lbp(x,y)}进行统计操作,得到{dd,sim,lbp(x,y)}的直方图统计特征向量,记为dd,sim,lbp,hist;采用现有的直方图统计方法对
采用现有的直方图统计方法对{hd,sim,q(x,y)}进行统计操作,得到{hd,sim,q(x,y)}的直方图统计特征向量,记为hd,sim,q,hist;同样,采用现有的直方图统计方法对{vd,sim,q(x,y)}进行统计操作,得到{vd,sim,q(x,y)}的直方图统计特征向量,记为vd,sim,q,hist;采用现有的直方图统计方法对{dd,sim,q(x,y)}进行统计操作,得到{dd,sim,q(x,y)}的直方图统计特征向量,记为dd,sim,q,hist;采用现有的直方图统计方法对
⑦采用n”幅原始的无失真图像,建立其在不同失真类型不同失真程度下的失真图像集合,将该失真图像集合作为训练集,训练集包括多幅失真图像;然后利用现有的主观质量评价方法评价出训练集中的每幅失真图像的主观评分值,将训练集中的第j幅失真图像的主观评分值记为dmosj;再按照步骤①至步骤⑥的操作,以相同的方式获取训练集中的每幅失真图像对应的8个直方图统计特征向量,将训练集中的第j幅失真图像对应的8个直方图统计特征向量依次记为
⑧支持向量回归(supportvectorregression,svr)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明利用支持向量回归对训练集中的所有失真图像各自的主观评分值及对应的8个直方图统计特征向量进行训练,使得经过训练得到的回归函数值与主观评分值之间的误差最小,拟合得到最优的权值矢量wopt和最优的偏置项bopt;接着利用wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、
为了进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用live图像库来分析利用本发明方法得到的失真图像的客观质量评价预测值与主观评分值之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的pearson相关系数(pearsonlinearcorrelationcoefficient,plcc)、spearman相关系数(spearmanrankordercorrelationcoefficient,srocc)、均方误差(rootmeansquarederror,rmse),plcc和rmse反映失真图像的客观评价结果的准确性,srocc反映其单调性。
利用本发明方法计算live图像库中的每幅失真图像的客观质量评价预测值,再利用现有的主观质量评价方法获得live图像库中的每幅失真图像的主观评分值。将按本发明方法计算得到的失真图像的客观质量评价预测值做五参数logistic函数非线性拟合,plcc和srocc值越高,rmse值越低说明客观评价方法的客观评价结果与主观评分值之间的相关性越好。反映本发明方法的质量评价性能的plcc、srocc和rmse相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真图像的客观质量评价预测值与主观评分值之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真图像的客观质量评价预测值与主观评分值之间的相关性