一种基于全局信息的无参考屏幕图像质量评价方法与流程

本发明涉及一种图像质量评价方法，尤其是涉及一种基于全局信息的无参考屏幕图像质量评价方法。

背景技术：

图像是人类获取信息的重要途径，图像质量表示图像向人或设备提供信息的能力，直接关系着所获取信息的充分性与准确性。然而，图像在获取、处理、传输和存储的过程中，由于各种因素影响将不可避免的产生降质问题，这给信息的获取或图像的后期处理带来了极大困难。因此，建立有效的图像质量评价机制非常重要，如在图像去噪、图像融合等处理过程中可用于各种算法的性能比较、参数选择；在图像编码与通信领域可用于指导整个图像的传输过程并评估系统性能。

图像质量评价方法可以分为两类：主观评价方法和客观评价方法，前者是由观察者对图像质量进行评分，得到平均评价分用以衡量图像质量；后者利用数学模型计算图像质量。主观评价方法的实验结果比较可靠，但费时费力。客观评价方法又可分为三类：全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方法，但是多数应用中无法获得相应的原始图像，因此，无参考图像质量评价方法的研究更具实用价值。

无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种，特定失真评价方法只能对某种特定失真类型的图像进行评价，例如jpeg、jpeg2k及gblur失真等，无法对其它失真类型的图像及多种处理技术处理后的图像进行质量评价；通用评价方法可以同时对多种失真类型的图像进行质量评价。

现有的通用无参考图像质量评价方法主要针对一般的图像，而针对特殊图像(例如，屏幕图像)的研究相对较少，由于屏幕图像含有文字、图形和图像等内容，因此对屏幕图像采用通用无参考的评价方法更具有挑战性。

技术实现要素：

本发明所要解决的技术问题是提供一种基于全局信息的无参考屏幕图像质量评价方法，其能够充分考虑到全局信息变化对视觉质量的影响，从而能够提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于全局信息的无参考屏幕图像质量评价方法，其特征在于包括以下步骤：

步骤①：令{id(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤w,1≤j≤h，w表示{id(i,j)}的宽度，h表示{id(i,j)}的高度，id(i,j)表示{id(i,j)}中坐标位置为(i,j)的像素点的像素值；

步骤②：对{id(i,j)}实施gabor滤波，得到{id(i,j)}在s个不同尺度和t个不同方向下的gabor幅值图像和gabor相位图像，将{id(i,j)}在第s个尺度和第t个方向下的gabor幅值图像和gabor相位图像对应记为和其中，s>1，t>1，1≤s≤s，1≤t≤t，表示中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值；

步骤③：采用clbp操作对{id(i,j)}在不同尺度和不同方向下的gabor幅值图像进行处理，得到{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像，将的clbp特征图像记为并采用lpq操作对{id(i,j)}在不同尺度和不同方向下的gabor相位图像进行处理，得到{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像，将的lpq特征图像记为其中，表示中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值，p表示clbp操作和lpq操作中的邻域参数；

步骤④：计算{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像中像素值为m的所有像素点与{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像中像素值为n的所有像素点的联合概率函数值，将中像素值为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为其中，m∈[0,p+1]，n∈[0,p+1]，pc()为联合概率函数；

步骤⑤：根据{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像中像素值为m的所有像素点与{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像中像素值为n的所有像素点的联合概率函数值，获取{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像和{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像各自的条件概率统计特征向量，将和各自的条件概率统计特征向量对应记为和其中，和的维数均为p+2，符号“[]”为向量表示符号，表示中像素值为0的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为1的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为p+1的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为0的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为1的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为p+1的所有像素点的联合概率函数值；

步骤⑥：采用n”幅原始的无失真屏幕图像，建立其在不同失真类型不同失真程度下的失真屏幕图像集合，将该失真屏幕图像集合作为训练集，其包括多幅失真屏幕图像；然后利用主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分，将训练集中的第k幅失真屏幕图像的主观评分记为dmosk；再按照步骤①至步骤⑤的操作，以相同的方式获取训练集中的每幅失真屏幕图像在不同尺度和不同方向下的gabor幅值图像的clbp特征图像及在不同尺度和不同方向下的gabor相位图像的lpq特征图像各自的条件概率统计特征向量，将训练集中的第k幅失真屏幕图像在第s个尺度和第t个方向下的gabor幅值图像的clbp特征图像的条件概率统计特征向量记为将训练集中的第k幅失真屏幕图像在第s个尺度和第t个方向下的gabor相位图像的lpq特征图像的条件概率统计特征向量记为其中，n”>1，1≤k≤k，k表示训练集中包含的失真屏幕图像的总幅数，k≥5，0≤dmosk≤100，和的维数均为p+2；

步骤⑦：利用支持向量回归对训练集中的所有失真屏幕图像各自的主观评分及各自在不同尺度和不同方向下的gabor幅值图像的clbp特征图像的条件概率统计特征向量、各自在不同尺度和不同方向下的gabor相位图像的lpq特征图像的条件概率统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w^opt和最优的偏置项b^opt；然后利用w^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对和进行测试，预测得到{id(i,j)}的客观质量评价预测值，记为q，q＝f(x)，其中，f()为函数表示形式，q是x的函数，x为输入，x用于代表和(w^opt)^t为w^opt的转置矢量，为x的线性函数。

所述的步骤③中，clbp操作和lpq操作中的邻域参数p取值为8。

与现有技术相比，本发明的优点在于：

1)本发明方法采用符合人眼视觉特性的gabor滤波方法对屏幕图像进行处理，得到屏幕图像的多尺度和多方向信息，使得本发明方法能够充分考虑到视觉感知特性。

2)本发明方法采用clbp(completedlocalbinarypttern，clbp)操作对屏幕图像的多尺度多方向的幅值信息进行处理，得到全局clbp特征信息；并采用lpq(localphasequantization，lpq)操作对屏幕图像的相位信息进行处理，得到全局lpq特征信息，得到的全局信息能够很好的反映屏幕图像的全局失真，从而能够提高客观评价结果与主观感知之间的相关性。

3)本发明方法采用符合人脑机理特性的支持向量回归(svr)预测得到待评价的失真屏幕图像的客观质量评价预测值，能有效地提高客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于全局信息的无参考屏幕图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

步骤①：令{id(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤w,1≤j≤h，w表示{id(i,j)}的宽度，h表示{id(i,j)}的高度，id(i,j)表示{id(i,j)}中坐标位置为(i,j)的像素点的像素值。

步骤②：对{id(i,j)}实施gabor滤波，得到{id(i,j)}在s个不同尺度和t个不同方向下的gabor幅值图像和gabor相位图像，将{id(i,j)}在第s个尺度和第t个方向下的gabor幅值图像和gabor相位图像对应记为和其中，s>1，t>1，1≤s≤s，1≤t≤t，表示中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值。

在本实施例中，取s＝3,t＝4，共可得到12幅gabor幅值图像和12幅gabor相位图像；在具体处理时也可取s＝4,t＝6，这样共可得到24幅gabor幅值图像和24幅gabor相位图像。

在本实施例中，对{id(i,j)}实施gabor滤波，获取{id(i,j)}在s个不同尺度和o个不同方向下的gabor幅值图像和gabor相位图像采用现有技术。

步骤③：采用现有的clbp操作对{id(i,j)}在不同尺度和不同方向下的gabor幅值图像进行处理，得到{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像，将的clbp特征图像记为并采用现有的lpq操作对{id(i,j)}在不同尺度和不同方向下的gabor相位图像进行处理，得到{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像，将的lpq特征图像记为其中，表示中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值，p表示clbp操作和lpq操作中的邻域参数。

在本实施例中，步骤③中，clbp操作和lpq操作中的邻域参数p取值为8、半径参数r取值为1。

步骤④：计算{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像中像素值为m的所有像素点与{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像中像素值为n的所有像素点的联合概率函数值，将中像素值为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为其中，m∈[0,p+1]，n∈[0,p+1]，pc()为联合概率函数。

通过上述计算，对于和可对应得到一个维数为(p+2)×(p+2)的联合概率函数值矩阵。

步骤⑤：根据{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像中像素值为m的所有像素点与{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像中像素值为n的所有像素点的联合概率函数值，获取{id(i,j)}在不同尺度和不同方向下的gabor幅值图像的clbp特征图像和{id(i,j)}在不同尺度和不同方向下的gabor相位图像的lpq特征图像各自的条件概率统计特征向量，将和各自的条件概率统计特征向量对应记为和其中，和的维数均为p+2，符号“[]”为向量表示符号，表示中像素值为0的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为1的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为p+1的所有像素点与中像素值为n的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为0的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为1的所有像素点的联合概率函数值，表示中像素值为m的所有像素点与中像素值为p+1的所有像素点的联合概率函数值。

步骤⑥：采用n”幅原始的无失真屏幕图像，建立其在不同失真类型不同失真程度下的失真屏幕图像集合，将该失真屏幕图像集合作为训练集，其包括多幅失真屏幕图像；然后利用现有的主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分，将训练集中的第k幅失真屏幕图像的主观评分记为dmosk；再按照步骤①至步骤⑤的操作，以相同的方式获取训练集中的每幅失真屏幕图像在不同尺度和不同方向下的gabor幅值图像的clbp特征图像及在不同尺度和不同方向下的gabor相位图像的lpq特征图像各自的条件概率统计特征向量，将训练集中的第k幅失真屏幕图像在第s个尺度和第t个方向下的gabor幅值图像的clbp特征图像的条件概率统计特征向量记为将训练集中的第k幅失真屏幕图像在第s个尺度和第t个方向下的gabor相位图像的lpq特征图像的条件概率统计特征向量记为其中，n”>1，如取n”＝10，1≤k≤k，k表示训练集中包含的失真屏幕图像的总幅数，k≥5，如k＝70，0≤dmosk≤100，和的维数均为p+2。

步骤⑦：支持向量回归(supportvectorregression，svr)是基于结构风险最小化准则的新型机器学习方法和统计学理论，其可以有效地抑制过拟合问题，因此本发明利用支持向量回归对训练集中的所有失真屏幕图像各自的主观评分及各自在不同尺度和不同方向下的gabor幅值图像的clbp特征图像的条件概率统计特征向量、各自在不同尺度和不同方向下的gabor相位图像的lpq特征图像的条件概率统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w^opt和最优的偏置项b^opt；然后利用w^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对和进行测试，预测得到{id(i,j)}的客观质量评价预测值，记为q，q＝f(x)，其中，f()为函数表示形式，q是x的函数，x为输入，x用于代表和(w^opt)^t为w^opt的转置矢量，为x的线性函数。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用ntu屏幕图像库来分析利用本发明方法得到的失真屏幕图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估屏幕图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的pearson相关系数(pearsonlinearcorrelationcoefficient，plcc)、spearman相关系数(spearmanrankordercorrelationcoefficient，srocc)、均方误差(rootmeansquarederror，rmse)，plcc和rmse反映失真屏幕图像的客观评价结果的准确性，srocc反映其单调性。

利用本发明方法计算ntu屏幕图像库中的每幅失真屏幕图像的客观质量评价预测值，再利用现有的主观质量评价方法获得ntu屏幕图像库中的每幅失真屏幕图像的主观评分。将按本发明方法计算得到的失真屏幕图像的客观质量评价预测值做五参数logistic函数非线性拟合，plcc和srocc值越高，rmse值越低说明客观评价方法的客观评价结果与主观评分之间的相关性越好。反映本发明方法的质量评价性能的plcc、srocc和rmse相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真屏幕图像的客观质量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真屏幕图像的客观质量评价预测值与主观评分之间的相关性