基于稀疏表示的屏幕图像质量评价方法与流程

本发明属数字图像处理领域，涉及基于稀疏表示的屏幕图像质量评价方法。

背景技术：

随着互联网和各种电子设备的飞速发展，日常生活中人们不仅接触到自然图像，还有各种各样的屏幕图像。自然图像往往是由数码相机拍摄的，然而屏幕图像是由计算机或移动设备截屏获得的。屏幕图像的传送、接收和编码过程中，会不可避免地受到各种图像失真类型的干扰，从而影响人类对屏幕图像的视觉感知。例如，远程会议和在线云视频如果受到传输失真、网络延迟等不利因素的影响，都需要对在线实时屏幕图像质量进行评估，以便服务提供商动态调整源位置策略，以满足服务质量的需求。

由于在线屏幕图像质量的评价技术在近些年刚刚兴起，目前针对失真屏幕图像数据库的客观评价体系比较少。与主要包含自然场景并由摄像机拍摄得到的自然图像不同，屏幕图像可以是自然图像与计算机生成内容(如图形、文本、图表、符号等)的混合。因此，屏幕图像的特征与自然图像有很大区别。例如，一个广告海报图像可以包含一个或多个图像，与文本描述一起插入，等等。这类图像往往具有尖锐的边缘，在图像的某些区域具有高对比度和更少的颜色种类。许多评估自然图像质量的算法并不能适用于屏幕图像的质量评估。因此，本发明有必要提出一种有效的屏幕图像质量评价方法。

技术实现要素：

本发明的目的在于建立一种针对屏幕图像的质量评价方法,本发明提出的屏幕图像质量评价方法，基于人类视觉系统对屏幕图像的纹理信息敏感理论和屏幕图像的本身特性，提取失真屏幕图像的二阶导特征代表纹理信息与其原始屏幕图像的主观质量分数进行字典学习和稀疏表示，进而做出更加全面和准确的客观评价。技术方案如下：

一种基于稀疏表示的屏幕图像质量评价方法,包括以下步骤：

第一步：计算失真屏幕图像的三种梯度图，包括绝对梯度图，相对梯度方向图和相对梯度图

(1)将失真屏幕图像灰度化，使用高斯偏导差分算子分别沿着其灰度图像的水平方向和垂直方向进行高斯卷积滤波，得到水平方向梯度图和垂直方向梯度图，将其取绝对值后相加得到绝对梯度图。

(2)分别计算水平方向梯度图和垂直方向梯度图的平均梯度值，公式如下：

其中，i(x,y)代表梯度图的像素点位置，(p,q)是相对坐标偏移量，ω是相对坐标偏移量的集合，它是计算偏导数值的局部区域，采用p＝q＝3局部小方块分别计算出水平方向梯度图和垂直方向梯度图的平均梯度图；

(3)利用水平方向和垂直方向的平均梯度图在某一像素点的比值的反正切函数可以求出该像素点的相对梯度方向，计算出整个相对梯度方向图。

(4)按像素点对应的规则将水平方向梯度图和垂直方向梯度图减去其对应方向的平均梯度图，取绝对值相加即可得到相对梯度图。

第二步：提取屏幕图像的纹理特征：从第二步得到的绝对梯度图，相对梯度方向图和相对梯度图中提取梯度方向直方图特征：对梯度图进行伽马校正，然后将图像分成若干个8×8的单元格cell，每2×2个cell构成1个block；计算每个cell的梯度方向，接着将梯度方向分为9个部分，每个部分为40度，然后把每个部分中的梯度的模值相加，得到该部分的分量，从而得到一个cell的特征，即一个9维的向量。最后将block中的cell的所有特征串联起来，构成该block的特征，即一个36维的向量；一幅失真屏幕图像经过系数为2的下采样后具有216维特征向量。

第三步：学习字典的构建：对屏幕图像训练集来说，提取其中每一幅屏幕图像的特征向量，将其对应于每一幅训练屏幕图像的主观质量分数值构成一个矩阵，最终构建的训练集字典h为：

其中，g代表m×n特征向量矩阵，m代表特征向量维数，n代表屏幕图像的数量，dmos为全部失真屏幕图像对应的1×n维的主观质量分数集合，f代表训练集中屏幕图像提取出的特征向量，dmos代表某幅失真屏幕图像对应的主观质量分数；

第四步：测试屏幕图像特征向量的稀疏表示。在屏幕图像测试集中，求出某一幅测试屏幕图像对应的特征向量后，再由上一步训练得到的字典h求出该幅测试屏幕图像的特征向量所对应的稀疏表示系数，公式如下：

其中αi代表第i幅训练屏幕图像特征向量的表示系数，hi代表字典h中的第i列，α表示测试屏幕图像特征向量的稀疏表示系数；

上述稀疏表示系数转化为更为方便求解的无约束线性优化问题，公式如下：

其中，rⁿ代表r维实数空间，λ为一个正常数。

第五步：质量分数池化阶段：测试屏幕图像的质量分数可以根据它对应的主观质量分数和稀疏系数α^*求得，分数融合策略如下所示：

其中，q代表预测质量分数，范围为0到100，dmosi代表第i幅屏幕图像对应的主观质量分数。

本发明所提出的屏幕图像质量评价方法利用图像二阶偏导信息和稀疏表示准确地预测了屏幕图像失真后的质量分数。本发明采取的屏幕图像预处理方法简单，具有较强的实用性，所提出的测试模型耗时小，易于操作。本方法得到的屏幕图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映屏幕图像的质量。

附图说明

图1所提方法流程图

具体实施方式

本发明的基于稀疏表示的屏幕图像质量评价方法，设失真图像为f，包括以下步骤：

第一步：计算失真屏幕图像的绝对梯度图。首先将失真屏幕图像灰度化，然后求出在像素点位置(x，y)的绝对梯度值f(x，y)：

f(x，y)＝|fh(x，y)|+|fv(x，y)|

其中

公式中i(x，y)代表失真屏幕图像的亮度层，代表线性卷积核，|fh(x，y)|和|fv(x，y)|分别代表沿着水平方向和垂直方向的绝对梯度值，高斯偏导滤波器tγ，γ∈(h，v)的计算公式为：

其中σ代表高斯函数g(x，y|σ)的参数。

第二步：计算失真屏幕图像的相对梯度方向图和相对梯度图。在像素点位置(x，y)的相对梯度方向值分别为frd(x，y)和frm(x，y)：

其中

公式中ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域。本发明采取3×3的局部区域。

第三步：提取屏幕图像的纹理特征。由于屏幕图像的二阶偏导数表征了它的纹理结构信息。所以本发明从第二步得到的绝对梯度图，相对梯度方向图和相对梯度图中提取梯度方向直方图特征。首先对梯度图进行伽马校正，然后将图像分成若干个8×8的单元格cell，每2×2个cell构成1个block；计算每个cell的梯度方向，接着将梯度方向分为9个部分，每个部分为40度。然后把每个部分中的梯度的模值相加，就得到了该部分的分量。这样就得到了一个cell的特征，即一个9维的向量。最后将block中的cell的所有特征串联起来，构成该block的特征，即一个36维的向量；一幅失真屏幕图像经过系数为2的下采样后具有216维特征向量。

第四步：学习字典的构建。对屏幕图像训练集来说，提取其中每一幅屏幕图像的特征向量，将其对应于每一幅训练屏幕图像的主观质量分数值构成一个矩阵，最终构建的训练集字典h为：

其中，g代表m×n特征向量矩阵(m代表特征向量维数，n代表屏幕图像的数量)，dmos为全部失真屏幕图像对应的1×n维的主观质量分数集合。f代表训练集中屏幕图像提取出的特征向量，dmos代表某幅失真屏幕图像对应的主观质量分数。

第五步：测试屏幕图像特征向量的稀疏表示。在屏幕图像测试集中，求出某一幅测试屏幕图像对应的特征向量后，再由上一步训练得到的字典h求出该幅测试屏幕图像的特征向量所对应的稀疏表示系数。公式如下：

其中αi代表第i幅训练屏幕图像特征向量的表示系数，hi代表字典h中的第i列，α表示测试屏幕图像特征向量的稀疏表示系数。

上述表达式可以转化为更为方便求解的无约束线性优化问题，公式如下：

其中，rⁿ代表r维实数空间，λ为一个正常数。

第六步：质量分数池化阶段。测试屏幕图像的质量分数可以根据它对应的主观质量分数和稀疏系数α^*求得。分数融合策略如下所示：

其中，q代表预测质量分数，范围为0到100，dmosi代表第i幅屏幕图像对应的主观质量分数。