一种面向EPR投影图像的多层感知质量的无参考评价方法与流程

一种面向epr投影图像的多层感知质量的无参考评价方法
技术领域
1.本发明涉及图像质量评价方法技术领域，具体领域为一种面向epr投影格式的虚拟现实图像质量感知评价方法。


背景技术：

2.随着信息化技术的发展，虚拟现实(vr)技术能够给观众提供真实世界场景的沉浸式体验，它被广泛应用于音乐会、体育赛事直播和vr电影中，进而越来越受到观众和研究者的关注。vr图像不同于普通图像，vr图像分辨率较高，视野较广，因此，其在传输、存储和处理的过程中一般需要将vr图像展开到二维平面，比较常用的是等矩形投影(epr)格式，这种方式的特点是简洁高效，但其对应的二维图像在上下两个边缘部分失真程度较大，影响观看者的体验。因此，不能够使用通用的图像质量评价方法进行质量评价。很有必要面向epr格式下的虚拟现实图像进行质量预测。
3.图像质量客观评价方法分为全参考、半参考和无参考评价方法。全参考评价方法需要所有的参考图像的信息，半参考只需要部分参考图像的信息，而无参考方法可在没有任何参考图像信息的情况下预测图像的质量。但在实际情况下，参考图像通常难以获得。所以，无参考客观图像质量评价方法越来越受到研究者的关注。然而，目前的研究方法并没有全方面的考虑epr投影格式下的vr图像的特性，算法也没有达到很好的性能，导致无法形成一个可靠准确的无参考epr格式下的vr图像质量评价方法。


技术实现要素：

4.本发明的目的在于提供一种面向epr投影图像的多层感知质量的无参考评价方法，解决上述背景技术中提及的技术问题。
5.为实现上述目的，本发明提供如下技术方案：一种面向epr投影图像的多层感知质量的无参考评价方法，方法包括步骤如下：
6.步骤1：提取图像的频域信息；
7.步骤2：提取图像的全局信息；
8.步骤3：提取图像的颜色信息；
9.步骤4：将步骤1、步骤2和步骤3提取的所有特征输入到回归模型中，预测图像的质量感知分数。
10.优选的，一种面向epr投影图像的多层感知质量的无参考评价方法，方法包括步骤如下：
11.步骤1：将epr图像转换到频域空间，提取图像的频域信息；
12.步骤2：对epr图像进行统计特性分析，提取图像的全局信息；
13.步骤3：将epr图像的rgb空间信息进行交互分析，提取图像的颜色信息；
14.步骤4：将提取的所有特征输入到回归模型中，预测图像的质量感知分数。
15.优选的，所述的步骤1中，具体为：对于输入的epr格式下的虚拟现实图像，通过小
波dwt变换将图像转换为频域，计算图像高频信息方差信息，以及高频信息像素对的共现矩阵信息，获取图像的频域特征。
16.优选的，所述的步骤2中，具体为：对虚拟现实图像进行统计特征分析，通过ggd和aggd高斯模型提取图像2个尺度下的统计参数，获取图像多尺度统计特征。
17.优选的，所述的步骤3中，具体为：将图像的rgb三颜色图像进行交互分析，采用跨通道计算局部二值化信息，提取颜色特征。
18.优选的，所述的步骤4中，具体为：将步骤1、步骤2和步骤3提取的全部特征输入到回归模型中，随机选取数据集中的80％图像进行训练，使用剩下的20％图像作为测试，对数据进行回归预测，获取图像的质量感知分数。
19.优选的，通过离散小波变换分解压缩vr图像，获取四个频域分量：一个近似分量和水平、垂直和对角线三个方向上的细节分量；计算三个细节分量图像的方差作为第一类频域特征；计算三个细节分量高频图像上的共现矩阵，选取水平、垂直、主对角线和副对角线四个方向上能量和同质性2个参数，作为第二类频域特征。
20.优选的，选择ggd的α和＝两个参数，以及aggd在四个方向，包括水平、垂直、主对角线和副对角线，四个参数τ,α,β,δ作为全局统计特征，在2个尺度下提取18种参数作为最终的全局特征，平衡图像的多尺度信息对质量感知带来的不同影响。
21.本发明的有益效果是：一种面向epr投影图像的多层感知质量的无参考评价方法，本评价方法提供的多个维度的图像特征，通过提供epr格式下vr图像的高频细节特征，提高评价结果的准确性；本评价方法通过提供的不同颜色多通道之间的相关性信息，可以有效提取vr图像的颜色特征；本评价方法提供的面向epr投影格式的虚拟现实图像质量感知评价方法，模型的性能包括：皮尔逊线性相关系数(plcc)、斯皮尔曼等级相关系数(srocc)和肯德尔等级相关系数(krcc)均优于现有的其他算法。
附图说明
22.图1是本发明方法流程图。
具体实施方式
23.下面将结合本发明实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例
25.步骤1：通过离散小波变换(dwt)分解压缩vr图像，获取四个频域分量:一个近似分量，水平、垂直和对角线三个方向上的细节分量。首先计算三个细节分量图像的方差作为第一类频域特征。
26.然后，计算三个细节分量高频图像上的共现矩阵，选取了水平、垂直、主对角线和副对角线四个方向上能量和同质性2个参数，作为第二类频域特征。能量如公式(1)所示，
[0027][0028]
其中，d和θ分别使共现矩阵的距离和方向参数，pd,θ(i,j)是gd,θ(i,j)的归一化值：
[0029][0030]
同质性如公式(3)所示：
[0031][0032]
步骤2：首先，对vr图像进行归一化处理，公式如下：
[0033][0034]
其中x和y表示像素坐标，σ是标准差，μ是以(x，y)为中心的压缩图像的局部均值。然后，计算图像的mscn统计系数。因为mscn系数符合高斯分布，因此本发明利用ggd和aggd高斯分布数学统计模型在两个尺度下，提取图像的全局统计特征，公式如下：
[0035][0036][0037]
其中，γ()为gamma函数，按如下公式进行：
[0038][0039]
选择ggd的α和β两个参数，以及aggd在四个方向，包括水平、垂直、主对角线和副对角线，四个参数τ，α，β，δ作为全局统计特征。在2个尺度下提取上述18种参数作为最终的全局特征，平衡图像的多尺度信息对质量感知带来的不同影响。
[0040]
步骤3：首先获取vr图像的r-g-b三个颜色空间图像，然后按照r-g-b通道序列利用局部二值模式lbp算子捕获跨通道颜色信息mclbp。公式如所示：
[0041][0042]
[0043]
其中，r为采样半径，p为半径为，r的圆上采样点的个数。f表示三个正交平面(f＝1∶x，2∶y，3∶z)的指标，定义δf()为阈值函数，rn为中心像素的像素值，rc表示以rn为中心的邻域像素值。
[0044]
最后，提取跨通道mclbp信息的前20个直方图特征作为最终的颜色特征，
[0045]
步骤4，将上述所有的感知特征输入到svr回归模型中进行训练及预测。随机选取数据集中的80％图像进行训练，然后使用剩下的20％图像作为测试，最终得到vr图像的客观质量感知分数。
[0046]
为了验证本实施例方法的可行性，本实施例使用国际通用的公开可靠的epr格式虚拟现实图像数据集cviqd2018来评估本发明所提出模型的性能。本实施例使用的评价指标为plcc(the pearson linear correlation coefficient)、srcc(spearman rank-order corre lation coefficient)、krcc(kendall’s rank correlation coefficient)，并且以plcc、srcc、krcc的中位数作为最终评价指标。plcc、srcc、krcc值越高，表示模型性能越好。
[0047]
下表1是本发明算法与其他全参考/无参考质量评价算法在国际通用的cviqd2018epr格式下的虚拟现实图像数据集上的整体性能对比表，性能排名第一的指标标黑显示。
[0048][0049]
从上面所述表1可以看出，相比于其它质量评价算法，本发明提出的模型在plcc、srocc和krcc性能指标中都取得了最好的效果，证明了本发明提出的模型能够很好的反映观众的视觉感知效果，能够有效的实现对epr格式下的vr图像进行准确、可靠的质量评价。
[0050]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。