一种面向编码压缩后的虚拟现实图像无参考客观质量评价方法与流程

1.本发明涉及图像质量评价方法技术领域，具体领域为一种面向编码压缩后的虚拟现实图像无参考客观质量评价方法。


背景技术：

2.虚拟现实(vr)技术可以在某些特定显示系统中为观众带来真实世界场景的沉浸式体验，它被广泛应用于音乐会/体育赛事直播和vr电影中。与普通图像不同，vr图像以360
°
广角形式捕获，具有更广阔的视野和更高的分辨率，其在传输、存储等过程中会使用编码技术进行压缩处理。在处理、编码和压缩过程中不可避免地会引入畸变，可能会影响图像的观看质量。因此，很有必要建立一个能够判断压缩后虚拟现实图像质量的评价方法。
3.目前，基于普通图像质量建立的客观评价方法有很多，分为全参考、半参考和无参考方法。全参考度量方法需要所有的参考图像的信息，半参考只需要部分参考图像的信息，而无参考方法可在没有任何参考图像信息的情况下预测图像的质量。由于现实应用中，参考图像很难获取，因此，无参考评价方法成为质量评价方法的主流研究方向。然而，由于vr图像的独特性，现有的普通图像的评价方法无法针对vr图像进行有效的评价，进而出现了一些针对vr图像质量的客观评价方法。但是，由于很多方法仍然是在普通图像传统手工提取特征方法基础上建立的模型，没有考虑到vr图像的压缩特点及其对感知质量的影响，因此，在预测vr压缩图像的视觉质量方面表现不佳，导致无法形成一个可靠准确的无参考感知全景图像质量的评价方法。基于以上问题，提出一种有效评价压缩后的vr图像质量的无参考客观评价方法。


技术实现要素：

4.本发明的目的在于提供一种面向编码压缩后的虚拟现实图像无参考客观质量评价方法，解决上述背景技术中提及的技术问题。
5.为实现上述目的，本发明提供如下技术方案：一种面向编码压缩后的虚拟现实图像无参考客观质量评价方法，方法包括步骤如下：
6.s1：分析压缩后图像的结构特点，提取图像的局部结构感知特征；
7.s2：利用压缩图像的梯度信息与统计特性，提取图像的梯度统计特征；
8.s3：分析压缩图像的统计特性，得到图像的全局统计特征；
9.s4：将上述提取的特征输入到回归模型中，获取图像的客观质量分数。
10.优选的，s1中，具体为：利用压缩图像的局部泰勒级数展开式计算图像的二阶高斯导数，并计算其局部二值模式lbp值s，按计算公式：
[0011][0012]
其中，是二阶高斯导数的合成矩阵，lbp代表lbp算子，rot代表旋转变均匀性模
式，p和r代表邻域的个数和半径，s是特征映射值。
[0013]
优选的，对lbp值s进行加权，按公式：
[0014][0015]
其中
[0016]
其中n代表像素的数量，k代表lbp的模式，代表lbp的权重，h(k)代表加权直方图特征，γ(x,y)代表加权函数。
[0017]
优选的，s2中，具体为：计算图像的梯度分量、相对梯度方向分量以及相对梯度幅度分量三个梯度信息量，并获取三种分量的均值和方差两个统计特征，作为压缩图像的梯度统计特征。
[0018]
优选的，s3中，具体为：将图像进行归一化处理，计算图像的mscn系数，作为图像的统计特征。
[0019]
优选的，s4中的回归模型采用支持向量机进行回归预测图像的客观质量分数。
[0020]
优选的，压缩后的虚拟现实图像二阶高斯导数计算公式：
[0021][0022]
其中，m和n是沿着水平方向和垂直方向的导数阶数，σ是高斯函数标准差，是高斯导数，(x,y)表示像素坐标，i代表输入图像，是二阶高斯导数的合成矩阵。
[0023]
优选的，计算图像的梯度分量，按如下公式：
[0024][0025]
其中g
x
和gy是水平和垂直方向的梯度；
[0026]
计算图像的相对梯度方向分量，按如下公式：
[0027]
∠g
rgo
(i,j)＝∠g(i,j)-∠gm(i,j)
[0028][0029]
其中g
vm
(i,j)表示以位置(i,j)为中心的窗口中水平方向的梯度值的平均值，g
hm
(i,j)表示以位置(i,j)为中心的窗口中垂直方向的梯度值的平均值，∠g(i,j)表示位置(i,j)的梯度值，∠gm(i,j)表示特定方向的梯度值；
[0030]
计算图像的相对梯度幅度分量，按如下公式：
[0031][0032]
其中i
x
(i,j)和iy(i,j)是水平方向和垂直方向的方向导数近似值。
[0033]
优选的，计算图像的梯度分量、相对梯度方向分量以及相对梯度幅度分量三个梯度信息量的均值和方差两个统计特征，按如下公式：
[0034]
[0035][0036]
其中h(x)代表直方图，是直方图的样本平均值,var[h]是直方图的方差；选取两个尺度下的统计特征，共计12维度向量作为压缩图像的梯度统计特征。
[0037]
本发明的有益效果是：
[0038]
(1)本方法提供的利用局部泰勒级数和lbp算子融合来描述压缩图像中的结构特征，使得本方法在捕捉结构畸变时具有更高的精度和更好的整体表达性能；测量人们更敏感的局部对比变化作为加权因子，对lbp值s进行加权，增强lbp算子对局部变化的区分能力以获取准确结构信息。
[0039]
(2)鉴于人类视觉感知特征与梯度信息高度一致，利用三个梯度层面畸变的敏感性，提取基于梯度的统计特征，使本方法能够更全面、准确地捕获全景图像中畸变的梯度信息。
[0040]
(3)本方法提供的全局统计特征，全面的反映了影响图像感知质量的图像特征，同时能够高效补充局部特征，提高整体性能。
[0041]
(4)本方法提供的面向编码压缩后的虚拟现实图像质量评价方法的性能优于现有的其它技术。
附图说明
[0042]
图1为本发明方法整体流程图。
具体实施方式
[0043]
下面将结合本发明实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
实施例
[0045]
下面结合附图1对实施例做进一步阐述。本实施例按以下步骤具体实现：
[0046]
步骤1：对压缩后的虚拟现实图像计算局部泰勒级数，公式如下所示：
[0047][0048]
其中，m和n是沿着水平方向和垂直方向的导数阶数，σ是高斯函数标准差，是高斯导数，(x,y)表示像素坐标，i代表输入图像，是二阶高斯导数的合成矩阵；
[0049]
然后，计算局部泰勒级数的加权lbp值。如下式所示：
[0050][0051]
其中，是二阶高斯导数的合成矩阵，lbp代表lbp算子，rot代表旋转变均匀性模式，s是特征映射值，p和r代表邻域的个数和半径，这里分别设定为8和1，因此可得到5幅lbp特征图；
[0052]
为了增强lbp算子对局部变化的区分能力以获取准确结构信息，测量人们更敏感的局部对比变化作为加权因子，对s进行加权，如下式所示：
[0053][0054]
其中
[0055]
其中n代表像素的数量，k代表lbp的模式，代表lbp的权重，h(k)代表加权直方图特征，γ(x,y)代表加权函数。本发明在上述5个特征图上，三个尺度下提取10个lbp值，共获得150维度的局部结构特征。
[0056]
步骤2：首先计算图像的梯度分量，如下式所示：
[0057][0058]
其中g
x
和gy是水平和垂直方向的梯度；
[0059]
其次，计算图像的相对梯度方向分量，如下式所示：
[0060]
∠g
rgo
(i,j)＝∠g(i,j)-∠gm(i,j)(6)
[0061][0062]
其中g
vm
(i,j)表示以位置(i,j)为中心的窗口中水平方向的梯度值的平均值，g
hm
(i,j)表示以位置(i,j)为中心的窗口中垂直方向的梯度值的平均值，∠g(i,j)表示位置(i,j)的梯度值，∠gm(i,j)表示特定方向的梯度值；
[0063]
再次，计算图像的相对梯度幅度分量如下式所示：
[0064][0065]
其中i
x
(i,j)和iy(i,j)是水平方向和垂直方向的方向导数近似值；
[0066]
最后，计算上述三种分量的均值和方差两个统计特征，如下式所示：
[0067][0068][0069]
其中h(x)代表直方图，是直方图的样本平均值,var[h]是直方图的方差；选取两个尺度下的统计特征，共计12维度向量作为压缩图像的梯度统计特征。
[0070]
步骤3：首先，对压缩图像进行归一化处理，公式如下：
[0071][0072]
其中x和y表示像素坐标，σ是标准差，μ是以(x，y)为中心的压缩图像的局部均值。然后，计算图像的mscn统计系数。因为mscn系数符合高斯分布，因此本发明利用ggd和aggd高斯分布数学统计模型在两个尺度下，提取图像的全局统计特征，公式如下：
[0073][0074][0075]
其中，γ()为gamma函数，按如下公式进行：
[0076][0077]
选择ggd的α和β两个参数，以及aggd在四个方向，包括水平、垂直、主对角线和副对角线，四个参数τ,α,β,δ作为全局统计特征。考虑到图像的多尺度信息对质量感知的影响不同，本发明在2个尺度下提取上述18种参数作为最终的全局特征。
[0078]
步骤4，将上述所有的感知特征输入到支持向量机svr回归模型中进行训练及预测，最终得到压缩图像的质量分数。
[0079]
为了验证本实施例方法的可行性，使用公开可靠的压缩的虚拟现实图像数据集oiqa来评估本发明所提出的模型。其中，oiqa数据集提供了320张压缩的虚拟现实图像，所有图像是通过4种压缩类型(jpeg,jpeg2000,gaussian noise和gaussianblur)对16张原始图像进行压缩处理后获取的。
[0080]
使用的评价指标为plcc(the pearson linear correlation coefficient)、srcc(spearman rank-order corre lation coefficient)、krcc(kendall's rank correlation coefficient)，并且以plcc、srcc、krcc的中位数作为最终评价指标。plcc、srcc、krcc值越高，表示模型性能越好。
[0081]
在本实验中，我们将数据集分为两个不重叠的部分:80％作为训练集，20％作为测试集。然后利用提取的特征和相应的主观评分训练回归模型。为了避免计算过程中的偶然性，测试和训练过程迭代了1000次。
[0082]
下表1是本发明算法与其他全参考/无参考质量评价算法在国际通用的oiqa压缩的虚拟现实图像数据集上的整体性能对比表，性能排名第一的指标标黑显示。
[0083]
表1质量评价算法在oiqa数据集上的整体性能比较
[0084][0085][0086]
从上面所述表1可以看出，相比于其它质量评价算法，本发明提出的模型能够更好地感知人类对图像的主观评价，因此，图像质量评价更加准确、可靠。
[0087]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。