一种对于非对称失真三维视频的质量评价方法与流程

本发明设计了一种非对称失真三维视频质量评价方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术：

三维视频在电影、游戏、广告等许多行业中已经很普遍。然而，与传统二维视频序列相比，由于增加了深度维度，三维视频的感知质量评估仍然具有挑战性。此外，由于立体视觉感知尚不清晰，用户体验质量的量化也存在一定的困难。一般来说，主观质量评估是最有效和最可靠的，它反应了人眼对图像质量好坏的直观判断，但是，这种方法耗费人力严重且需要投入大量专注力，因此主观质量评估不能难以应用于实际的应用程序中。所以，能有效评估三维视频视觉质量的客观方法显得十分重要，是值得研究的。另一方面，由于左视图和右视图视频的质量的不对称失真，使得对三维视频序列感知质量的客观方法评估变得复杂困难。

三维视频在不稳定的网络环境下传输。在三维视频编码和传输过程中，可能会产生非对称失真的情况，即左右视图的失真类型或级别存在显著的差异，从而导致了不同的三维视频质量感受。相关主观实验表明，若直接平均左右两个二维视频质量分数来预测三维视频质量，将会导致强烈的预测偏差，即与人主观感受到的质量体验情况不一致。除此之外，主观实验研究还发现，通过后期处理提高低质量视频的模糊度可以提高3d视频的感知质量。因此，三维视频质量评估是有意义的且富有挑战性的，尤其是在失真不对称的情况下。

提出能够对非对称三维视频进行自动评价的算法的目的在于：

(1)可以将非对称三维视频质量评价算法内嵌到三维视频的任何处理环节，来对此环节的质量进行监督并及时进行反馈，有利于后续的优化处理。

(2)通过高效的非对称三维视频质量评价方法，可以对三维视频非对称编码方案或压缩方案进行指导，有利于提高算法性能，增强三维视频质量与人眼主观评判好坏的相关性。同时有利于减小三维视频传输数据量，提高三维视频的传输速率。

(3)研究非对称三维视频质量评价方法，有助于进一步理解人类感知视觉系统，如双目竞争机制等，有助于视觉科学的发展。

因此，有效且预测准确的非对称失真三维视频质量评价算法对于三维视频的发展会有很大的促进作用。

技术实现要素：

一种对于非对称失真三维视频的质量评价方法，其特征提取包括以下几个步骤：

a.采用现有的二维图像质量评价方法评估单视图视频每一帧图像的空间失真量，并且利用光流法评估运动失真量；

b.提取单视图视频每一帧的空间信息量和时间信息量；

c.结合空间和时间信息评估单视图视频质量损失。利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合；

d.结合单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，来评估三维视频的质量损失，最后将损失转化为质量分数。

进一步地，对单视图视频每一帧图像评估空间失真量、运动失真量。

进一步地，所述视觉特征包含空间失真量，其具体步骤是：

a.采用几种常用的二维图像质量评价方法评估空间失真，包括峰值信噪比(psnr)、结构相似性(ssim)、多尺度结构相似性(ms-ssim)、信息加权结构相似性(iw-ssim)和特征相似性(fsim)；

b.将质量分数转化为失真分数。特别地，记(ii，r，l，ii，r，r)为参考三维视频的第i帧的左视频和右视频，(ii，c，l，ii，c，r)为失真三维视频的第i帧的左视频和右视频，左/右视频第i帧的空间失真量为对于psnr，对于其他评价方法，空间失真量为1-ms-ssim，1-iw-ssim，1-fsim；

进一步地，所述视觉特征包含运动失真量，其具体步骤是：

a.利用光流法(opticalflow)提取运动向量，记为mvi，c，l(r)为左/右视图第i帧的运动向量图，记左/右视频第i帧的运动失真量为其计算公式如下：

其中，w和h分别表示视频的分辨率的宽和高。

进一步地，其特征包括空间信息量和时间信息量，其具体步骤是：

a.对于空间信息量。首先用scharr算子对每一个失真单视图视频帧的亮度图进行滤波，特别地，梯度大小计算公式如下所示：

其中，g代表梯度大小，gx、gy分别代表水平方向和垂直方向的scharr卷积。然后计算出上述操作后每一个scharr滤波后的帧的梯度图的均值作为单个帧的空间感知信息，单个帧的空间信息计算公式如下：

其中，gi，c，l和gi，c，r分别表示左右两个失真视频的第i帧的梯度图，sii，c，l(r)表示失真的左右视频第i帧的空间信息量；

b.对于时间信息量。首先，提取失真视频连续帧中亮度图的像素值的差异，作为运动差异特征图，记为mi，c，l(r)，其计算公式如下：

mi，c，l＝ii，c，l(x，y)-ii-1，c，l(x，y)and

mi，c，r＝ii，c，r(x，y)-ii-1，c，r(x，y)(4)

其中ii，c，l(x，y)，ii，c，r(x，y)分别表示左右失真视频的第i帧的第x行，第y列的像素。然后计算运动差异特征图的均值作为为单个帧的时间信息，记为tii，c，l(r)，单个帧的时间信息量计算公式如下：

其中，tii，c，l和tii，c，r分别表示表示左右两个失真视图的时间感知信息，mi，c，l和mi，c，r分别表示左右两个失真视图的运动差异特征图。

进一步地，利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合，其具体步骤是：

a.利用空间信息量对空间失真量加权。记失真的左右视频感知空间失真量为其计算公式如下：

b.利用时间信息量对时间失真量加权。记失真的左右视频感知时间失真量为其计算公式如下：

c.融合单视图视频的感知空间失真量和感知时间失真量，作为单视图视频的质量损失，记为其计算公式如下：

其中，分别表示左/右视频的平均空间信息量和平均时间信息量。

进一步地，利用单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，其具体步骤是：

a.利用左/右视图视频的空间信息量得到权重，记为其计算公式如下：

b.利用左/右视图视频的时间信息量得到权重，记为其计算公式如下：

c.平均空间信息量得到权重和时间信息量得到权重，得到最终的权重，记为wl(r)，其计算公式如下：

d.计算三维视频的质量损失，记为l^3d，其计算公式为：

e.最后，将质量损失转换为质量分数，记为q^3d，其计算公式为：

为了改善使用直接平均法在预测非对称失真三维视频时产生的预测偏差，我们就非对称失真三维视频质量评价模型提出了一种新的方法。所用的视觉特征包含空间失真量、运动失真量、空间信息量、时间信息量。

本发明各个部分的具体操作如下：

·空间失真量、运动失真量提取：

对于给定的非对称失真三维视频，分别对左右视图计算空间失真量和运动失真量。记(ii，r，l，ii，r，r)为参考三维视频的第i帧的左视频和右视频，(ii，c，l，ii，c，r)为失真三维视频的第i帧的左视频和右视频。

对于左/右视频的第i帧的空间失真量，采用现有的二维图像质量评价方法计算，包括峰值信噪比(psnr)、结构相似性(ssim)、多尺度结构相似性(ms-ssim)、信息加权结构相似性(iw-ssim)和特征相似性(fsim)。设空间失真量为对于psnr，其他相应指标的空间失真量为1-ms-ssim，1-iw-ssim，1-fsim。

对于左/右视频的第i帧的运动失真量，首先利用光流法(opticalflow)提取运动向量，设mvi，c，l(r)为左/右视图第i帧的运动向量图，左/右视频的第i帧的运动失真量为其计算公式如下：

其中，w和h分别表示视频的分辨率的宽和高。

·空间信息量、时间信息量提取：

对于空间信息量。首先用scharr算子对每一个失真单视图视频帧的亮度图进行滤波，特别地，梯度大小计算公式如下所示：

其中，g代表梯度大小，gx、gy分别代表水平方向和垂直方向的scharr卷积。然后计算出上述操作后每一个scharr滤波后的帧的梯度图的均值作为单个帧的空间感知信息，单个帧的空间信息计算公式如下：

其中，gi，c，l和gi，c，r分别表示左右两个失真视频的第i帧的梯度图，sii，c，l(r)表示失真的左右视频的第i帧的空间信息量。

对于时间信息量。首先，提取失真视频连续帧中亮度图的像素值的差异，作为运动差异特征图，记为mi，c，l(r)，其计算公式如下：

mi，c，r＝ii，c，r(x，y)-ii-1，c，r(x，y)and

ami，c，r＝ii，c，r(x，y)-ii-1，c，r(x，y)(17)

其中ii，c，l(x，y)，ii，c，r(x，y)分别表示左右失真视频的第i帧的第x行，第y列的像素。然后计算运动差异特征图的均值作为为单个帧的时间信息，记为tii，c，l(r)，单个帧的时间信息量计算公式如下：

其中，tii，c，l和tii，c，l分别表示表示左右两个失真视图的时间感知信息，mi，c，l和mi，c，l分别表示左右两个失真视图的运动差异特征图。

·单视图视频质量损失的计算

我们发现在单视图视频的帧序列中，那些包含信息量越大的帧，更容易吸引人的视觉注意力，其质量情况对整体质量的影响也更大，因此应该给与更高的权重。基于此，本发明提出了一种新的计算单视图视频质量损失的方法。该方法利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合。

对于单视图视频的每一帧，用空间信息量对空间失真量进行加权。特别地，记失真的左右视频感知空间失真量为其计算公式如下：

对于单视图视频的每一帧，利用时间信息量对时间失真量加权。记失真的左右视频感知时间失真量为其计算公式如下：

最后，融合单视图视频的感知空间失真量和感知时间失真量，作为单视图视频的质量损失，记为其计算公式如下：

其中，分别表示左/右视频的平均空间信息量和平均时间信息量。它们的计算公式如下：

其中，n表示视频的总帧数。

·基于信息加权的双目竞争模型

我们提出在非对称失真三维视频中，包含信息量更大的视图在双目竞争中占优势地位，其质量情况对整体质量的影响也更大，因此应该给与更高的权重。基于此，本发明提出了一种基于信息加权的双目竞争模型。其基本思想是分别根据单视图的空间信息量和时间信息量对双目竞争权重进行估计，得到两个对应的双目竞争权重后，再均衡这个两个权重作为该单视图视频在双目竞争下的权重大小。

首先，利用左/右视图视频的空间信息量得到权重，记为其计算公式如下：

然后，利用左/右视图视频的时间信息量得到权重，记为其计算公式如下：

最后，平均空间信息量得到权重和时间信息量得到权重，得到最终的权重，记为wl(r)，其计算公式如下：

·三维视频质量的计算

在此步骤中，我们根据双目竞争模型得到的权重来计算非对称失真三维视频质量。设三维视频的质量损失为l^3d，其计算公式为：

最后，将质量损失转换为质量分数，设三维视频的质量分数为q^3d，其计算公式为：

附图说明

图1为本发明的算法流程框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。

本发明的过程如图1所示，具体过程如下：

步骤1：采用现有的二维图像质量评价方法评估单视图视频每一帧图像的空间失真量，并且利用光流法评估运动失真量(二维图像质量评价方法为本领域现有技术，此处不再赘述)。

步骤2：提取单视图视频每一帧的空间信息量和时间信息量。

步骤3：利用单视图视频每一帧的空间信息量和时间信息量分别对视频每一帧的空间失真、运动失真进行加权及融合，来评估单视图视频质量损失。

步骤4：利用单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，来评估三维视频的质量损失，最后将损失转化为质量分数。

一种对于非对称失真三维视频的质量评价方法，其特征提取包括以下几个步骤：

a.采用现有的二维图像质量评价方法评估单视图视频每一帧图像的空间失真量，并且利用光流法评估运动失真量。

b.提取单视图视频每一帧的空间信息量和时间信息量。

c.结合空间和时间信息评估单视图视频质量损失。利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合。

d.结合单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，来评估三维视频的质量损失，最后将损失转化为质量分数。

进一步地，对单视图视频每一帧图像评估空间失真量、运动失真量。

进一步地，所述视觉特征包含空间失真量，其具体步骤是：

a.采用几种常用的二维图像质量评价方法(为现有技术，此处不再赘述)评估空间失真，包括峰值信噪比(psnr)、结构相似性(ssim)、多尺度结构相似性(ms-ssim)、信息加权结构相似性(iw-ssim)和特征相似性(fsim)。

b.将质量分数转化为失真分数。特别地，记(ii，r，l，ii，r，r)为参考三维视频的第i帧的左视频和右视频，(ii，c，l，ii，c，r)为失真三维视频的第i帧的左视频和右视频，左/右视频第i帧的空间失真量为对于psnr，对于其他评价方法，空间失真量为1-ms-ssim，1-iw-ssim，1-fsim。

进一步地，所述视觉特征包含运动失真量，其具体步骤是：

a.利用光流法(opticalflow)提取运动向量，记为mvi，c，l(r)为左/右视图第i帧的运动向量图，记左/右视频第i帧的运动失真量为其计算公式如下：

其中，w和h分别表示视频的分辨率的宽和高。

进一步地，其特征包括空间信息量和时间信息量，其具体步骤是：

a.对于空间信息量。首先用scharr算子对每一个失真单视图视频帧的亮度图进行滤波，特别地，梯度大小计算公式如下所示：

其中，g代表梯度大小，gx、gy分别代表水平方向和垂直方向的scharr卷积。然后计算出上述操作后每一个scharr滤波后的帧的梯度图的均值作为单个帧的空间感知信息，单个帧的空间信息计算公式如下：

其中，gi，c，l和gi，c，r分别表示左右两个失真视频的第i帧的梯度图，sii，c，l(r)表示失真的左右视频第i帧的空间信息量。

b.对于时间信息量。首先，提取失真视频连续帧中亮度图的像素值的差异，作为运动差异特征图，记为mi，c，l(r)，其计算公式如下：

mi，c，l＝ii，c，l(x，y)-ii-1，c,l(x，y)and

mi，c，r＝ii，c，r(x，y)-ii-1，c，r(x，y)(4)

其中ii，c，l(x，y)，ii，c，r(x，y)分别表示左右失真视频的第i帧的第x行，第y列的像素。然后计算运动差异特征图的均值作为为单个帧的时间信息，记为tii，c，l(r)，单个帧的时间信息量计算公式如下：

其中，tii，c，l和tii，c，r分别表示表示左右两个失真视图的时间感知信息，mi，c，l和mi，c，r分别表示左右两个失真视图的运动差异特征图。

进一步地，利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合，其具体步骤是：

a.利用空间信息量对空间失真量加权。记失真的左右视频感知空间失真量为其计算公式如下：

b.利用时间信息量对时间失真量加权。记失真的左右视频感知时间失真量为其计算公式如下：

c.融合单视图视频的感知空间失真量和感知时间失真量，作为单视图视频的质量损失，记为其计算公式如下：

其中，分别表示左/右视频的平均空间信息量和平均时间信息量。

进一步地，利用单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，其具体步骤是：

a.利用左/右视图视频的空间信息量得到权重，记为其计算公式如下：

b.利用左/右视图视频的时间信息量得到权重，记为其计算公式如下：

c.平均空间信息量得到权重和时间信息量得到权重，得到最终的权重，记为wl(r)，其计算公式如下：

d.计算三维视频的质量损失，记为l^3d，其计算公式为：

e.最后，将质量损失转换为质量分数，记为q^3d，其计算公式为：

为了改善使用直接平均法在预测非对称失真三维视频时产生的预测偏差，我们就非对称失真三维视频质量评价模型提出了一种新的方法。所用的视觉特征包含空间失真量、运动失真量、空间信息量、时间信息量。

本发明各个部分的具体操作如下：

·空间失真量、运动失真量提取：

对于给定的非对称失真三维视频，分别对左右视图计算空间失真量和运动失真量。记(ii，r，l，ii，r，r)为参考三维视频的第i帧的左视频和右视频，(ii，c，l，ii，c，r)为失真三维视频的第i帧的左视频和右视频。

对于左/右视频的第i帧的空间失真量，采用现有的二维图像质量评价方法计算，包括峰值信噪比(psnr)、结构相似性(ssim)、多尺度结构相似性(ms-ssim)、信息加权结构相似性(iw-ssim)和特征相似性(fsim)。设空间失真量为对于psnr，其他相应指标的空间失真量为1-ms-ssim，1-iw-ssim，1-fsim。

对于左/右视频的第i帧的运动失真量，首先利用光流法(opticalflow)提取运动向量，设mvi，c，l(r)为左/右视图第i帧的运动向量图，左/右视频的第i帧的运动失真量为其计算公式如下：

其中，w和h分别表示视频的分辨率的宽和高。

·空间信息量、时间信息量提取：

对于空间信息量。首先用scharr算子对每一个失真单视图视频帧的亮度图进行滤波，特别地，梯度大小计算公式如下所示：

其中，g代表梯度大小，gx、gy分别代表水平方向和垂直方向的scharr卷积。然后计算出上述操作后每一个scharr滤波后的帧的梯度图的均值作为单个帧的空间感知信息，单个帧的空间信息计算公式如下：

其中，gi，c，l和gi，c，r分别表示左右两个失真视频的第i帧的梯度图，sii，c，l(r)表示失真的左右视频的第i帧的空间信息量。

对于时间信息量。首先，提取失真视频连续帧中亮度图的像素值的差异，作为运动差异特征图，记为mi，c，l(r)，其计算公式如下：

mi，c，r＝ii，c，r(x，y)-ii-1，c，r(x，y)and

mi，c，r＝ii，c，r(x，y)-ii-1，c，r(x，y)(17)

其中ii，c，l(x，y)，ii，c，r(x，y)分别表示左右失真视频的第i帧的第x行，第y列的像素。然后计算运动差异特征图的均值作为为单个帧的时间信息，记为tii，c，l(r)，单个帧的时间信息量计算公式如下：

其中，tii，c，l和tii，c，r分别表示表示左右两个失真视图的时间感知信息，mi，c，l和mi，c，r分别表示左右两个失真视图的运动差异特征图。

·单视图视频质量损失的计算

我们发现在单视图视频的帧序列中，那些包含信息量越大的帧，更容易吸引人的视觉注意力，其质量情况对整体质量的影响也更大，因此应该给与更高的权重。基于此，本发明提出了一种新的计算单视图视频质量损失的方法。该方法利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合。

对于单视图视频的每一帧，用空间信息量对空间失真量进行加权。特别地，记失真的左右视频感知空间失真量为其计算公式如下：

对于单视图视频的每一帧，利用时间信息量对时间失真量加权。记失真的左右视频感知时间失真量为其计算公式如下：

最后，融合单视图视频的感知空间失真量和感知时间失真量，作为单视图视频的质量损失，记为其计算公式如下：

其中，分别表示左/右视频的平均空间信息量和平均时间信息量。它们的计算公式如下：

其中，n表示视频的总帧数。

·基于信息加权的双目竞争模型

我们提出在非对称失真三维视频中，包含信息量更大的视图在双目竞争中占优势地位，其质量情况对整体质量的影响也更大，因此应该给与更高的权重。基于此，本发明提出了一种基于信息加权的双目竞争模型。其基本思想是分别根据单视图的空间信息量和时间信息量对双目竞争权重进行估计，得到两个对应的双目竞争权重后，再均衡这个两个权重作为该单视图视频在双目竞争下的权重大小。

首先，利用左/右视图视频的空间信息量得到权重，记为其计算公式如下：

然后，利用左/右视图视频的时间信息量得到权重，记为其计算公式如下：

最后，平均空间信息量得到权重和时间信息量得到权重，得到最终的权重，记为wl(r)，其计算公式如下：

·三维视频质量的计算

在此步骤中，我们根据双目竞争模型得到的权重来计算非对称失真三维视频质量。设三维视频的质量损失为l^3d，其计算公式为：

最后，将质量损失转换为质量分数，设三维视频的质量分数为q^2d，其计算公式为：

通过使用三种常用的标准来评估算法预测三维视频质量的准确性。第一个标准是皮尔逊线性相关系数(pearsonlinearcorrelationcoefficient，plcc)，用于评估预测的准确性。第二种标准是斯皮尔曼的相关系数(spearmanrank-ordercorrelationcoefficient，srcc)，用来评估预测的单调性。最后一个标准是均方根误差(rootmeansquarederror，rmse)，它是一种衡量客观分数和主观分数的相关性标准。一般来说，更高的plcc和srcc，更低的rmse值表示更好的算法预测精确度。为了验证本发明提出的算法的性能，我们将算法与现有的三维视频质量评价方法在数据库waterloo-ivc-3d上进行比较，包括chen’smethod、benoit’smethod、you’smethod、yang’smethod、silva’smethod、lin’smethod、wang’smethod以及demo_3d。waterloo-ivc-3d数据库包含了704个三维视频，失真类型包括hevc压缩失真、高斯模糊、上采样减小分辨率，以及它们的组合。

表1为不同图像质量评价方法比较的实例，从这些比较中，我们提出的三维视频质量评价方法与主观评价相关性更高。表1：本发明和其它不同质量评价方法模型在数据库waterloo-ivc-3ddatabase中的性能比较。

表2为单独使用单视图视频质量计算方法、双目竞争模型方法，及同时使用它们的实验结果对比，从这些比较中可以看出，同时使用我们提出的两个方法时效果最好。表2：数据库waterloo-ivc-3ddatabase中单独使用单视图视频质量计算方法、双目竞争模型方法，及同时使用它们的实验结果对比。

表3为双目竞争单独使用空间信息量、时间信息量，以及同时使用它们的实验结果对比，从这些比较中可以看出，同时使用空间信息量和时间信息量时效果最好。表3：数据库waterloo-ivc-3ddatabase中双目竞争单独使用空间信息量、时间信息量，以及同时使用它们的的实验结果对比。

上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。