虚拟视点视频质量评价方法与流程

本发明涉及视频质量评价技术，特别是涉及一种准确、全面的虚拟视点视频质量评价方法。

背景技术：

随着3D视频技术的发展，越来越多的电影和电视节目开始使用3D技术拍摄，各种3D显示器以及3D电视也在逐渐普及，可以预见的趋势是，未来3D视频会成为主流。

目前国际标准组织MPEG(Moving Picture Experts Group，运动图像专家组)和ITU-T VCEG(International Telecommunication Union-Telecommunication Standardization Sector Video Coding Experts Group，国际电信联盟通信标准化组织视频编码专家组)共同制订了基于深度信息的3D视频编码标准。在该标准的3D视频解决方案中，编码端只需要编码传输2到3路彩色纹理视频以及相应的深度图视频，解码端可以利用接收到的两路纹理视频及相应的深度图视频生成两个视点之间任意中间视点的虚拟视点视频，最终可以组成8到9个甚至更多视点的视频用于满足裸眼多视点3D显示器的播放要求。因此，基于深度图生成的虚拟视点视频的质量对最终的3D视频质量起到了决定性的影响。所以如何对3D虚拟视点视频进行质量评价将决定整个3D视频处理与编码系统的优化质量。

视频质量的评价方法分为两大类：主观质量评价和客观质量评价。主观质量评价主要通过组织观看者观看视频并进行主观质量打分，该方法虽然可以得到准确的视频质量得分但是耗时耗力，并且无法应用到实时的视频处理系统中。相比之下，客观视频质量评价通过算法自动估计出视频的质量，既节省人力又可以实时进行。

目前针对传统2D视频的客观质量评价，国内外已经有不少研究成果，可以较好的对视频中的噪声失真、传输失真、模糊失真等进行估计。针对3D虚拟视点视频质量评价的研究还比较少。目前已有的研究虚拟视点视频客观质量评价的工作大多基于图像失真，即单独计算每一帧图像的失真然后将均值作为整个视频序列的失真。

一种方案是对虚拟视点视频中静止背景区域的时域噪声失真进行统计。其方案为，当虚拟视点视频中本应属于静止背景区域的像素发生了亮度值变化，且变化大小超过了人眼恰可感知失真阈值(JND，Just Noticeable Distortion)时,将该亮度值的变化记为视频的时域噪声，并以此评价虚拟视点视频的质量。

一种方案为统计虚拟视点视频中物体轮廓边缘的失真。具体实现步骤为，对原始参考视频和虚拟视点视频的图像内容做边缘检测，提取出边缘轮廓图。然后将两幅边缘轮廓图进行比较，统计边缘失真像素所占的比例并以此作为评价虚拟视点视频失真大小的依据。或是在计算虚拟视点视频的图像边缘轮廓失真之前，要先对各个图像块进行分类。其方案为，依据图像块内边缘像素的百分比将图像块分类为平坦块、边缘块和纹理块，每种类型的图像块在计算失真时会有不同的权重值。

还有的方案是先将原始参考视频以及虚拟视点视频分解到小波域，然后在小波域对两个视频进行水平对齐操作。进行水平对齐操作的目的是虚拟视点视频中物体的整体水平偏移并不会影响到人眼的感知质量，但是却会导致该视频的客观质量评价得分较低。当水平对齐之后再进行客观质量失真计算就会得到更符合人眼主观感知质量的结果。或是在计算失真之前先将虚拟视点视频中发生了水平方向位移的物体进行位移补偿，即虚拟视点中由于深度图失真引起的物体水平位移错误并不会引起人眼的感知质量明显下降，因为物体是整体位移的并不存在结构失真，所以在计算客观失真之前先对发生了水平位移的物体进行位移补偿，这样就不会被计算为失真，从而能够更真实地反映虚拟视点视频的感知质量。

上述虚拟视点视频质量评价方案具有以下缺点：没有考虑虚拟视点视频中的时域闪烁失真。深度图为生成虚拟视点视频提供了必需的深度信息，但是在压缩、传输及处理阶段，深度图不可避免的会产生失真，该失真会引起虚拟视点图像的几何失真。当图像在视频当中连续播放时，不规律的几何失真便会形成时域闪烁失真。

像素点对像素点的失真计算模式不适合用来评价虚拟视点视频的质量。目前最常见的图像及视频失真计算准则是PSNR(峰值信噪比，Peak Signal to Noise Ratio)和MSE(均方误差，Mean Squared Error)。这两个准则都是按照像素点对像素点的方式计算失真，并将所有像素点失真进行累加平均。该方式不适合于虚拟视点视频评价，原因是虚拟视点视频中部分时域恒定的几何失真也不易被人眼察觉，因而不会造成感知失真，但是却会严重降低PSNR和MSE的质量分数。同时，虚拟视点视频由左右两个参考视点的视频生成，而左右两个不同视点视频本身包含了相机传感器随机噪声。这些噪声并不会引起人眼感知系统的注意，但是却会导致PSNR和MSE得分下降。

虚拟视点视频由左视点和右视点的纹理图像根据深度图提供的深度信息绘制而成，所以虚拟视点视频的失真源包含了深度图的失真和纹理图像的失真。而目前现有的虚拟视点视频质量评价方法往往计算不够全面，有的只考虑了深度图失真带来的影响，有的则只考虑了绘制过程本身带来的失真。

技术实现要素：

基于此，有必要提供一种准确、全面的虚拟视点视频质量评价方法。

一种虚拟视点视频质量评价方法，包括以下步骤：

将原始参考视频和待评价视频分别进行空时域单元划分；

分别计算每个空时域单元的时域闪烁失真及空时域纹理失真；

根据原始参考视频及待评价视频的时域闪烁特征计算第一类失真，根据原始参考视频及待评价视频的空时域纹理特征计算第二类失真；将所述第一类失真与所述第二类失真整合获得总失真判断待评价视频的质量。

在其中一个实施例中，所述将原始参考视频和待评价视频分别进行空时域单元划分的步骤包括：

分别将原始参考视频和待评价视频划分为若干由时域上连续的若干帧构成的图像组；

将图像组内的每幅图像划分为若干图像块，时域连续的若干图像块组成空时域单元。

在其中一个实施例中，所述空时域单元由空域位置相同的若干时域连续图像块组成；或

由描述同一物体运动轨迹的空域位置不同的若干时域连续图像块组成。

在其中一个实施例中，所述计算每个空时域单元的时域闪烁失真的步骤包括：

对原始参考视频的每个像素计算第一时域梯度；

对待评价视频的每个像素计算第二时域梯度；

根据第一时域梯度及第二时域梯度判断每个像素点是否存在时域闪烁失真，若是，则计算时域闪烁失真强度。

在其中一个实施例中，所述计算每个空时域单元的时域闪烁失真的步骤还包括：根据像素时域梯度信息计算时域闪烁失真，其中，所述时域闪烁失真与像素时域梯度的方向变化频率以及变化幅度成正比。

在其中一个实施例中，所述计算每个空时域单元的时域闪烁失真的步骤还包括：计算待评价视频空时域单元内一簇时域连续像素对应的时域闪烁失真；

根据第一函数检测一簇时域连续像素内是否存在时域闪烁失真；

若是，则根据第二函数检测一簇时域相邻像素内时域闪烁失真强度。

在其中一个实施例中，所述计算每个空时域单元的空时域纹理失真的步骤包括：

计算空时域单元内每个像素点的水平方向梯度和垂直方向梯度；

根据所述水平方向梯度和所述垂直方向梯度计算空时域单元内每个像素点的空域梯度；

根据原始参考视频和待评价视频的空时域单元的空域梯度差异来计算待评价视频的空时域纹理失真。

在其中一个实施例中，还包括步骤：计算空时域单元内像素特征统计信息，其中，所述像素特征统计信息包括空时域单元内的像素梯度信息的均值、方差和标准差；所述像素梯度信息包括像素的空域水平方向梯度、空域垂直方向梯度、空域梯度、时域梯度以及空时域梯度。

在其中一个实施例中，还包括步骤：对所述像素特征统计信息设定最小感知阈值；

当像素特征统计值小于最小感知阈值时，则使用最小感知阈值替代像素特征统计值；

当像素特征统计值大于最小感知阈值时则维持像素特征统计信息不变。

在其中一个实施例中，所述根据时域闪烁特征计算第一类失真及根据空时域纹理特征计算第二类失真的步骤包括：将空时域单元中的时域闪烁失真中最大的一系列空时域单元的失真作为第一类失真；

将空时域单元中的空时域纹理失真中最大的一系列空时域单元的失真作为第二类失真。

上述虚拟视点视频质量评价方法以空时域单元内所有像素为单位统计虚拟视点视频的时域闪烁失真，避免了像素点对像素点的时域闪烁失真计算模式所带来的对虚拟视点视频人眼感知失真的错误估计。在对虚拟视点视频的时域闪烁失真进行计算时，既考虑由于深度图错误带来的失真又考虑到了左右视点纹理图像引入的失真。上述方法可以有效评估虚拟视点视频中对主观质量造成很大影响的时域闪烁失真，从而在评价虚拟视点视频质量时更符合人眼主观感知的结果，使得虚拟视点视频质量评价更为准确、全面。

附图说明

图1为虚拟视点视频质量评价方法的流程图；

图2为第一类空时域单元划分示意图；

图3为第二类空时域单元划分示意图；

图4为像素水平空域梯度计算模板图；

图5为像素垂直空域梯度计算模板图；

图6为时域闪烁失真计算方法流程图；

图7为空时域纹理失真计算方法流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

现有左视点和右视点的纹理视频以及对应的深度图像，另有左右视点之间的中间视点的视频。左右视点的纹理视频及深度视频都可能包含失真。通过基于深度图的图像绘制技术(Depth Image Based Rendering，DIBR)利用左右视点的纹理视频及相应深度图像可以生成中间视点的虚拟视点视频。相比于用于参考的原始中间视点视频，生成的虚拟视点视频包含各种失真。

虚拟视点视频质量评价方法是以原始中间视点视频为参考，计算虚拟视点视频的失真，并使得计算出的失真值与人眼感知系统所感知到的虚拟视点视频失真度相符。

如图1所示，为虚拟视点视频质量评价方法的流程图。

由于空时域单元的划分方式有两类，下面将根据两类不同的空时域单元划分方式分别给出实施例。

实施例1：

一种虚拟视点视频质量评价方法，包括以下步骤：

步骤S110、将原始参考视频和待评价视频分别进行空时域单元划分。

步骤S110包括：

①分别将原始参考视频和待评价视频划分为若干由时域上连续的若干帧构成的图像组。

②将图像组内的每幅图像划分为若干图像块，时域上连续的图像块组成空时域单元。

在本实施例中，所述空时域单元由空域位置相同的若干时域连续图像块组成。

具体的，首先需要将原始参考视频和待评价视频进行空时域单元划分，其过程示意图如图2所示。将视频(原始参考视频和待评价视频)序列划分为若干图像组，每个图像组由时域上连续的若干帧组成。图像组长度的选择依据与人眼对视频的时域注视周期以及视频的帧率有关。

假设人眼对视频的时域注视周期为T秒，而视频的帧率为一秒钟N帧，此时图像组的长度为N×T帧，即时域上相邻的N×T帧图像作为一个图像组。关于划分图像组，可以选择滑动窗口模式，即图像组之间有重叠区域，也可以选择图像组之间互不交叉。

对于一个图像组而言，假设长度为N×T帧。若将每幅图像划分为长宽分别为w和h的若干图像块，则图像组内时域连续的一组图像块可以构成一个空时域单元。

如图2所示，第一类空时域单元的构成方法是由空域位置相同的若干时域连续图像块组成空时域单元。每个空时域单元都是一个长宽高分别为w、h、N×T的像素长方体。假设所采用的视频长度为200帧、帧率为25帧/秒//分辨率为1920x1080。将视频序列划分为40个图像组，每个图像组由时域上连续的5帧组成。图像组长度的选择依据与人眼对视频的时域注视周期以及视频的帧率有关。假设人眼对视频的时域注视周期为0.2秒，而视频的帧率为一秒钟25帧，此时图像组的长度为5帧，即时域上相邻的5帧图像作为一个图像组。

对于一个图像组而言，长度为5帧，图像的长和宽分别为1920和1080，则图像组内的像素点组成了一个空时域范围内的像素长方体，其长、宽、高分别为1920、1080、5。若将每幅图像划分为长宽分别为16和16的图像块，整个图像组则被划分成了一系列空时域单元，每个空时域单元都是一个长宽高分别为16、16、5的像素长方体。空时域单元是统计计算虚拟视点视频失真的基本单位，每个空时域单元计算得到的失真最终通过整合得到其所在图像组的失真，而每个图像组的失真最终整合为整个视频序列的失真。

步骤S120、根据原始参考视频的时域闪烁特征及待评价视频的时域闪烁特征计算第一类失真。

在本实施例中，虚拟视点视频质量评价方法还包括步骤：

对原始参考视频的每个像素计算第一时域梯度。

对待评价视频的每个像素计算第二时域梯度。

根据第一时域梯度及第二时域梯度判断每个像素点是否存在时域闪烁失真，若是，则计算时域闪烁失真强度。

具体为：根据所述第一时域梯度和所述第二时域梯度的符号差异和绝对值差异计算时域闪烁失真。

具体的，对每个空时域单元分别计算时域闪烁失真。计算时域闪烁失真的流程图如图6所示。输入原始参考视频和待评价视频(虚拟视点视频)对应位置的空时域单元。在空时域单元中，原始参考视频的每个像素I和待评价视频(虚拟视点视频)的每个像素都有一个三维坐标(x,y,t)。对I(x,y,t)和分别计算时域梯度和对于空时域单元内的空域坐标为(x,y)的一簇时域相邻像素，其对应的时域闪烁失真DF_x,y采用公式1计算。

公式1；

其中，DF_x,y表示空域坐标为(x,y)的一簇时域相邻像素的时域闪烁失真。T是图像组和空时域单元的长度。

在本实施例中，虚拟视点视频质量评价方法还包括步骤：计算待评价视频空时域单元内一簇时域相邻像素对应的时域闪烁失真。

根据第一函数检测一簇时域相邻像素内是否存在时域闪烁失真。

若是，则根据第二函数检测一簇时域相邻像素内时域闪烁失真强度。

具体的，第一函数Φ(·)用于检测(x,y,t)位置的像素是否存在时域闪烁失真。而第二函数Δ(·)用来测量(x,y,t)位置的像素的时域闪烁失真强度。

第一函数Φ(·)的公式2如下：

公式2；

其中，表示原始参考视频中的点I(x,y,t)和待评价视频(虚拟视点视频)中的点的时域梯度方向相反，满足此条件则认为该点存在时域闪烁失真。ρ表示视觉感知阈值，该值的取值可以使用该像素点的人眼恰可感知失真阈值(JND，Just Noticeable Difference)。传统基于像素域的人眼恰可感知失真阈值计算模型中并没有区分边缘像素和纹理像素。为了让该阈值只保持对边缘失真敏感，降低对纹理失真的敏感度，可以对图像的边缘和纹理区域进行区分，并对纹理区域的人眼恰可感知失真阈值进行缩小处理。提取原始视频图像的边缘图，然后将边缘图分为等大小的图像块，当一个图像块内的边缘像素点超过一定范围时则认为该图像块为纹理块。

在本实施例中，首先使用Canny边缘检测算子对图像进行边缘检测，提取得到边缘图。将边缘图划分成8x8的图像块。当一个图像块中的边缘像素超过48时，认为该图像块中检测出的边缘像素应属于纹理像素。在计算人眼恰可感知失真阈值时，若遇到纹理像素，则其人眼恰可感知失真阈值要乘以0.1。

第二函数Δ(·)用来测量(x,y,t)位置的像素的闪烁失真强度，第二函数Δ(·)的公式3如下：

公式3；

其中用来反映时域梯度失真的大小。分母除以的目的是考虑掩蔽效应。由于第二函数Φ(·)不为零的前提条件是和方向相反，所以Δ_t(x,y)必大于1并与时域闪烁失真的强度成正比。设整个空时域单元的时域闪烁失真为DF^cube，cube的含义为像素点组成的长方体即所定义的空时域单元。DF^cube可以按公式4计算。

公式4；

其中w和h分别是空时域单元的长和宽。在得到图像组内每个空时域单元的时域闪烁失真DF^cube之后，可以通过整合DF^cube得到图像组的时域闪烁失真DF^GoP，GoP的含义为Group of Pictures，即图像组。DF^GoP可按公式5得到。

公式5；

其中，W表示图像组中时域闪烁失真最严重的W％个空时域单元的集合。N_W表示集合W中的空时域单元的个数。本实施例中采用的这种整合规则的目的是视频图像中失真最大的那部分区域决定了人眼视觉系统对整个图像的质量评价。在本实施例当中，W％的取值为1％。

所述根据时域闪烁特征计算第一类失真的步骤包括：将空时域单元中的时域闪烁失真中最大的一系列空时域单元的失真作为第一类失真。

最终，整个视频序列的时域闪烁失真可以通过整合图像组的时域闪烁失真DF^GoP来获得，既可以按照最差整合准则，也可以使用如公式6的计算平均值。

公式6；

其中，K为该视频序列中图像组的个数。在本实施例中，K为40。Seq表示序列(Sequence)。

步骤S130、根据原始参考视频的空时域纹理特征及待评价视频的空时域纹理特征计算第二类失真。

在本实施例中，虚拟视点视频质量评价方法还包括步骤：

计算空时域单元内每个像素点的水平方向梯度和垂直方向梯度。

根据所述水平方向梯度和所述垂直方向梯度计算空时域单元内每个像素点的空域梯度。

根据原始参考视频和待评价视频的空域梯度差异来计算待评价视频的空时域纹理失真。

具体的，在计算待评价视频(虚拟视点视频)中的空时域纹理失真时，仍然以空时域单元为基本的失真计算单元，计算流程如图7所示。首先需要对空时域单元内的每个像素点I(x,y,t)计算其空域梯度空域梯度的计算首先需要分别计算其水平方向和垂直方向上的梯度和计算水平和垂直梯度的模板示例如图4和图5。得到水平和垂直梯度后按公式7计算得到空域梯度

公式7；

在计算得到空时域单元内每个像素的空域梯度之后，其均值和标准差σ_cube可分别按公式8和公式9计算得到。

公式8；

公式9；

其中，w，h和l分别是空时域单元的长宽高。由于空时域单元中的平坦区域像素没有明显的空域梯度，会导致计算得到的空时域单元的空域梯度标准差无法准确反映该空时域单元的纹理特性。所以需要设置一个感知阈值ε，当σ_cube小于ε时，将σ_cube设置为ε。

在此实施例中，感知阈值ε的取值与梯度计算模板中的正值之和η呈线性关系:ε＝α×η。例如图4中的梯度计算模板中的正值之和η为32，在本实施例中，线性系数α取值为5.62，所以ε取值为179.84。

在分别计算得到原始参考视频和待评价视频(虚拟视点视频)空时域单元的空域梯度标准差和σ_cube之后，可以通过多种方式比较两者之间的差异来度量待评价视频(虚拟视点视频)的空时域纹理失真DA^cube，例如公式10。

公式10；

在计算完图像组内所有空时域单元的纹理失真DA^cube之后，可以进行整合得到图像组的纹理失真DA^GoP，整合的准则可以是如公式11所示的最差的区域决定了整体的人眼感知质量：

公式11；

其中，Z表示图像组中最差的Z％个DA^cube组成的集合。

所述根据空时域纹理特征计算第二类失真的步骤包括：

将空时域单元中的空时域纹理失真中最大的一系列空时域单元的失真作为第二类失真。

最终，整个待评价视频(虚拟视点视频)序列的空时域纹理失真可以通过对每个图像组的空时域纹理失真求平均来获得，也可以通过其他整合准则来获取。例如公式12。

公式12；

步骤S140、根据所述将第一类失真与第二类失真整合获得总失真判断待评价视频的质量。

在计算得到待评价视频(虚拟视点视频)的时域闪烁失真和空时域纹理失真之后，可以对其分别进行整合得到总失真。整合的规则不做限制，例如可按公式13进行整合得到总失真D。

D＝DA×log₁₀(1+DF) 公式13；

采用上述方式将第一类失真与第二类失真整合获得总失真。

实施例2：

步骤S110、将原始参考视频和待评价视频分别进行空时域单元划分。

步骤S110包括：

①分别将原始参考视频和待评价视频划分为若干由时域上连续的若干帧构成的图像组。

②将图像组内的每幅图像划分为若干图像块，时域上连续的图像块组成空时域单元。

所述空时域单元由描述同一物体运动轨迹的空域位置不同的若干时域连续图像块组成。

具体的，首先需要将原始参考视频和待评价视频进行空时域单元划分，其过程示意图如图3所示。将视频(原始参考视频和待评价视频)序列划分为若干图像组，每个图像组由时域上连续的若干帧组成。图像组长度的选择依据与人眼对视频的时域注视周期以及视频的帧率有关。

假设人眼对视频的时域注视周期为T秒，而视频的帧率为一秒钟N帧，此时图像组的长度为N×T帧，即时域上相邻的N×T帧图像作为一个图像组。关于划分图像组，可以选择滑动窗口模式，即图像组之间有重叠区域，也可以选择图像组之间互不交叉。

对于一个图像组而言，假设长度为N×T帧。若将每幅图像划分为长宽分别为w和h的若干图像块，则图像组内时域连续的一组图像块可以构成一个空时域单元。

如图3所示，第二类空时域单元的构成方法是由沿着同一物体运动轨迹的不同空域位置的若干时域连续图像块组成空时域单元。每个空时域单元都包含了N×T个长宽分别为w、h的像素块。空时域单元是统计计算虚拟视点视频失真的基本单位，每个空时域单元计算得到的失真最终通过整合得到其所在图像组的失真，而每个图像组的失真最终整合为整个视频序列的失真。

第二类空时域单元是由沿着同一运动轨迹的图像块组成的。要获取图像块的运动轨迹，可以采用基于块的运动估计算法，例如，全搜索、三步搜索等。除此之外，由于视频序列可能存在相机运动产生的全局运动，需要估算全局运动矢量对运动轨迹进行修正。

相机的运动包括旋转、平移和缩放等，这些都可以通过仿射变换模型来进行描述，例如：

公式14；

其中，(x,y)表示当前图像中的像素坐标位置，(x′,y′)表示运动估计目标图像中的像素位置。向量Θ＝[θ₁,...,θ₆]表示仿射变换模型的参数。利用(x′,y′)减去(x,y)可以得到两幅图像之间的全局运动向量。根据全局运动向量可以检测之前进行运动跟踪的图像块是否已经移动出画面，从而决定是否将该图像块纳入到沿运动轨迹构成的空时域单元中。

步骤S120、根据原始参考视频的时域闪烁特征及待评价视频的时域闪烁特征计算第一类失真。

在本实施例中，虚拟视点视频质量评价方法还包括步骤：

对原始参考视频的每个像素计算第一时域梯度。

对待评价视频的每个像素计算第二时域梯度。

根据第一时域梯度及第二时域梯度判断每个像素点是否存在时域闪烁失真，若是，则计算时域闪烁失真强度。

具体为：根据所述第一时域梯度和所述第二时域梯度的符号差异和绝对值差异计算时域闪烁失真。

具体的，对每个空时域单元分别计算时域闪烁失真。计算时域闪烁失真的流程图如图6所示。输入原始参考视频和待评价视频(虚拟视点视频)对应位置的空时域单元。

假设如图6中图像组的中间帧第i帧其中一个像素坐标位置为(x_i,y_i)。在该像素所在的空时域单元内该像素对应运动轨迹上的像素坐标为[(x_i-N，y_i-N)，...，(x_i，y_i)，...，(x_i+N，y_i+N)]。对于第i帧像素坐标位置为(x_i,y_i)处的时域闪烁失真DF_xi,yi采用公式15计算。

公式15；

其中，DF_xi,yi表示空域坐标为(x_i,y_i)的像素所在运动轨迹上的一簇时域相邻像素的时域闪烁失真。2N+1是图像组和空时域单元的长度。

在本实施例中，虚拟视点视频质量评价方法还包括步骤：计算待评价视频空时域单元内一簇时域相邻像素对应的时域闪烁失真。

根据第一函数检测一簇时域相邻像素内是否存在时域闪烁失真。

若是，则根据第二函数检测一簇时域相邻像素内时域闪烁失真强度。

具体的，第一函数Φ(·)用于检测(x,y,n)位置的像素是否存在时域闪烁失真。第二函数Δ(·)用来测量(x,y,n)位置的像素的时域闪烁失真强度。

第一函数Φ(·)的公式16如下：

公式16；

其中，表示原始参考视频中的点I(x,y,n)和待评价视频(虚拟视点视频)中的点的时域梯度方向相反，满足此条件则认为该点存在时域闪烁失真。ρ表示视觉感知阈值，该值的取值可参考实施例1。

第二函数Δ(·)用来测量(x,y,n)位置的像素的闪烁失真强度，第二函数Δ(·)的公式17如下：

公式17；

其中用来反映时域梯度失真的大小。分母除以的目的是考虑掩蔽效应。由于第二函数Φ(·)不为零的前提条件是和方向相反，所以Δ_t(x,y,n)必大于1并与时域闪烁失真的强度成正比。设整个空时域单元的时域闪烁失真为DF^tube，tube的含义为像素点组成的管道状空时域单元。DF^tube可以按公式18计算。

公式18；

其中w和h分别是空时域单元的长和宽。在得到图像组内每个空时域单元的时域闪烁失真DF^tube之后，可以通过整合DF^tube得到图像组的时域闪烁失真DF^GoP，GoP的含义为Group of Pictures，即图像组。DF^GoP可按公式19得到。

公式19；

其中，W表示图像组中时域闪烁失真最严重的W％个空时域单元的集合。N_W表示集合W中的空时域单元的个数。本实施例中采用的这种整合规则的目的是视频图像中失真最大的那部分区域决定了人眼视觉系统对整个图像的质量评价。在本实施例当中，W％的取值为1％。

所述根据时域闪烁特征计算第一类失真的步骤包括：

将空时域单元中的时域闪烁失真中最大的一系列空时域单元的失真作为第一类失真。

最终，整个视频序列的时域闪烁失真可以通过整合图像组的时域闪烁失真DF^GoP来获得，既可以按照最差整合准则，也可以使用如公式20的计算平均值。

公式20；

其中，K为该视频序列中图像组的个数。在本实施例中，K为40。Seq表示序列(Sequence)。

步骤S130、根据原始参考视频的空时域纹理特征及待评价视频的空时域纹理特征计算第二类失真。

在本实施例中，虚拟视点视频质量评价方法还包括步骤：

计算空时域单元内每个像素点的水平方向梯度和垂直方向梯度。

根据所述水平方向梯度和所述垂直方向梯度计算空时域单元内每个像素点的空域梯度。

根据原始参考视频和待评价视频的空域梯度差异来计算待评价视频的空时域纹理失真。

具体的，在计算待评价视频(虚拟视点视频)中的空时域纹理失真时，仍然以空时域单元为基本的失真计算单元，计算流程如图7所示。首先需要对空时域单元内的第n帧的像素点I(x,y)计算其空域梯度空域梯度的计算首先需要分别计算其水平方向和垂直方向上的梯度和计算水平和垂直梯度的模板示例如图4和图5。得到水平和垂直梯度后按公式21计算得到空域梯度

公式21；

如图3，假设图像组的中间帧第i帧中的一个空时域单元的左上角像素坐标为(x_i,y_i)。该像素在空时域单元内对应运动轨迹上的像素坐标位置依次为[(x_i-N,y_i-N),...,(x_i,y_i),...,(x_i+N,y_i+N)]。在计算得到空时域单元内每个像素的空域梯度之后，其均值和标准差σ_tube可分别按公式22和公式23计算得到。

公式22；

公式23；

其中，w，h分别是空时域单元中图像块的长、宽。2N+1是图像组和空时域单元的长度。由于空时域单元中的平坦区域像素没有明显的空域梯度，会导致计算得到的空时域单元的空域梯度标准差无法准确反映该空时域单元的纹理特性。所以需要设置一个感知阈值ε，当σ_tube小于ε时，将σ_tube设置为ε。ε的取值参考实施例1。

在分别计算得到原始参考视频和待评价视频(虚拟视点视频)空时域单元的空域梯度标准差和σ_tube之后，可以通过多种方式比较两者之间的差异来度量待评价视频(虚拟视点视频)的空时域纹理失真DA^tube，例如公式24。

公式24；

在计算完图像组内所有空时域单元的纹理失真DA^tube之后，可以进行整合得到图像组的纹理失真DA^GoP，整合的准则可以是如公式25所示的最差的区域决定了整体的人眼感知质量：

公式25；

其中，Z表示图像组中最差的Z％个DA^tube组成的集合。

所述根据空时域纹理特征计算第二类失真的步骤包括：将空时域单元中的空时域纹理失真中最大的一系列空时域单元的失真作为第二类失真。

最终，整个待评价视频(虚拟视点视频)序列的空时域纹理失真可以通过对每个图像组的空时域纹理失真求平均来获得，也可以通过其他整合准则来获取。例如公式26。

公式26；

步骤S140、根据所述将第一类失真与第二类失真整合获得总失真判断待评价视频的质量。

在计算得到待评价视频(虚拟视点视频)的时域闪烁失真和空时域纹理失真之后，可以对其分别进行整合得到总失真。整合的规则不做限制，例如可按公式27进行整合得到总失真D。

D＝DA×log₁₀(1+DF) 公式27；

采用上述方式将第一类失真与第二类失真整合获得总失真。

基于上述所有实施例，虚拟视点视频质量评价方法还包括步骤：根据像素时域梯度信息计算时域闪烁失真，其中，所述时域闪烁失真与像素时域梯度的方向变化频率以及变化幅度成正比。

基于上述所有实施例，虚拟视点视频质量评价方法还包括步骤：计算空时域单元内空时域像素特征统计信息，其中，所述空时域像素特征统计信息包括空时域单元内的像素梯度信息的均值、方差和标准差；所述像素梯度信息包括像素的空域水平方向梯度、空域垂直方向梯度、空域梯度、时域梯度以及空时域梯度。

虚拟视点视频质量评价方法还包括步骤：对所述像素特征统计信息设定最小感知阈值。

当像素特征统计值小于最小感知阈值时，则使用最小感知阈值替代像素特征统计值。

当像素特征统计值大于最小感知阈值时则维持像素特征统计信息不变。

基于上述所有实施例，在对虚拟视点视频进行失真计算时，以一个空时域单元内的所有像素为单位。首先将原始参考视频和待评价视频(虚拟视点视频)划分为图像组，每个图像组由时域上连续的若干帧图像组成。每个图像组又进一步划分为若干个空时域单元。一种空时域单元由空域位置相同的若干图像块组成。另一种空时域单元由沿着同一运动轨迹的不同空域位置的若干图像块组成。

在空时域单元内统计两类失真。一类是虚拟视点视频的时域闪烁失真，另一类是左右视点纹理图像带来的空时域纹理失真。计算视频的时域闪烁失真的主要依据是像素亮度值的时域梯度变化。当待评价视频(虚拟视点视频)的像素亮度值时域梯度的方向与原始参考视频中对应像素的时域梯度方向相反时则认为该像素存在时域闪烁失真，且失真的大小与时域梯度的误差大小成正比。

另一方面，以像素空域梯度的标准差(Standard Deviation)的变化来衡量虚拟视点视频的纹理图像带来的空时域纹理失真。最终，将每个空时域单元统计得到的时域闪烁失真和空时域纹理失真进行整合得到图像组的失真，整合的原则是质量最差的一部分空时域单元的失真决定了人眼感知系统对整个图像组的感知失真。图像组的失真最终通过整合得到整个视频序列的失真。使用MPEG(运动图像专家组，Moving Picture Experts Group)提供的3D视频序列搭建虚拟视点视频数据集，组织观看者进行主观质量打分，使用上述方法提出的质量评价方法对数据集中的虚拟视点视频进行失真计算。所得结果与主观打分的斯皮尔曼秩序相关系数(Spearman Rankorder Correlation Coefficient，SROCC)达到0.867，皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)达到0.785，均明显高于现有技术。

上述方法可以被用于视频编码算法优化、3D视频内容生成及后处理等应用。

上述虚拟视点视频质量评价方法以空时域单元作为失真计算的基本单元，从而避免了按照像素点对像素点的模式计算失真所造成的对虚拟视点视频失真估计过高的后果。虚拟视点视频中的恒定位移失真或者相机随机噪声等人眼很难感知到，但是却会导致在使用基于像素点的质量评价准则进行评价时得分过低。时域闪烁失真及空时域纹理实质计算基于空时域单元内部所有像素的特征统计信息，不易受到恒定位移失真的影响，并且会降低相机随机噪声等因素带来的影响。因此以像素的时域梯度的方向变化和幅度变化作为描述时域闪烁失真的有效特征，能够准确地反映出了虚拟视点视频中的闪烁现象。

采用虚拟视点视频质量评价方法对待评价视频进行评价的仿真实验结果如下：

首先是建立一个虚拟视点视频的数据集，采用了运动图像专家组MPEG所提供的10个视频序列。针对每个视频序列，选择一对左右视点视频，分别对该左右视点视频纹理图像及深度图像进行压缩编码，使其产生压缩失真。每个序列生成14个具有不同程度失真的虚拟视点视频总共构成了具有10个原始参考视频和140个虚拟视点视频的数据集。实验的第二步需要组织观看者观看数据集当中的视频并进行主观质量打分。本实验共组织了56名观看者进行主观质量打分。

接下来的实验是采用虚拟视点视频质量评价方法对数据集中的失真视频计算质量得分，然后将计算得到的视频质量分数与56名观看者主观打分的平均分进行比较，主要考察斯皮尔曼秩序相关系数(SROCC)和皮尔森线性相关系数(PLCC)。相关系数越高则说明所计算出的视频质量分数与人眼感知系统所评价出的主观质量得分越一致。

本申请技术方案1使用第一类空时域单元结构，本申请技术方案2使用第二类空时域单元结构。实验结果表明，对于整个数据集的视频，本申请技术方案1的最终结果SROCC为0.845，PLCC为0.773，本申请技术方案2的最终结果SROCC为0.867，PLCC为0.785。对于数据集中仅存在深度失真的虚拟视点视频，本申请技术方案1的最终结果SROCC为0.790，PLCC为0.763，本申请技术方案2的最终结果SROCC为0.810，PLCC为0.801。对于数据集中仅存在纹理失真的虚拟视点视频，本申请技术方案1的最终结果SROCC为0.785，PLCC为0.667，本申请技术方案2的最终结果SROCC为0.828，PLCC为0.673。对于数据集中同时存在纹理失真和深度失真的虚拟视点视频，本申请技术方案1的最终结果SROCC为0.854，PLCC为0.808，本申请技术方案2的最终结果SROCC为0.868，PLCC为0.815。为了与目前现有的最先进技术方案进行对比，特选取了以下技术方案对同样的虚拟视点视频数据集进行失真计算与质量评价：PSNR(峰值信噪比，Peak Signal to Noise Ratio)、SSIM(结构相似度测量，Structural Similarity Index Measurement)、VQM(视频质量模型，Video Quality Model)、MOVIE(基于运动的视频失真评价准则，Motion-based Video Integrity Evaluation index)。

虚拟视点视频质量评价方法与目前现有主流技术之间的效果对比见下表：

从上述表格可以看出，虚拟视点视频质量评价方法能够得到与人眼感知系统主观质量得分一致的结果，优于现有的技术方案。

基于上述所有实施例，空时域单元的大小、形状和范围并不固定。在时域、空域或者时空域当中相邻的一部分像素都可以组成一个空时域单元，都应属于本发明保护的范围。

运动估计的方法并不固定，可以是基于块的运动估计，也可以是基于像素的运动估计。全局运动模型也不固定，可以是两个参数的平移模型、四参数的几何模型、六参数的仿射模型及8参数的透视模型等。

时域闪烁失真以像素的时域特征的变化作为衡量时域失真的依据。时域特征并不限于时域梯度，也可以是同一位置的像素在一段时间内的平均亮度、亮度的方差、亮度的分布等多种特征。

虚拟视点视频质量评价方法中像素时域梯度的计算方法也不固定，所有计算前后两帧或前后多帧之间的单个像素或局部像素随时间变化情况的方法都属于像素时域梯度计算，都应属于本发明保护范围。

虚拟视点视频质量评价方法中的空时域纹理失真统计空时域单元内像素的特征并计算统计信息。其中，像素的特征并不限于像素梯度。当使用像素的边缘检测信息、梯度方向信息、亮度值、颜色值、色差值等其它特征时都应属于本发明保护范围。

虚拟视点视频质量评价方法中的空时域纹理失真统计空时域单元内像素的特征并计算统计信息。其中，统计信息并不限于方差或标准差信息，当使用均值、概率分布系数等统计信息时都应属于本发明保护范围。

虚拟视点视频质量评价方法中计算像素水平梯度和垂直梯度的计算模板并不局限于图4和图5，所有计算像素水平梯度和垂直梯度的模板都适用于本发明技术方案中的像素水平和垂直梯度计算。

上述虚拟视点视频质量评价方法以空时域单元内所有像素为单位统计虚拟视点视频的时域闪烁失真，避免了像素点对像素点的时域闪烁失真计算模式所带来的对虚拟视点视频人眼感知失真的错误估计。在对虚拟视点视频的时域闪烁失真进行计算时，既考虑由于深度图错误带来的失真又考虑到了左右视点纹理图像引入的失真。上述方法可以有效评估虚拟视点视频中对主观质量造成很大影响的时域闪烁失真，从而在评价虚拟视点视频质量时更符合人眼主观感知的结果，使得虚拟使得视频质量评价更为准确、全面。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。