一种三维图像/视频的无参考质量评估方法与流程

本发明涉及一种三维图像/视频的无参考质量评估方法，特别涉及一种对MVD格式呈现的三维图像/视频进行无参考质量评估方法。

背景技术：

传统的二维图像和视频质量评估方法已被研究了很多年。随着三维视频应用的快速发展，对三维图像和视频质量进行评估的相关研究越来越多，包括带参考的和无参考的质量评估方法：M.J.Chen提出了一种双视三维图像的全参考的质量评估方法；Z.Sazzad提出了一种双视三维图像的无参考的质量评估方法，但这种评估方法不能满足三维图像自动播放的需求，以致在接收器中不得不使用DIBR算法基于深度信息创建了必要的自由视点视图，很遗憾的是DIBR引入了全新的质量瑕疵；E.Bosc提出了普通三维图像的全参考质量评估方法，但由于很难在3d电视系统的接收器端获得参考图像而难以实用化；M.Solh提出了一种对单帧图像加一张深度图(2d+z)呈现的三维图像进行无参考质量评估的方法，但该方法的缺点是它不能利用带深度图的多视点三维图像(MVD)格式中不同视图之间的关系进行预测。

技术实现要素：

针对现有的这些评估方法中没有一个是对MVD格式呈现的三维图像进行无参考质量评估的现象，本发明提供一种三维图像/视频的无参考质量评估方法，对MVD格式呈现的三维图像/视频进行无参考质量评估，是为三维电视系统中的实时质量监控而设计的。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种三维图像/视频的无参考质量评估方法，该质量评估方法的具体步骤如下：

(1)输入MVD格式的三维图像；

(2)采用DIBR算法，分别生成左视图在双目中心位置的虚拟视图I1、右视图在双目中心位置的虚拟视图I2；

(3)计算步骤(2)中生成的I1和I2的结构相似性；

(4)将步骤(3)中计算得到的结构相似性的值作为输入三维图像的质量评估值输出。

作为本发明的进一步技术方案，步骤(1)中输入的MVD格式的三维图像包括左视图、左视图的深度图、右视图、右视图的深度图。

作为本发明的进一步技术方案，步骤(3)中采用SSIM算法计算步骤(2)中生成的I1和I2的结构相似性。

作为本发明的进一步技术方案，I1和I2的结构相似性为：

其中，SSIM(I1,I2)表示I1和I2的结构相似性，M表示I1和I2的子区块的个数，分别表示I1的第i个子区块、I2的第i个子区块的均值，分别表示I1的第i个子区块、I2的第i个子区块的标准差，表示I1的第i个子区块和I2的第i个子区块之间的协方差，C1、C2、C3均为常数。

作为本发明的进一步技术方案，C3＝C2/2。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明提出了针对MVD格式的三维图像/视频的一种无参考的质量评估方法SVC，它适合于三维电视系统中的实时质量监控。作为无参考的质量评估方法，SVC可以在接收端不存在参考图像(原始未失真的图像)的情况下工作；SVC中大量的计算可以在三维电视系统中完成从而大幅降低接收端的计算强度；实验表明，SVC具有不输于全参考的质量评估方法的准确率。

附图说明

图1是三维电视系统示意图；

图2是SVC方法的示意图；

图3是DIBR算法流程框图；

图4是不同质量评估方法的散点图比较，其中，(a)为本发明的方法，(b)为SSIM方法，(c)为MS-SSIM方法，(d)为VIFP方法；

图5是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本专利提出了一种基于MVD格式的三维图像进行无参考质量评价的方法，该方法是为如图1所示的三维电视系统中的实时质量监控而设计的。我们把该评估方法命名为合成视图比较方法(Synthesized View Comparison Method，SVC)，它利用DIBR算法生成左视图和右视图各自在同一个视点的虚拟视图，并对这两个虚拟视图之间的差异进行了比较。在我们的实现中采用传统二维图像质量评估方法中的结构相似度(SSIM)来衡量两个虚拟视图之间的差异。如果左右视图纹理信息和深度信息完美无瑕疵，这两个虚拟视图之间基本不存在结构差异。因此，通过比较这两种合成视图，SVC方法可以测量由纹理和深度信息中的瑕疵引起的合成视图质量的下降。与其它视频质量评估方案相比，SVC是一个三维电视系统中可使用的轻量级解决方案，它充分利用在接收端使用DIBR算法生成的虚拟视图并由此设计质量评估方案，在这个方案中，它的大部分计算密集型任务已经由三维电视系统完成。

在本专利中，我们假定三维视频采用的是左右两个视图，对于多于两个视图可以简单扩展。三维视频以MVD格式存储，它包括左视图、左视图的深度图、右视图和右视图的深度图。

图2描述了SVC方法的流程框图。我们利用左视图和右视图在双眼正中间位置各自采用DIBR生成虚拟视图，在无孔洞的情况下，采用SSIM比较了这两个虚拟视图之间的结构性差异，并以此作为该三维视频的质量的评估值。

2004年，C.Fehn提出了一种基于深度图的渲染算法，即DIBR。现在DIBR已经成为了自由视点视图生成的主流算法。该算法首先根据客观情况将深度图转换为视差图，每个像素将根据它在视差图中的情况，在新生成的视图中移动到新的位置。最后，它将通过融合多个不同摄像机产生的多个虚拟视图信息，完成孔洞的填充，图3给出了这一过程的框图。在一个真实的三维电视系统的接收端，SVC可以利用DIBR中像素移动的输出来节省大量的计算时间。

同样在2004，Z.Wang等人将失真图像与参考图像的亮度比较、对比度比较和结构比较的结果相结合，进行图像质量评估。给定两个对齐的数字图像x和y，它们的比较是基于：

其中，μx和σx(μy和σy)是(x,y)信号的均值和标准差,σxy是x和y之间的协方差，引入常数C1、C2、C3是为了避免数值计算的不稳定性。

最终，SSIM用如下计算的值来表征图像质量：

其中，xi,yi是序号为i位置的图像内容，而M是图像内容的计数。

我们使用了七个测试序列进行主观评估:Poznan理工大学提供的“Poznan Street”、由Nokia提供的“Undo_Dancer”和“GT_Fly”、由名古屋大学提供的“Kendo”和“Balloons”、由Gwangju科技大学提供的“Newspaper”和由韩国信息与通信技术研究所提供的“Shark”。为了模拟压缩和丢包造成的图像失真，我们采用JM软件对纹理和深度图像进行压缩(设置QP＝28)，然后进行丢包模拟，丢包率为3％。接下来，我们生成了最终合成的中间视图，它是由左视图和右视图各自生成双眼中心位置的虚拟视图后进行孔洞填充而成。采用分层随机抽样的方法，对所有最终合成的中间视图中的210幅图像进行主观/客观比较。最后，进行了一个由22个主观打分者组成的主观测试。主观评分，因为受试者不熟悉计算机合成的视频内容，也可能不区分艺术效果和失真，所以我们采用了双刺激连续质量标度法(DSCQS)，在数据集上的每个图像获得了不同的平均得分(DMOS)。

图4为不同质量评估方法的散点图比较，纵轴和横轴分别代表主观分和客观分，每个点代表测试集中的一个样本的结果，其中(a)是本发明提出的评估方法SVC，PCC＝0.5822，SROCC＝0.6284；(b)是SSIM，PCC＝0.4635，SROCC＝0.4730；(c)是MS-SSIM，PCC＝0.7221，SROCC＝0.7050；(d)是VIFP，PCC＝0.5528，SROCC＝0.5655。

图4中的(a)显示了SVC给出的主观/客观比较的散点图，进行非线性回归，皮尔逊相关系数(PCC)为0.5822，斯皮尔曼等级相关系数(SROCC)为0.6284。我们还计算了最终合成的虚拟的双眼中心位置视图和真实摄像机拍摄的双眼中心位置视图之间的SSIM、MS-SSIM(多尺度SSIM)和VIFP(像素域中的视觉信息保真规则)，并使用这些流行的全参考图像质量评价方法作为SVC的性能比较对象，进行非线性回归，结果见图4中的(b)、(c)、(d)。我们可以发现，SVC，一个针对MVD格式的三维图像的无参考质量评估方法，其性能在此数据集上优于传统的全参考指标，SSIM和VIFP。

作为无参考的质量评估方法，SVC可以在接收端不存在参考图像(原始未失真的图像)的情况下工作；SVC中大量的计算可以在三维电视系统中完成从而大幅降低接收端的计算强度；实验表明，SVC具有不输于全参考的质量评估方法的准确率。

SVC是一个三维图像/视频质量评估方法，它接受的输入是MVD格式的三维图像：包含左视图，左视图的深度图，右视图，右视图的深度图各一张。质量评估过程如图5所示：

(1)采用DIBR算法生成左视图在双目中心位置的虚拟视图I1；生成右视图在双目中心位置的虚拟视图I2；

(2)采用SSIM算法计算I1和I2的结构相似性，并把这个值作为输入三维图像的质量评估值输出。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。