一种降参考三维视频质量评价方法与流程

文档序号:12378849阅读:493来源:国知局
一种降参考三维视频质量评价方法与流程
本发明涉及一种视频质量评价方法,尤其是涉及一种降参考三维视频质量评价方法。
背景技术
:进入本世纪以来,随着数字2D(二维)视频技术日趋成熟,以及计算机、通信及网络技术的快速发展,引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时,难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎,因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与立体视频相比,基于彩色加深度的三维视频需要同时考虑彩色和深度对虚拟视点绘制的影响,然而,传统的立体图像/视频质量评价方法通常不能直接用于评价彩色、深度或虚拟视点视频质量。而对于三维视频质量评价而言,如果直接将立体视频质量评价方法应用于三维视频,即彩色和深度视频采用相同的评价方法,则由于彩色视频是显性影响虚拟视点,而深度视频是隐形影响虚拟视点,因此这会导致对虚拟视点绘制质量的不可控;或者如果直接将立体视频质量评价方法应用于虚拟视点视频,则由于虚拟视点存在因绘制引起的几何失真,因此传统的立体视频质量评价难以对其进行定量化。因此,如何对三维视频进行描述以衡量彩色和深度视频失真对虚拟视点绘制的影响,特别是如何能用较少的信息来进行有效描述,都是在对三维视频进行质量评价过程中需要研究解决的问题。技术实现要素:本发明所要解决的技术问题是提供一种降参考三维视频质量评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为:一种降参考三维视频质量评价方法,其特征在于包括以下步骤:①令Sorg表示原始的无失真的三维视频,令Sdis表示Sorg经失真后得到的三维视频,将Sdis作为待评价的失真的三维视频;将Sorg的左视点视频和右视点视频对应记为Lorg和Rorg,将Sdis的左视点视频和右视点视频对应记为Ldis和Rdis;将Lorg中t时刻的左视点图像记为{Lorg,t(x,y)},将Rorg中t时刻的右视点图像记为{Rorg,t(x,y)},将Ldis中t时刻的左视点图像记为{Ldis,t(x,y)},将Rdis中t时刻的右视点图像记为{Rdis,t(x,y)};其中,1≤t≤T,1≤x≤W,1≤y≤H,T表示Lorg中包含的左视点图像的总帧数,也即Rorg中包含的右视点图像的总帧数,也即Ldis中包含的左视点图像的总帧数,也即Rdis中包含的右视点图像的总帧数,W表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的宽度,H表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的高度,Lorg,t(x,y)表示{Lorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg,t(x,y)表示{Rorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis,t(x,y)表示{Ldis,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis,t(x,y)表示{Rdis,t(x,y)}中坐标位置为(x,y)的像素点的像素值;②采用基于深度图像绘制的方法,并选取6个介于左视点和右视点之间且视点间距相同的虚拟视点,根据Lorg中每个时刻的左视点图像和Rorg中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Lorg,t(x,y)}和{Rorg,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sorg对应的第1个虚拟视点绘制视频,记为并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sorg对应的第2个虚拟视点绘制视频,记为将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sorg对应的第3个虚拟视点绘制视频,记为将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sorg对应的第4个虚拟视点绘制视频,记为将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sorg对应的第5个虚拟视点绘制视频,记为将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sorg对应的第6个虚拟视点绘制视频,记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值;同样,采用基于深度图像绘制的方法,并选取与上述相同的6个虚拟视点,根据Ldis中每个时刻的左视点图像和Rdis中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Ldis,t(x,y)}和{Rdis,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sdis对应的第1个虚拟视点绘制视频,记为并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sdis对应的第2个虚拟视点绘制视频,记为将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sdis对应的第3个虚拟视点绘制视频,记为将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sdis对应的第4个虚拟视点绘制视频,记为将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sdis对应的第5个虚拟视点绘制视频,记为将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sdis对应的第6个虚拟视点绘制视频,记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值;③将Lorg、和Rorg按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sorg的四维空间图,记为{DSIorg(x,y,t,d)};其中,dmax表示左视点和右视点的视差平面的最大坐标位置,d=0代表左视点的视差平面的坐标位置,代表第1个虚拟视点的视差平面的坐标位置,代表第2个虚拟视点的视差平面的坐标位置,代表第3个虚拟视点的视差平面的坐标位置,代表第4个虚拟视点的视差平面的坐标位置,代表第5个虚拟视点的视差平面的坐标位置,代表第6个虚拟视点的视差平面的坐标位置,d=dmax代表右视点的视差平面的坐标位置,当d=0时DSIorg(x,y,t,d)=Lorg,t(x,y),当时当时当时当时当时当时当d=dmax时DSIorg(x,y,t,d)=Rorg,t(x,y);同样,将Ldis、和Rdis按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sdis的四维空间图,记为{DSIdis(x,y,t,d)};其中,当d=0时DSIdis(x,y,t,d)=Ldis,t(x,y),当时当时当时当时当时当时当d=dmax时DSIdis(x,y,t,d)=Rdis,t(x,y);④将{DSIorg(x,y,t,d)}划分成个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数;同样,将{DSIdis(x,y,t,d)}划分成个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数;⑤计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离,记为Q1;⑥计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离,记为Q2;⑦计算Sdis的客观质量评价预测值,记为Q,Q=λ×Q1+(1-λ)×Q2;其中,λ为加权参数。所述的步骤⑤的具体过程为:⑤_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为其中,1≤i≤10,表示中的第j个DCT系数,即为{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数;同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为其中,表示中的第j个DCT系数,即为{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni亦表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数;⑤_2、获取{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将中的DCT系数的直方图分布记为其中,表示中在第k个直方图节点处的DCT系数的总个数;同样,获取{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将中的DCT系数的直方图分布记为其中,表示中在第k个直方图节点处的DCT系数的总个数;⑤_3、采用广义高斯分布模型对{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布进行拟合,拟合得到{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线,将的拟合曲线记为将中与对应的点值记为其中,表示拟合曲线的尺度参数,表示拟合曲线的形状参数,exp()表示以自然基数e为底的指数函数,符号“||”为取绝对值符号,t为积分变量;⑤_4、计算{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与其拟合曲线之间的距离,将与之间的距离记为然后计算{DSIorg(x,y,t,d)}对应的所有DCT系数子带集合中的DCT系数的直方图分布所对应的距离之和,记为dorg,并计算{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线之间的距离,将与之间的距离记为然后计算{DSIdis(x,y,t,d)}对应的所有DCT系数子带集合中的DCT系数的直方图分布所对应的距离之和,记为ddis,⑤_5、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离Q1,Q1=|dorg-ddis|。所述的步骤⑥的具体过程为:⑥_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带;同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带;⑥_2、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γorg,其中,μorg,Mid表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μorg,High表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μorg,Low表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值;同样,计算{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γdis,其中,μdis,Mid表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μdis,High表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μdis,Low表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值;⑥_3、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离其中,符号“||”为取绝对值符号。所述的步骤⑦中取λ=0.8。与现有技术相比,本发明的优点在于:1)本发明方法通过基于深度图像绘制的方法,绘制得到多个虚拟视点绘制视频,并构造得到四维空间图,由于所构造的四维空间图同时考虑了彩色和深度视频失真对虚拟视点绘制质量的影响,这样与直接对三维视频进行操作相比,能够更好地衡量彩色和深度视频失真对虚拟视点绘制的影响,从而有效地提升了对三维视频的评价性能。2)本发明方法根据四维空间图中所有四维空间体的不同子带和频带的DCT系数统计特征,通过计算系数距离和频率比距离信息,来计算待评价的失真的三维视频的客观质量评价预测值,从而只需要较少的信息就能够较好地反映三维视频的质量变化情况。附图说明图1为本发明方法的实现流程框图;图2为一个尺寸大小为8×8的图像块中的所有像素点的DCT系数分解成10个不同的子带的示意图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种降参考三维视频质量评价方法,其实现流程框图如图1所示,其包括以下步骤:①令Sorg表示原始的无失真的三维视频,令Sdis表示Sorg经失真后得到的三维视频,将Sdis作为待评价的失真的三维视频;将Sorg的左视点视频和右视点视频对应记为Lorg和Rorg,将Sdis的左视点视频和右视点视频对应记为Ldis和Rdis;将Lorg中t时刻的左视点图像记为{Lorg,t(x,y)},将Rorg中t时刻的右视点图像记为{Rorg,t(x,y)},将Ldis中t时刻的左视点图像记为{Ldis,t(x,y)},将Rdis中t时刻的右视点图像记为{Rdis,t(x,y)};其中,1≤t≤T,1≤x≤W,1≤y≤H,T表示Lorg中包含的左视点图像的总帧数,也即Rorg中包含的右视点图像的总帧数,也即Ldis中包含的左视点图像的总帧数,也即Rdis中包含的右视点图像的总帧数,W表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的宽度,H表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的高度,Lorg,t(x,y)表示{Lorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg,t(x,y)表示{Rorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis,t(x,y)表示{Ldis,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis,t(x,y)表示{Rdis,t(x,y)}中坐标位置为(x,y)的像素点的像素值。②采用现有的基于深度图像绘制的方法,并随机选取6个介于左视点和右视点之间且视点间距相同的虚拟视点,根据Lorg中每个时刻的左视点图像和Rorg中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Lorg,t(x,y)}和{Rorg,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sorg对应的第1个虚拟视点绘制视频,记为即由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第1幅虚拟视点图像{Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第1幅虚拟视点图像……、{Lorg,T(x,y)}和{Rorg,T(x,y)}绘制得到的T时刻的第1幅虚拟视点图像构成;并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sorg对应的第2个虚拟视点绘制视频,记为即由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第2幅虚拟视点图像{Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第2幅虚拟视点图像……、{Lorg,T(x,y)}和{Rorg,T(x,y)}绘制得到的T时刻的第2幅虚拟视点图像构成;将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sorg对应的第3个虚拟视点绘制视频,记为即由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第2幅虚拟视点图像{Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第3幅虚拟视点图像……、{Lorg,T(x,y)}和{Rorg,T(x,y)}绘制得到的T时刻的第3幅虚拟视点图像构成;将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sorg对应的第4个虚拟视点绘制视频,记为即由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第4幅虚拟视点图像{Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第4幅虚拟视点图像……、{Lorg,T(x,y)}和{Rorg,T(x,y)}绘制得到的T时刻的第4幅虚拟视点图像构成;将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sorg对应的第5个虚拟视点绘制视频,记为即由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第5幅虚拟视点图像{Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第5幅虚拟视点图像……、{Lorg,T(x,y)}和{Rorg,T(x,y)}绘制得到的T时刻的第5幅虚拟视点图像构成;将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sorg对应的第6个虚拟视点绘制视频,记为即由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第6幅虚拟视点图像{Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第6幅虚拟视点图像……、{Lorg,T(x,y)}和{Rorg,T(x,y)}绘制得到的T时刻的第6幅虚拟视点图像构成;其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值。同样,采用现有的基于深度图像绘制的方法,并选取与上述相同的6个虚拟视点,根据Ldis中每个时刻的左视点图像和Rdis中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Ldis,t(x,y)}和{Rdis,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sdis对应的第1个虚拟视点绘制视频,记为并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sdis对应的第2个虚拟视点绘制视频,记为将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sdis对应的第3个虚拟视点绘制视频,记为将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sdis对应的第4个虚拟视点绘制视频,记为将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sdis对应的第5个虚拟视点绘制视频,记为将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sdis对应的第6个虚拟视点绘制视频,记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值。③将Lorg、和Rorg按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sorg的四维空间图,记为{DSIorg(x,y,t,d)};其中,dmax表示左视点和右视点的视差平面的最大坐标位置,在本实施例中dmax的值根据具体的左视点和右视点的基线距离确定,d=0代表左视点的视差平面的坐标位置,代表第1个虚拟视点的视差平面的坐标位置,代表第2个虚拟视点的视差平面的坐标位置,代表第3个虚拟视点的视差平面的坐标位置,代表第4个虚拟视点的视差平面的坐标位置,代表第5个虚拟视点的视差平面的坐标位置,代表第6个虚拟视点的视差平面的坐标位置,d=dmax代表右视点的视差平面的坐标位置,当d=0时DSIorg(x,y,t,d)=Lorg,t(x,y),当时当时当时当时当时当时当d=dmax时DSIorg(x,y,t,d)=Rorg,t(x,y)。同样,将Ldis、和Rdis按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sdis的四维空间图,记为{DSIdis(x,y,t,d)};其中,当d=0时DSIdis(x,y,t,d)=Ldis,t(x,y),当时当时当时当时当时当时当d=dmax时DSIdis(x,y,t,d)=Rdis,t(x,y)。④将{DSIorg(x,y,t,d)}划分成个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数。同样,将{DSIdis(x,y,t,d)}划分成个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数。⑤考虑到图像失真会引起DCT系数的不同子带分布发生变化,本发明方法计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离,记为Q1。在此具体实施例中,步骤⑤的具体过程为:⑤_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为其中,1≤i≤10,表示中的第j个DCT系数,即为{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数。同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为其中,表示中的第j个DCT系数,即为{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni亦表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数。在本实施例中,对于一个尺寸大小为8×8的图像块,将该图像块中的所有像素点的DCT系数分解成10个不同的子带的示意图如图2所示,一个尺寸大小为8×8×8×8的四维空间体可以看作是由64个尺寸大小为8×8的图像块构成,因此,⑤_2、获取{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将中的DCT系数的直方图分布记为其中,表示中在第k个直方图节点处的DCT系数的总个数。同样,获取{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将中的DCT系数的直方图分布记为其中,表示中在第k个直方图节点处的DCT系数的总个数。⑤_3、采用现有的广义高斯分布(GGD)模型对{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布进行拟合,拟合得到{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线,将的拟合曲线记为将中与对应的点值记为其中,表示拟合曲线的尺度参数,表示拟合曲线的形状参数,exp()表示以自然基数e为底的指数函数,符号“||”为取绝对值符号,t为积分变量。⑤_4、计算{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与其拟合曲线之间的距离,将与之间的距离记为然后计算{DSIorg(x,y,t,d)}对应的所有DCT系数子带集合中的DCT系数的直方图分布所对应的距离之和,记为dorg,并计算{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线之间的距离,将与之间的距离记为然后计算{DSIdis(x,y,t,d)}对应的所有DCT系数子带集合中的DCT系数的直方图分布所对应的距离之和,记为ddis,⑤_5、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离Q1,Q1=|dorg-ddis|。⑥考虑到图像失真会引起DCT系数的不同频带之间关系发生变化,本发明方法计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离,记为Q2。在此具体实施例中,步骤⑥的具体过程为:⑥_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带。同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带。在本实施例中,将第1个、第2个、第3个和第4个子带构成低频频带,将第5个、第6个和第7个子带构成中频频带,将第8个、第9个和第10个子带构成高频频带,因此,{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第1个频带即低频频带的DCT系数的总个数、{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第1个频带即低频频带的DCT系数的总个数均为{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第2个频带即中频频带的DCT系数的总个数、{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第2个频带即中频频带的DCT系数的总个数均为{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第3个频带即高频频带的DCT系数的总个数、{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第3个频带即高频频带的DCT系数的总个数均为⑥_2、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γorg,其中,μorg,Mid表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μorg,High表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μorg,Low表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值。同样,计算{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γdis,其中,μdis,Mid表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μdis,High表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μdis,Low表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值。⑥_3、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离Q2,其中,符号“||”为取绝对值符号。⑦计算Sdis的客观质量评价预测值,记为Q,Q=λ×Q1+(1-λ)×Q2;其中,λ为加权参数,在本实施例中取λ=0.8。在本实施例中,采用本发明方法对宁波大学建立的三维视频质量评价数据库进行测试,该三维视频质量评价数据库包含8个原始的彩色视频和对应的深度视频,对彩色视频进行4个强度的编码失真,对深度视频也进行4个强度的编码失真,并通过组合得到192个虚拟视点绘制视频,并给出了每个虚拟视点绘制视频的平均主观评分差值。在本实施例中,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient,PLCC)、Spearman相关系数(Spearmanrankordercorrelationcoefficient,SROCC)、Kendall相关系数(Kendallrank-ordercorrelationcoefficient,KROCC)、均方误差(rootmeansquarederror,RMSE),PLCC和RMSE反映客观评价预测值的准确性,SROCC和KROCC反映其单调性。将分别采用本发明方法与公知的PSNR和SSIM全参考质量评价方法得到失真的三维视频的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差进行比较,比较结果如表1所示。从表1中可以看出,采用本发明方法得到的失真的三维视频的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。表1利用本发明方法与公知的PSNR和SSIM全参考质量评价方法得到的失真的三维视频的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差比较PLCCSROCCKROCCRMSEPSNR方法0.83750.85520.64117.8790SSIM方法0.70910.69880.517110.8747本发明方法0.85130.84870.65827.1537当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1