专利名称：：基于光线空间的自由视点图像质量评价方法
技术领域：
：本发明涉及一种无源质量评价方法，特别是一种基于光线空间的自由视点图像质量评价方法。
背景技术：
：自由视点视频是本世纪初逐步发展起来的视觉新技术，自由视点视频是一种能够通过处理摄像机阵列获得的二维视频图像而产生极高性能的多维视频图像(立体性和视角可选性)的表示方法，在三维电视、自由视点电视、沉浸式3D视频会议、3D视频监控、3D虚拟现实和会展技术等领域有广泛的应用前景。在自由视点视频的各种应用中，最本质的内容是直接从显示设备中感受真实的3D世界。这主要通过记录3D场景数据、有效地表示这些数据、并随机重现3D场景而实现的，因此3D场景的高质量重现是自由视点视频的关键技术之一。一般可采用各种图像绘制方法来生成虚拟的中间视点图像，但由于没有对应的原始图像，新生成中间视点图像的质量如何，无法用PSNR(峰值信噪比)等传统方法来评价，往往仅凭直接观察判断，至今尚无有效的衡量新视点图像质量的评价方法。针对三维图像的质量评价，一种是应用于医学图像的质量评价，通过RAMLA(redactionmaximumlikelihoodalgorithm)的参数将用2.5DRAMLA和3DRAMLA方法重建后的图象划分成hotsphere和cold印here，比较不同区域的对比度及背景变化程度达到评价医学上诸如人脑，四肢等特定图像质量的目的。另一种是针对3D模型重建图像的质量评价，该方法对影响几何绘制图像质量的几何分辨率和纹理分辨率作了定量研究，在纹理分辨率(几何分辨率)一定的情况下，结合图像的主观评价拟合了图像客观质量和几何分辨率(纹理分辨率)的曲线图。由于自由视点视频应用中生成的虚拟视点图像没有对应的原始图像，且生成的方式亦不同于3D模型重建，因此以上这些图像质量评价方法并不适用于评价其质量。虽然有人认为对三维电视显示图像质量的分析应在二维图像质量评价模型的基础上加上三维图象的深度信息的评价，但并未建立起适合三维电视机显示图像质量评价模型。迄今，关于应用基于图像绘制技术生成的图象质量评价目前研究较少，没有普遍使用的成果。
发明内容本发明的目的是提供一种基于光线空间的自由视点图像质量评价方法。与传统的无参考图像质量评价方法相比较，本发明是针对绘制图像提出的一种图像质量评价方法，根据平行相机系统所得光线空间由一系列相互平行，交错或重叠的直线组成的特点和不同插值方法所得光线空间会呈现不同程度锯齿效应的现象，利用光线空间中方向相同直线的边缘像素方向一致性参数，来评价由不同插值方法所得光线空间质量，该参数获得的质量评价结果必须与PSNR获得的评价结果相一致，且可用于衡量不同插值方法所得光线空间生成的自由视点图像质量。对比与利用梯度直方图的方法来评价不同插值方所得光线空间生成的自由视点图像质量，本发明分别对固定方向插值所得光线空间，双线性所得光线空间，最邻近插值所得光线空间进行质量评价时，得到的参数变化更均匀，变化特性更接近于PSNR得到的结果。为达到上述目的，本发明的构思是如图1所示，根据固定方向插值所得光线空间、双线性插值所得光线空间、最邻近插值所得光线空间中的直线边缘会呈现不同程度锯齿效应的现象和高频能量可用于衡量数值变化剧烈程度的原理，本发明首先获取上述三种插值方法所得光线空间中所有像素方向角度的高频能量图，同时获取这些光线空间的噪声较少的且边缘方向一致的边缘图，然后计算边缘图中像素方向角度的平均高频能量值，并将此值作为评价三种不同插值方法所得光线空间边缘像素方向一致性参数。最后验证该方法评价出的高质量光线空间能否生成高质量的视点图像。根据上述构思，本发明的技术方案是-一种基于光线空间的自由视点图像质量评价方法，其特征在于在无原图像的情况下，可以通过计算光线空间中方向相同直线的边缘像素方向角度的平均高频能量值作为求取评价由固定方向插值、双线性插值、最邻近插值所得光线空间的边缘像素点的方向一致性参数的重要依据，且用该方法评价由以上三种插值方法所得光线空间的质量和用PSNR方法获得的结果是相一致的。由于高质量的光线空间总是产生高质量的自由视点图像，此方法可衡量以上三种插值方法所得光线空间生成的自由视点质量。其具体步骤是-(1)获取插值所得光线空间中所有像素方向角度的高频能量图对光线空间中所有像素方向角度的频谱进行高通滤波；(2)插值所得光线空间的边缘图处理用'carmy'算子获取光线空间的边缘图，保留边缘图中方向相同的直线边缘作为修正后的边缘图，并根据需要去除修正后边缘图中的非边缘杂点获得最终的边缘(3)确定用于评价不同插值方法所得光线空间质量的边缘像素方向一致性参数计算最终边缘图中像素点方向角度的平均高频能量值，并将该值作为最终的用于评价不同插值方法所得光线空间质量的边缘方向一致性参数；(4)在自由视点域验证试验结果的科学性依据高质量的光线空间产生高质量视点图像6的原理，若用步骤(3)的参数评价出的高质量的光线空间能生成高质量的自由视点图像，证明步骤(3)所得参数可用于衡量不同插值方法所得光线空间生成的自由视点图像质量。上述获取插值所得光线空间中所有像素方向的高频能量图具体步骤是-①用sobel算子获取光线空间中每一像素点的梯度向量n={血,^乂}，其中血^，^^分别为水平梯度分量和垂直梯度分量；②计算光线空间每一像素点的方向;③对Jwg,j作快速傅立叶变换(fft)，再平移得到JWg,j的频谱图G(",v);④用Butterworth高通滤波器对G(M，v)进行高通滤波，结果记为G'("，力。上述的插值所得光线空间的边缘图处理的具体步骤是①用，canny'算子获取光线空间的边缘图S,;②用霍夫变换检测B,中每一直线；③在检测过程中，将第1条直线的两个点记为尸1,001,)、/>2i(x2i，>g;计算第i条直线的斜率；⑤如果第i条直线的斜率不在所需范围内，则将第i条直线边缘像素值赋为0。此时可获得修正后的具有方向相同的直线边缘图52;⑥对二值图像丑2进行行扫描，当某像素与他相邻两像素点值为1的列间距在设定的阈值内时，认为该像素为直线边缘上的点，否则将该像素值赋为0;此时可得到最终的光线空间边缘图&。上述的确定用于评价不同插值方法所得光线空间质量的边缘方向一致性参数的具体步骤是①获取边缘图丑3中所有像素方向的高频能量图g(",v);②计算边缘图&中=1的像素数N;③根据g(i^)和N计算用于评价不同插值方法所得光线空间质量的边缘方向一致性参数上述的在自由视点域验证试验结果的科学性具体步骤是①在有原图像序列的情况下，选取和原图像I相同位置处的由不同插值方法所得光线空间生成的自由视点图像/,;②根据计算I和/,的PSNR值来判断,的质量；③判断根据L评价的高质量光线空间是否能生成根据步骤②用PSNR评价出的高质量的自由视点图像，若是，则参数L可用于衡量不同插值方法所得光线空间生成的自由视点图像下面对上述技术方案给予进一步详细说明图1示出本发明总体技术方案中的下列四个步骤-(1)获取插值所得光线空间中所有像素方向的高频能量图如图2所示，首先用sobel算子计算光线空间中的每一个像素p^的梯度向量--1,_2,-r其中sobel的水平算子和垂直算子分别为0,0,0和-2,0,+2，+1,+2,+1一i,o,+i则血,.,和tfyw可分别由式(1)和式(2)得到一1X尸h,广,+—2X尸卜,，,—J+1++2X办w=+2xP,'w+—尸",_2x/\川一尸,.然后，像素p"的方向^Wg"可根据公式(3)计算得到水(1)(2)180*arctan(^^)7T(3)对爿Wg"做fft变换，并将变换后频谱的中心从矩阵的原点移到矩阵的中心得到频谱GO,v)。最后，对G("，v)用Butterworth高通滤波器进行高通滤波可得到插值所得光线空间中所有像素方向的高频能量图，n阶截断频率为J。的Butterworth高通滤波器的转移函数1+V)]G(m,v)=//(w,v)xG(w,v)，则经过Butterworth高通滤波后的G'(w，v)可由式(4)得到:(4)(2)插值所得光线空间的边缘图处理如图(3)所示，总体分成三步进行。首先用，carmy，算子获取光线空间片的边缘图丑,。该算子是目前最有效的边缘检测算子，该算子的基本过程为对每一点计算局部梯度和边缘方向角。边缘点定义为梯度方向上强度局部最大的点；边缘点会导致梯度幅度图像中出现脊，然后追踪所有脊的顶部，并将所有不在脊的顶部的像素设为零，方便找出一条细线，通过8邻域执行边缘链接成边缘线。然后，通过霍夫变换检测保留边缘图^8,中直线边缘，在检测过程中，将第i条直线的两个点记为尸u(L,i^(;cw^g，，第i条直线的斜率^可由公式(5)计算得到-<formula>formulaseeoriginaldocumentpage9</formula>(5)如果t不在所需范围内，则将第i条直线边缘像素值赋为o，此时可得到边缘图凡。最后，去除边缘图32中非边缘的杂点。对二值图像52进行行扫描，当s》,力-i时，继续寻找万2("+")=1禾口32(/，_/+附)=1，选取参数"=10，〃=3，当々<"《"或者〃S附一"S"成立时，就保留丑2("+")=1，且从点万2(U+")继续向后循环，否贝U，52(U+")=0，且从点凡(U+附)继续向后循环。此时可得到最终的边缘图。(3)确定用于评价不同插值方法所得光线空间质量的边缘方向一致性参数L如图(4)所示，首先计算边缘图33中53(,，力=1的像素数^同时根据公式(6)计算边缘图^中所有像素方向角度的高频能量图g(u,v):<formula>formulaseeoriginaldocumentpage9</formula>(6)然后根据公式(7)计算边缘图33中所有像素方向角度的平均高频能量值，即可得所需的评价不同插值方法所得光线空间质量的边缘方向一致性参数L:<formula>formulaseeoriginaldocumentpage9</formula>(4)在自由视点域验证试验结果的科学性如图(5)所示，首先选取原始序列在某些位置处的自由视点图像I，再选取不同插值方法所得光线空间在相同位置处生成的自由视点图像/i，并依据公式(8)计算厶的PSNR:<formula>formulaseeoriginaldocumentpage10</formula>/,的PSNR值越高，说明其质量越好。然后，结合参数L，观察质量好的自由视点图像是否由质量好的光线空间生成，若是，说明本试验方法可用于衡量不同插值方法所得光线空间生成的自由视点图像质量，若不是，说明试验方法不可用于衡量不同插值方法所得光线空间生成的自由视点图像质量，应考虑采用其他方案。本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点通常的无参考图像质量评价方法是针对编码图像提出的，编码图像与绘制图像的图像受损类型有很多的不同，本发明提供的自由视点图像质量评价方法，根据平行相机系统所得光线空间由一系列相互平行，交错或重叠的直线组成的特点和不同插值方法所得光线空间会呈现不同程度锯齿效应的现象，利用插值所得光线空间具有相同方向的直线边缘图的边缘像素方向一致性参数，来评价由不同插值方法所得光线空间质量，然后根据高质量的光线空间产生高质量自由视点图像的原理，此结果可以用于衡量不同插值方法所得光线空间生成的自由视点图像质量。本发明无需原图像即可获得与传统PSNR方法相一致的结果，且获得可以用于由不同插值方法所得光线空间生成的自由视点质量评价，与用梯度直方图的方法相比，本发明分别对固定方向插值所得光线空间，双线性插值所得光线空间，最邻近插值所得光线空间进行质量评价时，得到的质量评价参数变化更均匀，与PSNR得到的结果变化特性更接近。图1是本发明的基于光线空间的自由视点图像质量评价方法的程序框图。图2是图1中的获取插值所得光线空间中所有像素方向角度的高频能量图的程序框图。图3是图1中的插值所得光线空间的边缘图处理的程序框图。图4是图1中的确定用于评价不同插值方法所得光线空间质量的边缘方向一致性参数L的程序框图。图5是图1中的在自由视点域验证试验结果科学性的程序框图。具体实施例方式本发明的一个实施如下所述。本发明的试验数据为xmas序列的原光线空间，xmas和rena序列的固定方向插值所得光线空间，xmas和rena序列的双线性插值所得光线空间，xmas和rena序列的最邻近插值所得光线空间，以及由这些插值所得光线空间生成的视点图像。参见图1，本基于光线空间的自由视点质量评价方法，可在无源参考图像的情况下通过光线空间方向相同的直线边缘像素的方向角度一致性参数来评价光线空间的质量。高质量的光线空间产生高质量的视点图像，因此本方明可衡量不同光线空间产生的自由视点图像的质其步骤是.-(1)获取插值所得光线空间中所有像素方向角度的高频能量图对光线空间中所有像素方向角度的频谱进行高通滤波；(2)插值所得光线空间的边缘图处理用'canny'算子获取光线空间的边缘图，保留边缘图中方向相同的直线边缘作为修正后的边缘图，并根据需要去除修正后边缘图中的非边缘杂点获得最终的边缘(3)确定用于评价不同插值方法所得光线空间质量的边缘像素方向一致性参数计算最终边缘图中像素点方向角度的平均高频能量值，并将该值作为最终的用于评价不同插值方法所得光线空间质量的边缘方向一致性参数；(4)在自由视点域验证试验结果的科学性依据高质量的光线空间产生高质量视点图像的原理，若用步骤(3)的参数评价出的高质量的光线空间能生成高质量的自由视点图像，证明步骤(3)所得参数可用于衡量不同插值方法所得光线空间生成的自由视点图像质量。参见图2，上述的获取插值所得光线空间中所有像素方向角度的高频能量图，其具体步骤如下①用sobel算子获取光线空间中每一像素点的梯度向量5y^,^;^},其中血"，分别为水平梯度分量和垂直梯度分量；②计算光线空间每一像素点的方向^wg";③对v4wg"作快速傅立叶变换(fft)，再平移得到^Wg,j的频谱图G(",v);用Butterworth高通滤波器对G("，v)进行高通滤波，结果记为。参见图3，上述的插值所得光线空间的边缘图处理的具体步骤是①用'canny'算子获取光线空间的边缘图;②用霍夫变换检测丑i中每一直线；11③在检测过程中，将第1条直线的两个点记为尸|,化,,乂,)、iVx2i,_y2,);④计算第i条直线的斜率；如果第i条直线的斜率不在所需范围内，则将第i条直线边缘像素值赋为0。此时可获得修正后的具有方向相同的直线边缘图丑2;⑥对二值图像32进行行扫描，当某像素与他相邻两像素点值为1的列间距在设定的阈值内时，认为该像素为直线边缘上的点，否则将该像素值赋为0;此时可得到最终的光线空间边缘图丑3。上述的确定用于评价不同插值方法所得光线空间质量的边缘方向一致性参数的具体步骤是①获取边缘图^3中所有像素方向的高频能量图g("，"；②计算边缘图万3中凡(',力=1的像素数N;③根据g("，"和N计算用于评价不同插值方法所得光线空间质量的边缘方向一致性参数L。上述的在自由视点域验证试验结果的科学性的具体步骤是-①在有原图像序列的情况下，选取和原图像I相同位置处的由不同插值方法所得光线空间生成的自由视点图像/i;②根据计算I和/,的PSNR值来判断/,的质量；③判断根据L评价的高质量光线空间是否能生成根据步骤②用PSNR评价出的高质量的自由视点图像，若是，则参数L可用于衡量不同插值方法所得光线空间生成的自由视点图像质量。下面将本文算法，梯度直方图的方法以及PS服的方法分别作一比较实验序列为xmas序列和rena序列。每组光线空间包括固定方向插值所得光线空间，双线性插值所得光线空间，最邻近插值所得光线空间。试验选取xmas和rena序列在三个不同位置处的光线空间，并将三组光线空间分别标号为OOO，001，002。表1.xmas序列的不同光线空间片的PSNR值<table>tableseeoriginaldocumentpage13</column></row><table>表2.序列xnias的边缘像素方向一致性参数<table>tableseeoriginaldocumentpage13</column></row><table>由于本发明采用方向相同直线的边缘像素方向角度的平均高频能量作为光线空间质量评价参数的依据，对于同一组光线空间，能量参数越大说明光线空间质量越差。从表2中可看出，可以发现固定方向插值所得光线空间质量最好，双线性插值所得光线空间质量居中，最邻近插值所得光线空间质量最差。从表1和表2可以发现本发明可以取得和传统PSNR—致的评价结果。表3列出了用rena序列进行实验的结果，证明了本发明结果的合理性。表3.序列rena的边缘像素方向一致性参数<table>tableseeoriginaldocumentpage13</column></row><table>从表3，可以发现对于rena序列，依旧是固定方向插值所得光线空间质量最好，双线性插值所得光线空间质量居中，最邻近插值所得光线空间质量最差。通过xmas和rena两个多视点序列，可以证明本发明对固定方向插值所得光线空间、双线性插值所得光线空间、最邻近插值所得光线空间的质量评价结果与PSNR评价结果相一致。表4.利用梯度直方图获得的xmas序列的边缘像素方向一致性参数<table>tableseeoriginaldocumentpage14</column></row><table>表4是通过梯度直方图的方法获得的xmas序列光线空间的边缘像素方向一致性参数，此参数越小说明边缘像素方向一致性更好，所评价的光线空间质量越好。以xmas序列为例，从表1看出，固定方向插值所得光线空间，双线性插值所得光线空间以及最邻近插值所得光线空间的PSNR差值相差是不大的。从表2可发现，固定方向插值所得光线空间，双线性插值所得光线空间以及最邻近插值所得光线空间的能量参数间差值也是相差不大的。但是，表4中用梯度直方图的方法得到的最邻近插值所得光线空间和双线性所得光空间的质量评价参数之差值是双线性所得光线空间和固定方向插值所得光线空间的质量评价参数之差值的10倍。所以，本发明的方法可以获得更加科学的光线空间质量评价结果。视点域的试验结果也验证了本试验方法的科学性。表5列出xmas和rena序列的由固定方向插值所得光线空间，双线性插值所得光线空间，最邻近插值所得光线空间在相同位置处生成的视点图像的PSNR值。从PSNR值，可以发现由固定方向插值所得光线空间生成的视点图像质量最好，由双线性插值所得光线空间生成的视点图像质量居中，由最邻近插值所得光线空间生成的视点图像质量最差，因此，用本方明的参数评价出来的高质量的光线空间能够生成高质量的视点图像。表5.不同插值方法所得光线空间在相同位置处生成的视点图像质量<table>tableseeoriginaldocumentpage14</column></row><table>权利要求1.一种基于光线空间的自由视点图像质量评价方法，其特征在于根据对于固定方向插值所得光线空间、双线性插值所得光线空间、最邻近插值所得光线空间中的直线边缘会呈现不同程度锯齿效应的现象和高频能量可用于衡量数值变化剧烈程度的原理，首先获取上述三种插值方法所得光线空间中所有像素方向的高频能量图，同时获取这些光线空间的噪声较少的且边缘方向一致的边缘图；然后计算边缘图中边缘像素方向的平均高频能量值，并将其作为评价三种不同插值方法所得光线空间质量的边缘像素方向一致性参数；最后验证该参数获得的不同插值方法所得光线空间的质量评价结果在视点域是否成立，即是否满足高质量的光线空间总是产生高质量的视点图像的原理；其具体步骤是a.获取插值所得光线空间中所有像素方向角度的高频能量图对光线空间中所有像素方向角度的频谱进行高通滤波；b.插值所得光线空间的边缘图处理用’canny’算子获取光线空间的边缘图，保留边缘图中方向相同的直线边缘作为修正后的边缘图，并根据需要去除修正后边缘图中的非边缘杂点获得最终的边缘图；c.确定用于评价不同插值方法所得光线空间质量的边缘像素方向一致性参数计算最终边缘图中像素点方向角度的平均高频能量值，并将该值作为最终的用于评价不同插值方法所得光线空间质量的边缘方向一致性参数；d.在自由视点域验证试验结果的科学性依据高质量的光线空间产生高质量视点图像的原理，若用步骤(3)的参数评价出的高质量的光线空间能生成高质量的自由视点图像，证明步骤(3)所得参数可用于衡量不同插值方法所得光线空间生成的自由视点图像质量。2.根据权利l所述的基于光线空间的自由视点图像质量评价方法，其特征在于所述歩骤U)中的获取插值所得光线空间中所有像素方向角度的高频能量图，其具体步骤如下①用sobel算子获取光线空间中每一像素点的梯度向量^y血,j,办,"其中血,？cfy"分别为水平梯度分量和垂直梯度分量；②计算光线空间每一像素点的方向v4ng'y，③对^"g^作快速傅立叶变换(fft),再平移得到j唯^的频谱图G(",v);④用Butterworth高通滤波器对G("，v)进行高通滤波，结果记为G'(","。3.根据权利要求l所述的基于光线空间的视点图像质量评价方法，其特征在于所述步骤(2)中的插值所得光线空间的边缘图处理，得到方向一致的直线边缘图，且此边缘图中直线边缘杂点较少，其具体步骤如下-上述的插值所得光线空间的边缘图处理的具体步骤是-①用，carmy，算子获取光线空间的边缘图丑,；②用霍夫变换检测^1中每一直线；③在检测过程中，将第1条直线的两个点记为尸1,.(工,,>^,)、J^(JCv凡,)；计算第i条直线的斜率；⑤如果第i条直线的斜率不在所需范围内，则将第i条直线边缘像素值赋为0。此时可获得修正后的具有方向相同的直线边缘图"2;对二值图像5z进行行扫描，当某像素与他相邻两像素点值为1的列间距在设定的阈值内时，认为该像素为直线边缘上的点，否则将该像素值赋为0;此时可得到最终的光线空间边缘图^3。4.根据权利要求l所述的基于光线空间的视点图像质量评价方法，其特征在于所述步骤(3)中的确定用于评价不同插值方法所得光线空间质量的边缘方向一致性参数，依据的原理是直线边缘锯齿效应越明显，边缘像素方向角度变化越剧烈，其高频能量值越大，其具体步骤如下①获取边缘图五3中所有像素方向的高频能量图g(",";②计算边缘图凡中丑3(U')-1的像素数N;③根据g("，力和N计算用于评价不同插值方法所得光线空间质量的边缘方向一致性参数L。5.根据权利要求l所述的基于光线空间的视点图像质量评价方法，其特征在于所述步骤(4)中的在自由视点域验证试验结果的科学性，其具体步骤如下①在有原图像序列的情况下，选取和原图像I相同位置处的由不同插值方法所得光线空间生成的自由视点图像/,;②根据计算I和/,的PSNR值来判断/'的质量；③判断根据L评价的高质量光线空间是否能生成根据步骤②用PSNR评价出的高质量的自由视点图像，若是，则参数L可用于衡量不同插值方法所得光线空间生成的自由视点图像质量。全文摘要本发明涉及一种基于光线空间的自由视点图像质量评价方法。本发明利用光线空间中方向相同直线的边缘像素方向一致性参数，来评价由以上三种不同插值方法所得光线空间质量。首先获取上述三种插值方法所得光线空间中所有像素方向角度的高频能量图，同时获取这些光线空间的噪声较少的且方向一致的边缘图，然后计算边缘图中像素方向角度的平均高频能量值，并将此值作为评价插值所得的光线空间边缘像素方向的一致性的重要依据。最后验证评价出的高质量的光线空间是否能生成高质量的视点图像。测试表明，与已有技术相比，本发明分别对固定方向插值所得光线空间，双线性插值所得光线空间，最邻近插值所得光线空间进行质量评价时，得到的参数变化更均匀，与PSNR评价结果变化特性更接近。文档编号H04N17/00GK101478694SQ200810203999公开日2009年7月8日申请日期2008年12月4日优先权日2008年12月4日发明者刘苏醒,利周,平安,张兆杨申请人:上海大学