结合JND模型的交叉验证深度图质量评价方法与流程

本发明涉及一种图像质量评价方法，尤其是涉及一种结合JND(Just-noticeable-distortion，恰可察觉失真)模型的交叉验证深度图质量评价方法。
背景技术：
：近年来，视频技术迅速发展，出现了许多新的应用，如3D视频和自由视点视频(FVV，FreeViewpointVideo)。与传统的二维视频相比，3D视频提供了深度信息，带来了更逼真的视觉体验。深度图在许多3D视频应用中起着基本作用，例如，深度图可以用于通过在可用视点处内插或外推图像来生成任意新视点图像；此外，高质量的深度图为解决计算机视觉中的具有挑战性的问题提供了帮助。许多3D视频应用的性能受益于准确和高质量的深度图的估计或采集，可以通过匹配经校正的彩色图像或使用深度相机来获得深度图。在立体匹配技术中，由于受遮挡和大面积均匀区域的影响，因此常常会产生不准确的深度图，虽然立体匹配算法的固有困难可以使用深度相机来解决，但是不可避免的传感器噪声问题依然存在，影响了深度的精度和对象的形态。3D视频技术的一个主要发展方向是基于彩色加深度的自由视点视频系统，该系统的基本框架包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。基于彩色加深度的自由视点视频系统能让用户自由地选择任意位置的视点进行观看，增强了人机交互性。实现自由视点视频系统的一项关键技术就是虚拟视点生成技术，它的主要用途是克服相机获取真实视点能力的限制，产生任意位置的虚拟视点。影响虚拟视点质量的因素主要有两个：一是深度图和对应彩色图像的质量；二是虚拟视点绘制算法。目前，基于深度图的绘制(DIBR，DepthImageBasedRendering)技术是业界应用最为广泛的一种虚拟视点生成技术。在基于深度图的绘制技术中，深度信息是生成高质量的虚拟视点的关键，深度信息错误将导致视差错误，造成虚拟视点中像素位置的偏移和对象扭曲，影响用户感知。深度信息代表的是对应场景到相机成像平面的距离信息，它将实际距离值量化到[0，255]。由于深度相机价格昂贵，因此目前用于测试的深度图大多通过深度估计软件得到。为了推广应用和降低成本，用于虚拟视点绘制的深度信息不适合在接收端通过深度估计产生，需要在发送端采集或者估计，然后编码传送给接收端。因此，深度图获取算法的限制和深度图编码会导致深度估计不准和深度压缩失真。基于深度图的绘制技术的核心思想为利用深度信息和相机参数将参考图像中的像素投影到目标虚拟视点，一般可以分为两步，首先将原参考视点中的像素利用其深度信息重投影到它们对应的三维空间位置；然后根据虚拟视点的位置(如相机平移、旋转参数等)将这些三维空间点再投影到虚拟相机平面进行成像得到虚拟视点中的像素。虚拟视点绘制时，需要将深度转化为视差，通过视差可求得参考像素点在虚拟视点中的位置，深度值决定了参考视点中的像素的偏移距离。若相邻像素的深度值变化剧烈，则会在两像素之间产生空洞，深度值变化越尖锐，则产生的空洞越大。由于前背景交界处深度值变化较大，因此空洞的产生一般位于前背景交界处。当参考图像中被前景对象遮挡的背景区域在虚拟图像中可见时，虚拟图像中将出现空洞，而当参考图像中未被前景对象遮挡的背景区域在虚拟图像中不可见时，则发生遮挡。虚拟视点失真大多为虚拟视点中像素位置偏移和对象扭曲，检测出的失真区域并非都可以很好地被人眼所察觉。图像由边缘、纹理及平坦区域三部分构成，不同区域不同幅度的失真对人眼视觉效果的影响不尽相同，纹理复杂度较高或纹理特征相似的区域往往可以容忍更多的失真，而边缘附近的变化则最能引起人眼的视觉感知。视觉生理、心理等方面的研究发现人类视觉系统特性和掩蔽效应对图像处理起着非常重要的作用，当图像失真小于某一范围时，人眼不能够感觉到此种影响，基于此人们提出了恰可察觉失真(JND，Just-noticeable-distortion)模型。常见的掩蔽效应包括：1)亮度掩蔽特性，人眼对被观测物体的绝对亮度判断力差，而对亮度的相对差异判断力较强，对高亮区所附加的噪声其敏感性较大；2)纹理掩蔽特性，人类视觉系统对图像平滑区域的敏感性远远高于纹理区域，纹理复杂度较高的区域往往可以容忍更多的失真。由于深度图的广泛使用，深度图的质量评估变得至关重要，能促进许多实际应用。例如，在自由视点视频系统中，检测深度失真能帮助进行深度增强，通过深度增强，可以进一步提高虚拟视点的质量，使观众可以享受更好的观看体验。深度图的质量评估的一个简单方法是将待测试的深度图与无失真参考深度图进行比较，该方法对应于全参考深度质量度量，其可以精确地测量深度图的精度，然而，在大多数实际应用中，由于深度图的误差不可避免，无失真的参考深度图通常无法获得，因此用无参考评价方法评估深度图更合理。Xiang等人提出的无参考深度图质量评估方案通过匹配彩色图像和深度图的边缘来检测误差，计算坏点率来评价深度图的质量，与绘制得到的虚拟图像的质量有较好的一致性，但是该方案只考虑了边缘附近的错误，忽略了其他平滑区域，所检测出来的只是部分误差像素，且场景的不同属性和误差分布对该方案的性能影响较大。深度图并不直接用于观看，而是作为辅助信息用于绘制虚拟视点，因此需要从应用的角度出发来评价深度图的质量。技术实现要素：本发明所要解决的技术问题是提供一种结合JND模型的交叉验证深度图质量评价方法，其不需要无失真参考深度图，且能够有效地提高评价结果与绘制得到的虚拟视点的质量之间的一致性。本发明解决上述技术问题所采用的技术方案为：一种结合JND模型的交叉验证深度图质量评价方法，其特征在于包括以下步骤：①将待评价的深度图记为Dtar，将Dtar对应的彩色图记为Τtar，将除Dtar和Τtar所在视点外的另一个已知视点定义为辅助视点，将辅助视点上的彩色图记为Tref；然后通过将Dtar中的所有像素点的像素值转化为视差值，将Τtar中的所有像素点经3D-Warping映射到Tref中；其中，Dtar、Τtar和Tref的垂直方向上的像素点的总个数为M，Dtar、Τtar和Tref的水平方向上的像素点的总个数为N；②令Etar表示尺寸大小与Dtar的尺寸大小相同的差值图，将Etar中坐标位置为(x,y)的像素点的像素值记为Etar(x,y)，当辅助视点在Dtar和Τtar所在视点的左边时，判断y+dtar,p(x,y)是否大于N，如果是，则令Etar(x,y)＝0，否则，满足u＝x、v＝y+dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；当辅助视点在Dtar和Τtar所在视点的右边时，判断y-dtar,p(x,y)是否小于1，如果是，则令Etar(x,y)＝0，否则，满足u＝x、v＝y-dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；其中，1≤x≤M,1≤y≤N，1≤u≤M,1≤v≤N，dtar,p(x,y)表示Dtar中坐标位置为(x,y)的像素点的像素值转化得到的视差值，符号“||”为取绝对值符号，Ιtar(x,y)表示Τtar中坐标位置为(x,y)的像素点的亮度分量，Ιref(u,v)表示Tref中坐标位置为(u,v)的像素点的亮度分量；③令C表示尺寸大小与Dtar的尺寸大小相同的遮挡掩膜图像，将C中坐标位置为(x,y)的像素点的像素值记为C(x,y)，将C中的每个像素点的像素值初始化为0，将Τtar中经3D-Warping映射到Tref中坐标位置为(u,v)处的像素点的总个数记为N(u,v)；当N(u,v)＝1时，令C(x,y)＝0；当N(u,v)>1时，其中，N(u,v)的值为0或为1或大于1，Dtar(x,y)表示Dtar中坐标位置为(x,y)的像素点的像素值，max()为取最大值函数，1≤x(u,v),i≤M,1≤y(u,v),i≤N，(x(u,v),i,y(u,v),i)表示Τtar中经3D-Warping映射到Tref中坐标位置为(u,v)处的N(u,v)个像素点中的第i个像素点在Τtar中的坐标位置，Dtar(x(u,v),i,y(u,v),i)表示Dtar中坐标位置为(x(u,v),i,y(u,v),i)的像素点的像素值；④利用C去除Etar中被遮挡的像素点，得到去遮挡后的差值图，记为E'tar，将E'tar中坐标位置为(x,y)的像素点的像素值记为E'tar(x,y)，E'tar(x,y)＝Etar(x,y)×(1-C(x,y))；⑤计算Tref中的每个像素点的纹理判断因子，将Tref中坐标位置为(u,v)的像素点的纹理判断因子记为z(u,v)，其中，1≤u≤M,1≤v≤N，zh(u,v)表示Tref中坐标位置为(u,v)的像素点的水平方向的纹理判断因子，zh(u,v)的值为1或0，zh(u,v)＝1表示Tref中坐标位置为(u,v)的像素点为水平方向的纹理像素点，zh(u,v)＝0表示Tref中坐标位置为(u,v)的像素点为水平方向的非纹理像素点，zv(u,v)表示Tref中坐标位置为(u,v)的像素点的垂直方向的纹理判断因子，zv(u,v)的值为1或0，zv(u,v)＝1表示Tref中坐标位置为(u,v)的像素点为垂直方向的纹理像素点，zv(u,v)＝0表示Tref中坐标位置为(u,v)的像素点为垂直方向的非纹理像素点；⑥令T表示尺寸大小与Tref的尺寸大小相同的区域标记图，将T中坐标位置为(u,v)的像素点的像素值记为T(u,v)，将T中的每个像素点的像素值初始化为0；利用Canny算子检测出Tref中的边缘区域，假设Tref中坐标位置为(u,v)的像素点属于边缘区域，则令T(u,v)＝1；假设Tref中坐标位置为(u,v)的像素点的纹理判断因子z(u,v)＝1，则当T(u,v)＝0时确定Tref中坐标位置为(u,v)的像素点属于纹理区域，并重新令T(u,v)＝2；其中，T(u,v)的值为0或1或2，T(u,v)＝0代表Tref中坐标位置为(u,v)的像素点属于平坦区域，T(u,v)＝1代表Tref中坐标位置为(u,v)的像素点属于边缘区域，T(u,v)＝2代表Tref中坐标位置为(u,v)的像素点属于纹理区域；⑦引入基于亮度掩蔽和纹理掩蔽效应的JND模型，利用JND模型，并根据Tref中的每个像素点所属区域，计算Tref中的每个像素点的误差可视阈值，将Tref中坐标位置为(u,v)的像素点的误差可视阈值记为Th(u,v)，其中，max()为取最大值函数，min()为取最小值函数，bg(u,v)表示Tref中坐标位置为(u,v)的像素点的平均背景亮度，mg(u,v)表示Tref中坐标位置为(u,v)的像素点的周围亮度的最大平均加权，LA(u,v)表示Tref中坐标位置为(u,v)的像素点的亮度掩蔽效应，f(bg(u,v),mg(u,v))＝mg(u,v)×α(bg(u,v))+β(bg(u,v))，α(bg(u,v))＝bg(u,v)×0.0001+0.115，β(bg(u,v))＝0.5-bg(u,v)×0.01；⑧令E表示尺寸大小与Dtar的尺寸大小相同的深度误差图，将E中坐标位置为(x,y)的像素点的像素值记为E(x,y)，当E'tar(x,y)＝0时，E(x,y)＝0；当E'tar(x,y)≠0时，其中，V(x,y)＝(u,v)表示一个映射过程，(x,y)为Τtar中的像素点的坐标位置，(u,v)为Tref中的像素点的坐标位置，当Tref所在视点在Τtar所在视点的左边时，满足u＝x、v＝y+dtar,p(x,y)；当Tref所在视点在Τtar所在视点的右边时，满足u＝x、v＝y-dtar,p(x,y)；⑨统计E中像素值为1的像素点的总个数，记为numE；然后计算Dtar中的错误像素点的比率作为Dtar的质量评价值，记为EPR，所述的步骤①中将Dtar中的所有像素点的像素值转化为视差值的具体过程为：对于Dtar中坐标位置为(x,y)的像素点，将其像素值转化得到的视差值记为dtar,p(x,y)，其中，1≤x≤M,1≤y≤N，b表示相机间的基线距离，f表示相机的焦距，Znear为最近实际景深，Zfar为最远实际景深，Dtar(x,y)表示Dtar中坐标位置为(x,y)的像素点的像素值。所述的步骤⑤中zh(u,v)和zv(u,v)的获取过程为：⑤_1、计算Tref中的每个像素点沿水平方向的差分信号，将Tref中坐标位置为(u,v)的像素点沿水平方向的差分信号记为dh(u,v)，其中，Iref(u,v+1)表示Tref中坐标位置为(u,v+1)的像素点的亮度分量；⑤_2、计算Tref中的每个像素点沿水平方向的差分信号的特征符号，将dh(u,v)的特征符号记为symdh(u,v)，⑤_3、计算zh(u,v)，其中，dhsym(u,v)为中间变量，symdh(u,v+1)表示Tref中坐标位置为(u,v+1)的像素点沿水平方向的差分信号的特征符号；⑤_4、计算Tref中的每个像素点沿垂直方向的差分信号，将Tref中坐标位置为(u,v)的像素点沿垂直方向的差分信号记为dv(u,v)，其中，Iref(u+1,v)表示Tref中坐标位置为(u+1,v)的像素点的亮度分量；⑤_5、计算Tref中的每个像素点沿垂直方向的差分信号的特征符号，将dv(u,v)的特征符号记为symdv(u,v)，⑤_6、计算zv(u,v)，其中，dvsym(u,v)为中间变量，symdv(u+1,v)表示Tref中坐标位置为(u+1,v)的像素点沿垂直方向的差分信号的特征符号。与现有技术相比，本发明的优点在于：1)本发明方法充分考虑了深度图在虚拟视点绘制中的作用，深度图并不用于直接观看，而是提供像素位置偏移信息，因此用深度失真造成的虚拟视点失真来标记深度失真区域更合理。2)本发明方法深入探索了深度图失真对虚拟视点质量的影响，深度失真会造成利用该深度信息绘制得到的虚拟视点中像素位置的偏移和对象扭曲，对应像素的亮度值错误，一般深度失真越严重，虚拟视点像素的亮度值误差越大，从而可以将虚拟视点像素的亮度误差值作为对应深度像素的误差标记，得到差值图。3)本发明方法充分考虑了虚拟视点绘制时边界像素的遮挡情况，彩色图像中的像素点经3D-Warping映射到辅助视点上后，物体边界附近离成像平面较近的像素点可能会挡住离成像平面较远的像素点，由于被遮挡的像素点的失真对最终虚拟视点的质量没有影响，因此可以将这些被遮挡的像素点标记出来得到遮挡掩膜，在差值图中去除被遮挡像素的误差标记，可使得深度图质量评价结果与虚拟视点质量客观结果更加一致。4)本发明方法充分考虑了人眼视觉特性，将辅助视点上的彩色图像划分为边缘、纹理和平坦区域三个部分，利用基于亮度掩蔽和纹理掩蔽效应的JND模型得到不同部分各像素点的误差可视阈值，在去遮挡后的差值图中将映射后小于对应误差可视阈值的误差标记去除，得到最终的深度误差图，使深度图质量评价结果更加符合人眼特性。附图说明图1为本发明方法的总体实现框图；图2为交叉验证过程的示意图；图3为遮挡示意图；图4a为Cones序列第2视点由AdaptBP方法估计得到的深度图；图4b为图4a所示的深度图对应的彩色图；图4c为Cones序列第3视点的彩色图；图4d为经过交叉验证后得到的图4a所示的深度图的差值图；图5a为利用图4a所示的深度图中的像素点的像素值映射到Cones序列第3视点得到的遮挡掩膜图像；图5b为图4a所示的深度图对应的去遮挡后的差值图；图5c为图4a所示的深度图对应的深度误差图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种结合JND模型的交叉验证深度图质量评价方法，其总体实现框图如图1所示，其包括以下步骤：①将待评价的深度图记为Dtar，将Dtar对应的彩色图记为Τtar，将除Dtar和Τtar所在视点外的另一个已知视点定义为辅助视点，将辅助视点上的彩色图记为Tref；然后通过将Dtar中的所有像素点的像素值转化为视差值，将Τtar中的所有像素点经3D-Warping映射到Tref中；其中，Dtar、Τtar和Tref的垂直方向上的像素点的总个数为M，Dtar、Τtar和Tref的水平方向上的像素点的总个数为N。在此具体实施例中，步骤①中将Dtar中的所有像素点的像素值转化为视差值的具体过程为：对于Dtar中坐标位置为(x,y)的像素点，将其像素值转化得到的视差值记为dtar,p(x,y)，其中，1≤x≤M,1≤y≤N，b表示相机间的基线距离，f表示相机的焦距，Znear为最近实际景深，Zfar为最远实际景深，Dtar(x,y)表示Dtar中坐标位置为(x,y)的像素点的像素值。②令Etar表示尺寸大小与Dtar的尺寸大小相同的差值图，将Etar中坐标位置为(x,y)的像素点的像素值记为Etar(x,y)，当辅助视点在Dtar和Τtar所在视点的左边时，判断y+dtar,p(x,y)是否大于N，如果是，则令Etar(x,y)＝0，否则，满足u＝x、v＝y+dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；当辅助视点在Dtar和Τtar所在视点的右边时，判断y-dtar,p(x,y)是否小于1，如果是，则令Etar(x,y)＝0，否则，满足u＝x、v＝y-dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；其中，1≤x≤M,1≤y≤N，1≤u≤M,1≤v≤N，dtar,p(x,y)表示Dtar中坐标位置为(x,y)的像素点的像素值转化得到的视差值，符号“||”为取绝对值符号，Ιtar(x,y)表示Τtar中坐标位置为(x,y)的像素点的亮度分量，Ιref(u,v)表示Tref中坐标位置为(u,v)的像素点的亮度分量。步骤①中将Τtar中的所有像素点经3D-Warping映射到Tref中的过程和步骤②的过程为交叉验证过程，图2给出了交叉验证过程的示意图，其中，Tl、Tr、Dl、Dr对应表示左视点彩色图、右视点彩色图、左视点深度图和右视点深度图。当要得到左视点深度图对应的差值图时，将右视点彩色图作为辅助信息进行交叉验证。Tl中坐标位置为(xl,yl)的像素点对应的亮度值为Ιl1，利用Dl中的深度信息，经过3D-Warping过程映射到右视点彩色图Tr上，若超出图像范围，则Ld中坐标位置为(xl,yl)的像素点赋值为0，若映射到右视点彩色图Tr中坐标位置为(xlr,yl)的像素点处，对应的亮度值为Ιr1，则将两个像素点的亮度值的差值|Ιl1-Ιr1|赋给Ld中坐标位置为(xl,yl)的像素点，Ld即为左视点深度图对应的差值图。同理,要得到右视点深度图对应的差值图时，将左视点彩色图Tl作为辅助信息进行交叉验证，即可得到右视点深度图对应的差值图Rd。用Cones序列第2视点由AdaptBP方法估计得到的深度图作为待评价的深度图，如图4a所示；图4b为图4a所示深度图对应的彩色图；用Cones序列第3视点的彩色图作为辅助视点上的彩色图，如图4c所示；经交叉验证后得到的差值图如图4d所示。③令C表示尺寸大小与Dtar的尺寸大小相同的遮挡掩膜图像，将C中坐标位置为(x,y)的像素点的像素值记为C(x,y)，将C中的每个像素点的像素值初始化为0，将Τtar中经3D-Warping映射到Tref中坐标位置为(u,v)处的像素点的总个数记为N(u,v)；当N(u,v)＝1时，令C(x,y)＝0；当N(u,v)>1时，其中，N(u,v)的值为0或为1或大于1，Dtar(x,y)表示Dtar中坐标位置为(x,y)的像素点的像素值，max()为取最大值函数，1≤x(u,v),i≤M,1≤y(u,v),i≤N，(x(u,v),i,y(u,v),i)表示Τtar中经3D-Warping映射到Tref中坐标位置为(u,v)处的N(u,v)个像素点中的第i个像素点在Τtar中的坐标位置，Dtar(x(u,v),i,y(u,v),i)表示Dtar中坐标位置为(x(u,v),i,y(u,v),i)的像素点的像素值。图3给出了遮挡示意图，左参考视点前景边界点、背景边界点从左至右分别表示为右参考视点前景边界点、背景边界点从左至右分别表示为在3D-Warping过程中，左参考视点中的边界点分别映射到由它绘制的虚拟视点中的同理，右参考视点中的边界点分别映射到由它绘制的虚拟视点中的在左参考虚拟视图中，从到这一部分，既有左参考图像中的前景像素点映射过来，也有背景像素点映射过来。同样的，在右参考虚拟视图中，从到这一部分，既有右参考图像中的前景像素点映射过来，也有背景像素点映射过来。这些部分发生了前景像素点对背景像素点的遮挡，在进行交叉验证后得到的差值图里，被遮挡的背景像素点也会被标记出来，但这并不是由于深度值错误导致的，所以需要将这部分背景像素点去除。经过3D-Warping后，对于映射到同一位置的像素点，比较其深度值大小，保留深度值最大的像素点，其余像素点标记出来得到遮挡掩膜图像。用图4a所示的深度图作为待评价的深度图，图4c所示的彩色图作为辅助视点上的彩色图，得到的遮挡掩膜图像如图5a所示。④利用C去除Etar中被遮挡的像素点，得到去遮挡后的差值图，记为E'tar，将E'tar中坐标位置为(x,y)的像素点的像素值记为E'tar(x,y)，E'tar(x,y)＝Etar(x,y)×(1-C(x,y))。图5b为在图4d所示的差值图中去除图5a所示的遮挡掩膜图像中被遮挡的像素点后得到的差值图。⑤计算Tref中的每个像素点的纹理判断因子，将Tref中坐标位置为(u,v)的像素点的纹理判断因子记为z(u,v)，其中，1≤u≤M,1≤v≤N，zh(u,v)表示Tref中坐标位置为(u,v)的像素点的水平方向的纹理判断因子，zh(u,v)的值为1或0，zh(u,v)＝1表示Tref中坐标位置为(u,v)的像素点为水平方向的纹理像素点，zh(u,v)＝0表示Tref中坐标位置为(u,v)的像素点为水平方向的非纹理像素点，zv(u,v)表示Tref中坐标位置为(u,v)的像素点的垂直方向的纹理判断因子，zv(u,v)的值为1或0，zv(u,v)＝1表示Tref中坐标位置为(u,v)的像素点为垂直方向的纹理像素点，zv(u,v)＝0表示Tref中坐标位置为(u,v)的像素点为垂直方向的非纹理像素点。在此具体实施例中，步骤⑤中zh(u,v)和zv(u,v)的获取过程为：⑤_1、计算Tref中的每个像素点沿水平方向的差分信号，将Tref中坐标位置为(u,v)的像素点沿水平方向的差分信号记为dh(u,v)，其中，Iref(u,v+1)表示Tref中坐标位置为(u,v+1)的像素点的亮度分量。⑤_2、计算Tref中的每个像素点沿水平方向的差分信号的特征符号，将dh(u,v)的特征符号记为symdh(u,v)，⑤_3、计算zh(u,v)，其中，dhsym(u,v)为中间变量，symdh(u,v+1)表示Tref中坐标位置为(u,v+1)的像素点沿水平方向的差分信号的特征符号。⑤_4、计算Tref中的每个像素点沿垂直方向的差分信号，将Tref中坐标位置为(u,v)的像素点沿垂直方向的差分信号记为dv(u,v)，其中，Iref(u+1,v)表示Tref中坐标位置为(u+1,v)的像素点的亮度分量。⑤_5、计算Tref中的每个像素点沿垂直方向的差分信号的特征符号，将dv(u,v)的特征符号记为symdv(u,v)，⑤_6、计算zv(u,v)，其中，dvsym(u,v)为中间变量，symdv(u+1,v)表示Tref中坐标位置为(u+1,v)的像素点沿垂直方向的差分信号的特征符号。⑥令T表示尺寸大小与Tref的尺寸大小相同的区域标记图，将T中坐标位置为(u,v)的像素点的像素值记为T(u,v)，将T中的每个像素点的像素值初始化为0；利用Canny算子检测出Tref中的边缘区域，假设Tref中坐标位置为(u,v)的像素点属于边缘区域，则令T(u,v)＝1；假设Tref中坐标位置为(u,v)的像素点的纹理判断因子z(u,v)＝1，则当T(u,v)＝0时确定Tref中坐标位置为(u,v)的像素点属于纹理区域，并重新令T(u,v)＝2；其中，T(u,v)的值为0或1或2，T(u,v)＝0代表Tref中坐标位置为(u,v)的像素点属于平坦区域，T(u,v)＝1代表Tref中坐标位置为(u,v)的像素点属于边缘区域，T(u,v)＝2代表Tref中坐标位置为(u,v)的像素点属于纹理区域。⑦引入基于亮度掩蔽和纹理掩蔽效应的JND模型，利用JND模型，并根据Tref中的每个像素点所属区域，计算Tref中的每个像素点的误差可视阈值，将Tref中坐标位置为(u,v)的像素点的误差可视阈值记为Th(u,v)，其中，max()为取最大值函数，min()为取最小值函数，bg(u,v)表示Tref中坐标位置为(u,v)的像素点的平均背景亮度，bg(u,v)由加权的低通算子计算得到，mg(u,v)表示Tref中坐标位置为(u,v)的像素点的周围亮度的最大平均加权，LA(u,v)表示Tref中坐标位置为(u,v)的像素点的亮度掩蔽效应，f(bg(u,v),mg(u,v))＝mg(u,v)×α(bg(u,v))+β(bg(u,v))，α(bg(u,v))＝bg(u,v)×0.0001+0.115，β(bg(u,v))＝0.5-bg(u,v)×0.01。⑧令E表示尺寸大小与Dtar的尺寸大小相同的深度误差图，将E中坐标位置为(x,y)的像素点的像素值记为E(x,y)，当E'tar(x,y)＝0时，E(x,y)＝0；当E'tar(x,y)≠0时，其中，V(x,y)＝(u,v)表示一个映射过程，(x,y)为Τtar中的像素点的坐标位置，(u,v)为Tref中的像素点的坐标位置，当Tref所在视点在Τtar所在视点的左边时，满足u＝x、v＝y+dtar,p(x,y)；当Tref所在视点在Τtar所在视点的右边时，满足u＝x、v＝y-dtar,p(x,y)。图5c为在图5b中去除小于相应误差可视阈值的像素点后得到的图4a的深度误差图。⑨统计E中像素值为1的像素点的总个数，记为numE；然后计算Dtar中的错误像素点的比率作为Dtar的质量评价值，记为EPR，为了测试本发明方法的性能，对采用Middlebury数据库提供的多种不同算法估计得到的深度图进行测试，选用了四个场景：“Tsukuba”、“Venus”、“Teddy”和“Cones”，对于每个场景，使用了第2视点九种不同的立体匹配算法估计得到的深度图，共36幅深度图构成评价数据库。这九种不同的立体匹配算法分别为：AdaptBP、WarpMat、P-LinearS、VSW、BPcompressed、Layered、SNCC、ReliabilityDP和Infection。表1给出了评价数据库中“Tsukuba”、“Venus”、“Teddy”和“Cones”的全参考客观质量评价指标PBMP(PercentageofBadMatchingPixels)的值，PBMP是用估计深度图与无失真参考深度图作比较来计算误差的，如果某个像素点的视差误差大于一个像素宽度，就被视为错误像素点。由于使用了无失真深度图作参考，因此PBMP是一种准确而可靠的全参考指标。表1评价数据库中不同深度图的PBMP(％)的值方法TsukubaVenusTeddyConesAdaptBP1.370.217.067.92WarpMat1.350.249.308.47P-LinearS1.670.8912.008.44VSW1.880.8113.38.85BPcompressed3.631.8913.99.85Layered1.871.8514.314.70SNCC6.081.7311.109.02ReliabilityDP3.393.4816.9019.90Infection9.545.5325.1021.30表2给出了本发明方法得到的评价数据库中的“Tsukuba”、“Venus”、“Teddy”和“Cones”的质量评价值。表3给出了本发明方法的评价结果与全参考指标PBMP的相关系数，相关系数衡量了两者的一致性程度，皮尔逊系数和线性回归系数的值都是越接近1越好。由表3可知：本发明方法求得的结果与PBMP有很好的一致性，说明本发明方法能准确检测深度误差和评价深度图的质量。表2评价数据库中不同深度图的质量评价值EPR(％)表3质量评价值EPR与PBMP之间的相关性TsukubaVenusTeddyCones皮尔逊系数0.940.900.840.97线性回归系数0.890.800.710.93表4给出了本发明方法的评价结果与虚拟视点质量的相关系数，虚拟视点质量用客观评价指标均方误差MSE来衡量。因为虚拟视点合成是基于深度图进行的，深度质量越差将导致虚拟视图中出现更多的错误，这表明MSE应该随着质量评价值EPR的增大而增大，用MSE和质量评价值EPR的线性回归系数表示度量的准确度。在“Tsukuba”、“Venus”、“Teddy”和“Cones”中，质量评价值EPR与MSE的线性回归系数均超过0.75。特别地，在“Tsukuba”中线性回归系数超过了0.92。这表明，质量评价值EPR与虚拟视点的质量有很好的一致性。表4质量评价值EPR与虚拟视点质量之间的相关性TsukubaVenusTeddyCones线性回归系数0.930.760.840.91当前第1页1 2 3