基于绘制的最大可容忍深度失真计算方法与流程

本发明属于图像处理技术及自由立体成像领域，涉及一种针对基于深度的虚拟视点绘制的最大可容忍深度失真的测量方法。

背景技术：

自由立体显示技术不需要佩戴辅助视具，裸眼就可以直接获得深度信息，使用户能体会到逼真自然、身临其境的冲击感和震撼力。为实现自由立体显示技术的应用，需要采集大量的视频数据，这就增加了存储和传输的负担。在3D视频中，“多视点视频+深度”的视频表示格式可以利用基于深度图的绘制(Depth-image-based rendering，DIBR)技术在解码终端绘制出所需的视点图像，从而大大降低了存储容量和传输带宽，成为当前的研究热点。

在很多3DV应用中，视图绘制的质量非常重要。绘制的质量主要取决于参考视点图像的质量、深度图的质量、相机参数、视点间距以及它们之间的相互关系。由于有损压缩等导致的纹理和深度图像中的错误会影响绘制的视图的质量。纹理误差只会引起虚拟视图中像素点亮度/色度层的失真，而深度编码中量化产生的深度误差会导致绘制视图中的位置误差，即绘制过程中像素的映射会稍微偏移原始位置，进而对绘制虚拟视点图像的质量产生较大的影响。因此，一个能够估计绘制质量的精确的分析模型，对于3DV系统的设计是非常有价值的。对于视图合成的分析，主要分成纹理失真引起的视图合成失真和深度失真引起的视图合成失真两部分进行分析。目前，已经提出了一些视点合成失真估计模型。Liu等提出了一种近似估计视点合成失真的线性失真模型，并根据求解的最小绘制失真决定彩色视频和深度图的最优码率分配；Ma等提出了一种零绘制失真模型，能够准确地预测绘制视点零失真；Yuan等针对深度失真和绘制失真之间的关系，建立了一种多项式模型，定量的分析了深度编码失真与绘制的虚拟视点失真之间的关系；Kim等人提出了一种新的失真标准来量化深度编码对视图合成的影响。然而，这些方法只专注于MVD数据的联合编码，利用不同的率失真模型通过表征的编码失真和视图合成失真之间的关系应用到纹理视频和深度图的编码中，获得纹理和深度编码的最佳比特率分配。在这些失真估计模型中，通过三种绘制视图来分别求取纹理视频的失真引起的虚拟视点的失真和深度失真引起的虚拟视点的失真。其中三种绘制视图分别为利用原始的纹理图和原始的深度图绘制的虚拟视图、利用失真的纹理图和原始的深度图绘制的虚拟视图以及利用原始的纹理和失真的深度绘制的虚拟视图。然而，深度失真不会直接导致绘制的虚拟视图中产生颜色失真，它只会改变映射后的像素位置发生偏移，进而影响虚拟视点绘制的质量。由于深度图的特性与纹理图的特性完全不同，因此在上述方法中，对深度图失真的分析是不充分的。

深度信息在合成虚拟视图的过程中发挥着重要的作用。在视图合成中，原始图像中的像素点通过深度图映射到虚拟视点位置的图像中。当深度数据发生失真后，会使映射后的虚拟视图中像素位置发生变化，从而使虚拟视图产生几何失真。除此之外，通过Z-Buffer判定法则可知，如果映射到虚拟视图中的前景物体与背景物体发生了重叠，则深度较小的前景物体会遮挡住深度较大背景物体。因此深度数据的变化同样也会使得遮挡顺序发生变化，使得背景物体遮挡前景物体。而这些几何变化和遮挡变化又会导致合成视图的纹理失真。

在虚拟视点绘制的过程中，原始视图中的像素点通过映射投影到虚拟视图中，通常不会位于整像素位置，因此需要对映射后的像素位置进行取整操作。这就使得对于同一像素点，当其对应的深度发生一定的改变时，而映射后的像素位置不发生改变。也就是说当深度在一定范围内变化时，而绘制的虚拟视图的质量不会发生任何改变。因此，对于3DV系统而言，精确地分析由深度导致的虚拟视图的失真模型并建立不引起绘制失真的最大可容忍深度失真模型是非常有意义且有价值的。比如，用这个模型可以更好地理解什么条件下能够减轻深度误差以提高视图绘制的质量，并可以利用这些信息来判断什么时候需要分配更多的比特来编码深度图。

技术实现要素：

为克服现有技术的不足，本发明旨在依据基于深度的虚拟视点绘制原理，通过分析深度失真与绘制视图的几何失真之间的关系，建立在不影响虚拟视图质量的情况下的最大可容忍的深度失真模型。本发明能够精确的求取出虚拟视点绘制过程中的可容忍的深度失真范围，可以应用于低复杂度的深度视频编码以及深度图的平滑处理中。本发明采用的技术方案是，基于绘制的最大可容忍深度失真计算方法，步骤如下：

1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中。

2)比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，垂直方向的失真影响非常小忽略不计，只考虑水平方向的几何失真，即水平方向的位置偏移量；

3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；

4)依据步骤3)中获得的几何失真范围，建立水平方向的几何失真Δu_v与映射后的像素水平方向坐标位置之间的关系，u′为利用原始深度值映射后的水平方向的坐标分量，d′为映射后的真实深度值；依据建立的几何失真Δu_v与深度失真层Δz之间的关系以及在步骤4)中建立的Δu_v与之间的关系，推导出Δz关于的关系表达式，即为可容忍的深度失真范围。

其中，步骤1)进一步细化为：将参考视点中的像素点(u，v)分别利用原始深度d(u，v)和失真的深度d(u，v)+Δd(u，v)映射到虚拟视点图像中的位置(u_v，v_v)和(u′_v，v′_v)处；

其中，K，R，t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′，R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′^-1和K^-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(u_v，v_v)为利用原始深度d(u，v)映射后在虚拟视点中的坐标位置，(u′_v，v′_v)为利用失真的深度d(u，v)+Δd(u，v)映射后在虚拟视点中的位置。

在映射的过程中，d(u，v)以及d(u，v)+Δd(u，v)为真实的深度，真实的深度d与深度图中的深度层z之间的对应关系为：

其中，MinZ和MaxZ分别表示真实深度d的最小和最大值。

步骤2)进一步细化为：比较映射后的像素位置(u′/d′，v′/d′)和(u″/d″，v″/d″)获得深度失真造成的绘制视图的几何失真：

(Δu_v，Δv_v)＝(u″/d″-u′/d′，v″/d″-v′/d′)

在步骤1中进行映射时，定义P为投影矩阵，P_ij(i，j＝1，2，3)为投影矩阵中对应位置上的元素值。在投影矩阵P中通常P₃₁＝P₃₂＝0且有，从而可以得出d′＝d(u，v)，d″＝d(u，v)+Δd(u，v)，则有：

深度层与真实的深度之间的对应关系得到d(u，v)对应于深度图中的深度层z(u，v)，d(u，v)+Δd(u，v)对应于深度图中的深度层z(u，v)+Δz(u，v)，则上式写为：

通过上式可以得到绘制视图的几何位置失真与深度图中对应的深度层失真Δz(u，v)呈线性关系。

步骤3)进一步细化为，对于映射后的像素位置需要进行取整处理：

当利用失真的深度进行映射而绘制的视图中不产生几何失真时，u″/d″和u′/d′应满足如下关系：

由于Δu_v＝u″/d″-u′/d′，由几何关系得：

步骤4)进一步细化为：对于步骤2)中所获得的几何失真与深度层失真之间的对应关系，定义K′R′^-1(t-t′)＝[a，b，c]^T，则Δu_v表示为：

结合步骤3)所获得的关系表达式，则有：

可容忍的深度层失真Δz位于范围[Δz_neg，Δz_pos]，并且Δz_neg和Δz_pos表示为：

其中，Δz₁和Δz₂分别为可容忍深度失真的界限值，并且Δz₁和Δz₂可以通过下式获得：

最大可容忍深度失真分为正负两个方向，其中Δz_pos为正向最大可容忍深度，而Δz_neg为负向最大可容忍深度失真，当深度层z在区间[z(u，v)+Δz_neg(u，v)，z(u，v)+Δz_pos(u，v)]内变化时，映射后的像素位置不会发生任何改变，即绘制的视图不会产生几何失真。

本发明的特点及有益效果是：

本发明从最基本的映射原理出发，建立了在不引起绘制失真的情况下的最大可容忍深度失真(Maximum Tolerable Depth Distortion MTDD)模型，实现了对可容忍的深度失真范围的精确定位。该模型可以用于深度编码以降低深度编码的复杂性；同时该模型还可以用于深度图的平滑处理，以降低深度编码比特率。

附图说明：

图1给出了两视点间进行投影的示意图。

图2给出了深度发生失真后不引起绘制失真的像素位置范围的示意图。

图3给出了不同序列的可容忍失真的最大幅值。

图4给出了Bookarrival序列第33帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i)为绘制的虚拟视点图像。

图5给出了Breakdancers序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i)为绘制的虚拟视点图像。

图6给出了Balloons序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i)为绘制的虚拟视点图像。

图7给出了不同测试序列的MSE曲线比较：(a)Bookarrival测试序列；(b)Kendo测试序列；(c)Breakdancers测试序列；(d)Balloons测试序列。

图8是技术方案的流程图。

具体实施方式

深度图通常不直接用于显示，它只在基于深度的虚拟视点绘制的过程中提供场景的几何信息，因此，深度图的准确性在DIBR的过程中非常重要。为研究深度失真对虚拟视点绘制的影响，本发明依据DIBR的基本原理，实现基于无绘制失真的最大可容忍深度失真模型的建立，具体的技术方案分为下列步骤：

1：将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中。

2：比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，由于垂直方向的失真影响非常小，通常可以忽略不计，因此在该失真模型中只考虑水平方向的几何失真，即水平方向的位置偏移量。

3：利用像素取整原理，分析不引起整像素位置偏移的几何失真范围。

4：依据3中获得的几何失真范围，建立水平方向的几何失真Δu_v与映射后的像素水平方向坐标位置u_v之间的关系；依据建立的几何失真Δu_v与深度失真层Δz之间的关系以及在4中建立的Δu_v与u_v之间的关系，推导出Δz关于u_v的关系表达式，即为可容忍的深度失真范围。

下面通过以会聚相机阵列获得的图像为例说明本发明提出的最大基于绘制的最大可容忍深度失真测量方法的实施过程。

1：将参考视点中的像素点(u，v)分别利用原始深度d(u，v)和失真的深度d(u，v)+Δd(u，v)映射到虚拟视点图像中：

其中，K，R，t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′，R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′^-1和K^-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(u_v，v_v)为利用原始深度d(u，v)映射后在虚拟视点中的坐标位置，(u′_v，v′_v)为利用失真的深度d(u，v)+Δd(u，v)映射后在虚拟视点中的位置。

在映射的过程中，d(u，v)以及d(u，v)+Δd(u，v)为真实的深度，而通常会将其量化到0～255范围内，真实的深度d与深度图中的深度层z之间的对应关系为：

其中，MinZ和MaxZ分别表示最小和最大的深度值。

2：比较映射后的像素位置(u′/d′，v′/d′)和(u″/d″，v″/d″)获得深度失真造成的绘制视图的几何失真(Δu_v，Δv_v)。

(Δu_v，Δv_v)＝(u″/d″-u′/d′，v″/d″-v′/d′)

在步骤1中进行映射时，定义P为投影矩阵，P_ij(i，j＝1，2，3)为投影矩阵中对应位置上的元素值。在投影矩阵P中通常P₃₁＝P₃₂＝0且有因此，可以得出d′＝d(u，v)，d″＝d(u，v)+Δd(u，v)。则有：

深度层与真实的深度之间的对应关系可得d(u，v)对应于深度图中的深度层z(u，v)，d(u，v)+Δd(u，v)对应于深度图中的深度层z(u，v)+Δz(u，v)，则上式可以写为：

通过上式可得，绘制视图的几何失真与Δz(u，v)呈线性关系。通常垂直方向的误差Δv_v非常小而不会影响位置取整后的结果，因此可以忽略不计。仅考虑Δu_v引入的水平方向的几何失真即可。

3：利用像素取整原理，分析不引起整像素位置偏移的几何失真范围。

通过步骤2可得，深度层的失真有可能导致合成的视图中产生几何失真。但是，由于u′/d′和u″/d″通常不是整型数据，而像素位置是整型的，因此对于映射后的像素位置需要进行取整处理：

如图2所示，当利用失真的深度进行映射而绘制的视图中不产生几何失真时，u″/d″和u′/d′应满足如下关系：

由于Δu_v＝u″/d″-u′/d′，由图2所示的几何关系可得：

4：依据3中获得的几何失真范围，建立水平方向的几何失真Δu_v与映射后的像素水平方向坐标位置u′/d′之间的关系；依据建立的几何失真Δu_v与深度失真层Δz之间的关系以及在4中建立的Δu_v与u′/d′之间的关系，推导出Δz关于u′/d′的关系表达式，即为可容忍的深度失真范围。

对于步骤2中所获得的几何失真与深度层失真之间的对应关系，定义K′R′^-1(t-t′)＝[a，b，c]^T，则Δu_v可以表示为：

结合步骤3所获得的关系表达式，则有：

可容忍的深度层失真Δz(u，v)位于范围[Δz_neg，Δz_pos]，并且Δz_neg和Δz_pos可以表示为：

其中，边界值Δz₁和Δz₂可以通过下式获得：

最大可容忍深度失真分为正负两个方向，其中Δz_pos为正向最大可容忍深度，而Δz_neg为负向最大可容忍深度失真。通过上述分析可得，当深度值在区间[z(u，v)+Δz_neg(u，v)，z(u，v)+Δz_pos(u，v)]内变化时，映射后的像素位置不会发生任何改变，即绘制的视图不会产生几何失真。

下面结合附图说明实验效果：

为使本发明的效果具有可比性，我们分别采用了Bookarrival测试序列中的view8和view10、Breakdancers中的view3和view5以及Balloons中的view1和view5并结合运用虚拟视点合成软件VSRS进行实验验证。

图4给出了Bookarrival序列第33帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i)为绘制的虚拟视点图像。

图5给出了Breakdancers序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i)为绘制的虚拟视点图像。

图6给出了Balloons序列第1帧的绘制结果对比图：(a)和(d)为原始深度图；(b)和(e)为添加的正向MTDD噪声图；(c)和(f)为添加的负向MTDD噪声图；(g)、(h)和(i)为绘制的虚拟视点图像。

从对比图中可以看出利用添加了最大可容忍的深度失真为噪声的深度图绘制的虚拟视点图像与利用原始的深度图绘制的虚拟视点图像在观看效果上没有任何差异，也就是说合成视图的失真是不易察觉的或者是至少是对于人类视觉系统而言是可容忍的。

图7给出了利用原始的深度图绘制的虚拟视图与参考基准图的MSE曲线、利用添加了正向最大可容忍深度失真的深度图绘制的虚拟视图与参考基准图的MSE曲线以及利用添加了负向最大可容忍深度失真的深度图绘制的虚拟视图与参考基准图的MSE和的曲线。从图中可以看出三条曲线是完全重合的，表示三种绘制视图的质量在客观评价方面是完全相同的，同时也证明了在可容忍的最大深度失真的范围内深度值的改变不会影响绘制的虚拟视图的质量。