一种不产生空洞的中间视图合成方法
【技术领域】
[0001] 本发明属于深度图像绘制技术领域，更为具体地讲，涉及一种不产生空洞的中间 视图合成方法。
【背景技术】
[0002] 作为自由立体3D视频（autostereoscopic3DTV)和自由视点视频 (free-viewpointTV,简称FTV)发展的关键，基于深度图像绘制（depth-image-based rendering,简称DIBR)技术受到科研和商业领域的广泛关注。
[0003] DIBR技术根据参考图像（referenceimage)及其对应的深度图像（depthimage) 来合成任意视点的目标图像（新视点图像）。但是，在产生新视点图像的过程中会有空洞的 出现，空洞即被前景物体遮挡的背景在合成的新视点视图中暴露的区域，如图1所示的人 物右侧以及图像的左侧黑色区域，这会严重降低了合成视图（synthesisview)的质量。
[0004] 在双向DIBR技术（double-sidedDIBRtechnique)中，将两幅参考图像变换成的 左右虚拟视图（virtualview)进行融合得到中间图像，在一定程度上减少了空洞，因为在 某一虚拟视图中的空洞可能在另一幅虚拟视图中找到填补信息。然而，如果在两幅参考图 像中都不能找到合理的信息来填充空洞，空洞仍然存在。尽管随着所提供摄像机数的增加， 有些空洞因为变得可见而被填充，但是由于不可能在所有位置都放上一个摄像机，因而在 合成任意视点视图时空洞是不可避免的。
[0005] 空洞填充方法在国内外学术界沿着深度图像预处理和合成视图后处理相结合方 向不断发展，在一定程度上提高了合成图像的质量，但是不免引入几何扭曲或者实现复杂 耗时等问题。如果能够对空洞产生的机理进行完善、合理的分析，以便在合成视图中减少甚 至避免空洞的产生，或者能够据此利用合理的背景信息进行空洞填充，将促进该方向在学 术方面的发展。
[0006] 在空洞产生机理的研究方面，2013年，Zhu等人研究了视图插值中的空洞产生， 并得出产生空洞的具体条件，同时提出了一种能够全面地利用遮挡的背景信息进行空洞填 充的新方法。但是，该空洞填充方法对于空洞产生分析的场景设置太过简单特殊，把前景物 体看成平面来进行分析，这无疑不符合实际情况。此外，空洞填充方法在空洞较大或纹理复 杂的情况下不能得以保证。随后，在2014年，Zhu等人进一步分析了利用多幅参考图像进 行DIBR视图插值的空洞产生机理，得出如下定理，在特定条件下使用主要视图外的其他补 充视图（compementaryview)能够减少目标虚拟视图中的空洞长度。最后利用补充视图中 的信息进行空洞填充，结果显示使用多幅参考图像进行视图合成效果较好。该空洞填充方 法的场景设置仍然没有考虑前景物体有一定厚度的实际情况，对空洞产生定理的分析比较 简单，采用补充视图进行空洞填充复杂度高。
【发明内容】
[0007] 本发明的目的在于克服现有技术的不足，提供一种不产生空洞的中间视图合成方 法，从而不需要对空洞进行填充，避免了空洞填充时间复杂性。
[0008] 为实现上述发明目的，本发明不产生空洞的中间视图合成方法，其特征在于，对于 给定的拍摄场景，左右两台摄像机间的基线长度设置满足：
[0009]
[0010] 其中，zB为背景深度值、zF为前景深度值、LB为背景部分的长度；
[0011] 在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及 其对应的深度图像进行三维图像变换，得到两幅虚拟视图，然后将生成的两幅虚拟视图进 行融合得到中间视图，该中间视图位于中央眼位置。
[0012] 本发明的目的是这样实现的。
[0013] 本发明不产生空洞的中间视图合成方法，在给定的拍摄场景下，通过对左右两台 摄像机的基线长度设置，使其小于等于背景深度值Zb与背景部分的长度L8的乘积除以背景 深度值Zb与前景深度值的差值的二分之一，这样在视频终端，使用双向DIBR技术对通过左 右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换得到两幅虚拟 视图，两幅虚拟视图再进行融合得到中央眼位置的中间视图，该中间视图没有空洞，一定程 度上保证合成图像的质量，避免了空洞填充时间复杂性。
【附图说明】
[0014] 图1是合成视图中的空洞实例图；
[0015] 图2是双向DIBR技术在绘制中间视图的流程图；
[0016] 图3是双向DIBR技术中的空洞产生示意图；
[0017] 图4是前景边界点在左、右参考图像中对应点示意图；
[0018] 图5是"前景-背景-前景"设置下的三维图像变换过程示意图；
[0019] 图6是对公式⑷说明示意图；
[0020] 图7是在三维图像变换和视图合成中产生空洞最大情况示意图；
[0021] 图8是"背景-前景-背景"设置下的三维图像变换过程示意图。
【具体实施方式】
[0022] 下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0023] 在本实施例中，首先介绍了基于DIBR技术的视图合成（viewsynthsis)，使用该 技术能够在一定程度上降低目标图像中的空洞长度。随后详尽分析了双向DIBR技术下空 洞的产生，在一定限制条件下，通过对空洞产生的理解和分析，使用合理有效的方法减少或 抑制空洞的产生，并得出了相应理论结论。如果能在参考图像获取过程中进行参数的设置， 以减少或避免产生新视点图像（中间图像）时空洞的产生，将会大大减少和降低填充空洞 的时间复杂性，并在一定程度上保证合成图像的质量，这也正是科研和商业领域迫切需要 的。
[0024] 1、基于DIBR的中间图像合成
[0025] 基于深度图像绘制技术根据参考图像及其对应的深度图像来生成一幅目标图像 (新视点图像）。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅 需要传送一路视频及其深度图像就可生成任意视点的虚拟视图，而且可以很方便的实现二 维和三维的切换。正因为如此，DIBR技术在3D电视立体图像对（stereopair)的生成中 得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。然而，该技术的一个主要问题是绘制 的新视点图像内部存在暴露区域即空洞，这会严重降低图像的质量。
[0026] 为了分析空洞产生机理，本节简单介绍基于DIBR的中间图像合成，限制条件如 下：
[0027] 1.1)、平行摄像机设置
[0028] 在平行摄像机设置（parallelcamerasetup)下，经过三维图像变换（3D imagewarping)后，垂直视差（verticalparallax)为零，只存在水平视差（horizonal parallax)。每个像素点的视差值可由下式得到：
[0029]
[0030] 其中，f、sx、B、z分别表示摄像机焦距、在X轴方向上每单位物理长度对应的像素 个数、两台摄像机间的基线（baseline)长度和像素点的深度值。
[0031] 参考图像中像素点在左目标图像和右目标图像中的对应点坐标可分别由公式（2) 和⑶得到：
[0032] Us=ur+d,Vs=Vr (2)
[0033] Us=ur