在合成立体图像中可使用的方法、装置和计算机程序的制作方法
【技术领域】
[0001] 本发明设及一种在合成立体图像中可使用的的方法W及对应的装置和计算机程 序。
【背景技术】 [000引I.介绍
[0003] 直至最近，呈现3D视频所需的技术限制是相当多的，该限制了其对专业圈的利益 并且负担了其在更广泛的受众中的普遍接受。然而，作为过去几年里的一系列技术进步的 结果，3D显示设备正在消费者产品中越来越流行，例如在电视机、家庭投影仪中，甚至是在 像智能电话该样的手持设备中。该种发展导致了对3D内容的越来越多的需求。
[0004] 虽然存在用于为多视图或立体显示器生成3D视频的各种技术，但是它们中的大 多数依赖于密集深度图。因此，可W在设备上直接创建实际的3D图像。该种传送具有如下 优点；其减小了所需的带宽，因为视频流不必可能针对每个帖的多个3D视图进行编码。因 为在设备上生成3D视图，所W该还允许对视差量的详细的用户侧控制，即，用户能够在观 看视频的同时增加或降低3D效果。
[0005] 为了支持3D内容中的该种增加的需求，已经设计出若干2D到3D转换方法。一般 地，该些处理可W被拆分成两个步骤；（1)深度估计）W及（2)视图合成。在第一步骤中， 自动地或者与专家交互地重构对应的单眼图像的深度结构。然后在第二步骤中使用该深度 信息W产生多视图或立体图像。不幸地，因为视图合成基于深度结构的估计并且缺乏真实 世界布景的任何知识，所W其具有一些缺点，例如在3D图像中出现的漏洞。漏洞由于生成 虚拟视图所必需的透视图的改变而出现。然而，改变虚拟相机的透视图导致图像的先前遮 挡区域变得可见。因为场景的3D结构是未知的，所W没有信息可用于如何填充该些漏洞或 去遮挡（disocclusion)。
[0006] 因此，漏洞填充描述减轻的漏洞的效果的一类算法，并且可W被划分成使（1)后 期处理步骤和（2)预处理步骤便于视图合成的那些方法。顾名思义，后期合成漏洞填充 算法的分组在漏洞已经出现在纹理图像中之后闭合漏洞，例如通过白板（cleanplate) 炬.Barenbrug，"Declipse2:Multi-layerimage-and-depthwithtransparencymade practical"，ProceedingsofSPIEStereoscopicDisplaysandApplicationsXX， 卷 7237，圣何塞，美国，2009 年）或修复（in-painting) (M.Bertalmio等人，"Image i吨ainting"，ProceedingsofACMSIGGRAPH，新奥尔良，美国，2000 年；C.Qieng 等人，"Spatio-temporllyconsistentnovelviewsynthesisalgorithmfrom video-plus-depthsequencesforautostereoscopicdisplays"，IEEETransactions onBroadcasting，卷 57，第 2 号，2011 年；Criminisi等人，"RegionFillingand objectremovalbyexemplar-basedimageinpainting"，IEEETransactionson ImageProcessing,卷13,第9号，2004年）使用内插或外插。然而，算法的后一分组按 照首先避免漏洞而不是稍后填充它们的策略。换言之，改变图像的深度结构，使得漏洞 将不再出现在得到的3D图像中，例如通过使深度图平滑（C.Fehn，"Depth-image-based rendering,compressionandtransmissionforanewapproachon3d-tv''，Proceedings ofSPIEStereoscopicDisplaysandVirtualRealitySystemXI，圣何塞，美国，2004 年）。
[0007] 在本说明书中，提出一种用于作为2D到3D立体转换的应用的深度图的预处理 的新方法。在 0.Wang等人的"Stereobrush:Interactive2dto3dconversionusing discontinuouswarps"(ProceedingsofEUROGRAPHICSSymposiumonSketch-Based InterfacesandModeling,纽约，美国，2011年）中呈现了类似的方法，其中，在图像上重叠 规则结构网格，然后通过求解优化问题使网格变形，从而填充3D视图中的漏洞。在本申请 中呈现的算法建立在该思想上，并且将其扩展到利用给定深度图的平滑度的分级结构W便 减小基础的优化问题的复杂度。该进而导致就存储器使用和运行时间而言的显著的改善。 通过检测在立体输出中将包含漏洞的输入图像的那些区域，所呈现的算法W仍然生成主观 和客观相似的输出但是不再包含漏洞的方式改变转换处理。
[0008] 本说明书的剩余部分按照下面来组织。部分II简要地概述2D到3D转换的当前 技术水平。在该之后，在部分III中更详细地介绍基于深度图像的呈现和图像扭曲的基础 理论。然后，在部分IV中，介绍用于漏洞填充的常规的基于网格的方法，W便促成适配的方 法，适配的方法在部分V中解释。在部分VI中调查和论述两种算法的性能和输出质量，并 且在部分VII中给出最终结论。
[0009]II.相关工作
[0010] 该部分给出2D到3D转换中的当前技术水平的简要概览，因为该是所呈现的方法 的主要应用。因为2D到3D转换处理从不同的透视图捕捉场景的虚拟视图的呈现，所W必 须从单个2D图像或2D图像的序列恢复深度信息，W便将像素从原始的源图像移位到虚拟 目标图像中的正确位置，即，创建图像的立体对。一般地，2D到3D转换处理包含两个步骤： 恢复深度结构（亦即，分析）W及呈现新的透视图像（亦即，合成）。
[0011] 第一步骤通常包含为视频序列中的每个帖生成深度图或3D模型。术语深度 图是指灰阶图像或图像通道，其将场景深度信息与给定视点处的图像的像素相关。在 计算机图形中，该概念非常接近于深度缓冲器或Z缓冲器。图具有与对应的2D图像相 同的尺寸。深度图中的像素的灰阶值指示像素的深度。高的值是对应于大的深度还是 低的深度仅仅是设计决定。在本说明书的剩余部分中，低的深度值（暗）将对应于远 离观看者的像素。深度图的生成可W被粗略地分成半自化的（亦即，在一定程度上需 要用户交互的技术）和全自动化的技术（A.Smolic等人，"化ree-dimensionalvideo postproductionandprocessing"，ProceedingsofIEEE，卷 99,第 4 号，2011 年）。因 为必须创建对象掩码（转描（rotoscoping)) (C.Rother等人，"Gr油Qit:Interactive foregroundextractionusinginteratedgraphcuts"，ACMTransactionsonGraphics， 卷 24，第 3 号，2005 年；A.Myronenko和X.Song,"Globalactivecontour-basedimage segmentationviaprobabilityalignment"，ProceedingsofIEEEConferenceon ComputerVisionandPatternReco即ition，迈阿密，美国，2009 年；X.Bai等人，"Video snapcut:Roubstvideoobjectcutoutusinglocalizedclassifiers"，ACMSIGGRAPH 会记录，纽约，美国，2009年）并且必须根据对象的表面对每个对象的深度进行建模，半自 动化的技术是非常耗时的，并且因此是成本密集型的。在一些工作中，这两个处理步骤被 组合（M.Guttmann等人，"Semi-automaticstereoextractionfromvideofoota咨e''， ProceedingsofIEEEInternationalConferenceonComputerVision，京都，日本，2009 年；X.Yan等人，"D邱thm邵generationfor2d-t〇-3dconversionbylimiteduser inputsanddepthpropagation"，Proceedingsof3DTVConference:TheTrueVision-Cap1:ure,TransmissionandDisplayof3DVideo,安塔利亚，± 耳其，2011 年）。该里，艺 术家在对象或图像帖的部分上绘制涂鸦，其被传播W产生密集深度图。重点要注意的是，半 自动的方法很有可能不产生在物理上正确的深度结构。然而，得到的深度结构将看上去似 乎真实。还存在若干全自动的深度图生成技术，例如基于单眼暗示，例如从运动恢复结构 (Structure-from-Motion，SfM)(MPollefeys等人，"Visualmodelingwithahand-held camera",InternationalJournalofComputerVision,卷 59,第 3 号，2004 年）、聚焦形 貌恢复（化ape-from-Focus，SfF)和去焦形貌恢复（化ape-from-Deocus，SfD) (P.I^avaro， "Shapefromfocusanddefocus:Convexity,quasiconvexityanddefocus-invariant textures"，ProceedingsofIEEEInternationalConferenceonComputerVision， 里约热内卢，己西，2007年）、从阴影恢复形状（化ape-化om-shading，SfShHR.化ang等 人，"Shapefromshading:Asurvey"，IEEETransactionso