计算合成图片的方法与装置的制造方法
【技术领域】
[0001]本发明涉及一种计算视觉场景的合成图片的方法和装置，尤其涉及计算机视觉领域、3D视频处理领域以及3D视频合成领域。
【背景技术】
[0002]3D视频合成是在需要虚拟视图渲染的应用中使用。该类应用包括如自由视点电视(FTV)，视点可以根据观看者的喜好选择；或者如多视角视频的3D视频编码，其中一些视图是由其他视图合成，通过限制待传输视图的数目以增强对内容的压缩。在3D视频中，视图合成是基于可用参考视图(物理视图，也称作纹理视图)创造虚拟视图的过程，其中视觉场景是从可用参考视图中获取。
[0003]视图合成的最常用方法是在[LMcMillan，An image-based approach tothree-dimens1nal computer graphics，博士论文，美国，北卡罗来纳大学教堂山分校，1997年4月]中描述，被称作基于深度图像绘制(DIBR)方法。该方法利用深度图从视点定义场景点之间的距离，以使将对应的纹理信息投射成虚拟视图位置。
[0004]深度图可定义为描述视觉场景中各部分间距的信息，可以以灰度图像的形式呈现，或者可以使用视差图呈现，其中视差图的取值与代表深度图的取值成反比。基于DIBR合成方法中，可以分为前向投影算法和后向投影算法两种方法。在前向投影算法中，参考视图中图片的每个样本的坐标投射到合成图片上，形成非整数样本坐标。这意味着合成图片中样本的实际取值必须以某种方式从参考视图投射出的最近样本估算出来。另一方面，在后向投影方法中，合成图片中每个样本的坐标都投射到参考视图上。因此，样本的取值是基于靠近该投影样本的位置的参考视图中图片的样本决定。两种方法在一些方面是有区别的，比如空洞区域检测和处理以及同时扫描超过一张参考视图从而通过插值方法生成合成输出图片或者所需图像的可能性也就是说，水平方向放置的左参考视图和右参考视图能被区分开来。依据基于深度图像绘制(DIBR)方法的最有效的尖端虚拟视图合成算法依赖于前向投影算法，该前向投影算法合并由左参考视图和右参考视图合成的图片，从而生成合成输出图片。当前最尖端的解决方案一HEVC测试模型采用如图1所示的合成算法10t3HEVC测试模型为[H.Schwarz，K.Wegner，Test Model under Considerat1n for HEVC based 3Dvideo coding，MPEG Doc，ml2350，2011 年 11 月]中描述的 JCT-3V (3D 联合 ITU-T/MPEG 标准化工作)所采用。
[0005]在算法100中，左右视图的纹理ST,^St,r和左右视图的深度S DiI和SD,r用于执行前向投影步骤1la和101b。该步骤中，参考视图中的样本通过DIBR算法投影成合成视图。该步骤输出ST，/图，St，/图，Scu’图和SD，/图，以及投射到合成视图中的左右纹理和深度。同时，该算法在输出的ST，/图，St，/图，Scu ’图，SD，/图中检测空洞区域。这些区域以填充掩码Sy’和SF，/的形式呈现；Sy’和SF，/用于标识由各参考视图合成的图片中需要填充的区域。进一步为创造可信图的步骤105a和105b ;在该步骤中，修改Sf^和SF-’填充掩码以生成Sm’和SR，/可信图。基于估算的样本取值正确概率，每个可信图都表明了由参考视图片合成的图片中每个样本对输出图片中样本的最终取值的作用。因此，可以控制可信图的取值以减少合成伪影，例如，在空洞区域边界的合成伪影。现有技术采用可信图减少合成伪影，该合成伪影因单个参考视图中纹理边界与深度边界不一致而产生。该解决方案应用于视觉场景中与空洞区域相邻的背景区域。该流程在[Descript1n of 3D VideoTechnology Proposal by Fraunhofer HHI(HEVC compatible !configurat1n A)， M〃UEGm22570，2011年11月]中提出，并且可描述如下。每一个在预定义间隔之内邻近空洞区域边界的背景像素称作过渡区域201，像素200的可信度根据图2所示的线性函数203减少。因此，直接位于空洞区域边界的像素的可信度等于0，并且在水平方向线性增长至像素点的最大可信度，使像素与边界的距离等于过渡区域ATR 201的宽度。
[0006]在最后的合并107由左参考视图和右参考视图合成的图片的步骤之前，基于预定的标准计算103左右视图之间的平面区分图Spj/。合并步骤107的目的是，对比每个参考视图的样本和另一个可用参考视图的对应样本，以确定二者是否属于视觉场景的同一平面。如果由一个参考视图合成且处于像素位置(x，y)的样本比处于相同的像素位置但是由另一个参考视图合成的样本更靠近摄像头，那么这两个样本都标记为属于视觉场景的不同平面。一个样本是否比另一个样本更接近摄像头是通过对比分配给两个样本的深度值之差与预定义阈值来判定的。合并步骤107中，使用可信图的加权平均作为每个合并样本的权重，以计算合成输出样本的取值:
[0007]V (X，y) = W1 (X，y) V1 (x，y) +wr (x，y) vr (x，y)
[0008]其中:
[0009]v(x, y)表示合成图片中位于位置(X，y)的样本的取值，
[0010]V1 (X，y)表示由左参考视图片合成的图片中位于坐标位置(X，y)的样本的取值，
[0011]vr(x, y)表示由右参考视图片合成的图片中位于坐标位置(X，y)的样本的取值，
[0012]W1 (X，y)表示V1 (X，y)样本的权重，
[0013]wr (x, y)表示Vr (X，y)样本的权重。
[0014]然而，在两个样本属于视觉场景的不同平面的情况下，输出样本的取值是基于仅仅一个输入样本，即更靠近摄像头的样本的取值计算的。并且，是基于平面区分图Sp+’和深度图Sdi’，SD；决定。
[0015]在用于虚拟视图合成的基于深度图像绘制(DIBR)方法中，如果在合并步骤中使用超过一个参考视图生成合成输出图片，不同参考视图的深度图之间的视图间不一致会导致场景对象合成伪影以附加对象边界的形式呈现。解决该问题的方法是使用视图间一致的深度图。然而，在现有的多摄像头场景中，视图间一致的深度图的估算和获取非常困难，甚至是以现有技术无法实现。主要问题是计算复杂度高，由于视图间的视差估算的误差，实现全自动化是极其困难的；虽然半自动化或者人工方法可以解决该问题，但是通常它们不一定适用。
【发明内容】
[0016]本发明的目的是为3D视图合成提供更先进的技术。
[0017]该目的通过独立权利要求的特征实现。结合独立权利要求、说明书和附图会使具体实施形式更易于理解。
[0018]本发明基于以下发现:改进的3D视图合成技术能最小化由参考图片合成的图片的加权平均而产生的场景中对象的合成伪影。在参考图片的对象边界不对齐的情况下，可以通过减少对象边界相邻样本的权重来进行由参考图片合成的图片的加权平均使得合成伪影最小化。通过合理规范降低权重和权重修改模式的应用条件，可达到进一步的改进。
[0019]为详细描述本发明，将使用以下术语、缩写和符号:
[0020]3D:
[0021]三维；
[0022]3D 视频:
[0023]包含两种纹理视图及其对应深度图或视差图的信号。
[0024]视觉场景:
[0025]现实世界或者用3D视频呈现的合成场景。
[0026]深度图:
[0027]灰度图片，其中图片中每一个点的取值决定到该点代表的视觉场景的摄像头的距离，或者，根据本发明可利用视差图和反演值形成深度图，其中视差图的取值与深度图的取值成反比；
[0028]空洞区域:
[0029]在参考视图合成的图片中且不可见于参考视图的区域。
[0030]视觉平面:
[0031]图片区域，指与摄像头有着相似距离的视觉场景中的部分，基于视觉场景中呈现内容的语义分析或者分配给图片各部分的深度值，可将像素分配到特定的视觉平面；
[0032]前景对象:
[0033]指视觉场景中相比于邻近该对象边界的区域与摄像头距离更小的对象，并且该对象与所述邻近区域不属于同一视觉平面；
[0034]邻近视觉场景空洞区域的前景区域和背景区域:
[0035]在摄像头水平布置的情况下，邻近空洞区域左右边界的图片区域属于到摄像头距离不同的视觉平面；从这个意义上来说，背景区域定义为属于到摄像头距离更远的视觉平面的图片区域，而前景区域则定义为属于到相机距离更近的视觉平面的图片区域；
[0036]虚拟视图(这里也称作合成视图):
[0037]视觉场景中的视图，产生于自由选择的位置，且该位置不受用于获取视觉场景的摄像头的真正位置的限制；
[0038]合成图片:
[0039]虚拟视图中的一帧；
[0040]参考图片:
[0041]参考视图中的一帧。
[0042]第一方面，本发明涉及一种计算视觉场景的合成图片的方法，所述方法基于所述视觉场景的左参考视图的左深度图和所述视觉场景的右参考视图的右深度图，所述方法包括:将所述左深度图投射成左投影深度图，将所述右深度图投射成右投影深度图，并确定所述左投影深度图中的左空洞区域以及所述右投影深度图中的右空洞区域；检测所述左投影深度图和所述右投影深度图之间的对象边界失准；基于所述左空洞区域和检测到的对象边界失准确定左可信图信息，并基于所述右空洞区域和检测到的对象边界失准确定右可信图信息；通过所述左可信图信息和所述右可信图信息合并所述左参考视图的左投影图以及所述右参考视图的右投影图来计算所述合成图片。
[0043]通过检测所述左投影深度图和所述右投影深度图之间的对象边界失准，基于所述左空洞区域和检测到的对象边界失准确定所述左可信图信息，基于所述右空洞区域和检测到的对象边界失准确定所述右可信图信息，可以减少由两视图间不准确的深度或者视差估算所导致的视图合成误差。
[0044]根据第一方面，在所述方法的第一种可能的实现形式中，所述确定左可信图信息和右可信图信息包括:基于所述左空洞区域确定所述左可信图信息，基于所述右空洞区域确定所述右可信图信息；当检测到所述左投影深度图和所述右投影深度图之间的对象边界失准时，修改所述左可信图信息和/或所述右可信图信息。
[0045]在检测到对象边界失准的情况下，通过修改所述左可信性信息和/或所述右可信图信息，可以提高所述合成图片的质量。
[0046]根据第一方面的第一种实现形式，在所述方法的第二种可能的实现形式中，基于所述左投影深度图和所述右投影深度图确定所述左投影深度图Scu’和所述右投影深度图之间的平面区分图；基于所述左投影深度图确定所述左投影深度图的左平面区分图；基于所述右投影深度图确定所述右投影深度图的右平面区分图，其中所述确定左可信图信息是基于所述左平面区分图和所述平面区分图进行的，所述确定右可信图信息是基于所述右平面区分图和所述平面区分图进行的。
[0047]通过基于所述平面区分图确定左可信图和右可信图，可以减少由不准确的深度图