专利名称：虚拟视点绘制方法
技术领域：
本发明属于图像处理及立体成像领域，涉及一种基于深度的虚拟视点绘制方法。
背景技术：
传统的平面视频以平面图像来描述三维场景，已不能满足人们对立体感的要求。 与传统的平面视频相比立体视频具有更直观的视觉表达效果，它可以使人们感受到真切的深度感和沉浸感。虚拟视点绘制技术指通过两个或多个摄像机视点所得到的同一场景的视频图像，生成其他各个摄像机视点该场景视频图像的过程，是实现自由立体电视和自由视点电视等立体视频应用的关键技术之一。虚拟视点绘制技术主要包括基于模型的绘制(Model Based Rendering,MBR)和基于图像的绘制(Image Based Rendering, IBR)。传统的基于模型的绘制利用计算机图形学技术，对场景进行定义，从而建立三维场景模型，然后利用计算机实现场景模型的绘制、着色、光照以及投影等处理过程，最终生成给定视点的图像。因此，能否准确逼真地构建出场景的几何模型对最终成像效果产生决定性的影响。由于场景的复杂程度往往不易于控制， 复杂场景下通过MBR成像效果并不是非常理想，无法满足用户不断发展的对图像真实感和沉浸感的需求。基于图像的绘制主要研究如何采用已知视点图像来直接生成虚拟视点下的对应图像，其绘制过程避免了复杂的几何建模与计算工作，因此具有快速、简单、逼真的优点，已成为当前最为活跃的研究方向。不同的IBR技术可理解为全光函数(Plenoptic Function)在一定条件下的具体表现。全光函数将场景表示为在时刻τ，从三维空间坐标为(Vx，Vy，Vz)的视点出发，视角为 ⑷,妁，采用波长为λ的光线进行采样的信息总和。由此可以将场景表示为一个7维函数，
W，的4，称为全光函数。IBR可描述为给定全光函数的样本集合，生成其连续表示的过程。基于这一描述，IBR过程可分解为全光函数的采样，重建和重采样三个过程。 但在实际情况下，无法预先获得场景全光函数的全集，同时7维函数形式需要巨大的存储和计算量，因此研究者针对应用和简化展开了大量研究。根据采用场景几何信息的多少，可以将IBR技术分为三类1)无几何信息的IBR方法；2)使用隐含几何信息的IBR方法；3) 使用明确几何信息的IBR方法。无几何信息的IBR方法基于场景的密集采样绘制三维场景，主要包括2维的全景图技术(Panoramas), 3维的同心拼图技术(Concentric Mosaics), 4维的光场技术 (Light fields)和光线空间实现方法(Ray Space Representation), 5维的全光建模技术 (Plenoptic Modeling)等绘制方法。使用隐含几何信息的IBR方法只需要很少的输入图像，可以在一定误差条件下， 以较小的代价来快速生成场景画面，同时所生成的图像质量很高。使用隐含几何信息的IBR 方法主要包括视图变形技术(View Morphing)和视图插值技术(View Interpolation)等。 视图变形技术利用几何投影原理从两个不同视点的图像重构出光心连线上的每一个新视点的图像。视图插值技术基于相邻图像之间的连贯性，利用图像各像素点的深度信息通过视觉基本原理来建立相邻采样点真实感图像之间像素的对应关系。使用明确几何信息的IBR方法主要包括纹理映射(Text Mapping)、分层深度图像技术(Layered Depth Image, LDI)和基于深度图像的3D图像变形技术(3D Image Warping) 等。纹理映射的实质是将图像重映射到3D场景的表面上，用纹理来显示复杂模型的表面细节。分层深度图像技术采用按照深度信息对图像分层的方法，所利用的几何信息是一些分层面上的深度信息。基于深度图像的绘制(Depth Image Based Rendering, DI BR)由于将场景的深度信息引入到IBR中，利用源图像及其对应的深度图像通过三维图像映射来生成虚拟视点视图，从而大大减少了参考图像的数目，节省了存储空间和传输带宽。DIBR技术近年来发展迅速，是当前研究的热点。McMillan最早提出了 3D image warping方程，通过图像映射得到虚拟视图，大大降低了生成新视图的复杂度，但也面临着如何进行有效空洞填补的问题。Cooke提出了利用采样密度图选取最好的表面生成虚拟视图的多视图合成方法，由于没有考虑生成的单视点中空洞的影响，并不能得到完整的采样密度图，不能成功的应用于复杂的场景之中。Muller围绕3D映射的方法提出了由两个参考视图的参数推导虚拟视点参数的方法，从而可以得到两个参考视图之间任何视点的虚拟视图，但仍没有有效的解决空洞问题。Mori通过使用3D warping来进行虚拟视点绘制并通过将深度图投影到虚拟图像平面并且对映射后得到的深度图进行后滤波处理来解决空洞问题，但对得到的深度图进行后滤波处理模糊了深度图，会影响虚拟视图的绘制质量。
发明内容
本发明旨在克服现有技术的不足，提供一种虚拟视点绘制方法，实现高质量的虚拟视点绘制。为达到上述目的，本发明采取的技术方案是，虚拟视点绘制方法，包括下列步骤(I)采用基于边缘检测的边界重构算法对深度图进行预处理；(2)利用两个视点参考视图及其对应的深度图，通过三维图像变换得到虚拟视点视图绘制虚拟视点图像时,采用3D Image Warping方法,利用深度图像和标定的相机参数，将参考图像中的像素点映射到目标图像中，首先将源参考图像的像素利用其深度信息和参考相机的相机参数重投影到它们对应的三维空间点位置，然后利用虚拟视点的位置及虚拟视点的相机参数将这些三维空间点再投影到虚拟相机平面进行成像，得到虚拟视点图像；(3)对两幅虚拟视点图像进行图像融合消除大部分空洞，生成一幅初始虚拟视图利用距离加权值融合两幅虚拟视图，从而得到融合的初始虚拟视图；(4)对初始虚拟视图利用基于背景分离的方法进行空洞填补，得到最终的虚拟视点图像。步骤(I)中的所述采用基于边缘检测的边界重构算法对深度图进行预处理具体为首先对深度图利用canny算子进行边缘检测，提取出深度图中前景物体的边缘，然后进行深度边界重构滤波对提取的边缘进行处理，采用如下代价函数(k)=JF(k)+Js(k)+JJk)，对提取的边缘计算当前像素的相邻像素代价值，找到具有最大代价的最好的亮度值来代替当前像素的亮度值，其中，k代表像素的亮度值，Jram代表像素值为k 时的代价函数，第一个子代价函数Jf代表每个像素的出现频率，它由像素的出现次数来得到；第二个子代价函数Js代表当前像素点与其相邻像素之间的亮度的相似性；第三个子代价函数Jc代表当前像素与相邻像素之间的靠近程度，最后，为了平滑边界重构后的深度图， 利用中值滤波和形态学处理平滑深度图的边缘，从而获得质量较好的深度图。步骤(4)中的所述对初始虚拟视图利用基于背景分离的方法进行空洞填补，得到最终的虚拟视点图像具体为首先利用融合后虚拟视点的深度图的深度值，选取门限值Y，对深度图进行划分， 即将背景区域与前景物体相互分离；然后分离出的背景区域通过邻域插值的方法进行填充；最后将前景区域重置到虚拟视图中，为确保将所有的空洞全部填充上，再利用邻域插值的方法对整个虚拟视图进行空洞填补，得到最终的虚拟视图。步骤(1)中的所述边界重构算法代价函数具体为第一个子代价函数Jf定义如下
权利要求
1.一种虚拟视点绘制方法，其特征是，包括下列步骤(1)采用基于边缘检测的边界重构算法对深度图进行预处理；(2)利用两个视点参考视图及其对应的深度图，通过三维图像变换得到虚拟视点视图绘制虚拟视点图像时，采用3D Image Warping方法,利用深度图像和标定的相机参数, 将参考图像中的像素点映射到目标图像中，首先将源参考图像的像素利用其深度信息和参考相机的相机参数重投影到它们对应的三维空间点位置，然后利用虚拟视点的位置及虚拟视点的相机参数将这些三维空间点再投影到虚拟相机平面进行成像，得到虚拟视点图像；(3)对两幅虚拟视点图像进行图像融合消除大部分空洞，生成一幅初始虚拟视图 利用距离加权值融合两幅虚拟视图，从而得到融合的初始虚拟视图；(4)对初始虚拟视图利用基于背景分离的方法进行空洞填补，得到最终的虚拟视点图像。
2.如权利要求1所述的方法，其特征在于，步骤(1)中的所述采用基于边缘检测的边界重构算法对深度图进行预处理具体为首先对深度图利用canny算子进行边缘检测，提取出深度图中前景物体的边缘， 然后进行深度边界重构滤波对提取的边缘进行处理，采用如下代价函数JM_(k)= JF(k)+Js(k)+JJk)，对提取的边缘计算当前像素的相邻像素代价值，找到具有最大代价的最好的亮度值来代替当前像素的亮度值，其中，k代表像素的亮度值，Jram代表像素值为k 时的代价函数，第一个子代价函数Jf代表每个像素的出现频率，它由像素的出现次数来得到；第二个子代价函数Js代表当前像素点与其相邻像素之间的亮度的相似性；第三个子代价函数Jc代表当前像素与相邻像素之间的靠近程度，最后，为了平滑边界重构后的深度图， 利用中值滤波和形态学处理平滑深度图的边缘，从而获得质量较好的深度图。
3.如权利要求I所述的方法，其特征在于，步骤(4)中的所述对初始虚拟视图利用基于背景分离的方法进行空洞填补，得到最终的虚拟视点图像具体为首先利用融合后虚拟视点的深度图的深度值，选取门限值Y，对深度图进行划分，即将背景区域与前景物体相互分离；然后分离出的背景区域通过邻域插值的方法进行填充；最后将前景区域重置到虚拟视图中，为确保将所有的空洞全部填充上，再利用邻域插值的方法对整个虚拟视图进行空洞填补，得到最终的虚拟视图。
4.如权利要求1所述的方法，其特征在于，步骤(1)中的所述边界重构算法代价函数具体为第一个子代价函数Jf定义如下
全文摘要
本发明属于图像处理及立体成像领域。为一种虚拟视点绘制方法，实现高质量的虚拟视点绘制。为达到上述目的，本发明采取的技术方案是，虚拟视点绘制方法，包括下列步骤(1)采用基于边缘检测的边界重构算法对深度图进行预处理；(2)利用两个视点参考视图及其对应的深度图，通过三维图像变换得到虚拟视点视图(3)对两幅虚拟视点图像进行图像融合消除大部分空洞，生成一幅初始虚拟视图利用距离加权值融合两幅虚拟视图，从而得到融合的初始虚拟视图；(4)对初始虚拟视图利用基于背景分离的方法进行空洞填补，得到最终的虚拟视点图像。本发明主要应用于图像处理及立体成像。
文档编号G06T7/00GK102592275SQ201110428998
公开日2012年7月18日 申请日期2011年12月16日 优先权日2011年12月16日
发明者侯春萍, 吴冬燕, 张海龙, 王来花, 范科峰, 雷建军 申请人:天津大学