专利名称：基于深度图后向映射的图像渲染方法和图像渲染装置的制作方法
技术领域：
本发明涉及计算机视觉技术领域，具体涉及ー种基于深度图后向映射的图像渲染方法和图像渲染装置。
背景技术：
近年来，随着显示视觉技术的飞速发展，各种新型的立体显示技术纷纷出现，如偏振光立体显示技术、裸眼多视点立体显示技术、被动同步的立体显示技术等，在全球范围内掀起ー场立体技术的视觉革命。立体显示技术以其强烈的立体感知真实感，给人以身临其境的震撼感觉。立体显示技术在自由视点视频(Free Viewpoint Video)、虚拟现实、立体电视、立体游戏等诸多领域有着广泛的应用前景。然而，在立体显示技术快速发展的同时，由于多视点视频、图像资源获取成本高，适合立体显示设备使用的片源稀缺，无法满足观众日益增长的观赏需求。此外，ニ维片源的拍摄、编码、传输等技术已经十分成熟，而且形成了庞大的产业链，要进行三维立体视频产业链的替换需要付出巨大的代价。而现有的大部分ニ维片源是由单个摄像机拍摄形成的，因此，如何将ニ维片源转化为立体片源，是ー个极具现实意义的问题。现有的2D转3D技术通常是通过对深度图像(D印th Image)进行提取，并对深度图像进行滤波，然后根据深度图对虚拟视图进行渲染。但由于前景遮挡背景等原因，现有技术的渲染结果中普遍出现空洞和失真问题，较大的空洞造成图像信息的丢失，失真更是极大地降低图像的质量。
发明内容
本发明g在至少在一定程度上解决上述技术问题之一或至少提供ー种有用的商业选择。为此，本发明的ー个目的在于提出ー种具有渲染效果好、渲染速度高的基于深度图后向映射的图像渲染方法。本发明的另ー个目的在于提出ー种具有渲染效果好、渲染速度高的基于深度图后向映射的图像渲染装置。根据本发明实施例的基于深度图后向映射的图像渲染方法，包括:A.输入參考视图和对应的深度图；B.根据所述參考视图和所述深度图，获取映射坐标集；C.对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集；D.根据所述滤波后的映射坐标集，对所述參考视图进行后向映射，生成对应的虚拟视图；以及E.对所述虚拟视图进行边缘修整，得到最終虚拟视图。在本发明的方法的一个实施例中，所述步骤B进ー步包括B1.根据所述參考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集其巾(x，y)表示所述虚拟棚中像素的參考坐
标，(X'，y’)表示所述(X，y)移位前在所述參考视图中的映射坐标，Nu表示所述虚拟视图的序号，Nu=O表示所述參考视图，a表示比例因子，dref(x, y)表示所述虚拟视图中像素(x, y)的深度值；も表示所述虚拟视图对应的虚拟摄像机的光心到零视差平面之间的距离；B2.对所述映射坐标集进行边界约束处理，以避免渲染结果超出所述參考视图边界范围；和B3.对所述映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真。在本发明的方法的一个实施例中，所述步骤B3进ー步包括B31.判断所述虚拟视图与所述參考视图的相对位置，确定移位顺序；B32.按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值；B33.继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和B34.将所述错误区域的像素按照所述虚拟视图中的相对顺序进行调整。在本发明的方法的一个实施例中，所述平滑滤波为不对称高斯平滑滤波。
在本发明的方法的一个实施例中，所述步骤D包括根据所述移位顺序，遍历地为 所述虚拟视图中的每ー个像素(x，y)位置，填充所述參考视图的对应的映射坐标(X'，y’ )像素的信息，得到所述虚拟视图。在本发明的方法的一个实施例中，所述边缘修整的方法为对所述虚拟视图的每一行像素的左右两侧填充预定数目的黒色像素。根据本发明实施例的基于深度图后向映射的图像渲染方法具有以下优点(I)输入简单，仅需一个ニ维的參考视图与该參考视图对应的深度图，并且无需进行摄像机參数校准；(2 )使用后向映射的方法可完全避免渲染虚拟视图出现空洞；(3 )通过对映射坐标进行平滑滤波的独特处理，缓解虚拟视图渲染失真问题；(4)消耗资源小，渲染效果好，在降低计算量的同时还保证了ニ维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。根据本发明实施例的基于深度图后向映射的图像渲染装置，包括输入模块，用于输入參考视图和对应的深度图；映射坐标集获取模块，用于根据所述參考视图和所述深度图，获取映射坐标集；滤波模块，用于对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集；渲染模块，用于根据所述滤波后的映射坐标集，对所述參考视图进行后向映射，生成对应的虚拟视图；以及边缘修整模块，用于对所述虚拟视图进行边缘修整，得到最終虚拟视图。在本发明的装置的一个实施例中，所述映射坐标集获取模块进ー步包括映射坐
标集计算模块，用于根据所述參考视图和所述深度图，通过下列公式计算各个像素对应的
映射坐标，获得映射坐标集
权利要求
1.一种基于深度图后向映射的图像渲染方法，其特征在于，包括以下步骤 A.输入參考视图和对应的深度图； B.根据所述參考视图和所述深度图，获取映射坐标集； C.对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集； D.根据所述滤波后的映射坐标集，对所述參考视图进行后向映射，生成对应的虚拟视图；以及 E.对所述虚拟视图进行边缘修整，得到最終虚拟视图。
2.如权利要求I所述的基于深度图后向映射的图像渲染方法，其特征在于，所述步骤B进ー步包括 BI.根据所述參考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集
3.如权利要求2所述的基于深度图后向映射的图像渲染方法，其特征在于，所述步骤B3进ー步包括 B31.判断所述虚拟视图与所述參考视图的相对位置，确定移位顺序； B32.按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下ー个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下ー个像素水平坐标值； B33.继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和 B34.将所述错误区域的像素按照所述虚拟视图中的相对顺序进行调整。
4.如权利要求3所述的基于深度图后向映射的图像渲染方法，其特征在于，所述平滑滤波为不对称高斯平滑滤波。
5.如权利要求4所述的基于深度图后向映射的图像渲染方法，其特征在于，所述步骤D包括根据所述移位顺序，遍历地为所述虚拟视图中的每ー个像素(x，y)位置，填充所述參考视图的对应的映射坐标(X'，I，)像素的信息，得到所述虚拟视图。
6.如权利要求5所述的基于深度图后向映射的图像渲染方法，其特征在于，所述边缘修整的方法为对所述虚拟视图的每一行像素的左右两侧填充预定数目的黒色像素。
7.一种基于深度图后向映射的图像渲染装置，其特征在于，包括以下部分 输入模块，用于输入參考视图和对应的深度图；映射坐标集获取模块，用于根据所述參考视图和所述深度图，获取映射坐标集； 滤波模块，用于对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集； 渲染模块，用于根据所述滤波后的映射坐标集，对所述參考视图进行后向映射，生成对应的虚拟视图； 以及 边缘修整模块，用于对所述虚拟视图进行边缘修整，得到最終虚拟视图。
8.如权利要求7所述的基于深度图后向映射的图像渲染装置，其特征在于，所述映射坐标集获取1吴块进一步包括 映射坐标集计算模块，用于根据所述參考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集
9.如权利要求8所述的基于深度图后向映射的图像渲染装置，其特征在于，所述顺序约束模块进一歩包括 移位顺序判断模块，用于判断所述虚拟视图与所述參考视图的相对位置，确定移位顺序;检测及标记模块，用于按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值，继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和调整模块，将所述错误区域的像素按照所述虚拟视图中的相对顺序进行调整。
10.如权利要求9所述的基于深度图后向映射的图像渲染装置，其特征在于，所述平滑滤波为不对称高斯平滑滤波。
11.如权利要求10所述的基于深度图后向映射的图像渲染装置，其特征在于，所述渲染模块中，根据所述移位顺序，遍历地为所述虚拟视图中的每ー个像素(X，y)位置，填充所述參考视图的对应的映射坐标(X'，I，)像素的信息，得到所述虚拟视图。
12.如权利要求11所述的基于深度图后向映射的图像渲染装置，其特征在于，所述边缘修整模块中，边缘调整方法为对所述虚拟视图的每一行像素的左右两侧填充预定数目的黒色像素。
全文摘要
本发明提出一种基于深度图后向映射的图像渲染方法及装置，其中该方法包括输入参考视图和对应的深度图；根据参考视图和深度图，获取映射坐标集；对映射坐标集进行平滑滤波，得到滤波后的映射坐标集；根据滤波后的映射坐标集，对参考视图进行后向映射，生成对应的虚拟视图；以及对虚拟视图进行边缘修整，得到最终虚拟视图。本发明的方法及装置消耗资源小，渲染效果好，在降低计算量的同时还保证了二维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。
文档编号G06T7/00GK102831603SQ20121026642
公开日2012年12月19日 申请日期2012年7月27日 优先权日2012年7月27日
发明者戴琼海, 谭汉青 申请人:清华大学