一种基于全景图的视点间漫游方法和装置制造方法
【专利摘要】本发明实施方式提出了一种基于全景图的视点间漫游方法和装置。方法包括：从全景图中选取当前视点图像，并得到该当前视点图像的三维模型；从该当前视点图像中选取子图像进行特征检测，以得到相邻视点的特征点；对相邻视点的特征点进行匹配计算，并根据匹配计算结果确定相邻视点之间的距离；对该当前视点图像的三维模型进行三维漫游，其中漫游深度为相邻视点之间的距离。应用本发明实施方式之后，通过精确确定视点间距离，能够实现基于全景图的视点间平滑过渡，提高了平滑漫游效果。
【专利说明】一种基于全景图的视点间漫游方法和装置
【技术领域】
[0001]本发明实施方式涉及图像处理【技术领域】，更具体地，涉及一种基于全景图的视点间漫游方法和装置。
【背景技术】
[0002]基于全景图的虚拟现实系统由于具有硬件要求低、真实感较好等优点，目前正越来越广泛地应用在各个领域。全景图技术是一种虚拟现实技术，它可模拟用户处于真实场景某一位置的现场视觉感受，沉浸感强烈，给用户带来身临其境的用户体验，具有重要的应用价值。
[0003]视点是指用户某一时刻在虚拟场景中的观察点，在生成虚拟场景中起到管理全景图的作用。全景图漫游主要分为固定视点内漫游和不同视点间漫游。固定视点的全景图浏览技术相对已经成熟，而不同视点间的漫游效果因全景图的调度效率以及视点过渡的算法等问题还不甚理想，主要的原因是视点间的平滑过渡技术尚未解决。
[0004]多视点全景图虚拟空间的漫游技术要解决的主要问题是全景图像浏览的速度和质量、全景图的调度效率以及视点过渡的算法等问题。
[0005]目前有应用画中游(Tour Into the Picture, TIP)技术尝试解决不同视点间全景图漫游的方法。在该方法中，以透视原理为基础，主要面向具有线条几何特征的场景(如建筑网、街道等)，使用灭点和蜘蛛网络建模二维图片，求出模型的深度信息，继而重建场景的相对三维模型，让用户在其中进行漫游。通过将画中游技术和全景图结合起来，可在一定程度上有效提闻用户的体验感。
[0006]如果将画中游技术与全景图结合，要想达到平滑漫游的体验感，需要知道视点之间的距离，以便在画中游三维漫游时知道漫游到哪个位置方能与下一视点的图像最匹配，此时进行渐变能够最大程度达到平滑漫游的效果。然而，目前大多数情况下受限于采集精度的影响，视点间距离的精度尚不够高，这就极大地制约了平滑漫游效果。
【发明内容】
[0007]本发明实施方式提出一种基于全景图的视点间漫游方法，以提高视点间距离的采集精度，增强平滑漫游效果。
[0008]本发明实施方式提出一种基于全景图的视点间漫游装置，以提高视点间距离的采集精度，增强平滑漫游效果。
[0009]本发明实施方式的技术方案如下:
[0010]一种基于全景图的视点间漫游方法，该方法包括:
[0011]从全景图中选取当前视点图像，并得到该当前视点图像的三维模型；
[0012]从该当前视点图像中选取子图像进行特征检测，以得到相邻视点的特征点；
[0013]对相邻视点的特征点进行匹配计算，并根据所述匹配计算结果确定相邻视点之间的距离；[0014]对该当前视点图像的三维模型进行三维漫游，其中漫游深度为所述相邻视点之间的距离。
[0015]一种基于全景图的视点间漫游装置，该装置包括:三维模型获取单元、特征检测单元、匹配计算单元和三维漫游单元，其中:
[0016]三维模型获取单元，用于从全景图中选取当前视点图像，并得到该当前视点图像的三维模型；
[0017]特征检测单元，用于从该当前视点图像中选取子图像进行特征检测，以得到相邻视点的特征点；
[0018]匹配计算单元，用于对相邻视点的特征点进行匹配计算，并根据所述匹配计算结果确定相邻视点之间的距离；
[0019]三维漫游单元，用于对该当前视点图像的三维模型进行三维漫游，其中漫游深度为所述相邻视点之间的距离。
[0020]从上述技术方案可以看出，在本发明实施方式中，首先从全景图中选取当前视点图像，并得到该当前视点图像的三维模型；然后从该当前视点图像中选取子图像进行特征检测，以得到相邻视点的特征点；而且对相邻视点的特征点进行匹配计算，并根据匹配计算结果确定相邻视点之间的距离；最后对该当前视点图像的三维模型进行三维漫游，其中漫游深度为相邻视点之间的距离。由此可见，应用本发明实施方式之后，通过精确确定视点间距离，能够实现基于全景图的视点间平滑过渡，提高了平滑漫游效果。
[0021]而且，本发明实施方式在不增加数据存储量的前提下实现了视点间平滑漫游，显著增强了虚拟场景的真实感，而且算法运算量适中。
【专利附图】
【附图说明】
[0022]图1为根据本发明实施方式的基于全景图的视点间漫游方法流程图；
[0023]图2为根据本发明实施方式的相邻视点图像示意图；
[0024]图3为根据本发明实施方式的TIP算法模型第一示意图；
[0025]图4为根据本发明实施方式的TIP算法模型第二示意图；
[0026]图5为根据本发明实施方式的TIP算法模型深度计算示意图；
[0027]图6为根据本发明实施方式的基于全景图的视点间漫游装置结构图。
【具体实施方式】
[0028]为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
[0029]图1为根据本发明实施方式的基于全景图的视点间漫游方法流程图。
[0030]如图1所示，该方法包括:
[0031]步骤101:从全景图中选取当前视点图像，并进一步获取该当前视点图像的三维模型。
[0032]全景图中的视点是指用户某一时刻在虚拟场景中的观察点，视点在生成虚拟场景中起到管理全景图的作用。当前视点图像即基于当前视点针对全景图中所观察到的图像。
[0033]在这里，全景图优选为街景全景图。街景全景图具备大量的线条几何特征，适合画中游技术的漫游体验。通过将街景全景图与画中游技术结合，能够增强虚拟场景的逼真程度。
[0034]当应用到街景全景图的情形中，可以首先从街景全景图中选取当前视点图像，利用画中游技术进行三维建模，并生成对应的纹理信息。纹理信息用于指出街景全景图中物体的颜色模式，以及指出物体表面是粗糙的还是光滑的。当前视点图像的选取要根据拍摄图像时的路线，沿前进方向选取固定尺度的图像。
[0035]图2为根据本发明实施方式的相邻视点图像示意图。
[0036]如图2所示，矩形AB⑶是视ASi对应的视点图像；矩形Ai B' C1 Di是视点Si+1对应的视点图像。Si和si+1是沿拍摄前进方向的相邻视点。
[0037]对于街景全景图，视点Si+1对应的视点图像在视点Sji应的视点图像中有所体现。如图2中的左半部分所示，在视点Si对应的视点图像(即矩形ABCD)中包含有视点Si+1对应的视点图像(即矩形A' B' C' D')。
[0038]分别对当前视点图像利用画中游技术进行三维建模，画中游技术对应的模型如图3和图4所示。图3为根据本发明实施方式的TIP算法模型第一示意图；图4为根据本发明实施方式的TIP算法模型第二示意图。
[0039]在图3中，灭点O是三维中平行的直线在二维投影图像中交点，其中蜘蛛网格由灭点、内矩形、外矩形以及友灭点出发的射线群组成。灭点与内矩形的四个点相连，它们的射线与外矩形相交后，可以把模型划分成左墙、右墙、背面、底面、顶面等五个部分。
[0040]图5为根据本发明实施方式的TIP算法模型深度计算示意图，其中假定S为视点，视点S距离投影面的距离位置f是任意确定的，O为灭点，视点S到地面的高度为vh，S0为地面底面，BC为模型内矩形的高，B' C'为背面中底面与顶面的距离，d是模型的深度，Hi1是内矩形下边缘至图像底部的距离，m2是内矩形上边缘至灭点的距离。
[0041]由几何关系ASOC~ASO' C'，得到:
【权利要求】
1.一种基于全景图的视点间漫游方法，其特征在于，该方法包括: 从全景图中选取当前视点图像，并得到该当前视点图像的三维模型； 从该当前视点图像中选取子图像进行特征检测，以得到相邻视点的特征点； 对相邻视点的特征点进行匹配计算，并根据所述匹配计算结果确定相邻视点之间的距离； 对该当前视点图像的三维模型进行三维漫游，其中漫游深度为所述相邻视点之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述从该当前视点图像中选取子图像进行特征检测为: 从该当前视点图像中选取子图像，并应用尺度不变特征变换(SIFT)算法对所述子图像进行特征检测。
3.根据权利要求1所述的方法，其特征在于，所述对相邻视点的特征点进行匹配计算包括: 应用随机抽样一致性(RANSAC)算法，对相邻视点的特征点进行匹配计算。
4.根据权利要求1所述的方法，其特征在于，所述对相邻视点的特征点进行匹配计算，并根据所述匹配计算的结果确定相邻视点之间的距离包括: 对相邻视点的特征点进行匹配计算，以得到平面透视变换矩阵； 应用该平面透视变换矩阵确定相邻视点之间的距离。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述从全景图中选取当前视点图像，并得到该当前视点图像的三维模型包括: 从全景图中选取当前视点图像，并应用画中游(TIP)算法对该当前视点图像对该当前视点图像进行三维建模，以得到所述当前视点图像的三维模型。
6.一种基于全景图的视点间漫游装置，其特征在于，该装置包括:三维模型获取单元、特征检测单元、匹配计算单元和三维漫游单元，其中: 三维模型获取单元，用于从全景图中选取当前视点图像，并得到该当前视点图像的三维模型； 特征检测单元，用于从该当前视点图像中选取子图像进行特征检测，以得到相邻视点的特征点； 匹配计算单元，用于对相邻视点的特征点进行匹配计算，并根据所述匹配计算结果确定相邻视点之间的距离； 三维漫游单元，用于对该当前视点图像的三维模型进行三维漫游，其中漫游深度为所述相邻视点之间的距离。
7.根据权利要求6所述的装置，其特征在于，特征检测单元，用于从该当前视点图像中选取子图像，并应用尺度不变特征变换(SIFT)算法对所述子图像进行特征检测。
8.根据权利要求6所述的装置，其特征在于，匹配计算单元，用于应用随机抽样一致性(RANSAC)算法，对相邻视点的特征点进行匹配计算。
9.根据权利要求6所述的装置，其特征在于，匹配计算单元，用于对相邻视点的特征点进行匹配计算，以得到平面透视变换矩阵；并应用该平面透视变换矩阵确定相邻视点之间的距离。
10.根据权利要求6-9中任一项所述的装置，其特征在于，三维模型获取单元，用于从全景图中选取当前视点图像，并应用画中游(TIP)算法对该当前视点图像对该当前视点图像进行三维建模，以得到 所述当前视点图像的三维模型。
【文档编号】G06T19/00GK103456043SQ201210170074
【公开日】2013年12月18日 申请日期:2012年5月29日 优先权日:2012年5月29日
【发明者】李保利, 武可新, 李成军, 张弦 申请人:深圳市腾讯计算机系统有限公司