街景图像过渡方法和装置制造方法
【专利摘要】本发明提供了一种街景图像过渡方法和装置。所述方法包括：获取原始街景图像和目标街景图像；对所述原始街景图像进行三维建模得到对应的三维模型；获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；通过所述街景图像序列由所述原始街景图像切换至目标街景图像。所述装置包括街景图像获取模块、建模模块、相机模拟模块和切换模块。采用本发明能提高街景图像过渡的稳定性。
【专利说明】街景图像过渡方法和装置
【技术领域】
[0001]本发明涉及虚拟现实技术，特别是涉及一种街景图像过渡方法和装置。
【背景技术】
[0002]街景(Streetview)漫游是电子地图中的一项重要功能，为人们提供了一个足不出户即可身临其境地感受当前所查看的地方。电子地图中人们通过点击街景模式的按钮即可进入街景漫游，查看所选地点的全景图像。
[0003]在街景漫游过程中，用户在某一时刻所看到的只是全景图像中的某一部分，当触发前往下一地点的指令时，下一地点所对应的全景图像将被加载，进而从当前全景图像中的某一部分过渡到下一地点所对应的全景图像中的某一部分。
[0004]传统的过渡方法是直接通过互联网络从服务器向用户传输并播放预先录制的影片，然而，这一基于服务器和互联网络的过渡方法将受到网络带宽、服务器存储空间状况等众多因素的影响，无法保证街景图像过渡的稳定性。
【发明内容】
[0005]基于此，有必要针对街景图像过渡缺乏稳定性的问题，提供一种能提高稳定性的街景图像过渡方法。
[0006]此外，还有必要提供一种能提高稳定性的街景图像过渡装置。
[0007]一种街景图像过渡方法，包括如下步骤:
[0008]获取原始街景图像和目标街景图像；
[0009]对所述原始街景图像进行三维建模得到对应的三维模型；
[0010]获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；
[0011 ] 通过所述街景图像序列由所述原始街景图像切换至目标街景图像。
[0012]一种街景图像过渡装置，包括:
[0013]街景图像获取模块，用于获取原始街景图像和目标街景图像；
[0014]建模模块，用于对所述原始街景图像进行三维建模得到对应的三维模型；
[0015]相机模拟模块，用于获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；
[0016]切换模块，用于通过所述街景图像序列由所述原始街景图像切换至目标街景图像。
[0017]上述街景图像过渡方法和装置，获取原始街景图像和目标街景图像，对原始街景图像进行三维建模得到对应的三维模型，获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据该特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列，进而通过街景图像序列实现原始街景图像至目标街景图像的过渡，不需要从通过互联网络从服务器中获取预先录制的过度影片，只需要通过原始街景图像和目标街景图像即可在本地快速地生成用于过渡的街景图像序列，屏蔽了各种因素的影响，提高了街景图像过渡的稳定性。
【专利附图】
【附图说明】
[0018]图1为一个实施例中街景图像过渡方法的流程图；
[0019]图2为图1中获取原始街景图像和目标街景图像的方法流程图；
[0020]图3为一个实施例中全景图像截取的示意图；
[0021]图4为图1中对原始街景图像进行三维建模得到对应的三维模型的方法流程图；
[0022]图5为一个实施例中对原始街景图像构建长方盒模型的示意图；
[0023]图6为一个实施例中长方盒模型的示意图；
[0024]图7为图5中检测原始街景图像中的道路延伸方向的方法流程图；
[0025]图8为另一个实施例中街景图像过渡方法的流程图；
[0026]图9为一个实施例中获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列的方法流程图；
[0027]图10为一个实施例中通过街景图像序列由原始街景图像切换至目标街景图像的方法流程图；
[0028]图11为一个实施例中街景图像过渡方法的应用示意图；
[0029]图12为一个实施例中街景图像过渡装置的结构示意图；
[0030]图13为图12中街景图像获取模块的结构示意图；
[0031]图14为图12中建模模块的结构示意图；
[0032]图15为另一个实施例中街景过渡装置的结构示意图；
[0033]图16为一个实施例中相机模拟模块的结构示意图；
[0034]图17为一个实施例中切换模块的结构示意图。
【具体实施方式】
[0035]如图1所示，在一个实施例中，一种街景图像过渡方法，包括如下步骤:
[0036]步骤S110,获取原始街景图像和目标街景图像。
[0037]本实施例中，原始街景图像为显示窗口当前所显示的街景图像，目标街景图像是期望加载并显示的街景图像。例如，原始街景图像和目标街景图像对应了两个紧邻的地点，用户在显示窗口中浏览原始街景图像，对原始街景图像触发前往下一地点的指令时，即将加载并显示于显示窗口中的街景图像即为目标街景图像。
[0038]步骤S130，对原始街景图像进行三维建模得到对应的三维模型。
[0039]本实施例中，构建原始街景图像的三维模型，通过构建的三维模型可以获知原始街景图像中每一点的几何信息。
[0040]步骤S150，获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列。
[0041]本实施例中，每一特征点匹配对均包括了原始街景图像中的某一特征点以及目标街景图像中的特征点，其中，目标街景图像中的特征点是与原始街景图像中的特征点相匹配的。
[0042]根据特征点匹配对在三维模型中模拟虚拟相机，并移动虚拟相机，以摄取得到街景图像序列，该街景图像序列包括了摄取得到的一系列街景图像。
[0043]步骤S170，通过街景图像序列由原始街景图像切换至目标街景图像。
[0044]本实施例中，以原始街景图像为起始，逐帧播放街景图像序列，在显示窗口中--
展示街景图像序列所包含的街景图像，进而实现原始街景图像到目标街景图像的顺畅过渡，向用户展示自然顺畅的原始街景图像到目标街景图像之间的变换过程。
[0045]如图2所示,在一个实施例中，上述步骤SllO包括:
[0046]步骤S111，获取原始街景图像所在的第一全景图像和目标街景图像所在的第二全景图像。
[0047]本实施例中，全景图像是拍摄设备于某一固定点进行360度拍摄得到的，街景图像是单次拍摄得到的图像，成为全景图像的组成部分，多个街景图像集合在一起便可拼接得到全景图像。
[0048]步骤S113，分别对第一全景图像和第二全景图像进行截取得到原始街景图像和目标街景图像。 [0049]本实施例中，如图3所示，在第一全景图像301中截取出合适的一部分作为原始街景图像303，在第二全景图像305中截取出合适的一部分作为目标街景图像307。
[0050]在一个实施例中，上述步骤SI 13的过程为:
[0051]根据显示窗口的尺寸设置像平面尺寸，并按照像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面，即原始街景图像和目标街景图像。
[0052]本实施例中，显示窗口用于向用户展示图像画面，例如，显示窗口为浏览器窗口。
[0053]按照设定的像平面尺寸对第一全景图像和第二全景图像进行截取，以得到第一像平面和第二像平面，该第一像平面即为原始街景图像，第二像平面即为目标街景图像。
[0054]在优选的实施例中，为保证图像过渡的准确性，像平面尺寸将大于显示窗口的尺寸，例如，若显示窗口的尺寸为(W，H)，则(AW，λΗ)为像平面尺寸，其中，λ为大于I的数值，例如，通常设置为2或者更大的数值。
[0055]设置像平面尺寸大于显示窗口的尺寸，以使得从全景图像上截取得到的像平面大于用户所实际看到的图像大小，进而使得用户从当前显示的街景图像后退到上一张街景图像时，也能够准确顺畅地实现过渡。
[0056]在一个实施例中，上述按照像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面的具体过程为:
[0057]将第一全景图像和第二全景图像投影至球的内表面，并按照像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
[0058]本实施例中，分别对第一全景图像和第二全景图像进行投影，并对投影的第一全景图像和第二全景图像进行截取，以得到第一像平面和第二像平面，以及显示的像素值，第一像平面和第二像平面即为第一全景图像和第二全景图像中某一视角某一方向上的局部图像，即原始街景图像和目标街景图像。
[0059]进行投影之后再截取得到原始街景图像和目标街景图像，可有效避免图像中出现明显扭曲的情况发生。
[0060]进一步的，分别将第一全景图像和第二全景图像置于投影球内，其中，该投影球的周长将与全景图的宽相近似或者相同。在将第一像平面或第二像平面置于投影球内时，将像平面与球心之间的距离设置为焦距f，通过从球心出发经过像平面各点的射线与球面的交点即可得到该像平面所对应的图像显示的像素值。
[0061]如图4所示,在一个实施例中，上述步骤S130包括:
[0062]步骤S131，检测原始街景图像中的道路延伸方向。
[0063]本实施例中，对原始街景图像中的景物进行检测，以得到原始街景图像中道路所对应的延伸方向。
[0064]步骤S133，将道路延伸方向与长方盒模型的内矩形相匹配，以道路延伸方向对应的消失点为原点构建原始街景图像中的长方盒模型。
[0065]本实施例中，原始街景图像所在的三维模型为长方盒模型，将道路延伸方向与长方盒模型的内矩形相匹配，使得原始街景图像中道路延伸方向上的景物置于内矩形上，并根据道路延伸方向确定消失点，以消失点作为长方盒模型的原点。消失点为原始街景图像中道路一直延伸至无穷远时汇聚成的点，道路两边的延长线相交的位置即为消失点。
[0066]进一步的，如图5所示，将原始街景图像划分为五个区域，这五个区域分别是:内矩形、左侧面(左墙)、右侧面(右墙)、底面和顶端。由于原始街景图像中街景整体可被近似为一个长方盒，即，如图6所示，可将原始街景图像中的道路对应长方盒模型中的底面，将原始街景图像中道路两旁的建筑分别对应长方盒模型中的左侧面和右侧面，将原始街景图像中的天空对应长方盒模型中的顶端，而线段QD和PC相交到点0，该点即为消失点，此时，虚拟相机在原点所摄取到的图像将与原始街景图像相一致，并且若虚拟相机在长方盒模型中脱离原点移动至新的视点时，将会得到在三维效果，保证了通过虚拟相机和长方盒模型所摄取得到的图像的真实性和准确性。
[0067]如图7所示，在一个实施例中，上述步骤S131包括:
[0068]步骤S1311，检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线。
[0069]本实施例中，轮廓是只保留图像中梯度变化的部分，通常呈线条状，即轮廓线，例如，图像中某个物体和背景相接触的边缘梯度变化很剧烈，因此能够从图像中检测得到所拥有的轮廓线。
[0070]检测原始街景图像的轮廓，以得到水平方向上强度最大的水平轮廓线，进而将这一水平轮廓线设置为地平线。在优选的实施例中，将按照从上到下的顺序查看原始街景图像中水平方向上轮廓线的强度。
[0071]步骤S1313，遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成道路延伸方向。
[0072]本实施例中，依次遍历地平线上的点与原始街景图像底边的连线，连线方向上轮廓线强度最强的两个方向即为道路两侧的延伸方向，即道路延伸方向。
[0073]如图8所示，在另一个实施例中，上述步骤S150之前还包括如下步骤:
[0074]步骤S210，分别在原始街景图像和目标街景图像中提取特征点。
[0075]本实施例中，提取的特征点可以选用SIFT (Scale Invariant FeatureTransform)特征点，或者其它的特征点,在此不做限定。
[0076]步骤S230，在长方盒模型中设置遮罩，以保留长方盒模型中位于两侧的特征点。
[0077]本实施例中，为了使得街景图像中提取得到的特征点以及后续的处理更为适用于街景图像，在长方盒模型中设置遮罩，只保留长方盒模型中位于左侧面和右侧面的特征点，以提高后续匹配特征点的速度和效率。
[0078]步骤S250，将保留的特征点与目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
[0079]本实施例中，对特征点进行匹配，以得到原始街景图像和目标街景图像中特征点之间的匹配关系，进而形成特征点匹配对。
[0080]进一步的，在得到原始街景图像和目标街景图像的特征点之后，可采用RANSAC(Random Sample Consensus)算法进行特征点匹配,也可采用其它的特征点匹配算法,在此不做限定。
[0081]进一步的，在通过RANSAC算法进行特征点匹配之后，将得到原始街景图像中的特征点和目标街景图像中的特征点之间的匹配关系以及对应的单应矩阵H，应用得到的特征点匹配对数目和单应矩阵H评价当前匹配的效果，即，判断特征点匹配对数量是否达到阈值，并判断单应矩阵中的旋转分量是否小于设定的旋转阈值，若特征点匹配对数目小于阈值和旋转分量超出设定的 旋转阈值均认为匹配的效果较差，需要重新进行特征点的匹配。例如，经过RANSAC算法所得到的特征点匹配对数目通常在10~40个，若当前所得到的特征点匹配对数目少于阈值6，则说明匹配结果差。
[0082]如图9所示,在一个实施例中，上述步骤S150包括:
[0083]步骤S151，获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对。
[0084]步骤S153，获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数。
[0085]本实施例中，特征点匹配对在三维模型中的几何信息即为特征点在三维模型的坐标。特征点匹配对中，来自于原始街景图像的特征点和来自于目标街景图像的特征点是相同或者相近似的两个点，因此这两个特征点所对应的几何信息将是相同的，即相同的位置坐标。
[0086]利用街景图像变换前后特征点在三维模型中位置不变的特征，根据俯视图的几何关系得到如下方程:
[0087]
【权利要求】
1.一种街景图像过渡方法，包括如下步骤: 获取原始街景图像和目标街景图像； 对所述原始街景图像进行三维建模得到对应的三维模型； 获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列； 通过所述街景图像序列由所述原始街景图像切换至目标街景图像。
2.根据权利要求1所述的街景图像过渡方法，其特征在于，所述获取原始街景图像和目标街景图像的步骤包括: 获取所述原始街景图像所在的第一全景图像和所述目标街景图像所在的第二全景图像； 分别对所述第一全景图像和第二全景图像进行截取得到所述原始街景图像和目标街景图像。
3.根据权利要求2所述的街景图像过渡方法，其特征在于，所述分别对所述第一全景图像和第二全景图像进行截取得到所述原始街景图像和目标街景图像的步骤包括:根据显示窗口的尺寸设置像平面尺寸，并按照所述像平面尺寸截取得到所述第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像。所述像平面尺寸大于所述显示窗口的尺寸。
4.根据权利要求3所述的街景图像过渡方法，其特征在于，所述按照所述像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像的步骤为: 将所述第一全景图像和第二全景图像投影至球的内表面，并按照所述像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
5.根据权利要求1所述的街景图像过渡方法，其特征在于，所述对所述原始街景图像进行三维建模得到对应的三维模型的步骤包括: 检测所述原始街景图像中的道路延伸方向； 将所述道路延伸方向与长方盒模型的内矩形相匹配，以所述道路延伸方向对应的消失点为原点构建所述原始街景图像中的长方盒模型。
6.根据权利要求5所述的街景图像过渡方法，其特征在于，所述检测所述原始街景图像中的道路延伸方向的步骤包括: 检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线； 遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成所述道路延伸方向。
7.根据权利要求5所述的街景图像过渡方法，其特征在于，所述获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列的步骤之前还包括: 分别在所述原始街景图像和目标街景图像中提取特征点； 在所述长方盒模型中设置遮罩，以保留长方盒模型中位于两侧的特征点； 将所述保留的特征点与所述目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
8.根据权利要求1所述的街景图像过渡方法，其特征在于，所述获取从原始街景和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列的步骤包括: 获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对； 获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数； 根据所述移动参数在所述三维模型中移动虚拟相机，并摄取得到街景图像序列。
9.根据权利要求1所述的街景图像过渡方法，其特征在于，所述通过所述街景图像序列由所述原始街景图像切换至目标街景图像的步骤包括: 将所述街景图像序列生成过渡动画； 播放所述过渡动画，并由所述过渡动画渐变出所述目标街景图像。
10.一种街景图像过渡装置，其特征在于，包括: 街景图像获取模块，用于获取原始街景图像和目标街景图像； 建模模块，用于对所述原始街景图像进行三维建模得到对应的三维模型； 相机模拟模块，用于获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列； 切换模块，用于通过所述街景图像序列由所述原始街景图像切换至目标街景图像。
11.根据权利要求10所述的街景图像过渡装置，其特征在于，所述街景图像获取模块包括: 全景图像获取单元，用于获取所述原始街景图像所在的第一全景图像和所述目标街景图像所在的第二全景图像； 图像截取单元，用于分别对所述第一全景图像和第二全景图像进行截取得到所述原始街景图像和目标街景图像。
12.根据权利要求11所述的街景图像过渡装置，其特征在于，所述图像截取单元还用于根据显示窗口的尺寸设置像平面尺寸，并按照所述像平面尺寸截取得到所述第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像； 所述像平面尺寸大于所述显示窗口的尺寸。
13.根据权利要求11所述的街景图像过渡装置，其特征在于，所述图像截取单元还用于将第一全景图像和第二全景图像投影至球的内表面，并按照所述像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
14.根据权利要求10所述的街景图像过渡装置，其特征在于，所述建模模块包括: 方向检测单元，用于检测所述原始街景图像中的道路延伸方向； 长方盒模型构建单元，用于将所述道路延伸方向与长方盒模型的内矩形相匹配，以所述道路延伸方向对应的消失点为原点构建所述原始街景图像中的长方盒模型。
15.根据权利要求14所述的街景图像过渡装置，其特征在于，所述方向检测单元还用于检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线，遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成所述道路延伸方向。
16.根据权利要求14所述的街景过渡装置，其特征在于，还包括: 提取模块，用于分别在所述原始街景图像和目标街景图像中提取特征点； 遮罩模块，用于在所述长方盒模型中设置遮罩，以保留长方盒模型中位于两侧的特征占.匹配模块，用于将所述保留的特征点与所述目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
17.根据权利要求10所述的街景图像过渡装置，其特征在于，所述相机模拟模块包括: 匹配对获取单元，用于获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对； 运算单元，用于获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数； 摄取单元，用于根据所述移动参数在所述三维模型中移动虚拟相机，并摄取得到街景图像序列。
18.根据权利要求10所述的街景图像过渡装置，其特征在于，所述切换模块包括: 动画生成单元，用于将所述街景图像序列生成过渡动画； 播放单元，用于播放所述过渡动画，并由所述过渡动画渐变出所述目标街景图像。
【文档编号】G06T7/00GK103971399SQ201310037566
【公开日】2014年8月6日 申请日期:2013年1月30日 优先权日:2013年1月30日
【发明者】徐昆, 王建宇, 李保利, 李成军, 黄浩智 申请人:深圳市腾讯计算机系统有限公司, 清华大学