可视化相同环境的表面数据和全景图像数据的方法
【技术领域】
[0001]本发明涉及渲染描述给定环境的表面的数据和描述相同环境的全景图像的数据，以及在相同显示器上将数据一起可视化的方法。
【背景技术】
[0002]渲染是根据模型(诸如三维地形模型)通过计算机程序生成图像的过程。要渲染的三维地形模型可以是包含诸如数字高程模型(DEM)、数字表面模型(DSM)或数字地形模型(DTM)的高程数据的网格。数字模型可以包括有限区域的数据，诸如特定城市或景观的模型，以及大陆乃至整个行星的模型。
[0003]三维地形图像的计算机渲染总体上从现有技术已知:US 7，551，172 B2公开了一种用于在网络中发送表示三维图像的信息的方法，并且US 6，496，189 B1公开了用于显示从远程设备上交互地选择的视点看见的区域的图像的方法和装置。
[0004]当在计算机中例如以鸟瞰图将给定环境的三维地形数据可视化时，会希望同时将相同环境中可得到的全景图像可视化，因为这能给用户提供当地情况的更方便和详细的认知。
[0005]US 2013/0335446 A1公开了一种用于渲染地图的一部分以及来自该地图的用户选择的点的视野图像的方法。诸如“Google街景”或“Bing街景”的其它已知应用允许用户从地图视图模式进入示出相同环境的全景图像的全景视图模式。
[0006]但是，能够一起观看全景图像或其预览以及地图视图并且面向地图的坐标参照系将是有益的。
【发明内容】
[0007]因此，本发明的目的是提供一种用于将三维场景的表面数据和全景图像数据一起可视化的改进的方法。
[0008]本发明的进一步目的是提供这样一种针对360°全景图像的方法，其中，取决于用户在表面上的当前视野，全景图像的不同的部分可见。
[0009]本发明的进一步目的是提供这样一种方法，其中，来自全景图像的信息可以显示在表面的表示中，反之亦然。
[0010]本发明的另一目的是提供这样一种具有地图视图和全景视图之间的直观切换的方法。
[0011 ] 本发明的进一步目的是提供执行所述方法的计算机程序产品。
[0012]这些目的中的至少一个通过根据本发明权利要求1和/或从属权利要求的方法实现。
[0013]本发明涉及一种用于可视化三维场景中的表面数据和全景图像数据的方法，该方法包括以下步骤:向用户提供地图视图模式和全景视图模式。所述表面数据与地形表面的表示相关联，包括表示所述地形表面的特征的多个表面图块和/或多个表面对象，并且相对于坐标参照系被参照。所述全景图像数据与至少一个全景图像特别是360°全景图像相关联，并且包括描述相对于所述坐标参照系的位置的全景位置数据。所述地图视图模式包括可视化从地图视点观看的所述地形表面的所述表示的至少一部分的表面数据，并且所述全景视图模式包括可视化从全景视点观看的所述全景图像的至少一部分的全景图像数据。根据本发明，所述地图视图模式包括显示至少一个全景元素，所述全景元素包括用于在所述地图视图模式期间可视化全景图像数据的多个显示表面，并且根据所述全景位置数据相对于所述地形表面的所述表示被定位。所述方法包括以下步骤:根据所述全景元素相对于所述地图视点的当前位置和方向，在所述显示表面上显示所述全景图像或全景预览图像，所述全景预览图像基于所述全景图像数据并且与相应全景图像的至少一部分相对应。
[0014]在根据本发明的方法的优选实施方式中，所述全景图像包括至少一个全景对象，该全景对象表示所述地形表面的特征并与表示相同特征的至少一个表面图块和/或表面对象链接。
[0015]在一个实施方式中，所述全景图像数据包括指示从当前地图或全景视点到所述全景图像中描绘的至少一个全景，特别是多个全景对象的距离的深度数据，特别是深度图。
[0016]在另一实施方式中，在所述全景视图模式下，针对在所述全景图像中描述的至少一个全景对象，基于所述链接的至少一个表面图块和/或表面对象相对于坐标参照系的位置，和/或基于所述深度数据和所述全景位置数据来确定相对于所述坐标参照系的位置，特别是其中，位于所述全景图像的全景对象和所述全景视点之间的、表示所述地形表面的特征的表面图块和/或对象被显示。
[0017]在另一实施方式中，在所述地图视图模式下，表示所述地形表面的特征的表面图块和/或对象的纹理基于所述深度数据从所述全景图像数据分配。
[0018]在进一步的实施方式中，在所述地图视图模式下和/或在所述全景视图模式下，所述链接的表面图块和/或表面对象的对象数据与所述全景对象一起显示，所述对象数据特别包括与所述特征相关联的地址或位置信息。
[0019]在另一实施方式中，根据本发明的方法包括以下步骤:在所述全景图像中识别数据间隙和/或遮住部分，所述数据间隙不包括图像数据，所述遮住部分包括用于拍摄所述全景图像的像机组件或所述像机组件的用户的图像数据。根据该实施方式，该方法还包括以下步骤:在所述地图视图模式和/或在所述全景视图模式中，通过渲染所述地形表面的所述表示的替代部分来替换识别出的数据间隙和/或遮住部分。特别地，所述全景元素的下表面至少部分地显示替代部分，和/或在所述全景视图模式中，显示替代部分。
[0020]根据本发明的方法的另一实施方式中，所述全景元素基本为棱柱形，特别是其中，所述全景元素包括上表面、下表面和多个侧表面，其中，所述显示表面是至少两个特别是三个侧表面的内表面和下表面的内表面。
[0021]在另一实施方式中，所述全景元素包括立方体地图，其中，所述显示表面是四个侧表面的内表面和所述下表面的内表面。根据视野和所述地图视点的方向，可以同时显示所述立方体地图的一至六个表面之间的表面。特别地，一个或两个表面在面向所述地图视点时不被显示，并且所述上表面不被显示。特别地，每个显示表面都包括用于显示所述全景预览图像的显示部分的多个显示图块。
[0022]在根据本发明方法的一个实施方式中，所述全景元素在所述地图视图模式期间保持其相对于所述表面的所述表示的方向。特别地，每个显示表面都被分配所述全景预览图像的部分，与所述全景元素相对于所述地图视点的当前位置和方向无关，只要所述各个显示表面可见，所述显示表面就显示所述部分，并且所述显示表面中的哪个显示表面当前可见取决于所述全景元素相对于所述地图视点的当前位置和方向。
[0023]在根据本发明方法的另一实施方式中，所述全景元素在所述地图视图模式期间保持其相对于所述地图视点的方向。特别地，所述全景元素的相同显示表面始终可见，并且所述全景预览图像的哪个部分当前显示在这些显示表面上取决于所述全景元素相对于所述坐标参照系的当前方向。
[0024]在根据本发明方法的另一优选实施方式中，在所述地图视图模式下，所述用户能够相对于所述全景元素移动所述地图视点。根据该实施方式，所述全景预览图像的分辨率和/或细节级别取决于所述全景元素到所述地图视点的实际位置的距离，和/或通过利用所述地图视点接近或进入所述全景元素来启动所述全景视图模式。
[0025]在根据本发明方法的一个实施方式中，在所述地图视图模式下，隐面消除(backface culling)和/或遮挡消除(occlus1n culling)以如下方式使用，即，不清染由于所述全景元素而从所述地图视点隐藏的所述地形表面的隐藏图块，不渲染所述全景元素的外表面，和/或不渲染当前没有显示在所述显示表面中的任一个显示表面上的所述全景预览图像的隐藏部分。
[0026]在根据本发明方法的另一实施方式中，所述显示表面中的至少一个是部分透明的，特别是其中，所述显示表面中的每一个被分配特定透明度，和/或从所述地图视图模式切换至所述全景视图模式或从所述全景视图模式切换至所述地图视图模式包括阿尔法混合(alpha blending)，其中，所述地形表面的所述表示在所述全景图像后方和/或在所述全景预览图像后方可见。
[0027]在根据本发明方法的进一步的实施方式中，所述地图视图模式包括同时可视化多个全景元素，其中，所述多个全景元素中的全景元素是可见的还是隐藏的取决于所述全景元素到所述地图视点的距离；和/或所述用户能够确定所述全景元素件中的每一个是可见的还是隐藏的。特别地，在所述地图视图模式下提供全景元素图标以用符号表示根据相应的全景位置数据定位的隐藏的全景元素的位置，所述全景元素图标显示在所述地形表面的所述表示上，和/或所述全景元素提供隐藏功能，允许所述用户隐藏各个全景元素，所述隐藏功能特别地被提供为可选择隐藏键元素和/或各个全景元素的下拉菜单的可选择选项。
[0028]在根据本发明的方法的另一实