用于在真实环境中表示虚拟信息的方法
【专利说明】用于在真实环境中表示虚拟信息的方法
[0001]本发明涉及一种用于在真实环境的视图中表示虚拟信息的方法，该方法包括提供具有至少一个显示装置的系统设备的步骤，其中，该系统设备适于在显示装置上混和虚拟信息。本发明还涉及一种包括用于执行该方法的软件代码部分的计算机程序产品。
[0002]已知增强现实(AR)系统通过提供将计算机生成的虚拟信息与真实环境的视图或真实环境的一部分的视图叠加的可视化来增强真实环境的信息。虚拟信息可以是任何类型的视觉可感知数据，例如对象、文本、图画、视频及其组合。如本文中所理解的，真实环境的视图或真实环境的一部分的视图可以被用户的眼睛感知为视觉印象，和/或可以通过相机，例如由用户佩戴的或附接在用户持有的装置上的相机，作为一个或更多个图像获取。
[0003]叠加或混和的虚拟信息原则上可以是各种虚拟信息项。例如，可以增强真实环境的信息的虚拟信息项可以是感兴趣的点，正如像在地图或导航应用中已知的。感兴趣的点(POI)可以表示真实环境的真实对象(例如，建筑物或地标)的位置，并且经常包括与该真实对象相关的数字内容。例如，该位置为全球位置(例如，地理坐标，如经度和玮度的2D坐标或者经度、玮度和海拔高度的3D坐标)或邮政地址(例如，楼层、街道、邮政编码、国家)。邮政地址和全球位置可以彼此转换。POI的数字内容可以包含各种数据，例如与真实对象相关的名称、描述和联系方式。
[0004]增强现实系统的一个主要功能是向真实环境的视图叠加虚拟信息项，如感兴趣的点(POI)。在基于位置的(移动)增强现实应用例如用于探索城市环境的旅游向导中，这是特别有用且流行的，如本文在说明书的结尾所引用的参考文献[1，2，4]中所描述的。例如，当用户处于新地方并想要获得关于他们看见的事物的信息时，用户可以使用增强现实应用来将POI叠加至真实环境的视图。在增强现实系统中，POI信息必须表示在真实环境中或真实环境的一部分中，使得其满足期望的视觉感知和可用性。用于POI信息的大部分数据源不会将与真实世界中的点相关的信息提供为具有多于一个的点或顶点的三维模型。本发明非常适合于处理由玮度、经度和可选的海拔高度以及另外的元信息所描述的虚拟信息项的可视化，该元信息包括文本和2D图像信息。
[0005]已经开发出用于改善在增强现实应用中向真实环境的视图混和或叠加POI信息的视觉感知和可用性的若干种方法。
[0006]POI的视距是指POI的位置与相机或用户所处的位置之间的距离。POI的视向是指从相机或用户所处的位置到POI的位置的方向。
[0007]Hoellerer等人在参考文献[4]中提出:以对于用户的观看姿态而言正确的视角将POI显示为虚拟标志和标签，同时标签面对用户并且无论距离如何都保持它们的大小以确保可读性。
[0008]增强现实系统面临着更加有用地向用户显示POI的显著技术挑战。Uusitalo等人在参考文献[I]中公开了一种基于对真实环境的分区来显示POI信息的方法。该方法基于真实环境的视图中的一个或多个分区来确定叠加一个或更多个POI。他们教导利用建筑物的平面图或高度的知识将该建筑物分隔为各分区，并且将POI叠加至建筑物的图像中的相应分区。
[0009]当POI具有相同的视向时，POI可以在增强现实应用中被布置成逐次向后以用于显示。在这一点上，上述POI中的一些可能不是可见的，因为其可能隐藏在其他POI后面。为此，Sandberg在参考文献[2]中激发使具有相同视向的POI成组，然后以可见的方式显示成组的POI。
[0010]Meier等人在参考文献[3]中公开了一种通过基于区域到视点的距离将真实环境的视图细分成多个区域来在增强现实系统中实现POI的人机工程学(ergonmic)表示的方法。
[0011]增强现实系统通常将POI不透明地叠加在真实环境的视图的顶部。在图9中示出了一种示例性场景，其中POI在真实环境51的图像81的顶部叠加为不透明标签92、93、94、95、96、97、98和99。以这种方式，POI表示(例如，不透明标签)遮挡真实环境的图像或真实环境的图像的一部分。Sandberg在参考文献[2]中以及Uusitalo等人在参考文献[I]中也将POI的图标和标签不透明地叠加到真实环境的图像。这使得用户难以从叠加的POI快速并直观地理解真实环境。
[0012]真实环境的真实对象有时可能在真实环境的视图中不是可见的，原因在于从视点来看该对象可能被置于其前方的真实对象遮挡。在图8中示出了一个示例(示出了图9在不具有POI的情况下的场景)，其中真实环境51中的真实对象(建筑物)D(参照图7)在该环境的图像81中不可见。在这种情况下，在真实环境的视图的顶部简单地叠加与被遮挡对象相关的POI (如图9所示)可能会以下述方式使用户混淆:用户可能错误地使POI与视图中可见的前方对象相关。在图9的示例中，用户可能会使POI信息93、94、95、96、97和98与真实对象(建筑物)A相关，而表示P0I_7和P0I_8的97和98与建筑物A不相关。
[0013]因此，可能期望以与可见的前方对象不同的方式，更具体地以用户可以直观地感知遮挡效果的方式来使与被遮挡对象相关的POI可视化。例如，与被遮挡对象相关的POI可以以半透明或虚线的方式示出，而与前方对象相关的POI可以以不透明、实线或不同颜色的方式示出。
[0014]Meier等人在参考文献[3]中教导了使用沿着从视点到真实环境的POI的视向的深度，以便确定是否以遮挡模型来显示该Ρ0Ι。根据参考文献[3]，如果该POI具有长于上述深度的视距，则该POI以遮挡方式即半透明或虚线的方式进行显示。
[0015]真实环境的真实对象通常占据作为3D空间中的体积的三维空间，而与真实对象相关的POI表示作为3D空间中的点的位置。POI位置可以被分配到与POI相关的真实对象内的任何地方。因此，从视点来看真实对象可能是可见的，而POI具有比沿着至真实对象的视向的估计深度长的视距。例如，建筑物(如，购物商场)在真实环境的视图中是可见的，而与该建筑物相关的POI的视距比从视点到建筑物的外表面(如壁)的深度长。
[0016]在图5、图6、图7和图8中，描绘了下述示例:其中，真实对象A在图像81中可见，而相对于视点71，与A相关的P0I_3 (图7)比A更远。在这种情况下，Meier等人在参考文献[3]中公开的方法会导致向真实环境的视图叠加POI的不正确遮挡感知。
[0017]增强现实的空间中的普遍问题在于:人们很容易构建具有好看的增强现实体验的实物模型或幻想电影，但是未考虑和未解决为了实现这样的体验的细节问题。
[0018]POI表示位于另一真实对象内的真实对象的情况对于在增强现实系统中正确显示该POI而言可能更具挑战性。例如，P0I_4表示在真实环境51中处于建筑物A内部的真实对象(房间)A3 (图7)。当用户站立在建筑物A外部并使用增强现实技术来将P0I_4叠加至真实环境51的图像时，优选的是，以非遮挡模型显示P0I_4信息，即P0I_4信息显示在图像中。在另一情况下，建筑物D在建筑物A外部，并且在图像81中被A遮挡(图7、8)。在这种情况下，优选的是，在图像81上以遮挡模型叠加与D相关的P0I_8，即P0I_8不会显示在图像中。先前开发的方法中没有一种方法教导或有动机以遮挡模型显示P0I_8，且以非遮挡模型显示P0I_4。
[0019]因此，提供用于在真实环境中表示虚拟信息的方法将是有利的:该方法能够在增强现实应用或系统中混和虚拟信息项，具体是将其混和至真实环境的视图时改善遮挡感知。
[0020]根据本发明的一个方面，提供了一种用于在真实环境的视图中表示虚拟信息的方法，该方法包括以下步骤:提供包括至少一个显示装置的系统设备，其中，所述系统设备适于在所述显示装置上将虚拟信息混和到所述视图的至少一部分中；确定视点相对于所述真实环境的至少一个要素的位置和取向；提供所述真实环境的几何模型，所述几何模型包括所述真实环境的至少一个内置真实对象的至少一种表示，其中，所述内置真实对象的表示包括至少一个2D或3D几何形状，所述2D或3D几何形状具有用于界定所述对象的至少一个边界；提供至少一个虚拟信息项和所述至少一个虚拟信息项的位置；确定所述虚拟信息项的位置是否在所述2D或3D几何形状内，并且如果确定所述虚拟信息项在所述2D或3D几何形状内，则将所述虚拟信息项与所述内置真实对象相关联；确定指示所述内置真实对象在所述真实环境的视图中是至少部分可见还是不可见的标准，所述标准通过使用所述几何模型以及所述视点的位置和取向来计算；以及根据所述标准，在所述显示装置上将与所述内置真实对象相关联的所述至少一个虚拟信息项混和到所述真实环境的所述视图的至少一部分中，其中，在所述标准指示所述内置真实对象至少部分可见的情况下与在所述标准指示所述内置真实对象在所述真实环境的视图中不可见的情况下，所述虚拟信息不同地示出。
[0021]具体地说，通过使用视点的位置以及真实环境的几何模型，优选是2D和/或3D几何模型，本发明解决了在增强现实应用中向真实环境的视图或真实环境的一部分的视图混和或叠加数字内容或虚拟信息项如感兴趣点(POI)的不正确遮挡感知的问题。
[0022]数字内容或虚拟信息项可以是任何类型的视觉可感知数据，例如对象、文本、图画、视频及其组合。真实环境的视图或真实环境的一部分的视图由捕获装置捕获。例如，真实环境的视图可以由用户的眼睛捕获为视觉印象，或者可以通过由用户佩戴的或附接在用户持有的装置上的相机而获取为一个或更多个图像。另一可替换的显示装置可以是例如安装在汽车或飞机上的平视显示器。人眼和相机具有相同的成像数学模型，即针孔投影模型。针孔投影模型描述了 3D点的坐标与其到视图上的图像投影之间的关系。图像平面是形成由光学系统生成的图像的平面。3D点的图像投影由从视点到3D点的射线与图像平面之间的交点限定。
[0023]在已知的具有半透明玻璃的光学透视显示器中，用户可以看见虚拟信息项例如POI和真实环境的叠加或混和的信息。然后，用户通过半透明玻璃看见利用POI的虚拟信息所增强的真实环境的对象，该POI的虚拟信息混和在上述玻璃中。在具有相机和常见显示装置的视频透视显示器中，用户也可以看见POI和真实环境的叠加。真实环境由相机捕获，并且在显示器中向