用于在真实环境中表示虚拟信息的方法
【专利说明】用于在真实环境中表示虚拟信息的方法
[0001]本申请是2012年2月17日提交的、申请号为201080036494.9的同名申请的分案申请。
技术领域
[0002]本发明涉及一种用于在真实环境中表示虚拟信息的方法。该方法特别适合于通过增强现实技术的世界中的兴趣点的人机工程学(ergonomic)表示和标记。
【背景技术】
[0003]增强现实(AR)是其中虚拟数据覆盖现实并且因此便利数据与现实的关联的技术。在本领域中已知移动AR系统的使用。在过去的几年中，高性能移动设备(例如，智能电话)变得适合于AR应用。这些设备同时具有较大的彩色显示器、安装的相机、良好的处理器和附加的传感器，诸如方向传感器和GPS。除了这一点之外，还可以经由无线电网络来近似设备的位置。
[0004]在过去，存在在使用AR的移动设备上实现的各种工程。首先，使用用于确定设备的位置和方向的特殊光学标记。关于也可用于大区域并且因此也被称为大区域AR的AR，也已经公布了用于与HMD相关的物体的可感测表示的提示[2，4，5，6，7，8，9]。最近，也存在用于利用现代设备的GPS和方向传感器系统的手段[1，3，10，15]。
[0005]然而，特别地，关于在小移动设备上使用视频透明AR的这些手段，还没有公布用于分别增强其可用性和用户友好性的创新方法。
[0006][I]AR ffikitude.http://www.mobilizy.com/wikitude.php.
[0007][2]B.Bell, S.Feiner, and T.H " ollerer.View management for virtual andaugmented reality.1n Proceedings of the 14th ACM Symposium on User InterfaceSoftware and Technology, pages 101 - 110, 2001.
[0008][3]Enkin.http://www.enkin.net.
[0009][4]S.Feiner, B.MacIntyre, T.H " ollerer, and A.Webster.A touringmachine:Prototyping 3d mobile augmented reality systems for exploring the urbanenvironment.1n Proceedings of the 1st Internat1nal Symposium on WearableComputers, pages 74 - 81, 1997.
[0010][5] J.L.Gabbard, J.E.Swan II, D.Hix, S.-J.Kim, and G.Fitch.Active textdrawing styles for outdoor augmented reality:A user-based study and designimplicat1ns.1n Proceedings of the IEEE Virtual Reality Conference, pages 35 -42, 2007.
[0011][6]T.H.H " ollerer.User Interfaces for Mobile Augmented RealitySystems.PhD thesis,Graduate School of Arts and Sciences of ColumbiaUniversity, 2004.
[0012][7] S.Julier, Y.Bai I lot, D.Brown, and M.Lanzagorta.1nformat1nfiltering for mobile augmented reality.1EEE Computer Graphics andApplicat1ns, 22 (5): 12 - 15，2002.
[0013][8]G.Reitmayr and D.Schmalstieg.Collaborative augmented realityfor outdoor navigat1n and informat1n browsing.1n Proceedings of theSymposium Locat1n Based Services and TeleCartography - GeowissenschaftlicheMitteilungenj pages 31 - 41,2004.
[0014][9]J.Rekimot0.The magnifying glass approach to augmented realitysystems.1n Proceedings of the Internat1nal Conference on ArtificialReality and Tele-Existence and Conference on Virtual Reality Software andTechnology, pages 123 - 132，1995.
[0015][10]Sekai Camera, http://www.tonchidot.com/product-1nf0.html.
[0016][11] J.Wither, S.DiVerdij and T.H " ollerer.Evaluating display types forar select1n and annotat1n.1n IEEE Internat1nal Symposium on Mixed andAugmented Reality, 2007.
[0017][12]J.Wither and T.H " ollerer.Pictorial depth cues for outdooraugmented reality.1n Proceedings of the 9th IEEE Internat1nal Symposium onWearable Computers, pages 92 - 99,2005.[13]From video image e.g.(Automatic Fog Detect1n and Estimat1n of Visibility Distance through use of an OnboardCamera)Journal Machine Vis1n and Applicat1ns Publisher Springer Berlin/Heidelberg ISSN 0932-8092 (Print) 1432-1769 (Online) Volume 17，Number I/April2006Pages 8-20
[0018][14]Marko Heinrich, Bruce H.Thomas, Stefan Mueller, ^ARWeatherj "Mixedand Augmented Reality, IEEE/ACM Internat1nal Symposium on，pp.187-188，2008 7thIEEE/ACM Internat1nal Symposium on Mixed and Augmented Reality, 2008.
[0019][15] layar.com
[0020]申请人已经发现，对于使用大区域AR，应当满足特定系统属性:(1)对于相关信息的不复杂、迅速使用和直接访问。(2)将虚拟信息与现实相关联的精确度是重要的。(3)用户界面应当清楚整齐。
[0021]迄今使用的方法的缺点:⑴经常使用所谓的“鸟瞰”(一种鸟瞰视角)来作为在周围环境中的点上的概观。这个视图例如用于通过混和的虚拟信息来向用户示出兴趣点大体位于真实世界的位置。使用有限的屏幕大小，用户具有远程元素的有限视图，或换句话说，分辨率变得太小，并且元素不可辨别/不可视。两个观看方向的同时表示使得界面被呈现地更为复杂。(2)如果物体的大小未被正确地缩放，则用户的距离感觉并且因此关联的能力将会被削弱。(3)如果物体的大小被缩放，则对于大距离，这些变小和难以辨认。该界面具有不清楚和不整齐的外观。
【发明内容】
[0022]本发明的目的是指示一种用于表示真实环境中的虚拟信息的方法，它能够实现在真实世界中的兴趣点的人机工程学表示，而不过度地限制用户的视场，并且没有过量的信息而使得用户过度紧张。
[0023]本发明的第一方面涉及一种用于表示真实环境中的虚拟信息的方法，包括下面的步骤:
[0024]提供真实环境至少一个视图，用于混和或覆盖虚拟信息以在所述视图的至少一部分中与真实环境叠加，以及提供系统设备，所述系统设备包括至少一个显示设备，
[0025]确定所述系统设备的至少一个部分相对于所述真实环境的至少一个部件的位置和方向，
[0026]将所述真实环境的所述视图的至少一部分细分为多个区域，所述多个区域包括第一区域和第二区域，在所述第一区域内的所述真实环境的物体被布置得比在所述第二区域内的所述真实环境的物体更接近所述系统设备，
[0027]根据所述系统设备的所述至少一个部分的所述位置和方向，在所述显示设备上在所述真实环境的视图的至少一部分中混和或覆盖虚拟信息中的至少一项，
[0028]其中，关于在所述真实环境的所述视图中的混和或覆盖的类型，在所述第一区域中与在所述第二区域中不同地显示出所述虚拟信息。
[0029]所述系统设备的所述至少一个部分可以例如是其位置和方向(位姿)被确定的相机，所述相机不必然固定地连接到所述显示设备。在特定情况下，例如，当仅经由GPS和方向传感器确定所述系统设备的至少一部分的位姿时，整个系统根本不需要相机。只要存在对于用户的观看方向可能的结论，则所述系统设备的任何部分的位姿的确定在原则上就是适合的。
[0030]例如，所述第一区域可以是近处区域，而所述第二区域可以是远程或远处区域。然而，也可能所述第一区域表示位置区域，而所述第二区域表示近处区域。以下参考附图来更详细地阐明具有近处区域、远处区域和位置区域的实施例。
[0031]根据可以独立于涉及将视图细分为区域的本发明的以上第一方面而应用的本发明的另一个方面，在真实环境的视图中混和虚拟信息也可以考虑例如经由互联网(“在线”)查询的天气数据，以便增强混和的虚拟信息相对于真实环境的真实程度，并且因此改善与其的关联。存在可设想来用于处理的各种复杂度。例如，基于天气情况，可以分配与天气情况匹配的固定光照模型或材料(例如，纹理)。作为补充或替代，可以根据天气数据(诸如云、太阳辐射等)和/或其他数据(诸如日时、年时等)来计算阴影投射或光照条件。
[0032]在一个实施例中，虚拟信息的至少一项表示相对于真实环境的兴趣点(一般也缩写为POI，特别是与导航设备相关联)。
[0033]本发明提供了下述优点:获得在真实世界中的虚拟信息，特别是兴趣点的人机工程学表示，而不过度地限制用户的视场，并且没有太多的信息项而使得用户过度紧张。同时，可以显示虚拟信息的许多不同的项，然而，所述虚拟信息的许多不同的项因为所述虚拟信息的所述人机工程学表示而不导致用户过度紧张。而且，可以通过考虑人感知机制来增强?目息的关联。
[0034]可以从从属权利要求获取本发明的另外的有益发展。
【附图说明】
[0035]现在通过在附图中示出的图来更详细地描述本发明，在附图中:
[0036]图1示出可以用于执行根据本发明的方法的相对于真实环境的示例性系统设备的示意布置的平面