专利名称：对叠加在真实图像之上的信息进行可视化的系统的制作方法
技术领域：
本发明是应用于例如风景观察器中的可视化装置。其通过在如望远镜中 的镜头所捕获的真实图像上叠加进由计算机生成的实时图像的方式进行工 作。其能够用于娱乐、教育或商业目的。
此装置——Virtual Sightseeing ——替代了现有的望远镜并且增加了革 新的功能性，其通常装在有历史意义的或风景优美的地方。通过在展现给用 户的图像中对多媒体元素与真实景色进行合成，其使多媒体元素得以加入到 真实景色中。所述的多媒体元素可以使用简单的Web网页界面进行定义和 维护。
Virtual Sightseeing 利用了标准望远镜的物理特性，即其易用性和一般 为人熟知性来建立能够让任何人、在任何地方使用的创新系统。所显示的多 媒体信息和虛拟元素对所述装置的方向和位置较为敏感。通过移动所述的装 置，其方向和位置如同用户人工改变其方向一样发生改变。所述装置中呈现 的所有信息都进行了地理标注。
背景技术：
风景观察器或望远镜以及其它类似的装置都是众所周知的。然而，如本 发明所阐述的，应用了在真实图像上叠加进由计算机生成的实时图像技术的 可视化装置却是新的。本发明之前的先有技术水平表现较低。
Yoram Baram的专利WO004/008427和惠普(Hewlett Packard)的专利 US6037914、 GB2376397都对在直接显示于用户眼中的真实图像上叠加由计 算机生成的图像的便携式装置进行了阐述并且提出权利要求。
专利US2004/0080547、 US2003/0179218和US2002/0036649介绍了把真
4实图像与虚拟图像进行整合来应用于特殊环境的方法和装置。
作为与理解本发明有关的几个知识领域中的先有技术水平的参考，列举
以下的文章和出版物
1. Azuma, R.T. (1997). A Survey of Augmented Reality-Presence-Teleoperators and Virtual Environments, 6(4), pp. 355-385;
2. Azuma, R., Bailot, Y" Behringer， R., Feiner, S.， Julier， S., and Maclntyre, B. (200Recent Advances in Augmented Reality. IEEE Computer & Graphics 21(6)， pp. 34-47;
3. Azuma, R., Lee, J., Jiang, B., Park, J.， You, S., and Neumann, U. (1999). Tracking in Unprepared Environments for Augmented Reality Systems. Journal of Computers & Graphics, 23(26), pp. 787-793;
4. Berger, M.O.， Wrobel-Dautcourt, B., Petitjean, S., and Simon, G. (1999). Mixing Synthetic and Video Images of an Outdoor Urban Enviromnent. Machine Vision and Applications, 11(3), pp. 145-159;
5. Brooks, F.P. (1999). What，s Real About Virtual Reality. IEEE Computer Graphics and Applications, 21(6), pp. 16-27;
6. Debevec, RE. (1998). Rendering Synthetic Objects Into Real Scenes: Bridging Traditional and Image-Based Graphics with Global Illumination and High Dynamic Range Photography. Proceedings of SIGGRAPH，98， New York , NY;
7. Kutulakos, K.N. and Vallino， J.R. (1998). Calibration-free Augmented Reality. IEEE Transactions on Visualization and Computer Graphics, 4(1), pp. 1-20;
8. Livingston , M.A. and State, A. (1997). Magnetic Tracker Calibration for Improved Augmented Reality Registration. Presence-Teleoperators and Virtual Environments, 6(5), pp. 532-546;
9. Piekarski, W.， Thomas, B., Hepworth, D.， Gunther， B,, and Demczuk, V. (1999). An Architecture for Outdoor Wearable Computers to support Augmented Reality and Multimedia Application. Proceedings of the 3rd InternationalConference on Knowledge-Based Intelligent Information Engineering Systems,Adelaide , Australia;
10 Rokita， P. (1998). Compositing Computer Graphics and Real WorldVideo Sequences. Computer Networks and ISDN Systems, 30(20-21)，pp.2047-2057;
11. Rosebl腦，L. (2000). Virtual and Augmented Reality 2020. IEEEComputer Graphics and Applications, 20(1), pp. 38-39;
12. Starner, T.， Schiele， B.， Rhodes, B.， Jebara， T.， Oliver, N., Weaver, J., andPentland, A. (1998). Augmented Realities Integrating User and Physical Models-First IEEE International Workshop on Augmented Reality (IWAR'98), SanFrancisco , CA;
13. State, A., Hirota, G" Chen, D., Garrett, W., and Livingston . M. (1996).Superior Augmented Reality Registration by Integrating Landmark Tracking andMagnetic Tracking. Proceedings SIGGRAPH'96, New Orleans;
14. Thalmann , N.M. and Thalmann, D. (1997). Animating Virtual Actors inReal Environments. Multimedia Systems, 5(2)， pp. 113-125.
作为先有技术水平所列举的专利和参考都是所述装昱技术的起点。然而，要创造在此介绍的发明就要开发一种新系统，其加入了解决其它系统中现有问题的可靠和灵活的特性。
发明内容
支持Virtual Sightseeing 的物理结构与标准的观光望远镜类似，然而为其新的功能性又包括了不同的部件。主要部件有捕获真实图像的系统(典型地为视频摄像机)、处理真实图像并且叠加虛拟元素的计算机以及显示合成图像的屏幕。传感器或图像处理技术用于确定所述装置的方向。用户可以使用触摸屏、按键或简单地移动本装置来与所述装置进行交互。
对所述装置不同部件的位置进行设计，使其能够尽可能对大多数用户友好。为了更好地观看和容易访问，把触摸屏装到移动的结构中。为了具有简单和直觉的用户掌握，把手柄安装在所述装置的前部。在此手柄上具有类似于计算机鼠标装置中所使用的两个压力按^建。测量方向角度的传感器安装在所述移动结构的轴中。测量上/下方向的传感器在水平轴中，而测量左/右方向的传感器在垂直轴的结构中。光线的亮度和位置可以由当天的时间来估计。
在虛拟摄像机的虛拟世界中，系统软件代表真实才聂像机。此虚拟摄像机的特性(焦距、位置、方向等等)与真实摄像机的完全一致。若真实摄像机的这些特性中任何一个发生变化，则虚拟摄像机的特性也以同样方式发生改变。虛拟世界的大小与真实世界的大小一致。对虚拟连线框架模型进行开发来匹配虛拟和真实元素。当真实摄像机移动时，虚拟4聂像机也实时地移动。若任何三维物体出现在虚拟摄像机(在虚拟世界中)前面，则所述的物体就叠加在由真实摄像机实时捕获的真实图像之上。
从用户的视点看，运行所述系统的步骤如下
第一步是初始化，其中所述的系统从服务器中收集全部情景信息。当全部信息从服务器下载时，所述的系统准备使用，并且启动示范模式(可选的)或应用模式；
当所述的系统处于示范模式时，显示一段视频。所述的视频可以包括广告、信用或其它普通的信息。取决于如何进行设置(可选择通过付费使用所述的系统)，所述的系统启动应用模式，此模式为Virtual Sightseeing 实际工作的时间。在此模式中，用户可以与视域中的元素进行交互、玩游戏，或者使用所述系统提供如何其它的功能性；
最后，当时间结束(根据付费额或用户的选择)时，显示"再见"的讯息，所述的系统返回演示范模式(可选)或转变为停止。
所述的系统允许两类用户。使用Virtual Sightseeing 的普通用户和具有改变、增加或清除虛拟信息等许可权限的管理员。这些改变可以在本地或远端完成。管理员不用物理上去设置Virtual Sightseeing 的地方就可以执行改变。使用互联网连接和用于配置的Web页做到这些。
7由标准观光望远镜提供的唯一功能就是放大图像。Virtual Sightseeing 包括根本不同的功能性，其包括发现元素(通过图形化的表示和音响能够指导用户)；进行真实图像的游戏；把虚拟元素合成到真实世界的场景中；包括可以与用户进行交互的文本、图像、声音和^L频等的虚拟多媒体元素。例如，若用户点击Virtual Sightseeing 的博物馆，他或她就能够得到包括票价或到达该博物馆路线在内的有关该博物馆的信息。
与现有的增强现实系统相比，Virtual Sightseeing'M具有与众不同的重要特性，使用固定的物理结构具有以下益处
可靠性-若自由度是众所周知的，则增强现实的主要问题(跟踪用户的移动和方向)就能够解决。
坚固性-典型的增强现实系统对周围环境都非常敏感。具有了坚实、固定的结构，这些问题得以最小化并且电子和机械部件得以保护。
增强现实技术通常应用于便携、移动或可佩带的系统中。这些经常是复杂的系统。相反，Virtual Sightseeing 是使用坚实和固定结构的装置，其实时工作并且以没有先前经验的平均用户为目标。在这种类型的结构中，测量摄像机方向的传感器能够很容易地得以应用。这样，虚拟元素能够以精确的方向放置在精确的位置上，因此增强现实的主要问题之一——了解用户正在观看的位置——得到了解决。
与传统的透明增强现实眼镜相比，Virtual Sightseeing 装置具有更加坚固、可靠和易用的优点。这些眼镜经常用于实-睑室环境，而VirtualSightseeing 的目的是要用于具有低维护成本的一般公共场所。
通过了解Virtual Sightseeing 的位置/方向，能够使用点击虚拟元素应处位置的虚拟模型。所述的传感器为虛拟模型提供有关真实摄像机的信息，虚拟模型指出虛拟元素应该放置在哪里并且如何放置。有关真实摄像机的信息使虚拟摄像机能够在虚拟世界中复制真实摄像机。
Virtual Sightseeing 还可以用于观光之外的其它目的。其还可以用于查找项目查找应用通过在所述装置的显示屏中直接对要查找的目标进行选4奪来改变查找目标的通常处理方法；
游戏策略游戏或"第一人称射击，，游戏在Virtual Sightseeing 系统中很容易实现。例如，在放置于城堡顶部的Virtual Sightseeing 中，能够模拟历史战役，根据虚拟敌人确定策略；
公众参与Virtual Sightseeing 使对风景进行计划构建或其它改变所产生的影响很容易得到评估。为了公众参与和讨论，这些元素能够叠加在真实图像上；
多媒体内容所述的系统把复杂的多媒体内容链接到真实世界的项目上。
图1示出了本发明的前视图2示出了本发明的右视图3示出了本发明的顶视图4示出了本发明的前透视图5示出了本发明的后透视图(从上部)；
图6示出了本发明的截面视图7示出了本发明的后透视分解视图8示出了本发明的前透视分解视图。
图中作为参考的本发明的主要部件如下
部件Ol.后^呆护；
部件02.主要保护；
部件03.前^f呆护；
部件04.垂直轴；
部件05.手柄；
部件06.石更币收集系统；部件07.视频摄像机保护玻璃；部件08.CPU-处理单元；
部件09. UPS;部件10.视频摄像机的旋转编码器(水平轴)；
部件11.视频摄像机；
部件12.自动对焦和变焦镜头控制器；
部件13.显示屏；
部件14.温度控制系统；
部件15.固定视频摄像机的平台；
部件16.水平轴；
部件17.内部传输机构(用于移动视频摄像机);
部件18.上支撑基座；
部件19.下支撑基座；
部件20.按键；
部件21.结构的旋转编码器(垂直轴)；
部件22.声晋扬声器。
具体实施方式
基座包括垂直轴(部件04)和支撑Virtual Sightseeing 系统的支撑基座(部件18和19 )。后保护(部件01 )、主要保护(部件02 )和前保护(部件03)连接在垂直轴(部件04)上。手柄(部件05)连接在主保护上来才喿控Virtual Sightseeing 。
连接在前保护(部件03)上的显示屏(部件13)是防恶意破坏的。为了交互性，其还可以是触摸屏。在显示屏的下面，为了更好与本发明交互，具有也连接在前保护(部件03)的立体声扬声器(部件22)。
捕获真实图像的视频摄像机(部件11 )在后保护(部件01 )之内，由视频摄像机的保护玻璃(部件07)加以保护。在保护内，为了把视频摄像才几
10(部件15)沿着水平轴(部件16)固定，视频摄像机连接在平台上。此装置完全在显示屏(部件13)的后面。水平轴的旋转移动由手柄(部件05)控制内部传输机构(部件17)来引导。旋转感应器(部件10)连接在水平轴(部件16)上来捕获视频摄像机(部件11)的倾角。要控制视频摄像机的光学系统，具有连接在后保护边上的镜头控制器(部件12)。此控制器控制视频摄像机镜头的光圈、聚焦和变焦。
保持所述结构内部可操作温度的温度控制系统(部件14 )在后保护(部件01 )的边上。
两个压力按键(部件20)连接在手柄(部件05)上作为触摸屏的另一可选。
硬币收集系统(部件06)连接在前保护(部件03)上。其启动应用并且控制操作时间(与付费额成比例)，其为防恶意破坏的并且包括一个保险拒。
在硬币收集系统(部件06)的后面，连接在主保护(部件02)上，有对Virtual Sightseeing 全球结构的旋转角度进行测量的旋转传感器(部件21 )。
Virtual Sightseeing 需要工业微计算机(部件08 )来处理数据和生成图像。此计算机包含信号采集板来从两个旋转传感器、硬币收集系统和按键等取得数据。还具有应用移动网络技术(GPRS)的调制解调器来使其得以与远程服务器连接，用于维护、升级和收集统计数据。为了有移动性需求的应用，可以安装指南针和GPS。 UPS (部件09)在能源供应故障的情况下允许适当的系统关机，并且其对主系统的供电电压进行了过滤。
对于本发明的几个部件，优化说明如下
镜头-对于所述的镜头具有两种可能性可变电动的或固定焦距的镜头。类型能够是"CS"装配，并且具有自动聚焦和自动光圈。若为电动的，则镜头应能够具有连接在马达上的编码器，对镜头的焦距提供反馈。变焦应
ii能够在5x至15x之间变化。若镜头是固定的，则其变焦将与所述的场所匹配。考虑到标准的风景观察器具有20x至30x之间的变焦，这意味着VirtualSightseeingTM要探测更广阔的视野，固定变焦应该为10x或15x。
视频摄像机-视频摄像机应能够是1024x576分辨率的"火线"，并且具有自动配置，例如"自动曝光"和"白平衡"。
TFT +触摸屏-15"底座安装的15" TFT监视器；SVGA最大分辨率1024x768, 60 Hz;触纟莫纟支术。
工业计算机一 Intel PV CPU FSB800; AGP 8x; 512Mb RAM; 40Gb HD;Firewire; 4 slots PCI。
采集板-采集板48 10 TTL PCI -高电流总线。乂人旋转传感器、焦距传感器和硬币收集系统取得数据。
GPRS调制解调器-与服务器远程连接的调制解调器；PCI或PCMCIA三频4i的GSM/GPRS 。
GPS和指南针-为了 Virtual Sightseeing 的方向和位置可以安装指南针和GPS。
旋转传感器-要使用14bits分辨率(误差每l()km为3.8m)的"单臣"绝对编码器。
硬币收集系统-应用启动和时间控制系统。防恶意破坏并且装有保险拒。保险拒的保密系统。
部件的材质、大小、形状和布局取决于本发明的其它元素，都在本权利要求书的范围之内。
权利要求
1.在增强现实的领域中，在真实图像上叠加信息的可视化系统，其中所述部件在不可控的环境里提供功能性，其包括对包括本地和/或远程数据库的信息进行叠加和可视化的系统；对真实图像进行采集的系统，典型地为视频摄像机(11)，其自动与所述装置的方向对准；对所述装置的位置进行处理并且把真实图像与虚拟元素进行合成的工业计算机(08)；显示最终图像、命令并且访问信息和内容的触摸屏(13)；包括垂直轴(04)和支撑整个装置的支撑基座(18和19)，其结构外壳(01，02，03)保护了除与用户交互之外所有的所述装置部件；以操控所述装置的手柄方式对系统的位置和方向进行测量的装置，其安装在结构外壳上，并且具有至少两个用于选项选择的压力按键(20)来命令并且访问信息和内容；其中所述装置的水平和垂直方向由传感器加以确定通过与传输系统(17)耦合的旋转传感器(10)对水平轴(16)方向的旋转移动进行测量，通过手柄(05)进行命令来操纵视频摄像机(11)的倾角；和对垂直轴方向的所述结构左/右方向进行测量的位置传感器；视频摄像机光学系统的控制器(12)，其控制视频摄像机镜头的光圈、聚焦和变焦。
2. 根据权利要求1的在真实图像上叠加信息的可视化系统，其中确定如何完成图像合成的系统依赖于所测量的位置和方向。
3. 根据权利要求1和2的在真实图像上叠加信息的可视化系统，其中由位置传感器或图像处理确定方向和位置参数。
4. 根据权利要求l、 2和3的在真实图像上叠加信息的可视化系统，其中叠加内容的数据库是内建的或能够进行远程访问。
5. 根据权利要求l、 2、 3和4的在真实图像上叠加信息的可视化系统，其中可以使用不同的信息输入部件，其包括与几种应用匹配的按4定和/或触4莫屏，即访问信息和内容。
6. 根据权利要求l、 2、 3、 4和5的在真实图像上叠加信息的可视化系统，其中对这些环境条件进行估计，其包括温度和光照，且显示器与这些条叶牛匹酉己。
7. 根据权利要求l、 2、 3、 4、 5和6的在真实图像上叠加信息的可视化系统，其中集成信息可视化、位置和方向测量以及覆盖信息的物理结构能够经受住室内和室外的条件以及借助防恶意破坏显示屏(13)自主工作，保持所述结构内部运转温度的坚固的机构外壳(03)和温度控制系统(14)位于后保护(Ol)的边上。
8. 冲艮据权利要求l、 2、 3、 4、 5、 6和7的在真实图像上叠加信息的可视化系统，其中所述的物理结构是可运输的，但也可在具有预定位置和一组可能预定方向的预定固定场所中操作。
9. 根据权利要求l、 2、 3、 4、 5、 6、 7和8的在真实图像上叠加信息的可视化系统，其中要显示的内容为广告、游戏、公众展示和历史模拟。
全文摘要
本发明是一种对叠加在真实图像之上的信息进行可视化的系统，该真实图像应用于例如观光场所中。其包括对所述系统的位置和方位进行测量的机构；对真实图像进行捕获的系统，其典型地为视频摄像机(11)、硬币收集系统(06)、处理图像并且合成虚拟元素的计算机(08)、显示最终图像的显示屏(13)，其可以包括游戏、公众展示和多媒体内容。
文档编号A63F13/00GK101553752SQ200680019746
公开日2009年10月7日 申请日期2006年4月24日 优先权日2005年4月22日
发明者埃德蒙多·曼努埃尔·纳拜斯·诺布雷 申请人:Ydreams信息有限公司