专利名称：综合信息的投影的制作方法
技术领域：
本发明涉及一种用于将综合信息投影到现实环境中的方法、以及一种为此构造的移动终端设备。
综合信息或附加信息的投影导致了现实世界的扩展。该行为一般称为“增强现实”。通过这种方法可以告知用户用于完成一定的任务必需的有益的信息。
这样例如在维修任务中可以由此来辅助装配工人，即在维修设备的摄像机图像中在摄像机图像中的该设备的相应位置上人工插入下一个指令步骤。在准确了解维修设备的三维模型中的摄像机位置的条件下，这通过投影综合信息来实现。
这种方法也在医学领域中用于例如在手术期间辅助观察X光图像和超声波图像。
在用于主题为“增强现实”的所有公知的应用中，将通常是修改过的摄像机图像的结果图像在显示器上示出。用户因此必须自己在现实世界或环境中持续地重新识别修改过的图像内的所显示的位置。如果在十分复杂的设备中例如在该设备的摄像机图像中的一定位置上画入箭头，则也许十分困难在现实设备中找到相应的、一致的位置。
本发明所基于的任务在于，避免这些缺点。
根据本发明，针对方法通过权利要求1中给出的特征而针对移动终端设备则通过权利要求3中给出的特征来解决该任务。
根据本发明将综合信息直接投影到现实环境中，以致该综合信息在相应的图像位置上示出。由此在应用显示器时避免了所述的缺点。
本发明的基本思想是，通过应用与投影单元相结合的摄像机将综合信息或附加信息投影到现实环境中。通过实现摄像机图像和投影单元之间的反馈来完成投影位置的修正。
在本发明的一种扩展方案中，为了补偿成像缺陷，完成摄像机图像和投影单元之间的反馈的实现。
以下借助附图中示出的实施例来进一步阐述本发明。
例如将
图1中示出的移动电话MT用于将综合信息投影到现实环境中。移动电话MT为此在背面上具有用于从环境中绘制图像的摄像机模块K、用于处理图像信息的处理器、以及例如可旋转地布置在手机的上面的投影单元P。显示设备AE位于移动电话的正面上。
利用数字图像处理的方法来分析处理摄像机图像。在这下面一般也应理解图形识别的方法，以致例如可以识别和鉴别所成像的对象，由此分配给一种模型是可能的。这样例如通过以设备的三维模型的信息为基础来计算位置，在该位置之下借助投影单元P例如将(附图中未详细示出的)箭头投影到现实环境中。
紧接着在摄像机图像中分析处理投影结果，并且必要时通过反馈来修正箭头的位置。如已经实施的那样，在本发明的一种扩展方案中也可以例如从其大小方面来修正成像本身。
本发明方法使用投影单元和摄像机或摄像机模块。通过分析处理摄像机图像并且以3D对象模型为基础来计算坐标，在该坐标上通过投影仪P将综合信息投影到现实环境中。用户因此直接在对象上看见附加的综合信息。该信息于是确定了用户的其它活动。
在维修任务的实例中，因此可以将箭头直接投影到例如应更换的部分上。用户在这种情况下不必注视在显示器或显示设备AE上，并且他也不必在现实环境中识别所示出的部分。与增强现实的交往由此实质上变得更简单而且也更可靠。
除此之外，持续地将摄像机图像用于，利用数字图像处理的方法来监控投影结果。可以采集和修正投影位置，以及在一种扩展方案中也可采集和修正由对象的三维特性引起的成像缺陷。例如在将箭头成像到倾斜的平面上时形成成像缺陷。通过修正消除可能的失真。
权利要求
1.用于将综合信息投影到现实环境中的方法，其中利用图像处理和/或图形识别的装置来这样完成所述信息的位置及其投影之间的反馈，使得所述信息被定位在所述现实环境中的可预先确定的位置上。
2.如权利要求1所述的方法，其中利用所述图像处理的装置来这样完成所述信息的示图及其投影之间的反馈，使得所述投影时的成像缺陷被修正。
3.移动终端设备、尤其是通信终端设备，其具有用于将综合信息投影到现实环境中的摄像机和投影单元，其中针对所述信息的位置及其投影之间的反馈来这样安排用于图像处理和/或图形识别的装置，使得可以将所述信息定位在所述现实环境中的可预先确定的位置上。
4.如权利要求3所述的终端设备，其中利用用于图像处理的装置来这样引起所述信息的示图及其投影之间的反馈，使得可以修正所述投影时的成像缺陷。
全文摘要
本发明涉及一种用于将综合信息投影到现实环境中的方法，其中利用图像处理和/或图形识别的装置来这样完成信息的位置及其投影之间的反馈，使得信息被定位在现实环境中的可预先确定的位置上。
文档编号G05B19/418GK1745350SQ200380109483
公开日2006年3月8日 申请日期2003年11月21日 优先权日2003年2月3日
发明者M·西蒙 申请人:西门子公司