专利名称：提供增强现实的方法和设备的制作方法
技术领域：
以下描述涉及提供增强现实(AR)的设备和方法，更具体地，涉及使用对象之间的关系提供增强现实(AR)的设备和方法。
背景技术：
增强现实(AR)是将虚拟对象或者虚拟信息与真实环境合成使得虚拟对象或者虚拟信息看上去类似于真实环境中存在的真实对象或者真实信息的计算机图形技术。不同于已有的仅仅针对虚拟空间和虚拟对象的虚拟现实(VR)，AR的特征在于基于真实世界合成虚拟对象以提供不能从真实世界容易获得的附加信息。由于AR的特征，AR 可以应用于多种真实环境，例如，作为适用于普适环境的下一代显示技术。为了迅速向用户提供AR服务，迅速、正确识别对象并且迅速检测相关功能和服务很重要。随着AR服务变得更普通，期望基于标记的服务和基于无标记的服务将被一起提供，另外从很多服务提供商提供的多种AR服务应用和AR服务将共存。由此，AR服务可提供的对象的数量在增加。因此，需要高容量数据库以存储AR服务。因此，需要从这种高容量数据库进行数据搜索，这增加了对象识别和服务检测的时间消耗。
发明内容
本发明的示例实施方式提供一种允许迅速识别对象的提供增强现实(AR)的设备和方法。本发明的示例实施方式还提供一种能够提高对象识别率的提供增强现实(AR)的设备和方法。本发明的示例实施方式还提供一种能够迅速检测和提供关于对象的AR信息的提供增强现实(AR)的设备和方法。本发明的其它特征将在以下说明中进行阐述，并且一部分根据该说明将是清楚的，或者可以从本发明的实践获知。本发明的示例实施方式公开一种提供增强现实(AR)的方法，所述方法包括从接收自终端的第一对象信息识别第一关注对象；检测关于与所述第一关注对象关联的相关对象的识别信息和AR信息；存储所述关于相关对象的识别信息和AR信息；如果从所述终端接收到第二对象信息，则使用所存储的关于相关对象的识别信息从所述第二对象信息识别第二关注对象；从关于相关对象的AR信息检测对应于所述第二关注对象的AR信息；以及向所述终端发送所检测的AR信息。本发明的示例实施方式公开一种提供增强现实(AR)的服务器，所述服务器包括 通信单元，该通信单元用于处理从终端接收和向所述终端发送的信号；完整信息存储部，该完整信息存储部用于存储关于对象的识别信息和AR信息；相关对象信息存储部，该相关对象信息存储部用于存储关于与所述对象关联的相关对象的识别信息和AR信息；以及控制器，该控制器从接收自所述终端的第一对象信息识别第一关注对象，标识关于与所述第一关注对象关联的相关对象的识别信息和AR信息，在所述相关对象信息存储部中存储关于相关对象的识别信息和AR信息，如果从所述终端接收到第二对象信息，则使用所存储的关于相关对象的识别信息从所述第二对象信息识别第二关注对象，检测对应于所述第二关注对象的AR信息，以及向所述终端发送所述AR信息。本发明的示例实施方式公开一种提供增强现实(AR)的方法，所述方法包括获取第一对象信息以及向服务器发送所述第一对象信息；从服务器接收关于与所述第一对象信息关联的相关对象的识别信息和AR信息；存储所述关于相关对象的识别信息和AR信息； 如果接收到第二对象信息，则使用关于相关对象的识别信息从所述第二对象信息识别关注对象；检测对应于从第二对象信息识别的所述关注对象的AR信息；以及输出所检测的AR fn息ο本发明的示例实施方式公开一种提供增强现实(AR)的终端，所述终端包括通信单元，该通信单元用于处理通过有线/无线通信网络从服务器接收和向所述服务器发送的信号；对象信息获取单元，该对象信息获取单元用于获取关于真实环境的图像中包括的对象的信息；输出单元，该输出单元用于输出通过合成关于对象的信息和关于对象的AR信息而获得的信息；存储部，该存储部用于存储从所述服务器接收的对应于对象的AR信息，以及存储关于与所述对象关联的相关对象的识别信息和AR信息；以及控制器，该控制器用于向所述服务器发送从所述对象信息获取单元接收的第一对象信息，从所述服务器接收关于与所述第一对象信息关联的相关对象的识别信息和AR信息，在所述存储部中存储关于相关对象的识别信息和AR信息，如果从所述对象信息获取单元接收到第二对象信息，则使用所述存储部中所存储的关于相关对象的识别信息从所述第二对象信息识别关注对象，检测对应于所述关注对象的AR信息，以及通过所述输出单元输出所述AR信息。应当理解的是，前面的总体描述和后面的具体描述都是示例性和解释性的，并旨在对所要求保护的本发明提供进一步的解释。其它特征及方面根据以下详细描述、附图和权利要求将是明显的。
附图被包括进来以提供对本发明的进一步理解，并结合到本说明书中且构成本说明书的一部分，这些附图例示了本发明的实施方式，并与文字说明一起用于解释本发明的原理。图1例示根据示例实施方式的使用对象之间的关系提供增强现实(AR)的系统的配置。图2是例示根据示例实施方式的使用对象之间的关系提供AR的终端的图。图3例示根据示例实施方式的用于对象的社交网络服务(SNS)。图4例示根据示例实施方式的基于上下文信息滤选的SNS。图5是例示根据示例实施方式的使用对象之间的关系提供AR的服务器的图。图6例示根据示例实施方式的对象信息结构。图7是根据示例实施方式的邻居列表的示例图。图8示出根据示例实施方式的示例父对象和子对象。
图9是例示根据示例实施方式的提供AR的方法的流程图。图10是例示根据示例实施方式的提供AR的方法的流程图。图11示出根据示例实施方式使用对象之间的关系提供的示例AR。图12示出根据示例实施方式使用对象之间的关系提供的示例AR。
具体实施例方式下面将参照附图更加全面地描述示例实施方式，附图中示出了本发明的实施方式。然而，本发明可以以许多不同形式来实施，并且不应当解释为限于这里阐述的实施方式。而且，提供这些实施方式，使得本公开充分，并向本领域的技术人员全面传达本发明的范围。在附图中，为了清晰可以放大多个层和多个区域的尺寸和相对尺寸。附图中类似的附图标记表示类似的部件。目前为止开发的增强现实(AR)技术要求相对长的时间来识别对象。为了标识颜色标记或者无标记的对象，要求相对复杂的过程以找到特征并且识别对应于这些特征的对象。如果从使用不同的对象识别方法的很多服务提供商提供多个对象，则对象识别率可能恶化。提供用于预先检测相关对象信息(包括关于涉及所识别的对象的对象的识别信息和 AR信息)并且存储相关对象信息的设备和方法。另外，提供预计用户将要基于对象之间的关系请求的信息。例如，当提供关于特定对象的AR信息时，关于与该对象关联的相关对象 (如该对象的父对象和子对象)的信息和到相关对象的访问路径可以被一起提供。图1例示根据示例实施方式的使用对象之间的关系提供增强现实(AR)的系统的配置。该系统包括至少一个终端110、位置检测系统120、服务器130和通信网络。该至少一个终端110提供AR信息，并且通过有线/无线通信网络连接到提供AR服务的服务器 130。终端110可以通过该有线/无线通信网络从位置检测系统120接收自身的位置信息。 服务器130可以从终端100或者从位置检测系统120获取终端110的位置信息。终端110可以是移动通信终端，如个人数字助理(PDA)、智能电话、导航终端等，或者可以是个人计算机，如桌上型计算机、平板计算机、笔记本计算机等。终端110可以是可识别真实图像中包括的对象并且显示对应于所识别的对象的AR信息的装置。图2是例示根据示例实施方式的使用对象之间的关系提供AR的终端的图。提供AR的终端可以包括对象信息获取单元210、输出单元220、操作单元230、通信单元250、存储部240和控制器沈0。对象信息获取单元210获取关于真实环境的图像(即，真实图像)中包括的对象中的关注对象的对象信息，并且将该信息传递到控制器沈0。本说明书中使用的术语“对象”可以是真实图像中包括的标记，基于无标记的对象或者状态，或者可在真实世界中限定的任意事物，如视频图像、声音数据、位置数据、方向数据、速度数据等中的至少一种。对象信息获取单元210可以是捕捉并且输出对象的图像的摄像机、图像传感器、获取并且输出声音的麦克风、嗅觉传感器、GPS传感器、地磁传感器、速度传感器等。输出单元220可以输出通过使对象信息获取单元210获取的对象信息和对应于该对象信息的AR信息同步而获得的信息。AR信息可以是关于所识别的对象的数据。举例而言，如果所识别的对象是罗浮宫，则关于罗浮宫的建筑信息、介绍罗浮宫的收藏的视频、导
7游通知等可以是与罗浮宫关联的AR信息。在示例实施方式中，AR信息可以包括涉及对象的社交网络服务(SNS)。输出单元220可以是显示虚拟数据的显示器、以可听声音形式输出声音数据的扬声器等。此外，输出单元220和操作单元230可以组合为触摸屏显示器。操作单元230是接收用户信息的接口，并且可以是键输入板、触摸传感器、麦克风寸。存储部240存储从服务器130接收的对应于对象的AR信息(参见图1)，和用于个性化该AR信息的上下文信息。上下文信息可以包括例如用户信息(包括用户的名称、年龄、 性别等)、从用户接收或者将发送到用户的消息中的常用词语、用户经常使用的应用和搜索词语、所访问的网站的级别、当前时间和位置、用户的表情状态等。控制器260使用上下文信息滤选从服务器130接收的AR信息(参见图1)，并且通过输出单元220输出滤选结果。控制器260使用上下文信息滤选AR信息的示例将参照图3和图4描述。图3例示根据示例实施方式的用于对象的社交网络服务(SNS)。图4例示根据示例实施方式的基于上下文信息滤选的SNS。参照图3，显示了与对象“Starbucks ”图标有关的AR信息，并且与“Starbucks ”图
标一起显示了多条SNS信息，如“查看菜单和价格”、“附加信息”、“加入Twitter ”、“访问聊天室”、“俱乐部主页”等。控制器260可以基于所存储的上下文信息从图3例示的多个AR信息滤选AR信息以匹配用户的年龄、品味等。滤选的AR信息可以如图4所示地输出。如图 4所示，AR信息被滤选以显示与Starbucks ”图标关联的“访问聊天室”、“接收优惠券”、“查看信息”和“价格信息”。在示例实施方式中，控制器260可以基于上下文信息区分滤选的 AR信息。举例而言，如果提供AR的终端通过操作单元230从用户接收选择“访问聊天室” 的信号，则控制器260可以基于上下文信息中包括的年龄信息请求服务器130允许用户进入其成员与用户的年龄相同的聊天室。例如，如果AR信息是SNS服务，则AR信息搜索模块 542 (参加图5)分析该SNS服务的类别，如该SNS服务可提供的聊天、Twitter 、俱乐部主页、 价格信息、Postscript等，接着将所分析的类别的特征与上下文信息相比较。例如，如果在当前类别中存在菜单价格信息和Postscript信息并且在上下文信息中存储的对应终端的优先级别中“购物”级别最高，则价格信息和Postscript信息SNS服务在终端的用户接口上显示为顶级服务。再次参照图2，在示例实施方式中，存储部240可以包括关于相关对象的信息。关于“相关对象”的信息可以是关于与所识别的对象关联的其它对象的信息，这将参照图5描述。因此，由于关于相关对象的信息存储在存储部240中，如果从对象信息获取单元210接收到关于特定对象的信息，则控制器260可以使用关于与所识别的对象关联的相关对象的信息来识别该特定对象并且迅速提供对应于该特定对象的AR信息，而不将关于该特定对象的信息发送到服务器130。如果从服务器130接收到关于特定对象的信息和关于与该特定对象关联的相关对象的信息，则控制器260基于该特定对象和相关对象之间的关系提供预计对用户有用的信息，并且输出关于该特定对象的AR信息。举例而言，控制器260可以提供关于与该特定对象关联的相关对象(如该特定对象的父对象和子对象)的信息，和到相关对象的访问路径，并且输出对应于该特定对象的AR信息。通信单元250处理通过有线/无线通信网络接收的信号并且向控制器沈0输出处理结果。通信单元250还处理来自控制器沈0的信号并且通过该有线/无线通信网络发送处理结果。在示例实施方式中，通信单元250向服务器130发送从控制器260输出的对象信息(参见图1)，并且向控制器260输出从服务器130接收的AR信息。控制器260控制以上描述的部件并且使用对象之间的关系提供AR信息。在示例实施方式中，控制器260可以是硬件处理器或者在硬件处理器中执行的软件模块。可以在使用对象之间的关系提供AR的方法中更详细地描述控制器沈0的操作，这将在下面描述。图5是例示根据示例实施方式的使用对象之间的关系提供AR的服务器的图。提供AR的服务器可以包括通信单元510、完整信息存储部520、相关对象信息存储部530和控制器M0。通信单元510处理通过有线/无线通信网络接收的信号并且向控制器540输出处理结果。通信单元510还处理来自控制器540的信号并且通过该有线/无线通信网络发送处理结果。在示例实施方式中，通信单元510可以处理从至少一个终端110接收或者向至少一个终端110发送的信号(参见图1)。在示例实施方式中，通信单元510从外部信息提供商通过有线/无线通信网络接收内容、SNS服务信息等，这些将作为关于对象的AR信息被提供。提供AR的服务器包括存储部，该存储部可以包括完整信息存储部520和相关对象信息存储部530。完整信息存储部520存储对象信息521、对应于对象的AR信息522、以及上下文信息523，上下文信息523将用于对各单独终端个性化AR信息522。对象信息521包括关于对象的识别信息和相关信息。图6示出对象信息521的结构的示例。图6例示根据示例实施方式的对象信息结构。参照图6，ID 601是被指配以标识对象的标识符，并且对象识别信息603是用于识别对应于ID 601的对象的特征信息。例如，对象识别信息603可以包括对象的属性值， 如对象的轮廓、颜色等。控制器540将从接收自终端110的对象信息提取的特征与对象识别信息603的属性值相比较以确定对象是什么。对象位置信息605是关于对象所在位置的信息。对象位置信息605用于基于其位置提供关于同一对象的不同种类的信息。邻居列表 607是位于距对象特定距离之内的对象的列表。父对象609是关于对象所属的父对象的信息。子对象611是关于对象可以包括的子对象的信息。相关对象613存储关于基于逻辑关系与对象关联的其它对象的信息。返回参照图5，AR信息522存储关于所识别对象的多种数据。对应于特定对象的 AR信息522可以被指配与对象相同的ID。上下文信息523用于个性化AR信息522，并且例如包括用户信息(包括用户的名称、年龄、性别等)、文字消息中的常用词语、用户经常使用的应用和搜索词语、所访问的网站的级别、当前时间和位置、用户的表情状态等。相关对象信息存储部530存储关于与所识别的对象有关的至少一个对象的信息， 并且可以存储对象信息531、相关对象的AR信息532、以及上下文信息533。如图5例示，相关对象信息存储部530可以包括可以对应于各单独终端的多个相关对象信息存储部。在示例实施方式中，每个相关对象信息存储部530可以被指配与对应的终端相同的ID。相关对象可以包括邻居对象列表(例如，定位在距所识别的对象特定距离之内的对象的列表)、所识别的对象的父对象和子对象中包括的对象。图7是根据示例实施方式的邻居列表的示例图。
参照图5和图7，对象1、3和4可以被包括在对象2的邻居列表中。如果对象2被识别，则控制器540从完整信息存储部520搜索关于对象1、3和4的识别信息和AR信息， 并且将所找到的信息存储在相关对象信息存储部530中。如果作为与对象2关联的相关对象的对象1、3和4中的任意一个被识别，则控制器540在相关对象信息存储部530中存储的对应对象的对象信息531中搜索关于所识别的对象的对象识别信息，而不是从完整信息存储部520搜索对应的对象。控制器540将所找到的对象识别信息与对应的对象相比较。 因此，控制器540将比较以进行对象识别的对象的数量减少，这可以贡献于识别率的提高。 例如，此方法在识别具有变形形状的标记(例如具有取决于视角的复杂形状的3D标记)等方面特别有效。图8示出根据示例实施方式的示例父对象和子对象。参照图8，“Starbucks ”图标对应于父对象，菜单对应于子对象。因此，参照图5和图8，如果对应于父对象的“Starbucks ”图标被识别，则控制器540从完整信息存储部520 获取关于与“Starbucks ”图标的子对象对应的菜单的识别信息和AR信息。之后，如果菜单被再次识别，则控制器540从相关对象信息存储部530搜索关于菜单的信息，而不是从完整信息存储部520搜索关于菜单的信息，由此迅速获取菜单信息，这贡献于识别率的提高。返回参照图5，控制以上描述的各个部件并且执行使用对象之间的关系提供AR的方法的控制器5 40可以是处理器或者在处理器中执行的软件模块。控制器540可以包括对象识别模块Ml、AR信息搜索模块M2、相关对象搜索模块M3、以及上下文信息管理模块 544。对象识别模块541通过通信单元510从接收自终端110的对象信息检测关注对象 (参见图1)。换句话说，对象识别模块541将从接收自终端110的对象信息提取的特征与对象信息521和531中包括的对象识别信息相比较，以检测所接收的对象信息中的对象的 ID。在示例实施方式中，如果对象识别模块541使用对应于终端110的相关对象信息存储部 530中包括的对象信息531识别对象，则控制器确定从终端110接收的对象信息是先前已经接收的信息。在示例实施方式中，如果从终端110接收到包括多个对象的信息，则对象识别模块541可以优先地首先搜索可容易识别的对象。例如，如图8所例示，如果对应于父对象的“Starbucks ”图标与对应于子对象的“菜单”相比较，则可能占用更长时间来识别“菜单”对象，因为它可以具有相对更复杂的形状。因此，对象识别模块541优先识别对应于父对象的“Starbucks ”图标，接着获取关于与“Starbucks ”图标有关的子对象的识别信息。由于关于菜单的一些信息被预先获取作为“Starbucks ”图标的子对象信息，所以可以提高对菜单的识别率。在示例实施方式中，对象识别模块Ml可以执行顺序目标识别，例如对象识别模块541可以基于粘贴或者找到“Starbucks ”图标的位置输出对于相同“Starbucks ”图标的不同结果值。换句话说，对象识别模块541主要识另ij“StarbUCkS ”图标，而次要识别粘贴或者找到“Starbucks ”图标的位置。例如，如果位于大学路(Daehakro)的“Starbucks ” 店的菜单不同于位于江南(Kangnam)的“Starbucks ”店的菜单，则在此情况下，对象识别模块541可以基于“Starbucks ”店的位置输出不同的标识符。AR信息搜索模块542搜索对应于被对象识别模块541识别的对象的AR信息522 和532。换句话说，AR信息搜索模块542搜索具有与所识别的对象相同的标识符的AR信息。在对应于特定终端的所识别的对象是先前已经识别的对象的示例实施方式中，AR信息
10搜索模块542从对应于终端的相关对象信息存储部530搜索AR信息522和AR信息532。相关对象搜索模块543从完整信息存储部520搜索关于与对应于被对象识别模块 541标识的对象标识符的对象关联的相关对象的识别信息和AR信息，并且在相关对象信息存储部530中存储所找到的关于相关对象的识别信息和AR信息。相关对象可以被包括在图 6例示的对象信息结构的邻居列表中，并且还可以成为对象信息结构的父对象和子对象。相关对象搜索模块543可以搜索并且存储关于与对象具有主要关系的相关对象的信息，或者可以搜索并且存储关于与对象具有次要关系或更浅关系的相关对象的信息。例如，相关对象搜索模块543可以搜索和存储属于对应对象的邻居列表的对象，或者从属于对应对象的邻居列表的对象中搜索和存储父对象或子对象。另外，相关对象搜索模块543可以向对应的终端发送所找到的相关对象，将它们存储或者不存储到相关对象信息存储部530中。上下文信息管理模块544管理关于各终端的用户的个性化信息。上下文信息管理模块544可以创建基于通信使用历史、用户登记的用户信息和符号信息而估计各终端用户的偏好作为上下文信息。上下文信息可以包括用户的性别、年龄、经常使用的搜索词语、访问的网站、表情状态、时间信息等。AR信息搜索模块542和相关对象搜索模块543可以使用被上下文信息管理模块 544管理的上下文信息523搜索对应于每个终端的个性化信息。换句话说，如果基于向特定对象指配的标识符找到多条AR信息，则可以向对应的终端发送所找到的AR信息中用上下文信息滤选的AR信息。在示例实施方式中，上下文信息管理模块M4向上下文信息指配分数以管理上下文信息。举例而言，如果用户A在下午2点到下午3点之间搜索“咖啡”，则上下文信息管理模块544可以向“咖啡”指配“+1到2PM”、“+1到3PM”和“+1”。之后，如果用户A在下午2点访问终端，则可以优先向用户A提供因特网或者网站，例如Naver窗口和咖啡相关信息。尽管示出在服务器中进行，本发明的各方面不需要限于此，并且图5的配置的部分或者全部可以由终端提供。在下文，参照图9和图10描述使用对象之间的关系提供AR的方法，该方法由以上描述的提供AR的系统执行。为了便于描述，图2例示的终端的控制器260称为终端，并且图5例示的服务器的控制器540称为服务器。图9是例示根据示例实施方式的提供AR的方法的流程图。图10是例示根据示例实施方式的提供AR的方法的流程图。尽管示出为顺序地进行，本领域技术人员将理解图9 和图10的方法的操作的至少一部分可以同时进行，或者按照分别与图9和图10中呈现的不同的顺序进行。将参照图5描述图9和图10中例示的示例。图9对应于终端识别第一对象的情况，并且图10对应于终端使用与先前识别的第一对象有关的信息识别第二对象的情况。参照图9，在操作810，终端获取对象信息。例如，对象信息可以是以下中的一个或者更多个相机捕捉的照片图像、声音数据和位置数据。例如，终端可以在捕捉第一对象的图像的同时获取第一对象的位置信息。在操作820，终端向服务器发送对象信息并且请求服务器发送对应于第一对象的AR信息。在操作830，服务器从所接收的对象信息识别关注对象。换句话说，如果对象信息是捕捉的图像，则服务器从拍摄的图像提取关注对象的特征， 如关注对象的轮廓，将关注对象的特征与在完整信息存储部520中存储的识别信息相比较(参见图5)，并且确定识别信息是否匹配关注对象的特征，由此检测关注对象的ID。在示例实施方式中，如果存在多个对象，则服务器可以优先识别可相对容易识别的对象，以提高对象识别率。在示例实施方式中，服务器可以初始识别最容易识别的对象。 例如，服务器使用一种方法，首先识别诸如条码或者数字的标记作为关注对象，因为它们可被相对容易地识别并且可以接着识别复杂对象。例如，复杂对象可以包括以下对象，即，这些对象包括图片、字母和数字的组合。举例而言，可以通过分析复杂对象的具有最大大小的第一特征以检测主要类别，接着分析复杂对象的具有第二大大小的第二特征以检测次要类别，来识别复杂对象，次要类别可以是主要类别的子类别。在示例实施方式中，服务器可以使用多个对象来检测对象标识符，而不是使用单个特征来识别对象。例如，如果具有与对象相同的大小的多个对象或者标记位于多个不同位置，则可以获取通过捕捉对象或者标记的图像获得的图像信息和对象或者标记的位置信息作为对象信息。服务器可以检测根据对象的位置区分的对象标识符，以及对应于所捕捉的对象的图像的对象标识符。例如，如果所捕捉的对象的图像是特定汽车制造商的图标，相同的图标可以在多个位置粘贴或者找到。第一位置可以是老年人交通流量大的地点，第二位置可以是青年人聚集的地点。服务器从用户接收地点和图标的位置信息以检测对应于图标的标识符和根据年龄区分的标识符。因此，对应于老年人交通流量大的地点的AR信息可以是关于中型车的信息，并且对应于年轻人聚集的地点的AR信息可以是关于运动车的信肩、ο在操作840，服务器从完整信息存储部520检测对应于所识别的对象标识符的AR 信息，检测关于与对象标识符关联的相关对象的信息，接着在相关对象信息存储部530中存储所检测的关于相关对象的信息。例如，服务器检测所识别的对象的邻居列表中包括的对象信息或者关于所识别的对象的父对象或者子对象的信息，并且存储所检测的信息。在操作850，服务器根据各个终端将相关对象信息分类并且存储经分类的相关对象信息。在操作850，服务器可以在单独操作中或者顺序地检测和存储关于相关对象的信息。在操作860，服务器向对应的终端发送所检测的AR信息。在示例实施方式中，服务器可以向终端发送关于相关对象的信息以及关于对应的对象的信息。在示例实施方式中，服务器可以基于上下文信息滤选AR信息或者相关对象信息并且向终端仅发送滤选的 fn息ο在操作870，终端通过输出单元220输出所接收的AR信息(参见图2)。在示例实施方式中，终端可以输出关于相关对象的信息以及所识别的对象的AR信息。换句话说， 终端可以提供关于所获取的对象信息的AR信息以及关于期待对用户有用的对象的信息两者。举例而言，终端可以提供关于相关对象(如所识别的对象的父对象和子对象)的信息或者到相关对象的访问路径，并且输出对应的对象的AR信息。在示例实施方式中，终端可以高亮在相关对象信息存储部530中存储的相关对象并且在显示器上显示高亮的相关对象以将它们与其它对象区分开。在示例实施方式中，终端可以基于上下文信息输出滤选的信息。在下文，将参照图10描述使用对象的相关对象识别先前已经识别的对象的方法。对象的识别先前已由图10中的终端进行。参照图5和图10，在操作910，终端获取对象信息，并且在操作920，向服务器发送所获取的对象信息。在操作930，服务器在相关对象信息存储部530中搜索对应的对象以进行对象识别，而不是在完整信息存储部520中搜索对象。在操作940，服务器确定是否从相关对象信息存储部识别出对象。在操作950，如果在操作940确定从相关对象信息存储部530识别出对象，则服务器从相关对象信息存储部530检测针对所识别的对象的AR信息。在操作960，如果在操作940确定没有从相关对象信息存储部530识别出对象，则服务器从完整信息存储部520搜索关于对象的AR信息。在操作970，确定是否从完整信息存储部520识别出对象。如果从完整信息存储部520识别出对象，则在操作980服务器从完整信息存储部520检测针对所识别的对象的AR信息。然而，如果在操作970确定没有从完整信息存储部520识别出对象，则服务器确定对象识别失败，接着处理进入操作920。在操作990中，如果已经经过相关对象信息存储部530或者完整信息存储部520 识别出对象，则服务器从完整信息存储部520搜索与所识别的对象关联的相关对象并且更新相关对象信息存储部530。在操作1000，服务器向终端发送所确定的AR信息。在示例实施方式中，服务器可以发送相关对象信息以及对象的AR信息。在操作1010，终端输出所接收的AR信息。在示例实施方式中，终端可以提供所接收的相关对象信息中的预计对用户有用的关于对象的信息，以及针对在操作910获取的对象信息的AR信息。举例而言，终端可以提供关于相关对象(如对应的对象的父对象和子对象)的信息和到相关对象的访问路径，并且输出针对对应的对象的AR信息。图11和图12例示使用对象之间的关系提供AR的示例。图11示出根据示例实施方式使用对象之间的关系提供的示例AR。图11是用于说明如果由多个AR服务提供商提供的对象共存而使用的提供AR的方法的图。图11示出由使用不同图像识别方法的多个AR服务提供商提供的对象共存于所获取的图像中。在此情况下，识别由已经提供了第一识别对象的AR服务提供商提供的对象可比识别其它AR服务提供商提供的对象更迅速地进行。因此，在与第一识别对象关联的邻居列表中，由已经提供了第一识别对象的AR服务提供商提供的对象可以被高亮，如由对象的阴影指示，并且输出。图12示出根据示例实施方式使用对象之间的关系提供的示例AR。图12用于例示使用对应于无标记对象的标记提供AR的方法。参照图12，如果特定标记被识别，则获取关于标记和对象“N Seoul Tower”之间的关系的信息。例如，如果用户使用基于对应于餐厅“ThePlace”的标记的特定服务，则标记包括该标记在“N Seoul Tower”的二层的餐厅“The Place”中使用的信息。该信息被存储在终端和/或服务器中。之后，如果用户希望接收基于标记的服务，他/她可以使用在终端中存储的信息或者捕捉对象“N Seoul Tower”的图像，由此接收对象中包括的标记以使用基于对应的标记的服务。在餐厅“ThePlace”中使用的标记的父对象信息包括N Seoul Tower，并且对象“N Seoul Tower”的子对象信息包括关于位于餐厅中的标记的信息。因此，由于预先存储了关于预计将被用户请求的对象的识别信息，所以可以迅速识别对象，并且可以提高对象识别率。另外，可以迅速检测和提供对应于所识别的对象的AR fn息ο另外，由于将关于曾经识别的对象的信息用于基于对象之间的关系识别其它对象，可进一步提高对象识别率。
对于本领域技术人员而言，很明显，可以在不脱离本发明的实质或范围的情况下对本发明做出各种修改和变化。因此，本发明旨在涵盖落入所附权利要求及其等同物范围内的本发明的这些修改和变化。
权利要求
1.一种提供增强现实的方法，该方法包括以下步骤 从接收自终端的第一对象信息识别第一关注对象；检测关于与所述第一关注对象关联的相关对象的识别信息和增强现实信息； 存储关于所述相关对象的所述识别信息和所述增强现实信息； 如果从所述终端接收到第二对象信息，则使用所存储的关于所述相关对象的所述识别信息从所述第二对象信息识别第二关注对象；从所存储的关于所述相关对象的所述增强现实信息中检测对应于所述第二关注对象的增强现实信息；以及向所述终端发送所检测到的增强现实信息。
2.根据权利要求1所述的方法，其中，所述识别第一关注对象的步骤包括获取所述终端的位置信息以及基于所获取的所述终端的位置信息识别所述第一关注对象。
3.根据权利要求1所述的方法，其中，所述识别第一关注对象的步骤包括如果从所述终端接收的所述第一对象信息中包括多个对象，则优先从所述多个对象中基于特定标准识别对象。
4.根据权利要求1所述的方法，其中所述检测关于相关对象的识别信息和增强现实信息的步骤包括基于各单独终端将关于与所述第一关注对象关联的相关对象的识别信息和增强现实信息分类，并且所述存储关于所述相关对象的所述识别信息和所述增强现实信息的步骤包括存储所述分类的结果。
5.根据权利要求1所述的方法，其中，所述相关对象是位于距所述第一关注对象的位置特定距离之内的对象、所述第一关注对象的父对象、所述第一关注对象的子对象以及它们的组合中的至少一个。
6.根据权利要求1所述的方法，该方法还包括以下步骤检测关于从所述第一对象信息识别的所述第一关注对象的增强现实信息；以及向所述终端发送关于所述第一关注对象的所述增强现实信息。
7.根据权利要求6所述的方法，其中，所述发送关于所述第一关注对象的所述增强现实信息的步骤包括向所述终端发送关于与所述第一关注对象关联的相关对象的识别信息和增强现实信息。
8.根据权利要求1所述的方法，其中，使用上下文信息滤选所述增强现实信息。
9.一种提供增强现实信息的服务器，所述服务器包括通信单元，该通信单元用于处理从终端接收和向所述终端发送的信号； 完整信息存储部，该完整信息存储部用于存储关于对象的识别信息和增强现实信息； 相关对象信息存储部，该相关对象信息存储部用于存储关于与所述对象关联的相关对象的识别信息和增强现实信息；以及控制器，该控制器从接收自所述终端的第一对象信息识别第一关注对象，标识关于与所述第一关注对象关联的相关对象的识别信息和增强现实信息，在所述相关对象信息存储部中存储关于相关对象的识别信息和增强现实信息，如果从所述终端接收到第二对象信息，则使用所存储的关于相关对象的识别信息从所述第二对象信息识别第二关注对象，检测对应于所述第二关注对象的增强现实信息，以及向所述终端发送所述增强现实信息。
10.根据权利要求9所述的服务器，其中，所述控制器获取所述终端的位置信息，并基于所述终端的位置信息识别所述第一关注对象。
11.根据权利要求9所述的服务器，其中，如果从所述终端接收的对象信息中包括多个对象，则所述控制器优先地首先从所述多个对象识别对象。
12.根据权利要求9所述的服务器，其中，所述控制器基于单独终端将所述关于与第一关注对象关联的相关对象的识别信息和增强现实信息分类，并且存储所述分类的结果。
13.根据权利要求9所述的服务器，其中，所述相关对象是位于距所述第一关注对象的位置特定距离之内的对象、第一关注对象的父对象、第一关注对象的子对象以及它们的组合中的至少一个。
14.根据权利要求9所述的服务器，其中，所述控制器向所述终端发送所述关于与第一关注对象关联的相关对象的识别信息和增强现实信息。
15.根据权利要求9所述的服务器，其中，使用上下文信息滤选所述增强现实信息。
16.一种提供增强现实的方法，所述方法包括获取第一对象信息以及向服务器发送所述第一对象信息；从所述服务器接收关于与所述第一对象信息关联的相关对象的识别信息和增强现实 fn息；存储所述关于相关对象的识别信息和增强现实信息；如果接收到第二对象信息，则使用关于相关对象的识别信息从所述第二对象信息识别关注对象；检测对应于从所述第二对象信息识别的所述关注对象的增强现实信息；以及输出所检测的增强现实信息。
17.根据权利要求16所述的方法，其中，所述识别关注对象包括获取所述终端的位置信息以及基于所述终端的位置信息标识所述关注对象。
18.根据权利要求16所述的方法，其中，所述识别关注对象包括如果从所述终端接收的第一对象信息中包括多个对象，则优先地从所述多个对象中基于特定标准识别对象。
19.根据权利要求16所述的方法，其中，所述相关对象是位于距所述关注对象的位置特定距离之内的对象、第一关注对象的父对象、关注对象的子对象以及它们的组合中的至少一个。
20.根据权利要求16所述的方法，其中，使用上下文信息滤选所述增强现实信息。
21.根据权利要求16所述的方法，该方法还包括提供关于所述相关对象的信息或者到所述相关对象的访问路径，并且输出对应于所述关注对象的增强现实信息。
22.一种提供增强现实的终端，所述终端包括通信单元，该通信单元用于处理通过有线/无线通信网络从服务器接收和向所述服务器发送的信号；对象信息获取单元，该对象信息获取单元用于获取关于真实环境的图像中包括的对象的信息；输出单元，该输出单元用于输出通过合成关于所述对象的信息和关于所述对象的增强现实信息而获得的信息；存储部，该存储部用于存储从所述服务器接收的对应于对象的增强现实信息，以及存储关于与所述对象关联的相关对象的识别信息和增强现实信息；以及控制器，该控制器用于向所述服务器发送从所述对象信息获取单元接收的第一对象信息，从所述服务器接收关于与所述第一对象信息关联的相关对象的识别信息和增强现实信息，在所述存储部中存储关于相关对象的识别信息和增强现实信息，如果从所述对象信息获取单元接收到第二对象信息，则使用所述存储部中所存储的关于相关对象的识别信息从所述第二对象信息识别关注对象，检测对应于所述关注对象的增强现实信息，以及通过所述输出单元输出所述增强现实信息。
23.根据权利要求22所述的终端器，其中，所述控制器获取所述终端的位置信息，以及基于所述终端的位置信息标识所述关注对象。
24.根据权利要求22所述的终端，其中，如果所述对象信息获取单元接收的对象信息中包括多个对象，则所述控制器优先地从所述多个对象中识别对象。
25.根据权利要求22所述的终端，其中，所述相关对象是位于距所述关注对象的位置特定距离之内的对象、第一关注对象的父对象、或者关注对象的子对象以及它们的组合中的至少一个。
26.根据权利要求22所述的终端，其中，所述存储部还存储上下文信息，并且所述控制器使用所述上下文信息滤选所述增强现实信息。
27.根据权利要求21所述的终端，其中，所述控制器输出关于所述相关对象的信息或者到所述相关对象的访问路径，并且输出对应于所述关注对象的增强现实信息。
全文摘要
提供增强现实的方法和设备。提供了一种在至少一个终端可通过有线/无线通信网络访问的服务器中使用对象之间的关系提供增强现实的方法，该方法包括从接收自终端的第一对象信息识别第一关注对象；检测关于与第一关注对象关联的相关对象的识别信息和增强现实信息，并存储关于相关对象的识别信息和增强现实信息；当从终端接收到第二对象信息时，使用关于相关对象的识别信息识别第二关注对象；以及从关于相关对象的增强现实信息检测对应于第二关注对象的增强信息，以及向终端发送所检测的增强信息。
文档编号G06F17/30GK102402568SQ20111025880
公开日2012年4月4日 申请日期2011年9月2日 优先权日2010年9月9日
发明者吴昇真, 曺圣炫 申请人:株式会社泛泰