用户终端、远程终端和用于共享增强现实服务的方法

专利名称：用户终端、远程终端和用于共享增强现实服务的方法
技术领域：
本发明涉及一种用户终端、远程终端和用于共享增强现实(augmented reality, AR)服务的方法，更具体地，涉及用于共享AR服务的方法，其中用户终端可以通过接收在远程终端上显示的图像并且在该用户终端上显示图像来提供AR服务，以及涉及使用该方法的用户终端和远程终端。
背景技术：
增强现实(AR)技术是指一种用于组合真实环境和人工对象或者信息的计算机图形技术。不同于仅仅基于虚拟空间和虚拟对象的通常的虚拟现实技术，AR技术将真实环境与人工对象或者信息组合，由此添加真实环境中很难获得的补充信息。提供AR服务的用户终端可以分析由用户终端上设置的相机拍摄的图像的对象，并且基于分析结果提供AR数据。

发明内容
本发明的示例实施方式提供一种用户终端、远程终端和用于共享增强现实(AR) 服务的方法，以通过与其它终端的数据共享来提供各种AR数据。本发明的示例实施方式还提供一种用户终端以及远程终端，该用户终端使用与其它终端共享的数据来共享AR服务。本发明的附加特征将在以下的描述中阐述，并且一部分将从描述中变得明显，或者可以通过本发明的实施学习。本发明的示例实施方式公开一种共享增强现实(AR)服务的方法，该方法包括显示从远程终端接收的图像；识别图像中包括的对象；使用在第一数据库中存储的第一 AR数据产生第一 AR结果信息，第一 AR数据对应于该对象；以及显示第一 AR结果信息和该对象。本发明的示例实施方式还公开一种共享增强现实(AR)服务的用户终端，该用户终端包括显示单元，用于显示图像；对象识别单元，用于识别图像中包括的对象；以及AR 数据管理单元，用于使用在第一数据库中存储的第一 AR数据产生第一 AR结果信息，第一 AR 数据对应于该对象，其中在显示单元上显示第一 AR结果信息和该对象。本发明的示例实施方式还公开一种在远程终端和用户终端之间共享增强现实 (AR)服务的方法，该方法包括在远程终端中显示图像和该图像的对象的AR结果信息；以及向用户终端发送所显示的图像和对象识别信息。本发明的示例实施方式还公开一种与用户终端共享增强现实(AR)服务的远程终端，该远程终端包括显示单元，用于显示图像和该图像中的对象的AR结果信息；以及通信单元，用于向用户终端发送所显示的图像和用于识别对象的对象识别信息。本发明的示例实施方式还公开一种用于共享增强现实服务的系统，该系统包括 用户终端；以及远程终端，其中该远程终端获得图像，并且向用户终端发送该图像；并且其中该用户终端从该远程终端接收该图像，分析该图像以确定对象，产生针对所标识的对象的第一增强现实结果信息，并且在显示屏上显示所产生的第一增强现实结果信息和该图像。应理解上述总体描述和以下的详细描述是示例性和说明性的并且意在提供对所要求保护的本发明的进一步说明。其它特征和方面将从以下详细描述、附图和权利要求书变得明显。


包括附图以提供本发明的进一步理解，并入附图并且组成说明书的一部分，附图例示了本发明的实施方式，并且与说明书一起用于解释本发明的原理。图1是例示根据示例实施方式的共享AR服务的系统的图；图2是例示图1的用户终端的框图；图3是例示图1的远程终端的框图；图4是例示根据示例实施方式的共享AR服务的方法的流程图；图5是例示根据示例实施方式的共享AR服务的方法的流程图；图6是例示根据示例实施方式的共享AR服务的方法的流程图。
具体实施例方式在下文参照附图更完整地描述本发明，附图示出本发明的实施方式。然而，本发明可以以多种不同形式实现并且不应认为限制于此处阐述的实施方式。相反，提供这些实施方式以使得公开彻底，并且向本领域技术人员完整地传达本发明的范围。在附图中，层和区域的大小和相对大小可以为了清楚而夸张。附图中类似的附图标记表示类似元件。应理解尽管术语第一、第二、第三等可以在此使用以描述各个元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应被这些术语限制。这些术语仅仅用于区分一个元件、部件、区域、层或者部分和另一区域、层或者部分。因此，以下讨论的第一元件、部件、区域、层或者部分可以称为第二元件、部件、区域、层、或者部分而不背离本发明的教导。图1是例示根据示例实施方式的共享AR服务的系统的图。参照图1，该系统包括用户终端100和远程终端200。用户终端100和远程终端200 可以支持AR服务，并且经由通信网络(未示出)彼此有线或者无线地通信。用户终端100 和远程终端200可以发送和接收用于共享AR服务的数据。用户终端100和远程终端200 可以是电子设备，例如智能电话、膝上型计算机、桌上型计算机、音频/视频通信终端等。取决于存储器中存储的程序，以下参照图2和图3描述的用户终端100和远程终端200的每个元件可以通过处理器(未示出)、控制单元(未示出)、或者软件、或者其组合实现。用户终端100可以从远程终端200接收图像数据并且使用该图像数据显示图像， 并且可以是用户接收AR服务的终端。如果用户终端100与外部终端共享AR服务，则用户终端100可以提供远程终端200的功能。远程终端200可以向用户终端100发送通过远程终端200获得的图像，并且向用户终端100提供图像上存在的对象的AR结果信息或者AR数据。远程终端200可以向用户终端100提供功能。在下文，描述共享AR服务的示例实施方式，并且在表1中定义说明书中使用的术语以便于描述。表 1
术语本发明的实施方式中使用的含义AR数据用于确定AR结果信息的数据。
例如，但非限制，AR数据可以包括产品的价格信息、产品的保存限期(shelflife)、导航信息等。AR结果信息关于最终向用户显示的图像的信息。
例如，但非限制，AR结果信息可以包括向指示产品的价格的字体施加的颜色、字体等。对象识别信息(原始)用于产生AR结果信息的信息，除了 AR数据之外，即用于识别图像中的对象的信息。
例如，但非限制，对象识别信息(原始)可以包括GPS信息、罗盘信息、陀螺仪信息等。数据库(DB) 数据指示实际存储AR数据或者AR结果信息的DB的位置的地址信息。 例如，但非限制，数据库(DB)数据可以包括管理产品的价格信息的服务器的用户资源定位符(URL)。图2是例示图1的用户终端100的框图。参照图2，用户终端100包括第一用户接口(UI)单元110、第一数据库(DB)单元 120、第一通信单元130、第一图像处理单元140、第一对象识别单元150、第一 DB列表管理单元160、第一 DB管理单元165、第一 AR数据管理单元170、以及第一对象信息提取单元180。第一 UI单元110可以提供用户和用户终端100之间的接口，并且包括第一显示单元111和第一操作面板113。当从远程终端200接收的图像数据被处理为信号时，第一显示单元111可以使用所处理的图像数据显示图像。如果用户终端100提供触摸型UI，则第一显示单元111可以显示触摸板的UI。如果用户终端100具有相机，则第一显示单元111可以显示由相机拍摄的图像。第一操作面板113可以从用户命令接收输入，并且包括各种接口，例如按钮、方向键、触摸板等。第一 DB单元120可以由第一 DB管理单元165管理并且存储用于提供针对每个对象的AR服务的AR数据。第一 DB单元120可以包括多个物理AR DB 121和123。每个DB 121和123可以在用户终端100中或者在用户终端100使用的外部服务器(未示出)中。第一 DB单元120还可以存储向使用第一 AR数据的用户实际显示的第一 AR结果信息。第一 AR结果信息可以包括向用户显示的信息，例如字体、字母大小、颜色信息等，其用于指示第一 AR数据。第一通信单元130可以与远程终端200有线或者无线地通信。第一通信单元130 包括第一接收单元131、第二接收单元133、第三接收单元135和第一发送单元137。第一接收单元131、第二接收单元133、第三接收单元135和第一发送单元137可以被物理地包括在一个通信模块中，或者可以被包括在不同的通信模块中。第一接收单元131可以从远程终端200接收图像数据。第一接收单元131向第一图像处理单元140发送该图像数据。该图像数据可以是运动图像数据或者静止图像数据。 该图像数据可以是来自通过远程终端200拍摄的图像的数据。第二接收单元133可以从远程终端200接收对象识别信息。第二接收单元133可以分析对象识别信息并且向第一对象识别单元150发送分析结果。对象识别信息的分析结果可以包括远程终端200的坐标信息、远程终端200的相机的视图信息等。第三接收单元135可以从远程终端200接收第二 AR结果信息和DB数据。第三接收单元135向第一 AR数据管理单元170发送所接收的第二 AR结果信息。第三接收单元135 向第一 DB管理单元165发送所接收的DB数据。第二 AR结果信息可以被与用户终端100 的第一 DB单元120中存储的第一 AR结果信息一起向用户提供，和/或用于补充第一 AR结果信息。DB数据可以用于补充第一 DB列表管理单元160中记录的DB列表。第一发送单元137可以向远程终端200发送请求关于特定对象的附加信息的消息。该特定对象可以包括在所显示的图像中。所显示的图像可以是经由第一接收单元131 接收的图像。所发送的消息可以包括用于识别特定对象的信息和/或关于选择该特定对象的原因的意图信息。响应于所发送的消息，第一接收单元131、第二接收单元133、第三接收单元135可以从远程终端200接收附加信息。远程终端200可以基于意图信息选择将要发送的附加信肩、ο第一图像处理单元140可以将从第一接收单元131接收的图像数据处理为可显示信号。第一图像处理单元140向第一对象识别单元150和第一显示单元111发送所处理的图像数据。第一显示单元111可以使用所处理的图像数据显示图像。因此，第一显示单元111可以显示由远程终端200提供的图像，并且作为结果，用户终端100可以与远程终端 200共享该图像。第一对象识别单元150可以确定从第一图像处理单元140接收的图像数据中所包括的对象。第一对象识别单元150可以通过对图像数据应用轮廓检测算法来确定对象。另选地，第一对象识别单元150可以使用由第二接收单元133分析的对象识别信息来识别对象。可以存在一个以上的所识别的对象。第一对象识别单元150可以向第一对象信息提取单元180和第一 DB管理单元165发送所识别的对象。第一 DB列表管理单元160可以管理在第一 DB单元120中存储的AR数据和AR结果信息的源信息。由此，第一 DB列表管理单元160管理DB列表，该DB列表包括针对其中存储有AR数据和AR结果信息的第一 DB单元120的DB的位置信息。第一 DB管理单元165可以检索存储关于从第一对象识别单元150接收的所确定的对象的信息的DB。该信息可以是AR数据或者AR结果信息。第一 DB管理单元165可以使用DB列表进一步针对每个所确定的对象标识存储有关于这些对象的信息的DB的位置信息。第一 DB管理单元165可以控制与所标识的位置信息对应的DB。最终，第一 DB管理单元165可以向第一 AR数据管理单元170发送关于所确定的对象的AR数据。第一 AR数据管理单元170可以从第一 DB单元120中的DB或者从第一 DB管理单元165请求第一 AR数据。第一 AR数据管理单元170可以从第一 DB单元120接收第一 AR 数据，并且使用所接收的第一 AR数据产生第一 AR结果信息。通过示例方式，当第一 AR数据包括产品“A”的价格是$1的信息时，第一 AR数据管理单元170可以调整“$1”的字体、字母大小、和字母颜色，并且产生第一 AR结果信息。第一 AR数据管理单元170可以向第一显示单元111发送所产生的AR结果信息。 因此，第一显示单元111可以一起显示从第一图像处理单元140接收的图像和从第一 AR数据管理单元170接收的第一 AR结果信息。可以由用户从第一对象识别单元150发送的对象中选择特定对象。当指定了对象时，第一对象信息提取单元180可以向第一发送单元137发送关于所选择的特定对象的信息和选择该特定对象的原因的意图信息。在下文，将更详细描述实现AR服务的处理。实现AR服务的处理使用在用户终端 100中存储的第一 AR结果信息、图像、和从远程终端200提供的第二 AR结果信息。第一 AR数据管理单元170可以比较从第三接收单元135接收的第二 AR结果信息和第一 DB单元120中存储的第一 AR结果信息，并且确定第一 AR结果信息与第二 AR结果信息是否相同。通过示例方式，如果第一AR结果信息和第二AR结果信息属于用户终端100和远程终端200中当前应用的不同AR服务类别，则第一 AR结果信息不同于第二 AR结果信息。 通过进一步例示，如果第一AR结果信息属于在用户终端100中应用的建筑(architectual) 历史类别并且第二 AR结果信息属于在远程终端200中应用的建筑美术类别，则第一 AR结果信息可以被确定为不同于第二 AR结果信息。即使在相同类别中，第一和第二 AR结果信息可以不同。通过示例方式，如果在用户终端100中存储的AR数据不同于在远程终端200中存储的AR数据，用户终端100的AR 数据更新时间不同于远程终端200的AR数据更新时间，或者用户终端100的DB管理公司不同于远程终端200的DB管理公司，则属于相同类别的第一 AR结果信息和第二 AR结果信息可以不同。如果第一 AR结果信息不同于第二 AR结果信息，则第一 AR数据管理单元170可以用第二 AR结果信息补充第一 AR结果信息。第一 AR数据管理单元170向第一显示单元111 发送经补充的第一 AR结果信息。如果第一 AR结果信息不同于第二 AR结果信息，则第一 AR 数据管理单元170可以向第一 DB管理单元165发送第二 AR结果信息。第一 DB管理单元165可以在将从第一 AR数据管理单元170接收的第二 AR结果信息存储到第一 DB单元120之后使能第一 AR数据的检索。第一 DB管理单元165可以在其中存储有对象的第一 AR结果信息的DB中存储第二 AR结果信息。第一 DB管理单元165 可以从存储用于识别对象的对象信息的第一 DB单元120中的DB检索第一 AR数据，并且向第一 AR数据管理单元170发送第一 AR数据。第一 DB管理单元165可以从第一 AR数据管理单元170接收经补充的第一 AR结果信息，并且在第一 DB单元120中存储该信息。另外，第一 DB管理单元165可以将从第三接收单元135接收的DB数据添加到在第一 DB列表管理单元160中存储的DB列表，由此补充该DB列表。在下文，描述从远程终端200请求关于特定对象的附加信息的反馈的示例处理。 该处理可以由用户终端100执行。如上所述，由第一对象识别单元150识别的对象可以被发送到第一对象信息提取单元180。可以从第一对象识别单元150发送的对象中选择特定对象。第一对象信息提取单元180可以向第一发送单元137发送关于所选择的特定对象的信息和意图信息。关于特定对象的信息可以包括特定对象在所显示的图像上的坐标信息，以及关于图像何时被远程终端200获得的时间信息。该特定对象可以是被用户从第一显示单元111上显示的对象当中选择的以获得附加信息的对象，或者被使用中的应用自动选择的对象。意图信息包括选择该特定对象的原因。关于选择该特定对象的原因的意图信息可以包括对第二 AR结果信息的请求、对对象识别信息的请求、和对AR数据的请求。第一发送单元137可以向远程终端200发送请求关于特定对象的附加信息的消息。该消息可以包括用于标识该特定对象的信息，所请求的附加信息，和选择该特定对象的原因的意图信息。响应于第一发送单元137发送的消息，第二接收单元133和第三接收单元135中的至少一个可以从远程终端200接收附加信息。远程终端200可以使用意图信息选择附加信息并且向用户终端100发送所选择的附加信息。第一对象识别单元150和第一 AR数据管理单元170中的至少一个可以从第二接收单元133和第三接收单元135中的至少一个接收附加信息，并且可以向用户提供附加信息或者通过在第一 DB单元120中存储附加信息来更新第一 DB单元120的数据。图3是例示图1的远程终端200的框图。远程终端200可以包括第二UI单元210、第二DB单元220、图像数据输入单元230、 第二图像处理单元235、感测单元对0、第二对象识别单元M5、第二 DB列表管理单元250、 第二 DB管理单元255、第二 AR数据管理单元沈0、第二通信单元270、和第二对象信息提取单元280。第二 UI单元210可以提供用户和远程终端200之间的接口。第二 UI单元可以进一步包括第二显示单元211和第二操作面板213。第二 UI单元210类似于图2的第一 UI 单元110，并且因此在此省略对其的详细描述。第二 DB单元220可以由第二 DB管理单元255管理并且存储用于提供针对每个对象的AR服务的第二 AR数据。第二 DB单元220可以包括多个物理ARDB 221和223。每个 DB 221和223可以在远程终端200中或者在远程终端200使用的外部服务器(未示出)中。第二 DB单元220可以存储用户终端100上实际显示的第二 AR结果信息。第二 DB 单元220可以进一步存储第一 AR数据，即，从用户终端100接收的对象的AR数据。图像数据输入单元230可以接收由外部相机(未示出)获得的图像数据并且向第二图像处理单元235发送该图像数据。图像数据输入单元230可以包括相机。第二图像处理单元235可以将图像数据处理为可显示信号，并且向第二显示单元 211和第二对象识别单元245发送经处理的图像数据。第二显示单元211可以使用该图像数据显示图像。感测单元240可以分析由传感器(未示出)感测的感测数据并且获得对象识别信息。感测单元240可以向第二对象识别单元245发送对象识别信息。第二对象识别单元245可以使用从感测单元240接收的对象识别信息识别图像数据中包括的对象。第二对象识别单元245可以通过对图像数据应用轮廓检测算法来识别对象。可以存在一个以上的所识别的对象。第二对象识别单元245可以向感测单元240和第二 DB管理单元255发送所识别的对象。当第二对象识别单元245接收到请求关于特定对象的附加信息的消息时，第二对象识别单元245可以分析该消息并且识别所请求的附加信息。第二 DB列表管理单元250可以管理包括存储第二 AR数据的第二 DB单元220的 DB的位置信息的DB列表。第二 DB管理单元255可以检索存储与从第二对象识别单元245接收的对象相关的信息的DB。该相关的信息可以是第二 AR数据或者使用第二 AR数据实际显示的第二 AR 结果信息。第二 DB管理单元255可以使用DB列表标识DB的位置信息。第二 DB管理单元 255可以控制对应于所标识的位置信息的DB并且向第二 AR数据管理单元260提供关于该对象的第二 AR数据。第二 DB管理单元255还可以向第二通信单元270发送针对该DB的地址信息。第二通信单元270可以向用户终端100发送存储所涉及的信息的DB的地址信肩、ο第二 AR数据管理单元260可以从第二 DB管理单元255或者直接从第二 DB单元 220中的对应DB请求第二 AR数据。第二 AR数据管理单元260可以从第二 DB单元220接收第二 AR数据并且使用第二 AR数据产生第二 AR结果信息。第二 AR数据管理单元260可以向第二显示单元211和第二通信单元270发送所产生的第二 AR结果信息。第二 AR结果信息可以经由第二通信单元270被发送到用户终端100并且在用户终端100上显示。第二显示单元211可以一起显示从第二图像处理单元235接收的图像和从第二 AR数据管理单元260发送的第二 AR结果信息。第二通信单元270可以有线或者无线地与用户终端100通信，并且可以包括第二发送单元271、第三发送单元273、第四发送单元275、以及第四接收单元277。第二发送单元271可以向用户终端100发送从图像数据输入单元230接收的图像数据。第三发送单元273可以向用户终端100发送从感测单元240接收的对象识别信肩、ο第四发送单元275可以向用户终端100发送从第二 DB管理单元255接收的DB数据和从第二 AR数据管理单元260接收的第二 AR结果信息。第四接收单元277可以从用户终端100接收请求关于特定对象的附加信息的消息并且向第二对象信息提取单元280发送该消息。响应于所接收的消息，第二发送单元271、 第三发送单元273和第四发送单元275中的至少一个可以向用户终端100发送附加信息。第二对象信息提取单元280可以分析从第四接收单元277接收的消息并且确定特定对象的标识信息。该特定对象可以是由第二发送单元271向用户终端100发送的图像上存在的对象。该特定对象的标识信息可以包括该特定对象的标识和/或该特定对象的位置信息。该特定对象的位置信息可以相对于该图像来计算。第二对象信息提取单元280可以向第二对象识别单元245发送该特定对象的所确定的识别信息和该消息。当所请求的附加信息是对象识别信息时，第二对象识别单元245可以将对附加信息的请求转发到感测单元M0。作为响应，感测单元240可以获得新的对象识别信息或者最终获得的对象识别信息作为附加信息。感测单元向第二通信单元270发送该附加信息。当所请求的附加信息是第二 AR数据或者DB数据中的至少一个时，第二对象识别单元245可以向第二 DB管理单元255发送所识别的特定对象的标识信息。第二 DB管理单元255可以标识来自第二 DB列表管理单元250的与特定对象的标识信息相对应的DB，并且从第二 DB单元220的DB读取对应于该附加信息的数据。与所读取的附加信息相对应的对象识别信息、第二 AR数据和DB数据中的至少一个可以经由第二通信单元270被反馈到用户终端100。图4是例示根据示例实施方式的共享AR服务的方法的流程图。在示例实施方式中，图4的共享AR服务的方法可以分别由图2和图3的用户终端 100和远程终端200、或者处理器(未示出)执行，但是不限于此。尽管示出为串行地执行， 但是本领域技术人员将理解图4的方法的操作的至少一部分可以同时执行，或者以不同于图4呈现的顺序执行。在操作400中，远程终端可以获得图像数据并且使用该图像数据显示图像。该图像数据可以是由远程终端的相机拍摄的图像的数据或者在远程终端中存储的数据。在操作410中，用户终端可以从远程终端接收图像数据。在操作420中，用户终端可以使用所接收的图像数据显示图像。相应地，用户终端可以与远程终端共享相同图像。在操作430中，用户终端可以从远程终端接收对象识别信息。对象识别信息可以用于识别所显示的图像上存在的对象。在操作440中，用户终端可以分析对象识别信息并且获得用于识别对象的信息。 所获得的信息可以包括关于远程终端的GPS信息、远程终端的相机的视图信息、关于陀螺仪的感测信息等。在操作450中，用户终端可以识别在操作410中接收的图像数据的对象。用户终端可以通过对该图像数据应用轮廓检测算法来识别对象。在操作460中，用户终端可以检索DB列表和存储第一 AR数据(即，关于所识别的对象的AR数据)的对应DB。在操作470中，用户终端可以从对应DB检索该对象的第一 AR数据。在操作480，用户终端可以使用所检索到的第一 AR数据产生可显示形式的第一 AR 结果信息并且一起显示该图像的对象和第一 AR结果信息。图5是例示根据另一示例实施方式的共享AR服务的方法的流程图
图5的共享方法可以是使用在用户终端中存储的AR结果信息和在远程终端中存储的AR结果信息来实现AR服务的处理。该方法可以分别由图2和图3的用户终端100和远程终端200执行，但是不限于此。第一 DB可以是用户终端100的第一 DB单元120，并且第二 DB可以是远程终端200的第二 DB单元220。尽管示出为串行地进行，但是图5的方法的操作的至少一部分可以同时进行，或者以不同于图5呈现的顺序执行。远程终端和用户终端可以执行参照图4描述的操作400到480。在操作500中，用户终端可以从远程终端接收图像上存在的对象的第二 AR结果信肩、ο在操作510中，用户终端可以比较在操作500中接收的第二 AR结果信息和在用户终端中存储的第一 AR结果信息，并且确定第一 AR结果信息是否与第二 AR结果信息相同。在操作520，当第一 AR结果信息不同于第二 AR结果信息时，用户终端可以用第二 AR结果信息补充和显示第一 AR结果信息，并且显示经补充的第一 AR结果信息。在操作530中，用户终端可以在第一 DB单元中存储经补充的第一 AR结果信息。
12
在操作540中，用户终端可以从远程终端接收DB地址信息和包括与对象相关的DB 地址的DB数据。所接收的DB数据或者DB地址可以被添加到用户终端的DB列表管理单元的DB列表。在操作550中，用户终端可以从第二 DB单元请求第二 AR数据。该请求被发送到与在操作540中接收的DB地址相对应的DB。用户终端可以向远程终端请求第二 AR数据， 即所识别的对象的AR数据。在操作560中，用户终端可以从远程终端接收第三AR结果信息。在操作560中接收的第三AR结果信息和在操作500中接收的第二 AR结果信息可以从不同的AR数据确定。在操作570中，用户终端可以用在操作560中接收的第三AR结果信息补充第一AR
结果信息。在操作580中，用户终端可以在第一 DB单元中存储经补充的第一 AR结果信息。在操作590中，用户终端可以显示AR结果信息。在示例实施方式中，AR结果信息可以是经补充的第一 AR结果信息。在另一示例实施方式中，在操作590中，如果在操作500 中接收的第二 AR结果信息与第一 AR结果信息相同，则用户终端可以显示第一 AR结果信肩、ο图6是例示根据示例实施方式的共享AR服务的方法的流程图。图6的共享方法可以是用户终端从远程终端请求针对AR服务的附加信息的反馈的处理，并且可以分别由图2和图3的用户终端100和远程终端200执行，但是不限于此。 尽管示出为串行地执行，图6的方法的操作的至少一部分可以同时执行，或者以不同于图6 呈现的顺序执行。在操作600之前，远程终端和用户终端可以执行参照图4描述的操作400到450。在操作600，用户终端100可以在所显示的图像上存在的对象当中选择特定对象。 该特定对象可以由用户选择或者由使用中的应用自动选择。在操作610中，远程终端可以向远程终端发送请求关于该特定对象的附加信息的消息。消息可以包括用于标识该特定对象的信息和选择该特定对象的原因的意图信息。该意图信息可以包括针对第二 AR结果信息的请求、针对AR数据的请求、和针对对象识别信息的请求。在操作620中，当意图信息包括针对第二 AR结果信息的请求时，用户终端可以从远程终端接收第二 AR结果信息反馈。在操作630中，当意图信息包括针对AR数据的请求时，用户终端可以从远程终端接收第二 AR数据反馈。在操作640中，当意图信息包括针对对象识别信息的请求时，用户终端可以从远程终端接收用于识别对象的对象识别信息反馈。下面描述使用中的本发明的示范示例。以下示例仅仅是用于例示目的而不意在显示本公开的范围。使用音频-视频通信终端与第二用户通信的用户可以为第二用户所在的距离空间而不是该用户所在的空间提供空中标记(air tagging)。用户可以用音频-视频通信终端与第二用户进行音频-视频通信。用户可以发送用户当前所在的空间的图像，并且从第二用户接收与该用户当前所在的空间的位置和方向有关的信息。例如，该用户和第二用户可以共享该用户所在的停车场的图像，并且第二用户可以向该用户提供与该停车场相关的导航服务。当用户在拍摄图像并且第二用户使用音频-视频通信终端实时地看到该图像时， 该用户可以执行导航AR服务并且该第二用户可以执行餐厅引导AR服务。在此示例中，该第二用户可以从该用户接收导航AR服务并且用导航信息补充该第二用户的餐厅引导AR服务。当用户在拍摄图像并且第二用户使用音频-视频通信终端实时地看到该图像时， 该用户可以执行导航AR服务并且该第二用户可以执行餐厅引导AR服务。在此示例中，该用户可以不将该图像上的餐厅识别为对象。该第二用户可以向该用户的终端提供该第二用户识别的餐厅对象。当用户在拍摄图像并且另一用户使用音频-视频通信终端实时地看到该图像时， 并且该用户和该第二用户执行相同的导航AR服务时，该用户使用的AR服务器或者数据库可以不同于第二用户使用的AR服务器或者数据库。因此，该用户和第二用户可以被提供不同的AR服务。在此示例中，该用户和第二用户可以通过彼此通信来共享AR结果信息并且补充该用户和第二用户的各个AR服务。本发明的实施方式提供一种用户终端、远程终端和用于共享AR服务的方法，其中可以在用户终端和远程终端之间提供双向AR服务，使得用户终端通过与远程终端的通信与远程终端共享AR服务。本发明的实施方式还提供一种用户终端、远程终端和用于共享AR服务的方法，其中用户终端的数据库可以被更新，使得用户终端与远程终端共享远程终端拍摄的图像，从远程终端接收用于AR服务的信息，并且用所接收的信息补充AR服务的内容。本发明的实施方式还提供一种用户终端、远程终端和用于共享AR服务的方法，其中可以提供双向AR服务，使得用户终端选择所显示的图像上的期望的对象，请求远程终端提供关于所选择的对象的信息，并且从远程终端接收该信息。根据本发明的示例实施方式可以记录在非短暂计算机可读介质中，包括程序指令以实施计算机实现的各种操作。该介质还可以包括单独或者与程序指令结合的数据文件、 数据结构等。该介质和程序指令可以是为了实施本发明而专门设计和构建的，或者可以属于计算机软件领域技术人员已知并且可得的种类。对本领域技术人员来说显然可以在不背离本发明的实质和范围的情况下对本发明进行各种修改和变化。由此，本发明意在覆盖本发明的落入所附权利要求及其等同物的范围内的这些修改和变化。本申请要求2010年8月18日提交的韩国专利申请No. 10-2010-0079906的优先权，其完整内容在此通过引用并入，就如同在此完整阐述一样。
权利要求
1.一种共享增强现实AR服务的方法，该方法包括 显示从远程终端接收的图像；识别所述图像中包括的对象；使用在第一数据库中存储的第一 AR数据产生第一 AR结果信息，所述第一 AR数据对应于所述对象；以及显示所述第一 AR结果信息和所识别的对象。
2.根据权利要求1所述的方法，其中识别所述对象的步骤还包括分析图像数据并且根据所述图像数据标识所述对象。
3.根据权利要求1所述的方法，该方法还包括 接收对象识别信息，其中，识别所述对象的步骤还包括分析所接收的对象识别信息并且根据所述对象识别信息标识所述对象。
4.根据权利要求1所述的方法，该方法还包括 接收第二 AR结果信息；如果所述第二 AR结果信息不同于所述第一 AR结果信息，则将所接收的第二 AR结果信息添加到所述第一 AR结果信息以产生经补充的第一 AR结果信息；以及显示所述经补充的第一 AR结果信息。
5.根据权利要求4所述的方法，该方法还包括在所述第一数据库中存储所述经补充的第一 AR结果信息或者所述经补充的第一 AR结果信息的AR数据中的至少一个。
6.根据权利要求4所述的方法，该方法还包括 接收存储第二 AR数据的第二数据库的地址信息； 使用所接收的地址信息访问所述第二数据库；以及接收使用在所述第二数据库中存储的第二 AR数据产生的第三AR结果信息。
7.根据权利要求6所述的方法，该方法还包括在所述第一数据库中存储所述第三AR结果信息或者所述第三AR结果信息的第二 AR 数据中的至少一个；以及将所接收的第二数据库的地址信息添加到数据库列表。
8.根据权利要求1所述的方法，该方法还包括 请求关于所识别的对象的附加信息；接收所识别的对象的附加信息；以及使用所接收的附加信息补充所识别的对象的第一 AR结果信息。
9.根据权利要求8所述的方法，其中，所述附加信息包括所识别的对象的AR数据、对象识别信息、和存储所识别的对象的AR数据的数据库的地址信息中的至少一个。
10.一种共享增强现实AR服务的用户终端，该用户终端包括 显示单元，用于显示图像；对象识别单元，用于识别所述图像中包括的对象；以及AR数据管理单元，用于使用在第一数据库中存储的第一 AR数据产生第一 AR结果信息， 所述第一 AR数据对应于所述对象，其中，在所述显示单元上显示所产生的第一 AR结果信息和所识别的对象。
11.根据权利要求10所述的用户终端，其中，所述对象识别单元分析来自所述图像的图像数据并且根据所述图像数据标识所述对象。
12.根据权利要求10所述的用户终端，该用户终端还包括 通信单元，用于接收对象识别信息，其中，所述对象识别单元分析所述对象识别信息并且标识所述对象。
13.根据权利要求11所述的用户终端，该用户终端还包括 通信单元，用于接收第二 AR结果信息，其中，如果所述第二 AR结果信息不同于所述第一 AR结果信息，则所述AR数据管理单元将所述第二 AR结果信息添加到所述第一 AR结果信息以产生经补充的第一 AR结果信息， 并且所述显示单元显示所述经补充的第一 AR结果信息。
14.根据权利要求13所述的用户终端，该用户终端还包括数据库管理单元，用于在第一数据库中存储所述经补充的第一 AR结果信息或者所述经补充的第一 AR结果信息的第一 AR数据中的至少一个。
15.根据权利要求14所述的用户终端，其中，所述数据库管理单元还在所述第一数据库中存储第三AR结果信息，其中，所述通信单元接收存储第二 AR数据的第二数据库的地址信息，使用所述地址信息访问第二数据库，并且接收第三AR结果信息。
16.根据权利要求15所述的用户终端，其中，所述数据库管理单元将所述第二数据库的所接收的地址信息添加到数据库列表。
17.根据权利要求11所述的用户终端，该用户终端还包括通信单元，用于发送请求关于所识别的对象的附加信息的消息，和接收关于所识别的对象的附加信息，其中，所述AR数据管理单元使用所述附加信息来补充所述第一 AR结果信肩、ο
18.根据权利要求17所述的用户终端，其中，所述附加信息包括所识别的对象的AR数据、对象识别信息、和存储所识别的对象的AR数据的数据库的地址信息中的至少一个。
19.一种在远程终端和用户终端之间共享增强现实AR服务的方法，该方法包括 在远程终端中显示图像和图像的对象的AR结果信息；以及向所述用户终端发送所显示的图像和对象识别信息。
20.根据权利要求19所述的方法，该方法还包括 使用所述对象的AR数据产生AR结果信息； 发送所产生的AR结果信息；以及发送存储所述AR数据的数据库的地址信息。
21.一种与用户终端共享增强现实AR服务的远程终端，该远程终端包括 显示单元，用于显示图像和所述图像中的对象的AR结果信息；以及通信单元，用于发送所显示的图像和对象识别信息。
22.根据权利要求21所述的远程终端，该远程终端还包括AR数据管理单元，用于使用所述对象的AR数据产生AR结果信息，其中，所述通信单元发送所产生的AR结果信息和存储所述AR数据的数据库的地址信息。
23.一种用于共享增强现实服务的系统，该系统包括用户终端；以及远程终端，其中，所述远程终端获得图像，并且向所述用户终端发送所述图像，并且其中，所述用户终端从所述远程终端接收所述图像，分析所述图像以确定对象，产生针对所述对象的第一增强现实结果信息，并且在显示单元上显示所述第一增强现实结果信息和所述图像。
24.根据权利要求23所述的系统，其中，所述远程终端还产生第二增强现实结果信息， 并且其中所述用户终端还接收所述第二增强现实结果信息，确定所述第一增强现实结果信息和所述第二增强现实结果信息是否相同，如果所述第一增强现实结果信息和所述第二增强现实结果信息不相同，则使用所述第二增强现实结果信息补充所述第一增强现实结果信息，以产生经补充的第一增强现实结果信息，并且显示所述经补充的第一增强现实结果信肩、ο
全文摘要
提供了一种用户终端、远程终端和用于共享增强现实(AR)服务的方法。通过用户终端共享AR服务的方法包括显示从远程终端接收的图像；识别所显示的图像中包括的对象；使用在第一数据库中存储的对象的第一AR数据产生第一AR结果信息；以及显示所产生的第一AR结果信息和所识别的对象。
文档编号G06F17/30GK102436461SQ20111022132
公开日2012年5月2日 申请日期2011年8月3日 优先权日2010年8月18日
发明者严泰勋, 全炯俊, 姜文基, 崔凤元, 崔宰荣, 李尚昱, 李龙年 申请人:株式会社泛泰