信息处理装置、信息处理方法和程序与流程

本公开涉及信息处理装置、信息处理方法和程序。更具体地，本公开涉及信息处理装置、信息处理方法和程序，通过该信息处理装置、信息处理方法和程序，基于信息装置的位置和方向，在显示单元(显示器)上显示关于存在于信息处理装置附近的真实对象的信息。

背景技术：

近来，智能电话、平板终端或诸如眼镜型显示器等可穿戴终端已经变得普遍并且这些终端被大量用户利用。

这些终端中的大多数不仅包括通信功能，而且包括通过其在显示单元上显示拍摄图像的相机功能。此外，显示单元不仅能够显示拍摄图像，而且能够显示经由网络接收的各种信息，例如诸如经由网络访问的网页。

此外，存在能够从网站获取与位置信息相关联的信息并且根据被设置为关于相机拍摄图像的属性信息的地球静止地球轨道(Geo)信息和通过移动终端的全球定位系统(GPS)功能获取的位置信息来显示此信息。

另外，专利文献1(未经审查的日本专利申请2011-028763号)公开了(例如)与拍摄图像相关的此类信息在拍摄图像上叠加和显示的配置。

引用文献列表

专利文献

专利文献1：未经审查的日本专利申请2011-028763号

技术实现要素：

本发明要解决的问题

存在许多用于如下配置的常规技术，该配置允许基于诸如GPS和Geo信息的位置信息在终端上叠加和显示与拍摄对象相关的信息。

通过使用其中关于各种设施的注册信息与设施的位置精确关联的数据，以检测拍摄和显示对象的用户终端的位置和倾斜度，并且执行控制以与在显示单元上的对象的移动同步地移动相关信息，根据设施的位置叠加和显示注册信息是可能的。

然而，实际上，GPS位置信息的精度为10米到100米，并且难以根据用户终端的位置和倾斜度正确地显示关于拍摄对象的相关信息。当在显示单元上显示实时拍摄图像，然后尝试在拍摄图像上显示各种注册信息时，所显示的图像根据用户终端的移动和倾斜度而移动。尽管存在通过使用陀螺仪、加速度传感器等来补充GPS位置信息的技术，但是难以通过它们中的任一者来定位正确的位置。结果，在真实对象彼此非常接近的情况下，可能无法正确地确定拍摄图像中的哪些设施对应于所显示的信息。

例如，当通过移动终端的相机拍摄在10米内彼此接近的餐馆和公共休息室，并且在显示单元上显示拍摄图像时，通过使用所公开的常规技术，显示指示餐馆和休息室在什么位置与包含在拍摄图像中的餐馆和休息室精确关联的信息是困难的。

同时，通过诸如室内消息系统(IMES)的室内定位技术，可以以几厘米的高精度确定对象的位置。然而，需要引入用于定位的基础设施设备，这可能引起操作成本的问题。另外，诸如智能手机和平板终端的用户终端需要支持新的定位技术。

本公开是鉴于上述问题而做出的，例如，允许在诸如智能电话的用户终端上显示关于所注册的真实世界点(兴趣点(POI))的精确关联于用户终端和点位置之间的位置关系的信息。本公开的目的是提供信息处理装置、信息处理方法和程序，通过该信息处理装置、信息处理方法和程序，即使当用户终端与用户等的移动同步地改变位置和倾斜度时，点的显示可以根据用户可以被精确地跟踪和显示的移动和关于兴趣点的信息来更新。

问题的解决方案

本公开的第一方面为信息处理装置，包括：成像单元；显示单元，显示由成像单元拍摄的图像；以及数据处理单元，在显示单元上显示虚拟对象，虚拟对象表示包含在所拍摄的图像中的真实世界注册信息设置点，其中数据处理单元输入虚拟对象显示控制数据，虚拟对象显示控制数据记录锚点作为在真实世界中拍摄的真实对象的参考图像、关于锚点在虚拟三维空间坐标系中的位置信息以及关于注册信息设置点在虚拟三维空间坐标系中的位置信息，以及数据处理单元从成像单元拍摄的图像中检测锚点、从所检测到的锚点在虚拟三维空间坐标中的位置和方向确定成像单元在虚拟三维空间中的位置、计算注册信息设置点在显示单元坐标系中的位置并基于所计算的位置显示表示注册信息设置点的虚拟对象，其中，所述显示单元坐标系作为显示单元的坐标系。

此外，本公开的第二方面为信息提供服务器，包括：存储单元，存储包括在信标发送器附近的真实对象信息的虚拟对象显示控制数据；以及通信单元，根据来自信息处理装置的获取控制信息请求传送虚拟对象显示控制数据，其中虚拟对象显示控制数据为以下信息：该信息记录拍摄的在所述信标发送器附近的真实对象的参考图像和关于包含在参考图像中的真实对象和真实对象附近的注册信息设置点在虚拟三维空间中的位置信息。

此外，本公开的第三方面为搜索服务器，包括：通信单元，从信息处理装置接收由信息处理装置接收到的信标的传送信号；以及数据处理单元，基于所传送的信标执行用于向信息处理装置发送用于获取虚拟对象显示控制数据的接入信息的过程，虚拟对象显示控制数据记录包括在信标的发送器附近的真实对象的参考图像以及关于真实对象和注册信息设置点在虚拟三维空间坐标中的位置信息。

另外，本公开的第四方面为由信息处理装置执行的信息处理方法，其中，该信息处理装置包括成像单元、显示由成像单元拍摄的图像的显示单元、以及数据处理单元，数据处理单元在显示单元上显示虚拟对象，虚拟对象表示包含在所拍摄的图像中的真实世界注册信息设置点，数据处理单元输入虚拟对象显示控制数据，虚拟对象显示控制数据记录锚点作为在真实世界中拍摄的真实对象的参考图像、关于锚点在虚拟三维空间坐标系中的位置信息以及关于注册信息设置点在虚拟三维空间坐标系中的位置信息，以及数据处理单元从成像单元拍摄的图像中检测锚点、从所检测到的锚点在虚拟三维空间坐标中的位置和方向确定成像单元在虚拟三维空间中的位置、计算注册信息设置点在显示单元坐标系中的位置并基于所计算的位置显示表示注册信息设置点的虚拟对象，其中，显示单元坐标系作为显示单元的坐标系。

本公开的第五方面为用于促使信息处理装置执行信息处理的程序，其中，该信息处理装置包括成像单元、显示由成像单元拍摄的图像的显示单元、以及数据处理单元，数据处理单元在显示单元上显示虚拟对象，虚拟对象表示包含在所拍摄的图像中的真实世界注册信息设置点，以及程序使数据处理单元：输入虚拟对象显示控制数据，虚拟对象显示控制数据记录锚点作为在真实世界中拍摄的真实对象的参考图像、关于锚点在虚拟三维空间坐标系中的位置信息以及关于注册信息设置点在虚拟三维空间坐标系中的位置信息，以及从成像单元拍摄的图像中检测锚点、从所检测到的锚点在虚拟三维空间坐标中的位置和方向确定成像单元在虚拟三维空间中的位置、计算注册信息设置点在显示单元坐标系中的位置并基于所计算的位置显示表示注册信息设置点的虚拟对象，其中，显示单元坐标系作为显示单元的坐标系。

顺便提及，本公开的程序为可以由计算机可读形式的存储介质或通信介质提供给例如能够执行各种程序代码的信息处理装置或计算机系统的程序。通过以计算机可读形式提供程序，根据该程序的过程在信息处理装置或计算机系统上实现。

本公开的其它目的、特征和优点将通过参考稍后描述的本公开的示例和附图的更详细的解释来阐明。顺便提及，本文所述的系统为多个装置的逻辑组合，但是作为组成元件的装置可不被包含在同一外壳中。

本发明的效果

根据本公开的示例的配置，可以实现一种装置和方法，通过该装置和方法将注册信息设置点(POI)转换至坐标系，其中，在原点的信息处理装置的位置与真实三维空间中的真实对象的位置精确关联，并且根据信息处理装置的位置和方向在显示单元上显示注册信息。

具体地，记录作为通过拍摄真实对象获得的参考图像的锚点以及该锚点和注册信息设置点在虚拟三维空间坐标中的位置信息(位置、方向等)的显示控制数据被输入，从拍摄图像检测该锚点、确定信息装置在虚拟三维空间中的位置、在终端坐标系中的三维位置和显示装置在二维坐标系中的显示位置根据所确定的三维位置和被记录在显示控制数据中的注册信息设置点的位置信息来计算以及点位置被显示。

根据该配置，可以实现一种装置和方法，通过该装置和方法将注册信息设置点(POI)转换至坐标系，其中，信息处理装置的位置在原点与真实三维空间中的真实对象的位置精确关联，并且根据信息处理装置的位置和方向在显示单元上显示注册信息。

顺便提及，本文所述的有益效果不是限制性的而仅是示例，并且本公开可具有另外的有益效果。

附图说明

图1为描述包括执行本公开的过程的信息处理装置(用户终端)的系统的配置示例的示意图。

图2的(a)和(b)为描述在信息处理装置(用户终端)的显示单元上的显示图像示例的示意图。

图3的(a)和3(b)为描述在信息处理装置(用户终端)的显示单元上的显示图像示例的示意图。

图4的(a)和(b)为描述在信息处理装置(用户终端)的显示单元上的显示图像示例的示意图。

图5为描述在包括执行本公开的过程的信息处理装置(用户终端)的系统的构成元件之间的过程序列的示意图。

图6为描述被保持在搜索服务器中的数据的配置示例的示意图。

图7为描述由信息提供服务器所提供的HTML数据的示例的示意图。

图8的(a)和(b)为描述参考真实对象和注册信息设置点的示意图。

图9为描述由信息提供服务器所提供的显示控制程序(JavaScript(注册商标))的示例的示意图。

图10为用于获取虚拟对象显示控制数据和显示虚拟对象的过程序列的流程图。

图11为用于获取虚拟对象显示控制数据和显示虚拟对象的过程序列的流程图。

图12为用于设置定位处理对象的过程序列的流程图。

图13为基于虚拟对象显示事件的检测显示虚拟对象的过程序列的流程图。

图14为用于检测虚拟对象显示更新事件并进行通知的过程序列的流程图。

图15为用于检测虚拟对象显示更新事件并进行通知的过程序列的流程图。

图16为示出虚拟对象的特定显示示例的示意图。

图17为示出虚拟对象的特定显示示例的示意图。

图18为示出信息处理装置的配置示例的示意图。

图19为示出信息处理装置的配置示例的示意图。

图20为示出服务器的配置示例的示意图。

具体实施方式

下面将参照附图详细描述本公开的信息处理装置、信息处理方法和程序。顺便提及，将按照以下顺序给出描述：

1.关于本公开的信息处理装置和包括该信息处理装置的系统的配置示例

2.关于通信过程和图像显示过程的细节

3.关于用于判定注册信息设置点(POI)位置识别标记的显示位置的过程

4.关于由信息处理装置执行的过程序列

4-1.用于获取虚拟对象显示控制数据并显示虚拟对象的过程

4-2.用于设置定位处理对象的过程

4-3.基于对虚拟对象显示事件的检测来显示虚拟对象的过程

4-4.用于三维位置确定的过程

5.关于作为用于启动显示虚拟对象或更新显示的触发的事件

6.关于信息处理装置和服务器的配置示例

7.本公开的配置的概述

【1.关于本公开的信息处理装置和包括该信息处理装置的系统的配置示例】

首先，将参考图1来描述本公开的信息处理装置和包括该信息处理装置的系统的配置示例。

图1为示出包括本公开的信息处理装置的通信系统的配置示例的示意图。

信息处理装置(用户终端)10为能够由用户携带的通信终端，诸如智能电话或眼镜型终端。

信息处理装置(用户终端)10包括通信单元、相机(成像单元)和显示单元，并且具有在显示单元上显示相机拍摄图像并且在显示单元上的拍摄图像上叠加和显示经由通信单元接收到的信息的功能。

信息处理装置10在显示单元上显示相机拍摄的图像。在显示单元上的显示图像为由相机当前拍摄的实时拍摄图像。顺便提及，本公开的过程适用于先前拍摄并存储在存储器中的图像被读取并在显示单元上显示的情况。然而，在下面描述的示例中，当前拍摄的图像在显示单元上显示。顺便提及，拍摄图像可以记录在或可以不记录在诸如介质的存储单元中。

信息处理装置10的相机(成像单元)和显示单元可由不同的装置实现，并且被配置为通过通信一体地操作。

经由通信一体地操作的配置可以被实现为使得由附接到用户头部的相机(成像单元)拍摄的运动图像以及位置和方向信息经由例如Wi-Fi被传送至智能电话(显示单元)。

本公开的过程也可适用于信息处理装置10为一个物理装置的情况和信息处理装置10由多个装置经由通信形成的情况。

当在显示单元上显示拍摄图像时，信息处理装置10接收从信标发送器20输出的信标，信标发送器20由例如无线LAN或蓝牙中的接入点(AP)组成。

信标为存储信标发送器20的标识符(ID)的包。

信息处理装置10经由诸如因特网的网络30将从信标发送器20接收到的信标传送至搜索服务器40。

在接收到从信息处理装置10传送的信标时，搜索服务器40基于标识符获取与被包含在所接收的信标中的信标发送器标识符(ID)相对应注册的接入信息(URL)，并且将该接入信息发送至信息处理装置10。

接入信息(URL)为用于获取关于信标发送器20附近的信息注册点的位置信息以及包括注册信息等的数据的接入信息。

顺便提及，在网页上提供的地图数据中，例如，注册信息设置点(兴趣点(POI))被设置为估计吸引来自许多人的兴趣的点，诸如旅游景点和地标。接入信息(URL)为用于获取包括关于注册信息设置点(POI)的位置信息、注册信息等的显示控制数据的接入信息。

信息处理装置10使用接入信息(URL)从信息提供服务器50获取显示控制数据，并且在显示单元上的拍摄图像上叠加和显示与被包含在所获取的显示控制数据中的注册信息设置点(POI)相对应的注册信息等。

也就是说，信息处理装置10在由相机(成像单元)拍摄并在显示单元上显示的真实对象上叠加和显示从信息提供服务器50获取的关于POI的位置信息和作为虚拟对象的注册信息。

信息提供服务器50提供POI显示控制数据，诸如关于在区域中的各种位置的各种设施的位置信息以及关于该设施的指南信息。信息提供服务器50包括注册信息在其中被注册的数据库，并且基于数据库信息生成显示控制数据。信息提供服务器50根据包含在来自信息终端10的请求中的URL，返回相关的显示控制数据。

信息处理装置10使用由搜索服务器40所选的接入信息(URL)，从信息提供服务器50获取POI显示控制数据。

信息处理装置10使用POI显示控制数据将POI位置和关于在信标发送器20的安装场所附近的各种设施的注册信息叠加并显示在显示单元上显示的相机拍摄图像上。

将参考图2的(a)和(b)来描述具体的过程示例。

图2的(a)和图2的(b)示出信息处理装置(用户终端)10在显示单元上显示相机拍摄图像的示例。

顺便提及，在下面的描述中，智能电话作为信息处理装置(用户终端)10的示例。然而，下面描述的示例也可以在除智能电话之外的各种用户终端上执行，诸如平板终端、PC、眼镜型终端等。

图2的(a)示出在旅游点包括城堡的真实世界中的风景。携带信息处理装置(用户终端)10的用户访问旅游点的城堡，并且看到图2的(a)所示的风景。

用户使用信息处理装置(用户终端)10的相机功能拍摄(a)真实世界图像并在显示单元上显示所拍摄图像。

显示在显示单元上的拍摄图像是图2的(b)所示的显示图像。

例如，在该状态下，执行上面参照图1所述的一系列过程。也就是说，执行以下步骤(S01至S04)：

(S01)信息处理装置10向搜索服务器40传送从信标发送器20(诸如图2的(a)所示的真实世界中的近接入点(AP))接收到的信标的标识信息(ID)。

(S02)搜索服务器40基于该标识信息向信息处理装置10发送用于获取包括关于信标发送器20的邻域的注册信息的数据的接入信息(URL)。

(S03)信息处理装置10使用从搜索服务器40接收到的接入信息(URL)，从信息提供服务器50获取显示控制数据，诸如关于信标发送器20附近的设施的位置信息和注册信息。

(S04)信息处理装置10使用显示控制数据，诸如关于从信息提供服务器50获取的信标发射器20附近的设施的位置信息和注册信息，以在显示单元上显示的拍摄图像上叠加和显示表示设施的位置和的注册信息的标记作为虚拟对象。

执行上述的一系列步骤。

作为执行上述一系列步骤的结果，图3的(a)、图3的(b)、图4的(a)和图4的(b)示出在信息处理装置10的显示单元上显示的显示图像的示例。

图3的(a)示出在如上所述的图2的(a)的情况下的真实世界中的风景，以及图3的(b)示出在执行上述的一系列步骤(S01至S04)之后在信息处理装置10的显示单元上显示的显示图像。

在步骤S03，从信息提供服务器50获取的数据，即显示控制数据，诸如关于在信标发送器20附近的设施的位置信息和注册信息包括关于在图3的(a)中示出的真实世界中的下列两个点的信息：

(1)关于注册信息设置点A(POI-A)101的位置信息和注册信息

(2)关于注册信息设置点B(POI-B)102的位置信息和注册信息。

图3的(b)所示的显示图像为选择(1)显示有关于注册信息设置点A(POI-A)101的位置信息和注册信息的显示图像。

图3的(b)所示的显示图像为在从信息提供服务器50获取的显示控制数据中描述的虚拟对象被叠加并显示在作为拍摄图像的真实对象上的图像。

所显示的虚拟对象为以下数据：

(1)点A(POI-A)位置标识标记111

(2)点A(POI-A)对应注册信息112

这些数据被显示为虚拟对象。

如上所述，图3的(b)所示的显示图像为基于从信息提供服务器50获取的显示控制数据生成的虚拟对象被叠加并显示在作为拍摄图像的真实对象上的图像，即，增强现实(AR)图像。

点A为票务中心。作为虚拟对象的点A(POI-A)位置标识标记111被叠加并显示在作为真实对象的拍摄图像中的票务中心的位置中。

点A(POI-A)位置标识标记111的显示位置需要被设置在作为真实对象的拍摄图像中的票务中心上。该显示位置由信息处理装置10使用从信息提供服务器获取的数据来判定。顺便提及，在信息处理装置10上显示的图像为根据用户的运动而变化的实时相机拍摄图像。点A(POI-A)位置标识标记111的显示位置也需要根据所显示的拍摄图像(真实对象)的运动来更新。显示位置控制也由信息处理装置10执行。

在由信息处理装置10执行的显示控制下，作为虚拟对象的点A(POI-A)位置标识标记111的显示位置被正确地放置在作为真实对象的拍摄图像中的票务中心上。

后面将描述显示控制的具体步骤。

此外，作为另一虚拟对象的点A(POI-A)对应注册信息112也被叠加和显示在作为真实对象的拍摄图像上。

点A(POI-A)对应注册信息112包括关于对应于注册信息设置点A的票务中心的各种信息。如附图所示，关于在票务中心的开放时间和费用等的信息被显示。信息被记录在信息提供服务器50的数据库中，并且被包含在根据由搜索服务器40所提供的URL所获取的或显示控制数据中或基于该显示控制数据来获取。

图4的(a)和图4的(b)为示出使用关于另一点B的信息的显示图像示例的示意图，即：

(2)关于注册信息设置点B(POI-B)102的位置信息和注册信息。

图4的(a)示出在真实世界中的风景，以及图4的(b)示出在执行上述的一系列步骤(S01至S04)之后在信息处理装置10的显示单元上显示的显示图像。

图4的(b)所示的显示图像为作为从信息提供服务器50获取的显示数据的虚拟对象被叠加并显示在作为拍摄图像的真实对象上的图像。

所显示的虚拟对象为如下数据：

(1)点B(POI-B)位置标识标记121

(2)点B(POI-B)对应注册信息122

这些数据被显示为虚拟对象。

如上所述，图4的(b)所示的显示图像为基于从信息提供服务器50获取的数据生成的虚拟对象被叠加并显示在作为拍摄图像的真实对象上的图像，即，增强现实(AR)图像。

点B表示城堡的入口，以及点B(POI-B)位置标识标记121作为虚拟对象被叠加并显示在作为真实对象的拍摄图像的入口位置上。

点B(POI-B)位置标识标记121的显示位置需要被设置在作为真实对象的拍摄图像中的城堡入口上。该显示位置由信息处理装置10使用从信息提供服务器获取的数据来判定和控制。具体地，信息处理装置10根据在显示单元上显示的拍摄图像(真实对象)的运动来更新点B(POI-B)位置标识标记121的显示位置。

在由信息处理装置10执行的显示控制下，作为虚拟对象的点B(POI-B)位置标识标记121的显示位置总是被设置在作为真实对象的拍摄图像中的入口上。

后面将描述显示控制的具体步骤。

此外，作为另一虚拟对象的点B(POI-B)对应注册信息122也被叠加和显示在作为真实对象的拍摄图像上。

点B(POI-B)对应注册信息122包括关于对应于注册信息设置点B的城堡入口的各种信息。如附图所示，诸如入口的开放时间的信息、租借引导终端的信息、休息室位置信息等被显示。该信息被记录在信息提供服务器50的数据库中，并且根据由搜索服务器40所提供的URL来获取。

【2.关于通信过程和图像显示过程的细节】

图5为描述在图1中示出的装置之间执行的通信序列和由信息处理装置(用户终端)10执行的增强现实图像(真实对象和虚拟对象的叠加图像)的显示过程序列的序列图。

图5从左侧示出信标发送器20、信息处理装置(用户终端)10、搜索服务器40和信息提供服务器50。

下面将依次描述该过程步骤。

(步骤S101)

首先，在步骤S101，信标发送器20输出信标以及信息处理装置10接收该信标。如上所述，信标为存储信标发送器20的标识符(ID)等的数据包。

(步骤S102)

信息处理装置10将从信标发送器20接收到的信标传送至搜索服务器40。

(步骤S103)

搜索服务器40接收从信息处理装置10所传送的信标，并基于包含在该信标中的信标发送器20的标识符(ID)搜索数据库以提取用于获取包括关于信标发送器20的邻域的注册信息的数据的接入信息(URL)。

图6示出被存储在搜索服务器40的数据库中的数据的示例。搜索服务器40在数据库(存储单元)中存储例如在图6中描述的数据。

如图6所示的数据由下面两种数据的对应列表组成：

信标发送器标识符(ID)；以及

用于获取信标发送器邻域设施信息的URL。

搜索服务器40接收从信息处理装置10所传送的信标，并例如基于包含在该信标中的信标发送器20的标识符(ID)，搜索如图6所述的数据配置的列表。

通过该列表搜索，搜索服务器40获取与包含在从信息处理装置10所传送的信标中的信标发送器20的标识符(ID)相关联的接入信息(URL)。

接入信息(URL)为用于获取包括关于信标发送器20的邻域的注册信息的数据的接入信息(URL)。

(步骤S104)

接下来，在步骤S104，搜索服务器40向信息处理装置10发送通过在步骤S103的搜索获取的接入信息(URL)。

(步骤S105)

信息处理装置10使用从搜索服务器40接收到的接入信息(URL)以从信息提供服务器50获取包括关于信标发送器20附近的设施的位置信息和注册信息的数据(虚拟对象显示控制数据)。

从信息提供服务器50向信息处理装置10所传送的数据包括被叠加和显示在作为在信息处理装置10的显示单元上显示的真实对象的相机拍摄图像上的虚拟对象的真实状态数据和用于真实状态数据的显示控制信息。该数据在下文中将被称为虚拟对象显示控制数据。

具体地，虚拟对象显示控制数据由下面的数据等组成：

(1)超文本标记语言(HTML)

(2)级联样式表(CSS)

(3)JavaScript(注册商标)。

HTML为表示在信息处理装置10的显示单元上显示的虚拟对象的基本结构的数据。虽然存在各种HTML数据，但是例如HTML 5是可用的。

CSS为定义由HTML定义的虚拟对象配置数据的显示格式、颜色、形状和其它的样式表，其为定义在信息处理装置10的显示单元上显示的虚拟对象的样式的数据。

JavaScript(注册商标)为定义用于显示虚拟对象的过程、用于更新显示的过程或用于移动并更新虚拟对象的过程的显示控制程序。例如，它为用于执行显示控制，诸如根据用户在显示对象上触摸和点击的此类事件或根据各种背景(情形)诸如在触发后逝去预定时间段的事件对所显示的信息采取各种行为，包括改变虚拟对象的显示模式的显示控制程序。

如上所述，信息提供服务器50向信息处理装置10提供具有以下数据的虚拟对象显示控制数据：

(1)超文本标记语言(HTML)

(2)级联样式表(CSS)

(3)JavaScript(注册商标)

虚拟对象显示控制数据为由一个URL获取的数据，以及HTML根据由搜索服务器40基于包含在信标发送器20的信标中的信标发送器标识符(ID)所选的接入信息(URL)来获取。此外，由HTML参考的CSS和JavaSciript是可获取的。

也就是说，具有作为组件的HTML、CSS和JavaScript(注册商标)的虚拟对象显示控制数据包括关于在真实世界三维空间中的一个特定信标发送器20附近的各种设施的位置信息和指南信息，并且被用于显示虚拟对象，诸如上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述的点(POI)位置标识标记和点对应注册信息并执行显示控制。

该数据的细节将在后面描述。

(步骤S106)

信息处理装置10基于在步骤S106的URL和相机拍摄图像，使用关于被记录在从信息提供服务器50获取的数据中的注册信息设置点的位置信息(虚拟对象显示控制数据)来计算在显示屏上的点位置标识标记的显示位置。

也就是说，如上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述，信息处理装置10根据诸如作为在作为真实对象的拍摄图像中的注册信息设置点的票务中心、入口等的真实对象，执行显示位置判定过程以显示作为虚拟对象的点位置标识标记。

在显示位置判定过程中，作为预拍摄参考图像的锚点和虚拟三维空间中的注册信息设置点的位置信息被记录在从信息提供服务器50获取的数据(虚拟对象显示控制数据)中并且相机拍摄图像被使用。

后面将描述显示位置判定过程的具体步骤。

(步骤S107)

最终，在步骤S107，信息处理装置10在步骤S106所计算的显示位置中显示点位置标识标记，并且另外显示设施点对应注册信息。

显示结果例如为上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述的显示图像。

顺便提及，在上述过程示例中，搜索服务器40基于从信息处理装置10传送的信标来提供用于获取关于信标装置20的邻域的信息的接入信息(URL)。可替换地，搜索服务器40可被配置为使用除信标之外的数据。

例如，可以将作为由信息处理装置10拍摄的图像的缩小版本的缩略图和图像特征量数据发送到搜索服务器40，使得搜索服务器40可以确定与该缩略图和图像特征量数据相对应的位置并提供用于获取关于所确定的位置的邻域的信息的显示控制数据的接入信息(URL)。

在此情况下，搜索服务器40被配置为在存储单元中存储各个位置的拍摄图像和接入信息的对应列表。另外，拍摄图像不限于位置的图像，而是可以包括书或海报的图像。基于从信息处理装置10接收到的数据，搜索服务器40选择包括匹配于存储单元中的对应列表中的数据的图像的拍摄图像，并且向信息处理装置10提供对应于该图像设置的用于POI显示控制数据的接入信息(URL)。

可替换地，信息处理装置10可读出被记录在各个位置的设施中的标记或QR码(注册商标)，并将所读出的数据发送至搜索服务器40，使得搜索服务器40可以基于所接收到的数据搜索数据库并提供用于获取关于所接收到的标记或QR码(注册商标)被记录的位置的邻域的信息的接入信息(URL)。

在此情况下，搜索服务器40将被记录在各个位置的标记或QR码(注册商标)的对应列表和接入信息存储在存储单元中、基于从信息处理装置10接收到的标记或QR码(注册商标)执行数据搜索并且向信息处理装置10提供所记录的对应于标记或QR码(注册商标)的接入信息(URL)。【3.关于用于判定注册信息设置点(POI)位置识别标记的显示位置的过程】

接下来，将描述用于判定注册信息设置点(POI)位置识别标记的显示位置的过程。

如上面参考图5的序列图所述，信息处理装置10基于由搜索服务器所提供的接入信息(URL)从信息提供服务器50获取虚拟对象显示控制数据。此外，信息处理装置10使用虚拟对象显示控制数据和相机拍摄图像来计算点位置标识标记在显示屏幕上的显示位置。

下面将描述用于判定由信息处理装置10执行的点位置标识标记的显示位置的过程。

图7为示出根据由搜索服务器所提供的接入信息(URL)被包含在从信息提供服务器50获取的数据(虚拟对象显示控制数据)中的HTML数据的一部分的示意图。

图7中描述的HTML数据包括信息处理装置10用来执行用于判定点位置标识标记的显示位置的过程的数据。

图7中描述的数据为用于判定上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所描述的后续点位置标识标记的显示位置的HTML数据的示例：

点A(POI-A)位置标识标记111

点B(POI-B)位置标识标记121

图7中描述的HTML数据记录预拍摄参考图像和被包含在参考图像中的关于真实对象和注册信息设置点的相对位置的信息。

如图7所示，图7的HTML数据记录以下数据：

(1)第一参考真实对象信息

(2)第二参考真实对象信息

(3)点A对应信息

(4)点B对应信息

参考真实对象信息(1)和(2)将参考图8的(a)和图8的(b)来描述。

参考真实对象为存在于真实世界中并且位于注册信息设置点附近的真实对象。参考真实对象构成用于计算注册信息设置点的位置的参考位置，并且被称为锚点或锚点对象。参考对象的拍摄图像被称为锚点图像。锚点图像仅被用作用于计算位置的参考，并且可以不必与POI相关联。然而，锚点图像可包括POI。为了提高参考位置的检测精度，期望使用真实空间中的特征对象的图像。另外，可以通过使用在真实空间中在各种位置和以各种角度拍摄的多个锚点图像来进一步提高参考位置的检测精度。这使得即使当用户终端移动或旋转时也能够进行位置检测。

将参考图8的(a)和图8的(b)来描述参考真实对象的示例。

图8的(a)和图8的(b)示出城堡的真实对象和存在于真实世界中的其它对象。

图中所示的坐标轴(XYZ)为在定义在三维位置中的真实世界中的真实对象之间的位置关系的虚拟三维空间坐标中的坐标轴。它们不是像GPS那样的绝对位置坐标，而是可以任意设置在虚拟三维空间坐标中的原点的位置的局部坐标。

如图8的(a)和图8的(b)所示，第一参考真实对象201为由包括城堡的上部的区域组成的真实对象。

另外，第二参考真实对象202为由包括城堡的入口的区域组成的真实对象。

这些参考真实对象被用于确定真实世界中的参考真实对象是否对应于虚拟三维空间坐标中的位置，并且被用户终端用来确定虚拟三维空间坐标并判定虚拟三维空间坐标中的点位置标识标记的显示位置。

关于参考真实对象的信息被预先注册在由信息提供服务器50所提供的HTML数据中。具体地，参考真实对象信息包括以下信息：

(1)参考图像＝参考真实对象的拍摄图像(锚点图像)(锚点.png)

(2)被包含在参考图像中的参考真实对象的位置信息(位置：表示参考真实对象在三维真实空间中的位置的三维坐标数据(X,Y,Z))

(3)被包含在参考图像中的参考真实对象的方向信息(旋转：表示参考真实对象的姿势的信息)。该方向一般可以用欧拉角表示。在该示例中，方向由在3D图形中频繁使用的四元数(x,y,z:w)数据表示。

(4)关于参考图像的面积(尺寸)信息(尺寸：横向长度和纵向长度)。

(5)在虚拟三维空间中的坐标单位和在真实空间中的3D坐标单位(单位：米或千米)之间的参考图像的转换。

(1)参考图像＝参考真实对象的拍摄图像(锚点.png)为例如图8的(b)所示的图像201p和202p。

(2)在被包含在参考图像中的参考真实对象的位置信息中所使用的坐标(表示在三维真实空间中的参考真实对象的位置的三维坐标数据(X,Y,Z))为例如世界坐标系中的坐标。表示参考真实对象的位置的坐标和表示点对应信息的位置的坐标在相同的坐标空间中。

(3)至于被包含在参考图像中的参考真实对象的方向信息，关于参考真实对象的方向信息和点对应信息为关于相同参考点的方向信息。

在图7中描述的HTML数据中，关于第一参考真实对象201的参考真实对象信息(第一锚点信息)包括以下数据：

<span typeof＝‘anchor’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘152,44,37’/>

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

<span property＝‘dimension’content＝‘13,7’/>

<span property＝‘src’content＝‘anchor1.png’/>

</span>

上述数据的含义如下：

<span property＝‘unit’content＝‘1m’/>

该数据指示数据单位和后续图的单位为一米：

<span property＝‘position’content＝‘152,44,37’/>

这是(2)被包含在上述参考图像中的参考真实对象的位置信息(表示参考真实对象在三维真实空间中的位置的三维坐标数据(X,Y,Z))。

该数据指示(X,Y,Z)＝(152,44,37)。它等同于例如参考真实对象的中心位置的坐标。

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

这是(3)被包含在上述参考图像中的关于参考真实对象的方向信息四元数(x,y,z:w)。该数据指示(x,y,z:w)＝(63,44,99,3.3)。

<span property＝‘dimension’content＝‘13,7’/>

这是(4)上述的参考图像的面积(尺寸)信息(横向长度和纵向长度)。

具体地，该数据指示第一参考图像为对应于13m宽和7m长的真实世界面积的图像。

<span property＝‘src’content＝‘anchor1.png’/>

这是(1)参考图像＝参考真实对象的拍摄锚点图像(锚点1.png)。

例如，这是例如在图8的(b)中示出的图像201p。

图7中描述的HTML数据还记录作为关于第二参考真实对象202的参考真实对象信息(第二锚点信息)的以下数据：

<span typeof＝‘anchor’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘173,43,44’/>

<span property＝‘rotation’content＝‘70,88,34,4.3’/>

<span property＝‘dimension’content＝‘13,7’/>

<span property＝‘src’content＝‘anchor2.png’/>

</span>

上述数据的含义类似于关于第一参考真实对象201的参考真实对象信息(第一锚点信息)的含义。

顺便提及，在图7的示例中，存在两个单位的参考真实对象信息(锚点信息)。然而，这是示例，并且可以在HTML数据中记录任意数量的参考真实对象信息(锚点信息)的单位。

此外，图7中描述的HTML数据还记录关于注册信息设置点，即图8的(a)和图8的(b)中所示的以下注册信息设置点的信息：

(a)注册信息设置点A(POI-A)211

(b)注册信息设置点B(POI-B)212。

具体地，注册以下点对应信息：

(1)与注册信息设置点相关联的注册信息

(2)关于注册信息设置点的位置信息(表示三维真实空间中的注册信息设置点的位置的三维坐标数据(X,Y,Z))

(3)关于注册信息设置点的方向信息(指示来自特定参考点，例如已经拍摄了参考图像的相机的注册信息设置点的方向的信息)

(1)与注册信息设置点相关联的注册信息为诸如上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述的点对应注册信息112和122的信息)。

例如，在如图7所示的HTML数据中，关于注册信息设置点A(POI-A)211的点对应信息包括以下数据：

<div typeof＝‘poi’resource＝‘#poi-a’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘163,43,32’/>

<span property＝‘rotation’content＝‘34,73,45,4.43’/>

<！–html elements of poi-a--->

</div>

上述数据的含义如下：

<span property＝‘unit’content＝‘1m’/>

该数据指示数据单位和后续图的单位为一米：

<span property＝‘position’content＝‘163,43,32’/>

这是(2)关于注册信息设置点的位置信息(表示三维真实空间中的注册信息设置点的位置的三维坐标数据(X,Y,Z))。

该数据指示(X,Y,Z)＝(163,43,32)。它等同于注册信息设置点在三维真实空间中的位置坐标。

顺便提及，如上所述，用在这里的坐标为例如在世界坐标系中的坐标。表示参考真实对象的位置的坐标和表示点对应信息的位置的坐标在相同的坐标空间中。

<span property＝‘rotation’content＝‘34,73,45,4.43’/>

这是(3)关于上述的注册信息设置点的方向信息四元数(x,y,z:w)。该数据指示(x,y,z:w)＝(34,73,45,4.43)。

顺便提及，如上所述，关于参考真实对象的方向信息和点对应信息为相对于相同参考点的方向信息。

<！–html elements of poi-a--->

这是(1)与上述的注册信息设置点相关联的注册信息，其为诸如上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述的点对应注册信息112和122的信息)。

如图7所示的HTML数据另外记录如关于注册信息设置点B(POI-B)212的点对应信息的以下数据：

<div typeof＝‘poi’resource＝‘#poi-b’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘163,39,28’/>

<span property＝‘rotation’content＝‘34,70,41,4.53’/>

<！–html elements of poi-a--->

</div>

上述数据的含义与上述关于注册信息设置点A(POI-A)211的点对应信息的含义相同。

顺便提及，在图7的示例中，存在两个单位的注册信息设置点(POI)对应信息。然而，这是示例，并且可以在HTML数据中记录任意数量的单位的注册信息设置点(POI)对应信息。

如上所述，基于由搜索服务器所提供的接入信息(URL)从信息提供服务器50获取的HTML数据(虚拟对象显示控制数据)记录预拍摄参考图像以及被包含在参考图像中的关于锚点对象和在虚拟三维空间中的注册信息设置点的位置信息。

具体地，HTML数据包括以下数据：

参考真实对象的拍摄参考图像的数据；

包括被包含在参考图像数据中的的参考真实对象的位置、方向等的三维位置和姿势信息；和

包括注册信息设置点的位置、方向等的三维位置和姿势信息。

上述信息被信息处理装置10用来执行用于判定点位置识别标记的显示位置的过程。

在图7的示例中，HTML记录锚点对象信息和注册设置点信息。另选地，HTML中的虚拟对象和注册设置点信息可以彼此相关联地以JavaScript(注册商标)记录。另选地，上述信息可以按照JavaScript(注册商标)从信息提供服务器50获取为单独的数据。因此，锚点对象信息和注册点信息可以不必以HTML记录。

由信息处理装置(用户终端)10的数据处理单元执行的过程执行以下的过程步骤，例如：

信息处理装置(用户终端)10的数据处理单元从信息提供服务器50输入HTML数据(虚拟对象显示控制数据)，即记录预拍摄参考图像和关于被包含在虚拟3D空间坐标中的参考图像中的真实对象和注册信息设置点的位置信息的HTML数据。

接下来，数据处理单元检测显示在显示单元上的拍摄图像中的、与被包含在参考图像中的真实对象相同的真实对象(锚点)。数据处理单元通过使用关于检测到的真实对象(锚点)的三维位置信息和被记录在虚拟对象显示控制数据中的相对位置信息来确定用户终端上的位置信息。顺便提及，数据处理单元执行三维位置和姿势信息分析处理以从拍摄图像和参考图像确定用户终端的位置。该过程将在后面描述。此外，数据处理单元计算在以用户终端作为原点的坐标系中的注册信息设置点的三维位置。

数据处理单元基于计算出的位置信息计算在显示单元上显示的拍摄图像中的注册信息设置点的显示位置，并且在所计算的显示位置中叠加并显示作为虚拟对象的点位置标识标记。对于虚拟对象的叠加和显示，CSS三维TRANSFORMS函数可以被用于三维显示。

根据上述步骤，数据处理单元根据拍摄图像中的注册信息设置点显示点位置标识标记。

顺便提及，该过程步骤被记录在由信息处理装置10从信息提供服务器50获取的JavaScript(注册商标)中。

接下来，将参考图9来描述作为由信息处理装置10从信息提供服务器50获取的虚拟对象显示控制数据的一个部分的JavaScript(注册商标)数据连同如图7所述的HTML数据的配置示例。JavaScript(注册商标)被用作虚拟对象的显示控制程序。

图9描述了基于由搜索服务器提供的接入信息(URL)从信息提供服务器50获取的JavaScript(注册商标)数据的一部分。

在图9中描述的JavaScript(注册商标)等同于记录信息处理装置10的过程步骤以判定点位置标识标记的显示位置的处理程序。

将根据图9中描述的过程步骤(S201至S209)按顺序描述由信息处理装置10的数据处理单元基于图9中描述的JavaScript(注册商标)执行的过程。

(步骤S201)

首先，信息处理装置10的数据处理单元输入由信息处理装置的相机拍摄的拍摄图像输入流。

拍摄图像为当前通过相机输入的图像数据。拍摄图像被连续地显示在显示单元上。顺便提及，这里描述的拍摄图像是指由相机功能拍摄的图像，并且可以记录或可以不记录在存储单元中。

(步骤S202)

接下来，在步骤S202，信息处理装置10的数据处理单元输入第一参考真实对象信息(第一锚点信息)。

第一参考真实对象信息(第一锚点信息)为如上参考图7所描述的被记录在HTML数据中的第一参考真实对象信息(第一锚点信息)。

也就是说，第一参考真实对象信息包括关于第一参考真实对象(第一锚点)的以下信息：

(1)参考图像＝参考真实对象的拍摄图像(锚点1.png)

(2)被包含在参考图像中的参考真实对象的位置信息(表示参考真实对象在三维真实空间中的位置的三维坐标数据(X,Y,Z))

(3)表示被包含在参考图像中的参考真实对象的方向信息的四元数(x,y,z:w)

(4)关于参考图像的面积(尺寸)信息(横向长度和纵向长度)。

信息处理装置10的数据处理单元从HTML数据读出上述的第一参考真实对象信息(第一锚点信息)。

(步骤S203)

接下来，在步骤S203，信息处理装置10的数据处理单元输入第二参考真实对象信息(第二锚点信息)。

第二参考真实对象信息(第二锚点信息)为如上参考图7所描述的被记录在HTML数据中的第二参考真实对象信息(第二锚点信息)。

顺便提及，在图9的示例中，两个单位的参考真实对象信息(锚点信息)被读出。然而，这仅仅是示例，并且实际上，被记录在HTML数据中的所有单位的参考真实对象信息(锚点信息)被读出。

(步骤S204)

接下来，在步骤S204，信息处理装置10的数据处理单元输入注册信息设置点A(POI-A)对应信息。

注册信息设置点A(POI-A)对应信息为如上参考图7所述的被记录在HTML数据中的点A对应信息。

也就是说，注册信息设置点A(POI-A)对应信息包括关于注册信息设置点A的以下信息：

(1)与注册信息设置点相关联的注册信息

(2)关于注册信息设置点的位置信息(表示三维真实空间中的注册信息设置点的位置的三维坐标数据(X,Y,Z))

(3)表示关于注册信息设置点的方向信息的四元数(x,y,z:w)

信息处理装置10的数据处理单元从HTML数据读出上述点A(POI-A)对应信息。

(步骤S205)

接下来，在步骤S205，信息处理装置10的数据处理单元输入注册信息设置点B(POI-B)对应信息。

注册信息设置点B(POI-B)对应信息为如上参考图7所述的被记录在HTML数据中的点B对应信息。

顺便提及，在图9的示例中，两个单位的注册信息设置点(POI)对应信息被读出。然而，这仅仅是示例，并且实际上，被记录在HTML数据中的所有单位的注册信息设置点(POI)对应信息被读出。

(步骤S206)

接下来，在步骤S206中，信息处理装置10的数据处理单元将通过用于根据参考图像确定用户终端中的相机的位置的过程所计算的结果(三维位置分析过程)注册为JavaScript(注册商标)的函数(事件处理函数)。

通过使用在步骤S202至S205获取的以下信息来执行在步骤S206之前的定位过程：

(1)通过拍摄参考真实对象获得的参考图像数据和包括被包含在参考图像数据中的参考真实对象的位置、方向等的三维位置和姿势信息

(2)包括注册信息设置点的位置、方向等的三维位置和姿势信息

(3)在步骤S201输入的拍摄图像。

顺便提及，例如，定位过程(三维位置和姿势信息分析过程)被执行为同时使用定位和映射(SLAM)的过程。SLAM为用于从被包含在相机拍摄图像中的各种真实对象选择特征点并检测所选择的特征点的位置以及相机的位置和姿势的过程。另外，SLAM在由本申请的申请人作为在先申请提交的日本专利5380789号中描述。

为了执行SLAM的过程，信息处理装置10的数据处理单元输入诸如信息处理装置的显示单元(显示器)和相机的位置、方向(旋转)和面积(尺寸)的必要参数。

SLAM的三维位置和姿势分析过程的概要如下：

首先，从相机拍摄的图像中检测与参考真实对象一致的真实对象。这通过从HTML数据获取的拍摄参考真实对象的参考图像数据和拍摄图像的特征点比较(特征点匹配)来执行。

接下来，基于被包含在参考图像中的对象与被包含在相机拍摄图像中的对象之间的差异，分析从相机拍摄图像检测到的拍摄对象的三维位置和姿势。

已经拍摄了参考图像的相机的位置和当前图像拍摄位置(信息处理装置(用户终端)的相机位置)不匹配，并且被包含在参考图像中的对象和被包含在相机拍摄图像的对象在方向和大小不同。

这些差异被分析，并且相机在真实空间中的三维位置和姿势相对于对应于从相机拍摄图像检测出的参考对象的拍摄图像进行分析。

顺便提及，通过使用相机设置信息，诸如信息处理装置中的相机的镜头倍率、位置和方向信息以及角度信息来执行这些分析。

接下来，计算被记录在HTML数据中的参考真实对象的位置、方向、大小等的信息、关于在真实空间中的相机的三维位置和姿势信息以及被包含在虚拟三维空间中的拍摄图像中的注册信息设置点(POI)的位置和方向。

顺便提及，例如，通过上述过程计算的相机的位置由世界坐标系中的三维位置camaraPosition的坐标(Xw,Yw,Zw)表示。另外，表示相机的方向的camaraRotation和表示相机的视角的CameraViewAngle由四元数表示。

(步骤S207)

接下来，在步骤S207，信息处理装置10的数据处理单元将注册信息设置点A(POI-A)和注册信息设置点B(POI-B)的三维位置坐标转换为相机坐标。

相机坐标构成这样的坐标系，其中，XYZ坐标轴被设置用于相机(成像单元)的视点，其根据相机的方向在原点具有cameraPosition和cameraRotation。

在步骤S207，根据在S206通过三维定位获得的世界坐标系中的相机的位置和方向，世界坐标系中被记录在HTML数据中的注册信息设置点A(POI-A)和注册信息设置点B(POI-B)的坐标(Xw,Yw,Zw)被转换为相机坐标系中的坐标(Xc,Yc,Zc)。

(步骤S208)

接下来，在步骤S208，信息处理装置10的数据处理单元将注册信息设置点A(POI-A)和注册信息设置点B(POI-B)的相机坐标转换为显示单元(显示器)坐标。

显示单元坐标构成例如X轴被设置在向右方向以及Y轴被设置在向左方向并且以显示单元的左上角为原点的坐标系。在该步骤，在相机的视场外部的注册设置点不在后续显示过程中使用。

在步骤S208，数据处理单元将在步骤S207所计算的在相机坐标系中的注册信息设置点A(POI-A)和注册信息设置点B(POI-B)的坐标(Xc,Yc,Zc)转换为显示单元坐标(Xd,Yd)。

顺便提及，为了执行三维图像显示，针对左眼显示单元和右眼显示单元来计算显示单元坐标。也就是说，它们是用于左眼显示单元的显示单元坐标(Xdl,Ydl)和用于右眼显示单元的显示坐标(Xdr,Ydr)。

顺便提及，在该步骤，有必要根据相机坐标系中的Z轴(距离)的值设置具有视差的左眼图像和右眼图像，并且根据水平坐标(例如，Xdl和Xdr的坐标值)之间的视差设置差值。

顺便提及，根据用于三维图像生成过程的常规算法来执行这些过程。

(步骤S209)

接下来，在步骤S209，信息处理装置10的数据处理单元在注册信息设置点A(POI-A)的显示单元(显示)坐标位置中显示点A(POI-A)位置标识标记，并在注册信息设置点B(POI-B)的显示单元(显示)坐标位置中显示点B(POI-B)位置标识标记。

这些点(POI)位置标识标记为在上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述的显示图像中显示的点(POI)位置标识标记。

如上所述，信息处理装置10基于由搜索服务器提供的接入信息(URL)，通过使用从信息提供服务器50获取的HTML数据和JavaScript(注册商标)数据，通过三维定位过程来确定相机的位置和方向，并且基于确定结果计算被包含在拍摄图像中的注册信息设置点(POI)的显示单元(显示器)坐标位置并在坐标位置中显示点(POI)位置标识标记。

此外，具有点(POI)位置标识标记的注册信息设置点的注册信息在靠近点(POI)位置标识标记的显示位置显示。

注册信息的显示位置以及注册信息和点(POI)位置标识标记的显示模式，例如颜色、字符、角度等可以根据CSS规则设置为与来自信息提供服务器50的HTML数据和JavaScript(注册商标)数据一起被接收的样式表。

【4.关于由信息处理装置执行的过程序列】

接下来，将参考图10所述的流程图来描述由信息处理装置(用户终端)10执行的过程的序列。

将按顺序描述由信息处理装置10执行的以下过程。

(1)用于获取虚拟对象显示控制数据并显示虚拟对象的过程以及用于诸如用户的触摸的事件的过程(图10至图11)

(2)三维定位过程的设定(图12)

(3)基于作为三维定位的结果的事件的检测来显示虚拟对象的过程(图13)

(4)用于三维定位的过程和用于将事件通知为定位结果的过程(图14至图15)。

顺便提及，上述过程全部由信息处理装置10的数据处理单元执行。数据处理单元包括具有程序执行功能的CPU，其根据存储在信息处理装置10的存储单元中的程序执行这些过程。

此外，存储在信息处理装置10的存储单元中的一些程序包括从信息提供服务器50接收的程序，例如JavaScript(注册商标)。

【4-1.用于获取虚拟对象显示控制数据并显示虚拟对象的过程】

首先，将参考图10至图11所示的流程图来描述用于获取虚拟对象显示控制数据并显示虚拟对象的过程序列。

下面将依次描述在图10和图11中描述的过程流程的步骤。

(步骤S301)

首先，在步骤S301，信息处理装置执行信标检测，以确定是否已经接收到来自信标发送器的信标。

当检测到信标时，该过程移到步骤S302。

(步骤S302)

当检测到信标时，在步骤S302，信息处理装置向搜索服务器请求用于获取与信标发送器相关联的虚拟对象显示控制数据的地址(URL)。

当进行请求时，信息处理装置向搜索服务器发送被包含在信标中的信标ID和终端支持的三维定位方法(定位方法)的标识信息(ID)。

(步骤S303)

接下来，在步骤S303，信息处理装置从搜索服务器接收用于获取与信标发送器相关联的虚拟对象显示控制数据的地址(URL)。

(步骤S304)

接下来，在步骤S304，信息处理装置在显示单元上显示用于获取与从搜索服务器接收到的信标发送器相关联的虚拟对象显示控制数据的地址(URL)。搜索服务器可发送诸如表示显示控制数据的标题的属性信息以及URL，并且信息处理装置可在显示单元上显示容易让用户理解的信息，而不是URL。

(步骤S305)

接下来，在步骤S305，信息处理装置确定用户是否给出了用于获取虚拟对象显示控制数据的地址(URL)和诸如显示在显示单元上的标题的属性信息的显示指令。

当检测到用户的显示指令时，该过程移到步骤S306。当没有检测到时，该过程返回到步骤S301。

(步骤S306)

接下来，在步骤S306，信息处理装置激活网络浏览器并根据指定的URL从信息提供服务器获取由用户访问的虚拟对象显示控制数据。

顺便提及，如上所述，从信息提供服务器获取的虚拟对象显示控制数据具体由以下数据等组成：

(1)超文本标记语言(HTML)

(2)级联样式表(CSS)

(3)JavaScript(注册商标)。

HTML为表示在信息处理装置的显示单元上显示的虚拟对象的基本结构的数据，并且是例如HTML 5。

CSS为定义由HTML定义的虚拟对象配置数据的显示格式、颜色、形状和其它的样式表，其为定义在信息处理装置的显示单元上显示的虚拟对象的样式的数据。

JavaScript(注册商标)为定义用于显示虚拟对象的过程、用于更新显示的过程或用于移动并更新虚拟对象的过程的显示控制程序。例如，它根据用户在显示对象上触摸和点击的此类事件或根据诸如在触发后逝去预定时间段的事件对所显示的信息采取各种行为，诸如改变虚拟对象的显示模式。

虚拟对象显示控制数据为通过一个URL获取的数据。它可以基于被包含在来自信标发送器的信标中的信标发送器标识符(ID)，通过由搜索服务器所选的接入信息(URL)获取。

具体而言，具有诸如HTML、CSS、JavaScript(注册商标)的部分的虚拟对象显示控制数据包括位置信息和关于在一个特定的信标发送器附近的各种设施的指南信息。它是用于显示虚拟对象，诸如上面参考图3的(a)、图3的(b)、图4的(A)、和图4的(b)所述的点(POI)位置标识标记和点对应注册信息并执行显示控制的数据。

(步骤S307)

接下来，在步骤S307，信息处理装置判定虚拟对象的显示位置和显示模式，并且通过使用从信息提供服务器获取的虚拟对象显示控制数据在显示单元上显示该虚拟对象。顺便提及，例如，通过使用网络呈现程序和网页显示控制程序(JavaScript(注册商标))来执行该过程。

顺便提及，在显示单元上显示的虚拟对象为例如与上面参考图3的(a)、图3的(b)、图4的(a)和图4的(b)所述的注册信息设置点(POI)相关联的注册信息设置点(POI)位置标识标记和注册信息。

关于这些虚拟对象的基本信息被记录在被包含在从信息提供服务器获取的虚拟对象显示控制数据中的HTML数据中。可根据被包含在同样从信息提供服务器获取的虚拟对象显示控制数据中的CSS来设置这些虚拟对象的显示模式。

(步骤S308)

接下来，在步骤S308，信息处理装置确定事件检测的存在或不存在作为用于更新虚拟对象在显示单元上的显示的触发。

例如，作为用于更新虚拟对象的显示的触发的事件包括各种事件，诸如用户在显示单元上的触摸、从开始显示虚拟对象起经过预定时间以及显示屏幕的移动。

被检测用于执行显示更新的事件在由信息提供服务器所提供的JavaScript(注册商标)中描述，并且显示更新根据描述来执行。

此外，事件检测可不仅根据由信息提供服务器提供的JavaScript(注册商标)而且根据由信息处理装置保持的显示控制程序来执行，使得显示更新可以根据检测到的事件来执行。

当在步骤S308检测到作为用于更新虚拟对象在显示单元上的显示的触发的任何事件时，该过程移到步骤S309。

(步骤S309)

接下来，在步骤S309，信息处理装置基于网络呈现程序和网页显示控制程序(JavaScript(注册商标)等)来执行作为事件过程的显示数据(虚拟对象)的更新。

【4-2.用于设置定位过程锚点信息的过程】

接下来，将参考图12所述的流程图来描述用于设置定位过程锚点信息的过程的序列。图12的流程图描述根据JavaScript(注册商标)程序的过程，其由例如在图9中描述的JavaScript(注册商标)程序的步骤S201至S206执行。在图12中描述的对象是指由JavaScript(注册商标)处理的对象。

下面将依次描述在图12中描述的流程图的步骤。

(步骤S401)

首先，在步骤S401，信息处理装置获取包括在从信息提供服务器接收到的HTML数据中描述的参考图像的锚点对象。HTML数据可以作为文档对象模型(DOM)对象从JavaScript(注册商标)程序获取。

如上面参考图7所述，在HTML数据中描述的锚点信息对象包括以下数据：

(1)参考图像＝作为锚点的参考图像(锚点1.png)

(2)被包含在参考图像中的锚点的位置信息(表示锚点在虚拟三维真实空间中的位置的三维坐标数据(X,Y,Z))

(3)被包含在参考图像中的锚点的方向信息(表示在虚拟三维真实空间中的方向的四元数(X,Y,Z:w))

(4)关于参考图像的面积(尺寸)信息(横向长度和纵向长度)。

(步骤S402)

接下来，在步骤S402，信息处理装置从通过使用信息处理装置的相机功能采集的视频采集对象获取运动图像流对象。

(步骤S403)

接下来，在步骤S403，信息处理装置获取三维位置确定过程(Spacelocalization)对象。

(步骤S404)

接下来，在步骤S404，信息处理装置将在步骤S402获取的运动流对象设置为三维位置计算过程(Spacelocalization)对象。通过步骤S402至S404，信息处理装置可以在三维位置确定过程中处理由相机拍摄的运动图像流。

(步骤S405)

接下来，在步骤S405，信息处理装置将在步骤S401获取的锚点对象设置为在步骤S404设置的三维位置确定过程(Spacelocalization)拍摄对象，并用锚点ID注册(在存储单元中存储)该对象。因此，在HTML数据中描述的锚点信息被输入至三维位置计算过程。

(步骤S406)

接下来，在步骤S406，信息处理装置确定用于使所有锚点与空间位置确定过程相关联的过程是否完成。

在该过程未完成时，该过程返回到步骤S405以将锚点对象设置为未处理数据。

在确定用于使锚点对象和空间位置计算过程相关联的过程完成时，该过程移到步骤S407。

(步骤S407)

接下来，在步骤S407，信息处理装置注册三维位置确定过程(Spacelocalization)对象的事件(three-dimensional position result event)处理函数。

顺便提及，事件处理函数为作为相机在被包含在锚点信息中的参考图像的虚拟三维空间中的位置和方向的计算的结果和由相机在三维位置确定中拍摄的运动图像流而开始的过程的触发的事件。

具体地，这为在由信息处理装置的成像单元拍摄的图像由于用户的移动、相机的拍摄方向的移动等而被移动预定量(预设定义值)并且检测到在虚拟三维空间中的相机的位置和方向的变化时所生成的事件处理函数。在事件处理函数在步骤S407注册时，用于计算相机的三维位置的过程通过使用三维位置计算过程(Spacelocalization)对象来开始。

顺便提及，根据预定量的移动的事件生成的精度，即，事件的频率被记录在从信息提供服务器接收到的JavaScript(注册商标)中。这在事件处理函数的时间设置并被输入至三维位置确定处理单元。

【4-3.基于对虚拟对象显示事件的检测来显示虚拟对象的过程】

接下来，将参考如图13所述的流程图来描述基于虚拟对象显示事件的检测的虚拟对象显示过程的序列。该流程图描述根据JavaScript(注册商标)程序的过程，其在图9中描述的JavaScript(注册商标)程序的步骤S207至S209在三维定位过程事件函数中执行。

将依次描述在图13中描述的流程图的步骤。

(步骤S501)

首先，在步骤S501，信息处理装置确定是否已发生三维位置确定过程(Spacelocalization)对象的事件。该确定对应于在图12中描述的步骤S407被注册的事件处理函数是否被调用的确定。

当在步骤S501确定已发生三维位置计算过程的事件时，该过程移到步骤S502。

(步骤S502)

当在步骤S501确定已发生显示或更新虚拟对象的事件时，信息处理装置在步骤S502获取终端显示单元(显示器)的位置、方向和面积(尺寸)以及相机的位置、方向和角度。此步骤意味着上述信息作为如图12所述进行注册的事件处理函数的变元来传递。

(步骤S503)

接下来，在步骤S503，信息处理装置获取在HTML数据中描述的注册信息设置点(POI)对应信息(关于坐标、方向等的三维位置和姿势信息)。如在图12中的步骤S401所述，被记录在HTML数据中的注册信息设置点(POI)信息可以被JavaScript(注册商标)程序获取为DOM对象，如同获取被记录在HTML数据中的锚点信息的情况下一样。

(步骤S504)

接下来，在步骤S504，信息处理装置将从在步骤S503从信息提供服务器接收到的HTML数据获取的注册信息设置点(POI)的坐标、方向等的三维位置和姿势信息转换为在终端显示单元(显示器)坐标系中的坐标，并在POI列表中保存该信息。

在转换过程中，存在两个阶段，即，注册信息设置点(POI)的位置和姿势的POI坐标被转换为用户终端(相机)作为原点的用户终端坐标系，并且接着，在终端坐标系中的转换POI坐标被进一步转换为显示装置坐标系。

为了将用户终端坐标系转换为显示装置坐标系，需要在虚拟三维空间中的相机的位置和方向以及终端显示单元(显示器)的方向。因此，使用在步骤S502所需的信息。具体地，在显示器的方向并不与相机的方向一致的用户终端的情况下，考虑所给出的方向差异来计算在显示坐标系中的POI的显示位置是必要的。

(步骤S505)

接下来，在步骤S505，信息处理装置确定所有的POI是否完成坐标转换和列表注册。

在未完成时，该过程返回到步骤S503以对未被处理的POI执行在步骤S503和S504的过程。

在确定完成所有POI的坐标转换和列表注册时，该过程移到步骤S506。

(步骤S506)

当确定针对所有POI的坐标转换和列表注册完成时，信息处理装置按顺序从在步骤S506所生成的POI列表中选择POI。

(步骤S507)

接下来，在步骤S507，信息处理装置确定从该列表选择的POI的坐标(在显示单元坐标系中的坐标)是否落在显示单元的显示范围内。根据关于相机的位置和方向以及虚拟三维空间中的终端显示单元(显示器)的位置和方向的信息来确定该坐标是否落入显示范围内。具体地，当信息处理装置在显示单元的一部分上显示来自拍摄单元的视频时，可以根据拍摄视频的显示位置来计算POI的显示位置，并且可以将POI叠加在拍摄视频中看到的真实对象的位置中。

当POI的坐标并未落入显示单元的显示范围内时，停止POI的处理，并且该过程返回到步骤S506，以从POI列表选择下一个POI。

当在步骤S50中确定从该列表选择的POI的坐标(显示单元坐标系中的坐标)落在显示单元的显示范围内时，该过程移到步骤S508。

(步骤S508)

当确定从该列表选择的POI的坐标(显示单元坐标系中的坐标)落在显示单元的显示范围内时，信息处理装置在步骤S508显示点位置标识标记和所选POI的注册信息。顺便提及，这些虚拟对象的显示模式例如通过使用CSS等来设置。

(步骤S509)

接下来，在步骤S509，信息处理装置确定是否完全处理了所有POI。

当存在任何未处理的POI时，该过程返回到步骤S506，以从POI列表选择下一个未处理的POI，并执行步骤S507和后续的步骤。

当在步骤S509确定所有POI被完全处理时，该过程终止。

【4-4.用于三维位置确定的过程】

接下来，将参考图14至图15的流程图来描述相机三维位置确定过程的序列。这些流程图中的过程不是由在由信息提供服务器50所提供的显示控制数据中的JavaScript(注册商标)执行，而是由例如被记录在信息处理装置的记录单元中的程序执行。这使得避免用于三维位置确定的算法由JavaScript(注册商标)程序公开的问题，并且通过信息处理装置中的硬件的高速处理等高速、高精度、低功耗地执行三维位置确定是可能的。

下面将依次描述图14至15中描述的流程图的步骤。

(步骤S601)

首先，在步骤S601，信息处理装置的数据处理单元获取相机拍摄图像的分辨率和相机的镜头倍率。该步骤通过获取被记录在信息处理装置的相机控制单元的存储器中的相机设置信息来执行。

(步骤S602)

接下来，在步骤S602，信息处理装置初始化被附接至信息处理装置的运动传感器。具体地，信息处理装置重置过去测量的数据，并执行初始化处理以将当前位置和倾斜度(方向)设置为初始值。运动传感器为用于确定信息处理装置的位置和姿势的陀螺仪或加速度传感器。

(步骤S603)

接下来，在步骤S603，信息处理装置从在从信息提供服务器获取的HTML数据(参见图7)中描述的参考真实对象信息(锚点信息)，即，被包含在图12中描述的步骤S405的三维位置确定过程中设置的(锚点信息)中的参考图像中提取特征点。

(步骤S604)

接下来，在步骤S604，信息处理装置确定用于从与在图12中描述的步骤S405的三维位置确定过程中设置的所有参考真实对象信息(锚点信息)相对应的参考图像中提取特征点的过程是否完成。

当存在任何未处理的参考图像时，该过程返回到步骤S603，以从未处理的参考图像提取特征点。

当确定从与从信息提供服务器获取的HTML数据(参见图7)中描述的所有参考真实对象信息(锚点信息)相对应的参考图像提取特征点的过程完成时，该过程移到步骤S605。

(步骤S605)

当从与从信息提供服务器获取的HTML数据(参见图7)中描述的所有参考真实对象信息(锚点信息)相对应的参考图像提取特征点的过程完成时，信息处理装置的数据处理单元在步骤S605开始相机拍摄图像的输入。

(步骤S606)

接下来，在步骤S606，信息处理装置的数据处理单元从相机拍摄图像的帧中提取特征点。

(步骤S607)

接下来，在步骤S607，信息处理装置的数据处理单元获取运动传感器的观测值。

(步骤S608)

接下来，在步骤S608，信息处理装置的数据处理单元通过将参考图像(锚点图像)的特征点与相机拍摄图像的特征点进行匹配来计算包括真实空间中的相机的位置和方向的三维位置和姿势信息。该过程例如通过使用上述SLAM技术来执行。

(步骤S609)

接下来，在步骤S609，信息处理装置通过匹配所有参考图像(锚点图像)的特征点和相机拍摄图像的特征点来确定是否完成了三维位置和姿势信息计算过程。

当存在任何未处理的参考图像时，该过程返回到步骤S608以处理未处理的参考图像。

当确定所有参考图像被完全处理时，该过程移到步骤S610。

(步骤S610)

接下来，在步骤S610，信息处理装置基于所有参考图像和相机拍摄图像的特征点的匹配结果来计算关于在真实空间中的相机的位置和方向的最终三维位置和姿势信息。

在步骤S608，计算与一个参考图像(锚点图像)相对应的相机三维位置和姿势信息，并且针对多个参考图像计算不同的相机三维位置和姿势信息。

在步骤S610，例如，对多个值进行平均等，以计算包括在真实空间中的相机的最终位置和方向的三维位置和姿势信息。通过使用多个锚点参考图像来确定三维位置和姿势，即使当用户移动或相机的方向改变时，也能够进行位置确定。此外，当在相机拍摄视频中检测到多个锚点时，可以提高定位精度。此外，通过在终端中组合运动传感器，即使在拍摄视频中没有检测到锚点，也可以估算相机的位置和方向。

(步骤S611)

接下来，在步骤S611，信息处理装置检测从在前一帧中确定的相机的三维位置和姿势到当前帧中所计算的三维位置和姿势的变化量。通过使用对由运动传感器检测到的相机的运动所得的帧视频中的运动模糊的补偿来执行检测。通过将相机姿势信息和关于帧视频中的模糊的校正的信息传递给事件处理函数，可以根据JavaScript(注册商标)的控制来校正在相机拍摄视频上叠加的情况下的显示模糊。

(步骤S612)

接下来，在步骤S612，信息处理装置确定在步骤S611检测到的改变量是否等于或大于预定阈值。

阈值为从显示控制数据中的JavaScript(注册商标)程序预先设定的并且在图12所示的步骤S407中被保存在记录单元中的值。

当确定显示在显示单元上的图像的位置已经改变了预定阈值或更多时，该过程移到步骤S613。

(步骤S613)

当确定相机的三维位置和姿势已经改变了预定阈值或更多时，信息处理装置设置显示单元的位置、方向和面积(尺寸)以及作为三维定位姿势的结果的相机的位置、方向和角度信息，并且在步骤S613开始用于事件处理函数的过程。

顺便提及，为了开始用于显示和更新虚拟对象的过程，信息处理装置的数据处理单元根据上面参照图13所述的处理流程来执行该过程，然后执行用于显示或更新虚拟对象的过程。

【5.关于作为用于启动显示虚拟对象或更新显示的触发的事件】

在上述示例中，以上将超过预定阈值等的用户终端(相机)的位置和姿势的变化解释为用于显示注册信息设置点(POI)位置标识符和对应于作为在显示单元上显示的虚拟对象的注册信息设置点(POI)的注册信息的过程或用于更新显示的过程的触发的事件的示例。

然而，根据作为用于显示虚拟对象的过程或用于更新显示的过程的触发的用户终端(相机)的位置和姿势的变化，不仅将POI叠加和显示在相机拍摄视频中看到的真实对象上，而且还根据JavaScript(注册商标)程序通过JavaScript(注册商标)实施各种显示过程和显示触发是可能的。另外，信息提供者不仅可以通过使用HTML和CSS的显示控制函数来显示文本中的POI，而且还提供各种显示方法。

信息处理装置(用户终端)10的数据处理单元执行用于显示在信息处理装置附近的注册信息设置点的注册信息的过程或用于更新作为触发的根据各种预定上下文(情境)的事件的检测的显示的过程。

具体地，例如，数据处理单元可基于作为触发的以下信息通过事件检测来执行用于开始或更新虚拟对象的显示的过程：

(1)信息处理装置(用户终端)的位置

(2)时间

(3)具有信息处理装置(用户终端)的用户的行为历史

(4)被注册在信息处理装置或服务器中的用户日程信息

(5)用户物理信息(心跳、脉搏等)

(6)在商店等的销售信息

(7)关于信息处理装置(用户终端)的设置信息

(8)信息处理装置(用户终端)的用户的属性(年龄、性别、兴趣等)

(9)信息处理装置(用户终端)的用户的视线

(1)基于作为触发的信息处理装置(用户终端)的位置，通过事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下：

当携带信息处理装置(用户终端)的用户移动时，用于开始或更新虚拟对象的显示的过程通过检测从信息处理装置(用户终端)到注册信息设置点(POI)的距离落入预定距离(3米)内的事件来执行。在此情况下，在真实世界中的信息终端的位置和方向可以被来自参考真实对象信息(锚点信息)的三维位置确定过程跟踪的状态中，信息处理装置(用户终端)和注册信息设置点(POI)的位置通过三维位置确定过程来测量，并且注册信息设置点(POI)可不必被包含在拍摄视频中。

此外，为了执行该过程，显示控制程序，诸如JavaScript(注册商标)定义执行一系列下列操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设置点(POI)的距离

(b)比较所测得的距离和预定阈值

(c)确定当所测得的距离变得等于或小于预定阈值时的事件的发生率。

(2)将描述基于作为触发的时间，通过事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下：

例如，在餐馆开放的上午11点，当信息处理装置(用户终端)的用户在该餐馆的邻域时，该餐馆的位置、该餐馆的菜单等被显示为虚拟对象。

此外，为了执行该过程，显示控制程序，诸如JavaScript(注册商标)定义执行一系列下列操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设置点(POI)的距离

(b)比较所测得的距离和预定阈值

(c)获取当前时间

(d)确定当所测得的距离变得等于或小于预定阈值并且在用于开放注册信息设置点(POI)(例如，餐馆)的时间的事件的发生率。

此外，信息提供服务器向信息处理装置提供包括作为虚拟对象的餐馆的菜单等的注册信息设置点对应注册信息。

(3)将描述基于信息处理装置(用户终端)的用户的行为历史，通过事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下：

信息处理装置(用户终端)的用户的运动状态(步行、奔跑或汽车、火车的高速运动等)被分析，并且根据分析信息的最佳信息被显示为虚拟对象。

例如，当用户在步行时，根据移动位置和速度的路线信息、观察点指南信息、休息室位置信息等被显示为虚拟对象。

此外，为了执行该过程，显示控制程序，诸如JavaScript(注册商标)定义执行一系列下列操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设置点(POI)的距离

(b)比较所测得的距离和预定阈值

(c)确定当所测得的距离变得等于或小于预定阈值时的事件的发生率。

此外，信息提供服务器向信息处理装置提供作为虚拟对象的路线信息、观察点指南信息、休息室位置信息等。

(4)将描述基于作为触发的在信息处理装置或服务器中注册的用户日程信息，通过事件的检测来开始或更新虚拟对象的过程的具体示例。例如，该过程的一个具体示例如下所述。

为了执行该处理，需要将用户日程信息预先注册在信息处理装置的存储器或信息提供服务器中。

在开始注册日程计划的时间或者在开始时间之前的特定时间，信息处理装置(用户终端)将预定计划的指定地点、日程信息等显示为虚拟对象。

此外，为了执行该过程，显示控制程序，诸如JavaScript(注册商标)定义执行一系列下列操作的程序：

(a)获取注册日程信息

(b)获取当前时间

(c)确定在注册日程信息中的设定时间或在设定时间之前的特定时间的事件的发生率。

此外，信息提供服务器向信息处理装置提供作为虚拟对象的预定计划的指定地点、日程信息等。

(5)将描述基于作为触发的用户身体信息(心跳、脉搏等)，通过事件的检测来开始或更新虚拟对象的过程的具体示例。例如，该过程的一个具体示例如下：

为了执行该过程，需要设置用于将来自测量用户身体信息的传感器的检测信息输入至信息处理装置的配置。

传感器测量用户的心跳、脉搏等，并将测量信息输出至信息处理装置。

具体地，例如，当用户正在跑马拉松时，用户的信息处理装置的数据处理单元显示关于用户的心跳和脉搏状态的信息，例如，作为虚拟对象的用于鼓励用户深呼吸或休息的信息或者关于相邻休息地点的指南信息。

此外，为了执行该过程，显示控制程序，诸如JavaScript(注册商标)定义执行一系列下列操作的程序：

(a)从传感器获取用户身体信息

(b)根据输入的身体信息检测事件。

此外，信息提供服务器向信息处理装置提供根据用户的心跳和脉搏状态的信息，例如，作为虚拟对象的用于鼓励用户深呼吸或休息的信息或者关于相邻休息地点的指南信息。

(6)将描述基于作为触发的在商店等的销售信息，通过事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下：

例如，在商店开始销售的上午10点，当信息处理装置(用户终端)的用户在该商店的邻域时，信息处理装置显示作为虚拟对象的该商店的位置、该商店的销售的描述等。

此外，为了执行该过程，显示控制程序，诸如JavaScript(注册商标)定义执行一系列下列操作的程序：

(a)测量从信息处理装置(用户终端)到注册信息设置点(POI)的距离

(b)比较所测得的距离和预定阈值

(c)获取当前时间

(d)确定当所测得的距离变得等于或小于预定阈值并且在用于开放注册信息设置点(POI)(例如，商店)的时间的事件的发生率。

此外，信息提供服务器向信息处理装置提供包括作为虚拟对象的在商店的销售的描述的注册信息设置点对应注册信息。

(7)将描述基于信息处理装置(用户终端)的设置信息，通过事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下所述。

信息处理装置(用户终端)的设置信息为例如关于显示语言的设置、音频输出的存在或不存在的设置等。

例如，当显示语言被设置为日语时，日语注册信息被提供为虚拟对象。当显示语言被设置为英语时，英语注册信息被提供为虚拟对象。此外，当音频输出设置为ON时，可输出音频注册信息。

此外，例如，为执行该过程，显示控制程序诸如JavaScript(注册商标)定义根据上述示例和以下的操作执行用于检测注册信息设置点(POI)的操作的程序：

(a)获取信息处理装置(用户终端)的设置信息。

另外，信息提供服务器根据关于信息处理装置(用户终端)的设置信息向信息处理装置提供语言、显示数据或音频数据。

(8)将描述基于信息处理装置(用户终端)的用户的属性(年龄、性别、兴趣等)，通过事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下所述。

为了执行该处理，需要将用户的年龄、性别、兴趣等的用户属性信息预先注册在信息处理装置的存储器或信息提供服务器中。

信息处理装置根据注册用户的属性显示包括最佳供应信息的虚拟对象。

此外，例如，为执行该过程，显示控制程序诸如JavaScript(注册商标)定义根据上述示例和以下的操作执行用于检测注册信息设置点(POI)的操作的程序：

(a)获取注册用户的属性信息。

另外，信息提供服务器根据关于信息处理装置(用户终端)的设置信息向信息处理装置提供包括最佳供应信息的虚拟对象。

将参考图16和17来描述虚拟对象的具体显示示例。

图16示出用户属性信息注册为指示用户为三十到五十的中年男人并且喜欢喝酒的虚拟对象的显示示例。

例如，假设具有相同属性(三十到五十的中年男人并且喜欢喝酒)的多个用户在公司内散步并且携带他们的个人的信息处理装置。

在此情况下，如图16所示的虚拟对象在他们的相应信息处理装置上显示。

具体地，指示提供酒的餐馆和酒吧的位置的点(POI)位置标识标记301和点(POI)对应注册信息302按顺序显示。

图17示出用户属性信息注册为指示用户为二十到三十的妇女并且喜欢购物的虚拟对象的显示示例。

在此情况下，如图17所示的虚拟对象在信息处理装置上显示。

具体地，指示销售似乎二十到三十岁的妇女特别喜欢的物品的商店的位置的点(POI)位置标识标记321和点(POI)对应注册信息322按顺序显示。

(9)将描述基于信息处理装置(用户终端)的用户的视线，通过作为触发的事件的检测来开始或更新虚拟对象的显示的过程的具体示例。例如，该过程的一个具体示例如下所述。

为了执行该过程，需要设置用于将来自测量用户视线的传感器的检测信息输入至信息处理装置的配置。

传感器检测用户的视线的方向，并将检测信息输出至信息处理装置。

信息处理装置的数据处理单元基于优先级执行用于显示存在于用户的视线方向中的注册信息设置点(POI)的注册信息的过程。

此外，例如，为执行该过程，显示控制程序诸如JavaScript(注册商标)定义根据上述示例和以下的操作执行用于检测注册信息设置点(POI)的操作的程序：

(a)输入用户的视线的方向的检测结果并判定显示对象。

如上所述，各种事件可以被设置为构成用于显示虚拟对象的过程或用于更新显示的过程的触发的事件。

【6.关于信息处理装置和服务器的配置示例】

接下来，将描述信息处理装置(用户终端)、信息提供服务器和搜索服务器的配置示例。

图18为示出信息处理装置(用户终端)10的配置示例的框图。

信息处理装置10具有信标检测单元501、数据处理单元(控制单元)502、运动传感器503、存储单元504、相机(成像单元)505、输入单元506、输出单元(显示单元)507、通信单元508，各种传感器509和定时器510，如图18所示。

信标检测单元501检测从信标发送器20发送的信标。

数据处理单元(控制单元)502在信息处理装置10中执行各种数据处理操作。具体地，数据处理单元(控制单元)502例如执行根据上述流程图的过程。例如，数据处理单元(控制单元)502包括CPU，其具有程序执行的功能并且根据存储在存储单元504中的程序来执行过程。

运动传感器503为检测信息处理装置的运动的传感器。运动传感器503由检测移动的方向、倾斜度、加速度等的各种传感器构成。

存储单元504例如由RAM、ROM、HDD和其它介质构成，以存储由数据处理单元5602执行的程序、各种参数等。存储单元504另外被用作由数据处理单元执行的数据处理的工作区。

相机(成像单元)505执行图像拍摄。顺便提及，如上所述，在拍摄三维图像的情况下，相机(成像单元)505在分离的位置具有两个成像单元，并且在拍摄二维图像的情况下，相机(成像单元)505具有一个成像单元。

输入单元506为用于用户输入各种指令的用户操作单元。顺便提及，当显示单元被配置为触摸面板时，显示单元也用作输入单元。

输出单元507由显示单元、音频输出单元等组成。根据上述过程，显示单元将真实对象显示为相机拍摄图像，并且将点(POI)位置标识标记和点(POI)对应注册信息叠加并显示为从信息提供服务器获取的虚拟对象。

通信单元508为与信息提供服务器、搜索服务器和其他外部装置通信的通信单元。

各种传感器509为测量各种用户状况的传感器，例如视线传感器和脉搏传感器。

数据处理单元502可以根据传感器检测信息更新虚拟对象的显示。

定时器510检测当前时间、测量从预定定时起经过的时间等。

图19为描述由执行各种过程的数据处理单元502执行的数据处理程序的层配置的分解结构图。

数据处理单元502在操作系统(OS)层上执行各种应用。

附图所示的通信处理应用为用于检测信标、获取URL并且命令显示处理装置基于URL来显示网页的应用。通信处理应用执行图10中描述的步骤S301至S306。

显示处理应用执行用于显示由相机拍摄的图像的过程、用于显示由信息提供服务器提供的虚拟对象的过程等。

另外，显示处理应用执行用于显示显示控制数据的过程和用于显示虚拟对象并且在作为触发的事件发生时更新显示的过程。

此外，显示处理应用执行用于输出或更新显示信息的过程，以及在图19的显示处理应用下由所示的3D空间定位库、显示控制库和网页显示库所执行的过程。

基于由相机拍摄的对象和参考图像，3D空间定位库执行用于来计算信息处理装置的三维位置、方向(倾斜度)等的三维定位过程。具体地，3D空间定位库通过使用如上所述的SLAM技术等来执行三维定位过程。

显示控制库为WebKit和JavaScript(注册商标)的执行单元，其执行用于在显示单元上显示虚拟对象的过程和用于在发生作为触发的诸如用户的操作的事件的时间更新显示的过程。

网页显示应用由WebKit WebCore等构成，并且执行用于显示网页的过程。

这些应用和库可在OS层上操作。OS层控制由应用执行的全部过程，并且控制被设置在硬件(HW)层和应用层等中的各种处理单元之间的命令、参数等的输入/输出等。

图20示出可用作信息提供服务器或搜索服务器的通信装置的硬件配置示例。

中央处理单元(CPU)701用作根据存储在只读存储器(ROM)702或存储单元708中的程序执行各种过程的数据处理单元。例如，CPU 701根据上面关于上述示例所描述的序列来执行过程。随机存取存储器(RAM)703存储由CPU 701执行的程序、数据等。CPU 701、ROM 702和RAM 703经由总线704被连接在一起。

CPU 701经由总线704连接至输入/输出接口705。输入/输出接口705被连接至由各种开关、键盘、鼠标、麦克风等组成的输入单元706和由显示器、扬声器等组成的输出单元707。例如，CPU 701响应于通过输入单元706输入的指令执行各种过程，并向输出电压707输出处理结果。

例如，连接至输入/输出接口705的存储单元708由硬盘等组成，并且存储由CPU 701执行的程序和各种数据。通信单元709用作经由诸如因特网和局域网的网络进行数据通信以与外部装置通信的发送器/接收器。

被连接至输入/输出接口705的驱动器710驱动诸如磁盘、光盘、磁光盘的可移除介质711或诸如存储卡的半导体存储器，以记录数据或读取数据。

【7.本公开的配置的概述】

到此为止，本公开的示例已参考具体示例来详细描述。然而，在不脱离本公开的要点的情况下，本领域的技术人员可以更改示例或用另一示例替换此示例是显而易见的。也就是说，本发明已经以例证的形式公开并且不应以限制性的方式解读。为确定本公开的要点，应引入权利要求。

顺便提及，本文所公开的技术可以采用以下配置：

(1)信息处理装置，包括：

成像单元；

显示单元，显示由所述成像单元拍摄的图像；以及

数据处理单元，在所述显示单元上显示虚拟对象，所述虚拟对象表示包含在所拍摄的图像中的真实世界注册信息设置点，其中

所述数据处理单元输入虚拟对象显示控制数据，所述虚拟对象显示控制数据记录锚点作为在真实世界中拍摄的真实对象的参考图像、关于所述锚点在虚拟三维空间坐标系中的位置信息以及关于所述注册信息设置点在虚拟三维空间坐标系中的位置信息，以及

所述数据处理单元从所述成像单元拍摄的图像中检测所述锚点、从所检测到的锚点在虚拟三维空间坐标中的位置和方向确定所述成像单元在虚拟三维空间中的位置、计算所述注册信息设置点在显示单元坐标系中的位置并基于所计算的位置显示表示所述注册信息设置点的虚拟对象，其中，所述显示单元坐标系作为所述显示单元的坐标系。

(2)根据(1)所述的信息处理装置，其中

所述数据处理单元将从信标发送器接收的信标发送至搜索服务器，

所述数据处理单元从所述搜索服务器接收用于获取虚拟对象显示控制数据的接入信息，所述虚拟对象显示控制数据记录作为通过拍摄所述信标发送器附近的真实对象而获得的参考图像的锚点和所述真实对象与所述注册信息设置点之间的相对位置信息，以及

所述数据处理单元使用接收到的所述接入信息从信息提供服务器接收包括所述信标发送器附近的真实对象信息的虚拟对象显示控制数据。

(3)根据(1)或(2)所述的信息处理装置，其中

所述虚拟对象显示控制数据包括与所述注册信息设置点对应的注册信息，以及

所述数据处理单元将点位置标识标记和所述注册信息叠加并显示在所述显示单元上显示的拍摄图像上。

(4)根据(1)到(3)中任一者所述的信息处理装置，其中

所述虚拟对象显示控制数据包括超文本标记语言(HTML)数据，所述超文本标记语言(HTML)数据记录作为通过拍摄真实对象所获得的参考图像的锚点和所述注册信息设置点在三维空间中的位置信息，以及

所述数据处理单元使用所述HTML数据执行用于计算所述注册信息设置点在显示单元坐标系中的位置的过程。

(5)根据(1)到(4)中任一者所述的信息处理装置，其中

所述虚拟对象显示控制数据包括记录用于计算所述注册信息设置点的位置相对于所述信息处理装置的位置的过程的步骤的程序，以及

所述数据处理单元使用所述程序执行用于计算所述注册信息设置点的显示位置的过程。

(6)根据(1)到(5)中任一者所述的信息处理装置，其中

所述数据处理单元使用同时定位和地图构建(SLAM)来执行用于从所述锚点的参考图像计算所述信息处理装置的三维位置的过程。

(7)根据(1)到(6)中任一者所述的信息处理装置，其中

所述信息处理装置具有检测所述信息处理装置的运动的运动传感器，以及

所述数据处理单元使用来自所述运动传感器的输入信息和从所拍摄的图像检测到的真实对象(锚点)来执行用于计算所述信息处理装置的三维位置的过程。

(8)根据(1)至(7)中的任一者所述的信息处理装置，其中，所述数据处理单元根据在所述显示单元上显示的所拍摄的图像的运动最新计算所述注册信息设置点相对于所述信息装置的位置，并且执行用于在新计算的位置中显示点的显示更新过程。

(9)根据(1)至(8)中的任一者所述的信息处理装置，其中，所述数据处理单元根据记录在所述虚拟对象显示控制数据中的事件的检测，执行用于显示所述虚拟对象或更新所述显示的过程。

(10)根据(1)到(9)中任一者所述的信息处理装置，其中

所述显示单元为能够显示三维图像的显示单元，以及

所述数据处理单元计算用于左眼图像和右眼图像中的每一者的注册信息设置点的显示位置，并且在所计算的显示位置中叠加并显示作为虚拟对象的所述点位置标识标记。

(11)信息提供服务器，包括：

存储单元，存储包括在信标发送器附近的真实对象信息的虚拟对象显示控制数据；以及

通信单元，根据来自所述信息处理装置的获取控制信息请求传送所述虚拟对象显示控制数据，其中

所述虚拟对象显示控制数据为以下信息：该信息记录拍摄的在所述信标发送器附近的真实对象的参考图像和关于包含在所述参考图像中的所述真实对象和所述真实对象附近的注册信息设置点在虚拟三维空间中的位置信息。

(12)根据(11)所述的信息提供服务器，其中

所述虚拟对象显示控制数据包括：

超文本标记语言(HTML)数据，记录关于所述真实对象和所述注册信息设置点在虚拟三维空间坐标中的位置信息，以及

记录用于计算所述注册信息设置点在所述信息处理装置的显示单元上的显示位置的过程的步骤的程序。

(13)搜索服务器，包括：

通信单元，从信息处理装置接收由所述信息处理装置接收到的信标的传送信号；以及

数据处理单元，基于所传送的信标执行用于向所述信息处理装置发送用于获取虚拟对象显示控制数据的接入信息的过程，所述虚拟对象显示控制数据记录包括在所述信标的发送器附近的真实对象的参考图像以及关于所述真实对象和所述注册信息设置点在虚拟三维空间坐标中的位置信息。

(14)由信息处理装置执行的信息处理方法，其中

所述信息处理装置包括成像单元、显示由所述成像单元拍摄的图像的显示单元、以及数据处理单元，所述数据处理单元在所述显示单元上显示虚拟对象，所述虚拟对象表示包含在所拍摄的图像中的真实世界注册信息设置点，

所述数据处理单元输入虚拟对象显示控制数据，所述虚拟对象显示控制数据记录锚点作为在真实世界中拍摄的真实对象的参考图像、关于所述锚点在虚拟三维空间坐标系中的位置信息以及关于所述注册信息设置点在虚拟三维空间坐标系中的位置信息，以及

所述数据处理单元从所述成像单元拍摄的图像中检测所述锚点、从所检测到的锚点在虚拟三维空间坐标中的位置和方向确定所述成像单元在虚拟三维空间中的位置、计算所述注册信息设置点在显示单元坐标系中的位置并基于所计算的位置显示表示所述注册信息设置点的虚拟对象，其中，所述显示单元坐标系作为所述显示单元的坐标系。

(15)促使信息处理装置执行信息处理的程序，其中

所述信息处理装置包括成像单元、显示由所述成像单元拍摄的图像的显示单元、以及数据处理单元，所述数据处理单元在所述显示单元上显示虚拟对象，所述虚拟对象表示包含在所拍摄的图像中的真实世界注册信息设置点，以及

所述程序使所述数据处理单元：

输入虚拟对象显示控制数据，所述虚拟对象显示控制数据记录锚点作为在真实世界中拍摄的真实对象的参考图像、关于所述锚点在虚拟三维空间坐标系中的位置信息以及关于所述注册信息设置点在虚拟三维空间坐标系中的位置信息，以及

从所述成像单元拍摄的图像中检测所述锚点、从所检测到的锚点在虚拟三维空间坐标中的位置和方向确定所述成像单元在虚拟三维空间中的位置、计算所述注册信息设置点在显示单元坐标系中的位置并基于所计算的位置显示表示所述注册信息设置点的虚拟对象，其中，所述显示单元坐标系作为所述显示单元的坐标系。

另外，本文中所述的一系列过程可以通过硬件、软件或两者的组合来执行。在通过软件执行该过程的情况下，记录过程序列的程序可以被安装在并入专用硬件中的计算机的存储器中以用于执行，或者可以被安装在能够执行各种过程的通用计算机中以用于执行。例如，可以将该程序预先记录在记录介质中。程序可以从记录介质安装到计算机中，或者程序可以经由诸如局域网(LAN)和因特网的网络接收并且被安装在诸如内部硬盘等的记录介质中。

顺便提及，本文所述的各种过程可根据描述按时间顺序执行，或者可根据执行过程的装置的性能或根据需要并行或单独地执行。另外，本文所述的系统为多个装置的逻辑组合，但是作为组成元件的装置可不被包含在同一外壳中。

工业适用性

如上所述，根据本公开的示例的配置，可以实现一种装置和方法，通过该装置和方法将注册信息设置点(POI)转换至坐标系，其中，信息处理装置的位置在原点与真实三维空间中的真实对象的位置精确关联，并且根据信息处理装置的位置和方向在显示单元上显示注册信息。

具体地，记录作为通过拍摄真实对象获得的参考图像的锚点的显示控制数据以及该锚点和注册信息设置点在虚拟三维空间坐标中的位置信息(位置、方向等)被输入，该锚点从拍摄图像被检测、信息装置在虚拟三维空间中的位置被确定、在终端坐标系中的三维位置和显示装置在二维坐标系中的显示位置根据所确定的三维位置和被记录在显示控制数据中的注册信息设置点的位置信息来计算以及点位置被显示。

根据该配置，可以实现一种装置和方法，通过该装置和方法将注册信息设置点(POI)转换至坐标系，其中，信息处理装置的位置在原点与真实三维空间中的真实对象的位置精确关联，并且根据信息处理装置的位置和方向在显示单元上显示注册信息。

附图标号列表

10 信息处理装置(用户终端)

20 信标发送器

30 网络

40 搜索服务器

50 信息提供服务器

101和102 注册信息设置点(POI)

111和121 点(POI)位置标识标记

121和122 点(POI)对应注册信息

201和202 参考真实对象

211和212 注册信息设置点(POI)

301 点(POI)位置标识标记

302 点(POI)对应注册信息

321 点(POI)位置标识标记

322 点(POI)对应注册信息

501 信标检测单元

502 数据处理单元(控制单元)

503 运动传感器

504 存储单元

505 相机

506 输入单元

507 输出单元(显示单元等)

508 通信单元

509 各种传感器

510 定时器

701 CPU

702 ROM

703 RAM

704 总线

705 输入/输出接口

706 输入单元

707 输出单元

708 存储单元

709 通信单元

710 驱动器

711 可移除介质