专利名称：信息提供方法、设备和系统、信息显示方法和移动终端的制作方法
技术领域：
本发明涉及信息提供方法和设备、信息显示方法和移动终端、程序以及信息提供 系统。更具体地，本发明涉及可以显示更适当的叠加信息(overlay information)的信息 提供方法和设备、信息显示方法和移动终端、程序以及信息提供系统。
背景技术：
近年来，出现了如下技术其用于使用摄像机等捕获真实世界中的对象的图像从 而作为结果获得捕获到的图像，并且用于以在捕获到的图像上叠合各类信息的方式显示各 类信息。这样的技术被称为增强现实或混合现实。注意，在下文中，被显示成叠合在捕获到 的图像上的信息被称为“叠加信息”。通过将增强现实应用于具有显示的电子设备，用户可 以视觉上识别与捕获到的图像一起显示的叠加信息(例如，参见日本未审查的专利申请公 布第 2008-139295 号)。为了实现增强现实，需要识别摄像机等存在的位置(图像捕获位置)和图像捕获 方向。作为用于识别图像捕获位置和图像捕获方向的方案，以下方案(在下文中，被称为 “位置识别方案”)是常见的其中，使用全球定位系统(GPS)或无线局域网(LAN)来识别摄 像机等存在的位置(图像捕获位置)，并且其中，使用地磁传感器来识别图像捕获方向。
发明内容
然而，当采用这样的位置识别方案时，例如，存在难以通过如下方式显示叠加信息 的情况其使得在包括在捕获到的图像中的店铺上精确地叠合与该店铺相关联的叠加信 息。换句话说，这样的情况的示例包括如下情况虽然用户捕获了建筑物的图像，但是关于 该建筑物前面的建筑物的信息被显示为叠加信息。该原因是，在位置识别方案中，难以精确 地识别摄像机等存在的位置和图像捕获方向。更具体地，例如，当采用使用GPS的位置识别方案时，因为可以容易地在室外场所 接收从人造卫星发射的无线电波，因此地平线清晰的室外场所中的位置识别精确度很高。 然而，在地平线模糊的室外场所(诸如存在大量建筑物的场所)中或在室内场所中，位置识 别精确度明显降低，这是因为难以在室外场所中或在室内场所中接收无线电波。结果，在地 平线模糊的室外场所中或在室内场所中，难以精确地识别摄像机等存在的位置。当采用使用无线LAN的位置识别方案时，地平线模糊的室外场所中或室内场所中 的位置识别精确度基本等于地平线清晰的室外场所中的位置识别精确度。然而，当采用使 用无线LAN的位置识别方案时，接收无线电波的灵敏度低于采用使用GPS的位置识别方案 接收无线电波的灵敏度，并且位置识别精确度低达30m。因此，当采用使用无线LAN的位置 识别方案时，不管是在地平线清晰的室外场所还是在其它不同场所，都难以精确地识别摄 像机等存在的位置。此外，使用地磁传感器难以精确地识别图像捕获方向。结果，使用位置识别方案难 以为用户提供精确的叠加信息。
6
另外，叠加信息还可以被应用于除增强现实之外的技术。例如，当捕获在街道墙上 粘贴的海报的图像时，关于该海报的信息可以被显示为叠加信息，以便被叠合在捕获到的 图像上。然而，在这种情况下，海报和要被显示成叠合在该海报上的项目具有一对一的关 系。因此，难以提供适合每个地方的适当叠加信息。考虑到这样的情形做出了本发明，并且使得有可能显示更适当的叠加信息。根据本发明的实施例的信息提供方法包括如下步骤识别步骤，其识别真实世界 中捕获捕获到的图像的图像捕获位置；检索步骤，其检索与在识别步骤中识别的图像捕获 位置和捕获到的图像相关联的信息；以及提供步骤，其提供在检索步骤中检索到的信息，作 为要被显示成叠合在捕获到的图像上的叠加信息。信息此外可以与时间相关联。在检索步骤中，除图像捕获位置和捕获到的图像之 外，还可以基于捕获捕获到的图像的时间而检索信息。检索步骤可以包括如下步骤图像检索步骤，其基于在识别步骤中识别的图像捕 获位置，从与真实世界中的各个位置对应的多个图像当中，检索要与捕获到的图像进行比 较的图像作为检索到的图像；比较步骤，其将检索到的图像与捕获到的图像进行比较；以 及信息检索步骤，其检索与检索到的图像中的一个检索到的图像相关联的信息作为信息， 其中，作为比较步骤中的比较结果，所述一个检索到的图像与捕获到的图像一致。在识别步骤中，除图像捕获位置之外，还可以识别捕获捕获到的图像的图像捕获 方向。在图像检索步骤中，除图像捕获位置之外，还可以基于图像捕获方向，检索图像作为 检索到的图像。捕获到的图像可以是通过在真实世界中的图像捕获位置执行图像捕获而获得的 图像。在图像检索步骤中，除图像捕获位置之外，还可以基于捕获捕获到的图像所利用的每 个变焦放大倍数，检索图像作为检索到的图像。根据本发明的实施例的信息提供设备和程序是与根据本发明的实施例的上述信 息提供方法对应的设备和程序。在根据本发明的实施例的信息提供方法和设备以及程序中，识别真实世界中捕获 捕获到的图像的图像捕获位置。检索与识别的图像捕获位置和捕获到的图像相关联的信 息。检索到的信息被提供作为要被显示成叠合在捕获到的图像上的叠加信息。根据本发明的实施例的信息显示方法包括如下步骤图像获取步骤，其获取通过 在真实世界中的图像捕获位置执行图像捕获而获得的捕获到的图像；信息获取步骤，其获 取关于图像捕获位置的信息；通信步骤，其将捕获到的图像和关于图像捕获位置的信息传 送到信息提供设备，并且从信息提供设备接收与捕获到的图像和关于图像捕获位置的信息 相关联的叠加信息；以及显示步骤，其以在捕获到的图像上叠合叠加信息的方式，显示在通 信步骤中接收到的叠加信息。在通信步骤中，除捕获到的图像和关于图像捕获位置的信息之外，还可以将关于 捕获捕获到的图像的时间的时间信息传送到信息提供设备。可以从信息提供设备接收除捕 获到的图像和关于图像捕获位置的信息之外、此外还与时间信息相关联的叠加信息。在通信步骤中，还可以将关于捕获捕获到的图像的图像捕获方向的方向信息传送 到信息提供设备。信息显示方法此外可以包括变焦放大倍数获取步骤，其获取捕获捕获到的图像所
7利用的变焦放大倍数。在通信步骤中，除捕获到的图像和关于图像捕获位置的信息之外，还 可以将变焦放大倍数传送到信息提供设备。可以从信息提供设备接收除捕获到的图像和关 于图像捕获位置的信息之外、此外还与变焦放大倍数相关联的叠加信息。根据本发明的实施例的移动终端和程序是与根据本发明的实施例的上述信息显 示方法对应的移动终端和程序。在根据本发明的实施例的信息显示方法和移动终端以及程序中，获取通过在真实 世界中的图像捕获位置执行图像捕获而获得的捕获到的图像。获取关于图像捕获位置的信 息。捕获到的图像和关于图像捕获位置的信息被传送到信息提供设备。从信息提供设备接 收与捕获到的图像和关于图像捕获位置的信息相关联的叠加信息。接收到的叠加信息被显 示成叠合在捕获到的图像上。根据本发明的实施例的信息提供系统包括如下设备信息提供设备，其被配置成 为移动终端提供要与捕获到的图像组合的叠加信息；以及移动终端，其被配置成将叠加信 息与捕获到的图像组合，以获得组合图像，并且被配置成显示该组合图像。移动终端包括 如下装置图像获取装置，其用于获取通过在真实世界中的图像捕获位置执行图像捕获而 获得的捕获到的图像；显示装置，其用于以在捕获到的图像上叠合叠加信息的方式显示叠 加信息；以及第一通信装置，其用于将捕获到的图像和关于图像捕获位置的信息传送到信 息提供设备，并且用于从信息提供设备接收叠加信息。信息提供设备包括如下装置识别 装置，其用于基于从移动终端接收的关于图像捕获位置的信息，识别图像捕获位置；检索装 置，其用于检索与识别装置识别的图像捕获位置和捕获到的图像相关联的信息；以及第二 通信装置，其用于将检索装置检索到的信息传送到移动终端，作为要被显示成叠合在捕获 到的图像上的叠加信息项目。在根据本发明的实施例的信息提供系统中，移动终端获取通过在真实世界中的图 像捕获位置执行图像捕获而获得的捕获到的图像。通过移动终端显示叠加信息，以便被叠 合在捕获到的图像上。移动终端将捕获到的图像和与图像捕获位置相关联的信息传送到信 息提供设备。移动终端从信息提供设备接收叠加信息。信息提供设备基于从移动终端接收 的关于图像捕获位置的信息，识别图像捕获位置。信息提供设备检索与识别的图像捕获位 置和捕获到的图像相关联的信息。信息提供设备将检索到的信息传送到移动终端，作为要 被显示成叠合在捕获到的图像上的叠加信息。如上所述，根据本发明的实施例，可以显示更适当的叠加信息。
图1是本发明所应用的、根据实施例的信息提供系统的配置的框图；图2是根据第一实施例的移动终端的功能配置的示例的功能框图；图3是根据第一实施例的信息提供服务器的功能配置的示例的功能框图；图4是用于说明移动终端执行的叠加信息显示处理的示例的流程图；图5是基站信息项目的示例的图示；图6是用于说明在捕获到的图像上叠合叠加信息项目的显示的示例的图示；图7是用于说明在捕获到的图像上叠合叠加信息项目的显示的另一示例的图示；图8是用于说明信息提供服务器执行的叠加信息提供处理的示例的流程8
图9是用于说明与全景图像相关联的叠加信息项目的具体示例的表格；图IOA到IOC是用于说明叠加信息项目随变焦放大倍数而不同的显示的示例的图 示；图11是根据第二实施例的移动终端的功能配置的示例的功能框图；图12是根据第二实施例的信息提供服务器的功能配置的示例的功能框图；图13是用于说明移动终端执行的叠加信息显示处理的示例的流程图；图14A和14B是捕获到的图像的示例的图示；图15A和15B是叠加信息项目随图像捕获位置或图像捕获时间而不同的显示的示 例的图示；图16是用于说明信息提供服务器执行的叠加信息提供处理的示例的流程图；图17是与显示介质相关联的信息项目的示例的图示；以及图18是本发明所应用的信息处理设备的硬件配置的示例的框图。
具体实施例方式将以以下部分标题的顺序描述两个实施例(在下文中，被称为“第一实施例”和 “第二实施例”)作为
具体实施例方式1.第一实施例(叠加信息项目与全景图像相关联的示例)2.第二实施例(叠加信息项目与海报等的图像相关联的示例)在下文中，将参照附图描述本发明的实施例。1.第一实施例本实施例所应用的信息提供系统1的配置的示例图1是本发明的第一实施例所应用的信息提供系统的配置的框图。图1中示出的信息提供系统1包括移动终端11、基站12-1到12_N(N是等于或大 于一的任意整数值)、网络13以及信息提供服务器14。注意，在下文中，当不需要相互区分基站12-1到12-N时，基站12_1到12_N共同 被称为“基站12”。移动终端11是可以由用户容易携带的终端，诸如移动电话。当移动终端11在室 内或甚至室外时，移动终端11可以传送并接收移动终端11与连接到网络13的信息处理设 备(诸如信息提供服务器14)之间的各类信息项目。更具体地，例如，关于从移动终端11到信息提供服务器14的传送信息项目的传 送，传送信息项目被无线传送到基站12-K (K是1到N的整数值之一)，其在构成无线LAN的 基站12-1到12-N当中最接近移动终端11。基站12-K接收到的传送信息项目经由网络13 被传送到信息提供服务器14。用作信息提供设备的信息提供服务器14是提供各类服务的服务器。关于从信息 提供服务器14到移动终端11的传送信息项目的传送，传送信息项目经由网络13被传送到 基站12-K。基站12-K接收到的传送信息项目被无线传送到移动终端11。注意，第一实施例中的网络13例如使用因特网进行配置。然而，因特网的配置不 特别限制于此。此外，基站12也不特别限制于此，只要它被配置成可连接到网络13即可。 另外，在第一实施例中，因为采用无线LAN来识别移动终端11的位置，因此存在能够与移动终端11无线通信的基站12。然而，在如下情况下例如，采用GPS来识别移动终端11的位 置并且移动终端11和网络13直接相互连接，则可以省略基站12。移动终端11的配置的示 例图2是包括在图1示出的信息提供系统1中的移动终端11的功能配置的示例的 功能框图。图2中示出的移动终端11包括图像捕获单元21、捕获图像获取单元22、基站信息 获取单元23、变焦放大倍数获取单元24、显示控制单元25、显示单元26以及通信单元27。图像捕获单元21在例如真实世界中的预定位置捕获诸如风景的对象的图像。捕获图像获取单元22获取图像捕获单元21捕获的捕获到的图像。基站信息获取单元23获取关于最接近移动终端11的基站12-K的信息项目(在 下文中，被称为“基站信息项目”)。在第一实施例中，使用无线LAN执行位置识别。换句话说，利用接收侧的无线电波 的电场强度随无线通信距离而降低的特性，识别已经给出其安装位置的传送侧与接收侧之 间的距离。使用识别的距离，识别没有给出其当前位置的接收侧的位置。因此，为了使用无 线LAN来识别基站12-K与移动终端11之间的距离，需要基站12-K的安装位置和从基站 12-K发射的无线电波的电场强度。例如，在第一实施例中，通过其可以唯一标识基站的基 站标识符(ID)被分配给基站12-1到12-N中的每个。换句话说，可以由基站ID标识已经 给出其安装位置的基站12。因此，采用基站ID作为用于确定基站12的安装位置的信息项 目。因此，在第一实施例中，通过基站信息获取单元23获取基站12-K的基站ID和关于从 基站12-K发射的无线电波的电场强度的信息项目作为基站信息项目。通信单元27将捕获图像获取单元22获取的捕获到的图像和基站信息获取单元23 获取的基站信息项目传送到信息提供服务器14。此外，通信单元27从信息提供服务器14 接收叠加信息项目。显示控制单元25将通信单元27接收的叠加信息项目叠合在捕获图像获取单元22 获取的捕获到的图像上，从而作为结果获得组合图像。显示控制单元25使得显示单元26 显示组合图像。换句话说，显示单元26 —起显示捕获到的图像和被叠合在捕获到的图像上 的叠加信息项目。变焦放大倍数获取单元24获取图像捕获单元21捕获对象的图像所利用的变焦放 大倍数。变焦放大倍数与捕获到的图像和基站信息项目被一起从通信单元27提供到信息 提供服务器14。信息提供服务器14的配置的示例图3是包括在图1示出的信息提供系统1中的信息提供服务器14的功能配置的 示例的功能框图。图3中示出的信息提供服务器14包括通信单元31、位置信息生成单元32、检索单 元33、全景图像存储单元34以及叠加信息获取单元35。通信单元31与移动终端11的通信单元27通信，并且接收从移动终端11传送的 信息项目，诸如捕获到的图像、基站信息项目以及变焦放大倍数。位置信息生成单元32基于从移动终端11传送并且由通信单元31接收的基站信 息项目，生成表示移动终端11存在的位置的位置信息。换句话说，如上所述，基站信息项目包括与基站12-K的安装位置对应的基站ID和移动终端11中从基站12-K发射的无线电波 的电场强度。位置信息生成单元32检测与基站ID对应的已经给出的安装位置，并且根据 电场强度计算距安装位置的距离，从而识别移动终端11存在的位置(当前位置)。位置信 息生成单元32生成位置信息项目作为识别的结果。检索单元33基于在位置信息生成单元32中生成的位置信息项目，从与真实世界 中的各个位置对应的多个图像当中，检索要与通信单元31接收的捕获到的图像进行比较 的图像，从而获得检索到的图像。检索到的图像是可以与下述叠加信息项目相关联的图像。例如，在第一实施例中， 存储在全景图像存储单元34中的全景图像用作检索到的图像。全景图像是被捕获以使得 可以呈现图像捕获位置周围的所有周围事物(在360度的区域中)的捕获到的图像。换句 话说，在全景图像存储单元34中，预先存储作为在真实世界中的多个位置分别捕获图像的 结果而获得的多个全景图像。此外，在全景图像存储单元34中，预先存储作为在多个图像 捕获位置的每个位置利用多个变焦放大倍数捕获图像的结果而获得的多个全景图像。换句 话说，在全景图像存储单元34中，对于真实世界中的多个位置的每个，存储多个全景图像， 其具有其中层与变焦放大倍数对应的分层结构。检索单元33从存储在全景图像存储单元34中的全景图像当中，检索利用与通信 单元31接收的变焦放大倍数捕获相同或相近的变焦放大倍数捕获到的、并且在由位置信 息生成单元32生成的位置信息项目表示的位置(S卩，与捕获全景图像的图像捕获位置相同 或邻近的位置)捕获到的全景图像。然后，检索单元33执行匹配处理，其在通信单元31接 收到的捕获到的图像与从全景图像存储单元34检索到的全景图像的各个区域之间执行匹 配。例如，检索单元33检测与捕获到的图像的图像特征点一致的、全景图像的各个区域的 图像特征点作为一致点。检索单元33从全景图像当中标识作为捕获到的图像的区域(图 像)。注意，在下文中，通过检索单元33执行的匹配处理被标识为捕获到的图像的全景图 像(检索到的图像)被称为“匹配图像”。匹配图像或用于标识匹配图像的信息用作匹配结^ ο叠加信息获取单元35基于检索单元33获得的匹配结果，获取与匹配图像相关联 的叠加信息。例如，在第一实施例中，预定叠加信息项目与存储在全景图像存储单元34中 的各个全景图像的区域的每个相关联。叠加信息获取单元35从全景图像存储单元34获取 与匹配图像相关联的叠加信息项目。可以采用各种信息项目作为叠加信息项目。因此，可以为用户提供各类服务。例如，可以采用导航信息项目作为叠加信息项目。更具体地，例如，可以使用可以 在因特网上检索到的关于分配给餐厅的排序的排序信息项目作为叠加信息项目。在这种情 况下，当用户利用摄像机等捕获到特定餐厅的图像时，在摄像机等的显示上，不但显示特定 餐厅的图像，而且还显示分配给该餐厅的排序作为叠加信息项目，以便被叠合在特定餐厅 的图像上。因此，用户可以视觉上识别排序信息项目，就好像排序信息是直接张贴在真实世 界中的餐厅上一样。此外，例如，可以采用关于用户当中的通信的通信信息项目作为叠加信息项目。更 具体地，例如，可以使用可以在因特网上检索到的关于餐厅的口碑信息项目作为叠加信息 项目。在这种情况下，当用户利用摄像机等捕获到特定餐厅的图像时，在摄像机等的显示
11上，不但显示特定餐厅的图像，而且还显示关于餐厅的口碑信息项目作为叠加信息项目，以 便被叠合在特定餐厅的图像上。因此，用户可以视觉上识别诸如“该餐厅的食物味道和服务 都很好”的用户级原始信息项目。另外，例如，一个叠加信息项目可以与真实世界中的每个店铺相关联。在这种情况 下，每次用户改变角度并且捕获图像时，包括在捕获到的图像中的店铺不同。在捕获到的图 像上显示的叠加信息项目随店铺而不同。以该方式，可以使得叠加信息项目随图像捕获位 置或包括在捕获到的图像中的对象而不同。通信单元31将叠加信息获取单元35获取的叠加信息项目传送到移动终端11的 通信单元27。如上所述，移动终端11以在捕获到的图像上叠合叠加信息项目的方式显示叠 加信息项目。以该方式，信息提供服务器14使用位置识别来缩小全景图像，其是要经受使用捕 获到的图像的匹配处理的目标。在这之后，信息提供服务器14对全景图像执行匹配处理。 例如，当识别移动终端11存在的位置为涩谷(Shibuya)中八公(Hachiko)的雕像前面的十 字路口附近的位置时，专门选择包括涩谷中八公的雕像前面的十字路口的周围事物的全景 图像作为要经受使用捕获到的图像的匹配处理的目标。因此，可以减少需要用于匹配处理 的数据量，并且可以减少执行匹配处理花费的时间。注意，图2中示出的移动终端11的功能框图和图3中的信息提供服务器14的功 能框图的各个功能块存在的位置可位于移动终端11中、信息提供服务器14中或者网络上 的信息处理设备(没有示出)中。移动终端11执行的叠加信息显示处理接下来，将参照图4描述移动终端11执行的处理(在下文中，被称为“叠加信息显 示处理”)。图4是用于说明移动终端11执行的叠加信息显示处理的示例的流程图。在步骤Sl中，当用户执行预定操作时，移动终端11的基站信息获取单元23获取 基站信息项目。换句话说，通信单元27与最接近移动终端11的基站12-K通信，并且接收 信号。用作信息获取装置的基站信息获取单元23基于接收到的信号获取基站信息项目。图5是基站信息项目的示例的图示。如图5所示，基站信息项目包括基站ID和无线电波的电场强度。基站ID是作为 特定信息项目分配给基站12-1到12-N的每个的基站标识信息项目。可以由基站ID唯一 标识基站12。因此，可以基于移动终端11接收到的基站ID，确定传送基站ID的基站12-K 的安装位置。此外，可以根据移动终端11接收到的、从基站12-K发射的无线电波的电场强 度，计算移动终端11与传送基站ID的基站12-K之间的距离。因此，可以基于移动终端11 接收到的基站信息项目，确定从已经给出其安装位置的基站12-K到移动终端11的距离。在步骤S2中，通信单元27传送基站信息项目。换句话说，通信单元27将在步骤 Sl中通过基站信息获取单元23获取的基站信息项目传送到信息提供服务器14。然后，如以下参照图8所述，信息提供服务器14接收基站信息项目，并且基于基站 信息项目，生成关于移动终端11的位置的位置信息项目(见图8示出的步骤S21和S22)。 换句话说，基站信息项目是表示捕获对象的图像的预定位置的信息项目。注意，可在执行下述步骤S3和S4中的处理之后，执行步骤Sl和S2中的处理。此外，在步骤S5中，可一起传送基站信息项目与捕获到的图像和变焦放大倍数。同时，在移动终端11中，在步骤S3中，图像捕获单元21根据用户操作，捕获预定 位置处的预定对象的图像。捕获图像获取单元22获取图像捕获单元21捕获的捕获到的图像。在步骤S4中，变焦放大倍数获取单元24获取变焦放大倍数。换句话说，变焦放大 倍数获取单元24获取当图像捕获单元21捕获捕获到的图像时用户指定的变焦放大倍数。在步骤S5中，通信单元27传送捕获到的图像和变焦放大倍数。换句话说，通信单 元27将分别在步骤S3和S4中由捕获图像获取单元22和变焦放大倍数获取单元24获取 的捕获到的图像和变焦放大倍数传送到信息提供服务器14。然后，如下参照图8所述，信息提供服务器14接收捕获到的图像和变焦放大倍数。 信息提供服务器14使用捕获到的图像、变焦放大倍数以及上述位置信息项目来获取叠加 信息项目，并且将叠加信息项目传送到移动终端11 (见图8中示出的步骤S23到S27)。在移动终端11中，在步骤S6中，通信单元27接收从信息提供服务器14传送的叠 加信息项目。注意，当在通信单元27传送了捕获到的图像之后的固定时间内，通信单元27 没有接收到叠加信息项目时，确定特定错误出现，并且强制终止叠加信息显示处理。在步骤S7中，显示控制单元25将叠加信息项目与捕获到的图像组合，以获得组合 图像。在步骤S8中，显示单元26显示组合图像。换句话说，显示单元26显示组合图像， 其是通过在步骤S7中根据显示控制单元25执行的控制将叠加信息项目叠合在捕获到的图 像上而获得的。因此，移动终端11执行的叠加信息显示处理完成。这里，将参照图6和7描述图4中示出的步骤S7和S8中的处理的具体示例。图6是用于说明在捕获到的图像上叠合叠加信息项目的显示的示例的图示。在图6示出的示例中，携带移动终端11的用户在室内(例如，在办公室中)。此 外，采用导航信息项目作为叠加信息项目。更具体地，例如，使用关于办公室内部的引导信 息项目作为叠加信息项目。在该示例中，用户利用移动终端11捕获办公室内部的图像，从 而作为结果获得捕获到的图像。“打印室”、“去往出口”以及“主任办公室”的各个引导信息 项目51被显示成叠合在捕获到的图像上。因此，用户可以视觉上识别引导信息项目51，就 好像引导信息项目51是直接张贴在真实世界中的办公室内部一样，并且用户可以采取动 作。因为显示了叠加信息项目，因此用户可以获取表示如下的信息项目当用户从当前位置 看办公室时，位于走廊末端的房间是主任办公室(主任办公室)，比主任办公室更接近用户 的房间是打印室(打印室)，并且当用户从当前位置移动并且左转时，用户将到达出口(去 往出口)。图7是用于说明在捕获到的图像上叠合叠加信息项目的显示的另一示例的图示。在图7示出的示例中，用户在室外并且在市区中。此外，采用导航信息项目作为叠 加信息项目。更具体地，例如，使用店铺信息项目和关于广告的详细信息项目作为叠加信息 项目。在该示例中，用户使用移动终端11捕获市区中建筑物的图像，从而作为结果获得捕 获到的图像。作为叠加信息项目的“打折销售”的店铺信息项目61和关于“特价菜单320 日圆”的广告的详细信息项目62被显示成叠合在捕获到的图像上。因此，用户可以视觉上识别店铺信息项目61和关于广告的详细信息项目62，就好像店铺信息项目61和关于广告 的详细信息项目62是直接张贴在真实世界中的建筑物和广告上一样，并且用户可以采取 动作。因为显示了叠加信息项目，因此用户可以获取如下信息项目其表示用户前面的建筑 物内部的店铺中商品在打折销售(打折销售)，并且在建筑物的墙上的广告中示出的饮料 是320日圆(特价菜单320日圆)。信息提供服务器14执行的叠加信息提供处理接下来，将参照图8描述信息提供服务器14执行的处理(在下文中，被称为“叠加 信息提供处理”)。图8是用于说明信息提供服务器14执行的叠加信息提供处理的示例的流程图。在图4示出的步骤S2中的上述处理中，当从移动终端11传送关于最接近移动终 端11的基站12-K的基站信息项目时，在步骤S21中，通信单元31接收基站信息项目。在步骤S22中，用作识别装置的位置信息生成单元32基于接收到的基站信息项 目，生成位置信息项目。换句话说，如上所述，读取与接收到的基站ID对应并被存储的安装 位置。基于接收到的无线电波的电场，计算距安装位置的距离。然后，计算远离安装位置所 计算的距离的位置作为移动终端11的当前位置(执行图像捕获的预定位置)。此外，如上所述，在图4示出的步骤S5的处理中，从移动终端11传送捕获到的图 像和变焦放大倍数。因此，在步骤S23中，通信单元31接收捕获到的图像和变焦放大倍数。注意，当通 信单元31在固定时间内没有接收到捕获到的图像和变焦放大倍数时，确定特定错误出现， 并且强制终止叠加信息提供处理。在步骤S24中，检索单元33从与位置信息项目表示的当前位置对应的、并且存储 在全景图像存储单元34中的全景图像当中，检索与接收到的变焦放大倍数对应的层中的 全景图像，从而获取作为要与捕获到的图像进行比较的检索到的图像的全景图像。注意，当移动终端11在其中具有地磁传感器，并且具有检测图像捕获方向的功能 时，可以在图4示出的步骤S5中将关于图像捕获方向的方向信息项目传送到信息提供服务 器14。在这种情况下，在步骤S23中，信息提供服务器14接收方向信息项目，并且仅使用从 接收到的方向信息项目表示的图像捕获方向捕获的全景图像作为检索到的图像。因此，因 为将全景图像从利用360度角度捕获到的全景图像缩小到从图像捕获方向捕获到的全景 图像，因此可以减少执行匹配处理花费的时间。在步骤S25中，检索单元33在捕获到的图像与全景图像之间执行匹配。换句话说， 如上所述，通过相互比较特征点，检测与捕获到的图像最类似的全景图像作为匹配图像。在步骤S26中，被配置成与通信单元31 —起作为提供装置的叠加信息获取单元35 基于检索单元33获得的匹配结果，获取叠加信息项目。换句话说，获取与存储在全景图像 存储单元34中的全景图像当中的匹配图像相关联的叠加信息项目。这里，将参照图9描述与全景图像相关联的叠加信息项目的具体示例。图9是用于说明与全景图像相关联的叠加信息项目的具体示例的表格。在全景图像存储单元34中，存储了在真实世界中的多个位置利用不同变焦放大 倍数捕获的多个全景图像PV1-1、PV1-2、PV1_3、. . .、PV5-1、PV5_2、PV5_3、...，以及每个与 全景图像的相应一个相关联的叠加信息项目。在第一实施例中，利用第一到第三个变焦放
14大倍数(其是三个不同的变焦放大倍数)在第一个位置捕获到的全景图像PV1-1、PV1_2以 及PV1-3与叠加信息项目(每个与全景图像的相应一个相关联)一起被存储。此外，利用 第一到第三个变焦放大倍数(其是三个不同的变焦放大倍数)在第五个位置捕获到的全景 图像PV5-l、PV5-2以及PV5-3与叠加信息项目(每个与全景图像的相应一个相关联)一起 被存储。类似地，对于其它位置，存储全景图像和与其相关联的叠加信息项目。注意，关于 第一到第三个变焦放大倍数中的每个，使用同一值作为在每个位置使用的变焦放大倍数。在图9示出的示例中，“银行A营业时间00…”的叠加信息项目与在第一个位置 利用第一个变焦放大倍数捕获的全景图像PV1-1相关联。叠加信息项目与在第一个位置分 别利用第二和第三个变焦放大倍数捕获的全景图像PV1-2和PV1-3的每个相关联。此外， “营业时间00…片数XX…”的叠加信息项目与在不同于第一个位置的第五个位置利用第一 个变焦放大倍数捕获的全景图像PV5-1相关联。另外，“00汉堡X日圆OX汉堡Z日圆OY 汉堡Y日圆…”的叠加信息项目与在第五个位置利用第二个变焦放大倍数捕获的全景图像 PV5-2相关联。在步骤S27中，被配置成与叠加信息获取单元35 —起作为提供装置的通信单元31 传送叠加信息项目。换句话说，通信单元31为移动终端11提供在步骤S26中由叠加信息 获取单元35获取的叠加信息项目。以该方式，如上所述，移动终端11接收叠加信息项目。移动终端11将提供的叠加 信息项目与捕获到的图像组合，以获得组合图像，并且显示组合图像(见图4中示出的步骤 S6 到 S8)。如上所述，信息提供服务器14执行的叠加信息提供处理完成。显示叠加信息项目的示例图IOA到IOC示出了在捕获到的图像上叠合叠加信息项目的示例，并且是叠加信 息项目随变焦放大倍数而不同的显示示例的图示。在图IOA到IOC示出的示例中，用户在市区中。此外，采用导航信息项目作为叠加 信息项目。更具体地，例如，采用关于店铺的详细信息项目和关于店铺内部的详细信息项目 作为叠加信息项目。在图IOA示出的示例中，用户使用移动终端11在市区中的预定位置捕获包括建筑 物71的对象的图像，从而作为结果获得捕获到的图像。关于建筑物71的店铺的详细信息 项目72被显示为叠加信息项目，以便被叠合在捕获到的图像上。因此，因为显示了作为叠 加信息项目的关于建筑物71的店铺的详细信息项目72，因此用户可以获取如下信息项目 其表示用户捕获了其图像的建筑物71是银行A，并且营业时间是00等。在图IOB示出的示例中，用户在市区中不同于图IOA示出的示例中的位置的预定 位置，捕获包括OY汉堡商店73的对象的图像，并且显示捕获到的图像。在该示例中，关于 OY汉堡商店73的详细信息项目74被显示为叠加信息项目，以便被叠合在作为图像捕获的 结果而获得的捕获到的图像上。因此，因为显示了作为叠加信息项目的关于OY汉堡商店73 的详细信息项目74，因此用户可以获取如下信息项目其表示用户捕获了其图像的OY汉堡 商店73的营业时间是00，并且片数是XX等。另外，当用户期望获取关于在图IOB中示出的OY汉堡商店73的详细信息项目时， 用户使用移动终端11利用更高的变焦放大倍数来捕获OY汉堡商店73的图像，从而作为获得捕获到的图像。如图IOC所示显示了捕获到的图像。在图IOC示出的示例中，通过OY汉堡商店73的窗户捕获到了 OY汉堡商店73的 内部状态的图像，并且显示捕获到的图像。关于汉堡的照片75的详细信息项目76被显示 为叠加信息项目，以便被叠合在捕获到的图像上，其中汉堡是捕获到的图像的部分并且被 显示在OY汉堡商店73内。因此，因为显示了作为与汉堡(其是捕获到的图像的部分)的 照片75相关联的叠加信息项目的详细信息项目76，因此用户可以获取如下菜单信息项目 其表示关于用户捕获了其图像的OY汉堡商店73的汉堡的价格，00汉堡X日圆，OX汉堡Z 日圆，以及OY汉堡Y日圆等。以该方式，当在捕获到的图像中存在用户期望获取其更详细信息项目的目标时， 用户利用更高的变焦放大倍数来捕获目标的图像。然后，与针对变焦放大倍数的捕获到的 图像相关联的叠加信息项目被显示，以便被叠合在捕获到的图像上，其中，作为利用更高的 变焦放大倍数捕获目标的图像的结果获得捕获到的图像。因此，用户可以获取更详细的信 息项目，其关于在捕获到的图像中用户期望获取其更详细的信息项目的目标。如上所述，通过利用使用无线LAN的位置识别，缩小作为要经受使用捕获到的图 像的匹配处理的目标的全景图像，由此可以获得以下积极效果。换句话说，不必将作为在多 个位置分别捕获图像的结果而获得的所有多个全景图像与捕获到的图像进行比较。因此， 可以减少执行匹配处理花费的时间。结果，还可以减少以在捕获到的图像上叠合叠加信息 项目的方式显示叠加信息项目所花费的时间。另外，提高了匹配精确度。随着匹配精确度 的提高，利用其确定要被叠合在捕获到的图像上的叠加信息项目的精确度随之提高。另外，当通过利用使用无线LAN的位置识别来执行全景图像(其是要经受使用捕 获到的图像的匹配处理的目标)的缩小时，检测并收集移动终端11需要的各类信息项目的 感测装置仅是摄像机和无线LAN。在近年来利用的移动终端(诸如智能电话)中，通常实现 摄像机和无线通信功能。因此，当通过利用使用无线LAN的位置识别来执行全景图像(其 是要经受使用捕获到的图像的匹配处理的目标)的缩小时，不必向移动终端添加新感测装 置，诸如另一个传感器。此外，因为也可以在室内使用的无线LAN用于位置识别，因此对使 用的范围施加很少的限制。2.第二实施例在上述第一实施例中，与最类似于捕获到的图像的全景图像相关联的信息项目被 显示作为叠加信息项目。在第二实施例中，与作为捕获到的图像的海报等的图像的全部或 部分相关联的信息项目被显示作为叠加信息项目。根据第二实施例的信息提供系统的配置与图1中示出的根据第一实施例的信息 提供系统1的配置基本类似。换句话说，与图1中示出的根据第一实施例的信息提供系统1 的配置类似，同样在根据第二实施例的信息提供系统中，移动终端11和信息提供服务器14 也经由基站12和网络13相互连接。移动终端11的配置的示例图11是包括在根据第二实施例的信息提供系统中的移动终端11的功能配置的示 例的功能框图。图11中示出的移动终端11包括图像捕获单元21、捕获图像获取单元22、基站信 息获取单元23、显示控制单元25、显示单元26、通信单元27以及时间信息获取单元101。
16
图11中示出的移动终端11的图像捕获单元21、捕获图像获取单元22、基站信息 获取单元23、显示控制单元25、显示单元26以及通信单元27的每个的基本功能与图2中 示出的移动终端11的图像捕获单元21、捕获图像获取单元22、基站信息获取单元23、显示 控制单元25、显示单元26以及通信单元27的相应一个的功能类似。因此，在下文中，关于 图11中示出的移动终端11，省略与图2中示出的移动终端11的元件相同的元件的描述，并 且仅描述图11中示出的移动终端11与图2中示出的移动终端11之间的差异。由图2中示出的移动终端11的图像捕获单元21捕获其图像的对象是真实世界中 在移动终端11存在的位置的风景。另一方面，由图11中示出的移动终端11捕获其图像的 对象是被张贴在街道墙上的海报或在显示上显示的数字标牌。在这种情况下，海报或数字 标牌(在下文中，被称为“显示介质”)的全部可以是捕获其图像的对象。替选地，显示介质 的部分可以是捕获其图像的对象。显示介质的部分可以是例如包括在显示介质中的二维条 形码或公司名称的标志等。注意，在下文中，公司名称的标志等被共同称为“标记”。换句话说，由图2中示出的移动终端11的捕获图像获取单元22获取的捕获到的 图像是示出真实世界中在移动终端11存在的位置的风景的图像。另一方面，由图11中示 出的移动终端11的捕获图像获取单元22获取的捕获到的图像是示出显示介质的全部或部 分的图像。在图11示出的移动终端11中，没有提供与图2中示出的移动终端11的变焦放大 倍数获取单元24对应的功能块。另一方面，提供了在图2示出的移动终端11中不存在的 时间信息获取单元101。时间信息获取单元101获取关于显示介质的图像捕获的时间信息项目，诸如图像 捕获开始时间或图像捕获结束时间。时间信息项目与捕获到的图像和基站信息项目被一起 从通信单元27提供到信息提供服务器14。信息提供服务器14的配置的示例图12是包括在根据第二实施例的信息提供系统中的信息提供服务器14的功能配 置的示例的功能框图。图12中示出的信息提供服务器14包括通信单元31、位置信息生成单元32、叠加 信息获取单元35、检索单元121以及内容存储单元122。图12中示出的信息提供服务器14的通信单元31、位置信息生成单元32以及叠加 信息获取单元35的每个的基本功能与图3中示出的信息提供服务器14的通信单元31、位 置信息生成单元32以及叠加信息获取单元35的相应一个的功能类似。因此，在下文中，关 于图12中示出的信息提供服务器14，省略与图3中示出的信息提供服务器14的元件相同 的元件的描述，并且仅描述图12中示出的信息提供服务器14与图3中示出的信息提供服 务器14之间的差异。检索单元121基于通信单元31接收到的捕获到的图像执行检索处理，以确定捕获 到的图像示出哪个显示介质。不特别限制用于检索处理的检索方案。然而，例如，在第二实 施例中，单独或组合采用以下给出的一些检索方案。换句话说，例如，预先准备并登记多个显示介质类型的全部的图像(具有显示介 质的图案的图像，在下文中被称为“海报图像”)。在这种情况下，可以采用如下检索方案 其中，从多个类型海报图像当中识别与捕获到的图像(海报或数字标牌的全部的捕获到的图像)类型一致的类型，从而检索识别的类型的显示介质。注意，不特别限制用于识别相互 一致的图像的识别方案(匹配方案)。例如，可以采用如下识别方案其中，检测与两个图 像之一的图像特征点一致的另一图像的各个区域的图像特征点作为一致点，并且其中，基 于检测的结果，识别两个图像是否相互一致。此外，例如，预先准备并登记多个标记类型。在这种情况下，可以采用如下检索方 案其中，从多个标记类型当中识别与包括在捕获到的图像中的标记类型一致的类型，从而 检索识别的类型的标记。在这种情况下，不特别限制识别方案。例如，还可以采用在紧挨的 在前段落中描述的识别方案。另外，例如，预定显示介质或通过其可以标识预定显示介质的信息项目预先与二 维条形码的多个类型的每个相关联。在这种情况下，可以采用如下检索方案其中，分析包 括在捕获到的图像中的二维条形码，并且其中，基于分析的结果，检索与二维条形码相关联 的显示介质。在内容存储单元122中存储多个内容项目。显示介质、位置信息项目以及时间信 息项目与每个内容项目相关联。叠加信息获取单元35从内容存储单元122获取与检索单元121检索的显示介质、 位置信息生成单元32生成的位置信息项目以及通信单元31接收到的时间信息项目相关联 的内容项目。换句话说，叠加信息获取单元35获取内容项目作为叠加信息项目。用作叠加信息项目的内容项目经由通信单元31被传送到移动终端11。因此，在移 动终端11中，叠加信息项目被显示成叠合在捕获到的图像上或单独被显示。可以采用各种信息项目作为叠加信息项目。因此，可以为用户提供各类服务。例如，可以采用导航信息项目作为叠加信息项目。更具体地，可以采用关于到在显 示介质上显示的旅游景点的交通的信息项目作为叠加信息项目。在这种情况下，使用通过 用户操作的移动终端11，用户可以捕获包括特定旅游景点的图像的显示介质的图像或捕获 包括标记或二维条形码(通过其可以识别特定旅游景点)作为其部分的显示介质的图像。 然后，在移动终端11的显示单元26上，不但显示特定旅游景点的图像，而且还显示例如关 于从图像捕获位置(显示介质存在的位置)到特定旅游景点的交通的信息项目作为叠加信 息项目，以便被叠合在特定旅游景点的图像上。替选地，仅显示关于交通的信息。因此，用 户可以容易地并且视觉上识别关于从图像捕获位置(用户存在的位置)到特定旅游景点的 交通的信息。注意，虽然在上述示例中内容项目与显示介质相关联，但是内容项目的关联不限 于上述示例。内容项目可以与标记或二维条形码相关联。在这种情况下，检索单元121可 以检索包括在捕获到的图像中的标记或二维条形码。此外，图11中示出的移动终端11的功能框图和图12中示出的信息提供服务器14 的功能框图的各个功能块存在的位置可位于移动终端11中、信息提供服务器14中或网络 上的信息处理设备(没有示出)中。移动终端11执行的叠加信息显示处理接下来，将参照图13描述移动终端11执行的叠加信息显示处理。图13是用于说明移动终端11执行的叠加信息显示处理的示例的流程图。步骤S41到S43中的每个处理与图4中示出的步骤Sl到S3中的处理的相应一个
18基本相似。因此，省略每个该处理的描述。作为步骤S43中的处理的结果，如上所述，通过捕获图像获取单元22获取显示介 质的全部或部分的图像作为捕获到的图像。图14A和14B是捕获图像获取单元22获取的捕获到的图像的示例的图示。图14A是作为使用用户操作的移动终端11捕获显示介质(在其上显示示出特定 温泉地点的海报图像141)的图像的结果而获得的捕获到的图像的图示。二维条形码151 包括在显示介质中。在图14A中，显示介质的全部是捕获其图像的对象。然而，显示介质的 部分(即，仅二维条形码151)可以是捕获其图像的对象。例如，可以采用由本申请人开发 的CyberCode 作为二维条形码151。图14B是作为使用用户操作的移动终端11捕获显示介质(在其上显示示出特定 温泉地点的海报图像141)的图像的结果而获得的捕获到的图像的图示。ABC旅行社的标志 161包括在显示介质中。在图14B中，显示介质的全部是捕获其图像的对象。然而，显示介 质的部分(即，仅ABC旅行社的标志161)可以是捕获其图像的对象。在步骤S44中，时间信息获取单元101获取关于图像捕获单元21捕获捕获到的图 像的时间的时间信息项目。例如，获取年、月、日、小时、分钟以及秒。在步骤S45中，通信单元27将在步骤S43中获取的捕获到的图像以及在步骤S44 中获取的时间信息项目传送到信息提供服务器14。然后，信息提供服务器14接收捕获到的图像和时间信息项目，并且使用捕获到的 图像、时间信息项目以及上述位置信息项目来获取预定内容项目。在这之后，信息提供服务 器14将获取的内容项目作为叠加信息项目传送到移动终端11 (见下述图16中示出的步骤 S65 和 S66)。在移动终端11中，在步骤S46中，通信单元27接收从信息提供服务器14传送的 叠加信息项目。注意，当在通信单元27传送了捕获到的图像之后的固定时间内，通信单元 27没有接收到叠加信息项目时，确定特定错误出现，并且强制终止图13中示出的叠加信息 显示处理。步骤S47和S48中的每个处理与图4中示出的步骤S7和S8中的处理的相应一个 基本类似。换句话说，将叠加信息项目与捕获到的图像组合，以获得组合图像，并且显示组 合图像。因此，图13中示出并且由移动终端11执行的叠加信息显示处理完成。这里，将参照图15A和15B描述图13示出的步骤S47和S48中的处理的具体示例。图15A和15B是叠加信息项目随图像捕获位置或图像捕获时间而不同的显示的示 例的图示。在图像捕获位置和图像捕获时间的不同条件下分别捕获在其上显示海报图像141 的显示介质的图像，从而作为结果获得捕获到的图像。在图15A和15B中，叠加信息项目被 显示成叠合在捕获到的图像上。在图15A示出的示例中，企鹅的图像171被显示为叠加信 息项目，以便被叠合在相应的捕获到的图像上。此外，在图15B示出的示例中，猴子的图像 181被显示为叠加信息项目，以便被叠合在相应的捕获到的图像上。该示例表示，即使当捕 获到的图像相互相同时，在用户捕获图像的图像捕获位置(显示介质存在的地点)或图像 捕获时间相互不同的情况下，提供相互不同的内容项目作为叠加信息项目。因此，即使当图像捕获相互相同时，用户也可以获取随图像捕获位置或图像捕获时间变化的叠加信息项 目。换句话说，显示随位置或时间而不同的更适当的叠加信息项目。信息提供服务器14执行的叠加信息提供处理接下来，将参照图16描述信息提供服务器14执行的叠加信息提供处理。图16是用于说明由信息提供服务器14执行的、与图13示出并由移动终端11执 行的处理对应的叠加信息提供处理的示例的流程图。步骤S61和S62中的每个处理与图8示出的步骤S21和S22中的处理的相应一个 基本类似。换句话说，获取基站信息项目，并且生成位置信息项目。如上所述，在图13示出的步骤S45的处理中，从移动终端11传送捕获到的图像和 时间信息项目。因此，在步骤S63中，通信单元31接收捕获到的图像和时间信息项目。注意，当通 信单元31在固定时间内没有接收到捕获到的图像和变焦放大倍数时，确定特定错误出现， 并且强制终止图16中示出的叠加信息提供处理。在步骤S64中，检索单元121检索包括在捕获到的图像中的显示介质。在步骤S65中，被配置成与通信单元31 —起作为提供装置的叠加信息获取单元35 获取如下内容项目作为叠加信息项目其与作为检索单元121执行的检索处理的结果而获 得的显示介质、位置信息项目以及时间信息项目相关联。在步骤S66中，被配置成与叠加信息获取单元35 —起作为提供装置的通信单元31 将叠加信息项目传送到移动终端11。以该方式，如上所述，移动终端11接收叠加信息项目。移动终端11将提供的叠加 信息项目与捕获到的图像组合，以获得组合图像，并且显示组合图像(见图13中示出的步 骤 S46 到 S48)。因此，在图16中示出并且由信息提供服务器14执行的叠加信息提供处理完成。注意，与显示介质、位置信息项目以及时间信息项目相关联的内容项目不限于 叠加信息项目，并且可以是可以在移动终端11上呈现的信息项目，诸如统一资源定位符 (URL)。与显示介质相关联的信息项目的示例图17是如上所述在移动终端11上显示并且与显示介质相关联的信息项目的示例 的图示。在图17示出的示例中，在移动终端11上显示ABC旅行社的站点191。用户可以 从信息提供服务器14获取ABC旅行社的URL作为叠加信息项目，并且可以访问具有获取的 URL的站点。因此，用户可以获取关于到包括在捕获到的图像中的特定温泉地点的旅游的旅 游信息项目和相关信息项目。此外，公司等采用公司等的URL作为叠加信息项目，由此公司 等可以向用户显示促销信息项目。如上所述，在第一和第二实施例中，在信息提供服务器14侧生成位置信息。然而， 可在移动终端11侧生成位置信息。在这种情况下，信息提供服务器14基于从移动终端11 传送的位置信息项目，识别图像捕获位置。本发明可以被应用于使用无线LAN为具有摄像机和通信功能的移动终端提供叠 加信息项目的情况。除移动电话和智能电话之外，移动终端的示例还包括电子记事簿、个人数字助理、头戴式显示器、移动个人计算机等。本发明到程序的应用上述系列处理可以由硬件或软件执行。在这样的情况下，例如，可采用图18中示出的个人计算机作为上述信息处理设备 的至少一个部分。在图18中，中央处理单元(CPU) 201根据记录在只读存储器(ROM) 202中的程序执 行各类处理。此外，CPU 201根据从存储单元208装载到随机存取存储器(RAM) 203的程序 执行各类处理。另外，在RAM 203中，还适当存储利用CPU 201的各类处理的性能所需的数据。CPU 20UROM 202以及RAM 203经由总线204相互连接。输入/输出接口 205也 连接到总线204。使用键盘、鼠标等配置的输入单元206和使用显示器等配置的输出单元207连接 到输入/输出接口 205。此外，使用硬盘配置的存储单元208和使用调制解调器、终端适配 器等配置的通信单元209连接到输入/输出接口 205。通信单元209控制经由包括因特网 的网络在个人计算机与其他设备(没有示出)之间进行的通信。此外，必要时驱动器210连接到输入/输出接口 205。使用磁盘、光盘、磁光盘、半 导体存储器等配置的可拆卸介质211被适当安装到驱动器210。必要时在存储单元208中 安装从可拆卸介质211读取的计算机程序。当由软件执行系列处理时，从网络或记录介质将构成软件的程序安装在合并在专 用硬件计算机中或安装在例如通用计算机中。通用计算机可以通过各类程序的安装来执行 各类功能。如图18所示，使用可拆卸介质(封装介质)211配置包括程序的记录介质，其中， 所述可拆卸介质211与设备的主体分离分布以便为用户提供程序，并且在其上记录程序。 使用磁盘(包括软⑧盘)、光盘(包括致密盘只读存储器(⑶-ROM)和数字多功能盘(DVD))、 磁光盘(包括迷你盘(MD))、或半导体存储器来配置可拆卸介质211。替选地，可使用例如 包括在存储单元208中的硬盘或ROM 202来配置包括程序的记录介质，其中以预先嵌入在 设备的主体中的状态为用户提供所述硬盘或ROM 202。注意，在本说明书中，定义记录在记录介质上的程序的步骤可包括以步骤的次序 顺序执行的处理，并且还可包括并行或单独而不必顺序执行的处理。本申请包含与2009年9月2日向日本专利局提交的日本优先权专利申请JP 2009-202264中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。本领域的技术人员应当理解，可以在所附权利要求或其等同方案的范围内，根据 设计需要或其它因素进行各种修改、组合、子组合和变更。
权利要求
1.一种信息提供方法，包括识别步骤，其识别真实世界中捕获捕获到的图像的图像捕获位置；检索步骤，其检索与在所述识别步骤中识别的所述图像捕获位置和所述捕获到的图像 相关联的信息；以及提供步骤，其提供在所述检索步骤中检索到的所述信息，作为要被显示成叠合在所述 捕获到的图像上的叠加信息。
2.根据权利要求1所述的信息提供方法，其中，所述信息此外与时间相关联，并且其中，在所述检索步骤中，除所述图像捕获位置和所述捕获到的图像之外，还基于捕获 所述捕获到的图像的时间检索所述信息。
3.根据权利要求1所述的信息提供方法，其中，所述检索步骤包括图像检索步骤，其基于在所述识别步骤中识别的所述图像捕获位置，从与真实世界中 的各个位置对应的多个图像当中，检索要与所述捕获到的图像进行比较的图像作为检索到 的图像，比较步骤，其将所述检索到的图像与所述捕获到的图像进行比较，以及信息检索步骤，其检索与所述检索到的图像中的一个检索到的图像相关联的信息作为 所述信息，其中，作为所述比较步骤中的比较结果，所述一个检索到的图像与所述捕获到的图像一致。
4.根据权利要求3所述的信息提供方法，其中，在所述识别步骤中，除所述图像捕获位置之外，还识别捕获所述捕获到的图像的 图像捕获方向，并且其中，在所述图像检索步骤中，除所述图像捕获位置之外，还基于所述图像捕获方向， 检索图像作为所述检索到的图像。
5.根据权利要求4所述的信息提供方法，其中，所述捕获到的图像是通过在真实世界中的所述图像捕获位置执行图像捕获而获 得的图像，并且其中，在所述图像检索步骤中，除所述图像捕获位置之外，还基于捕获所述捕获到的图 像所利用的每个变焦放大倍数，检索图像作为所述检索到的图像。
6.一种信息提供设备，包括识别装置，其用于识别真实世界中捕获捕获到的图像的图像捕获位置；检索装置，其用于检索与所述识别装置识别的所述图像捕获位置和所述捕获到的图像 相关联的信息；以及提供装置，其用于提供所述检索装置检索到的所述信息，作为要被显示成叠合在所述 捕获到的图像上的叠加信息。
7.一种用于使得计算机执行控制处理的程序，所述控制处理包括以下步骤识别真实世界中捕获捕获到的图像的图像捕获位置；检索与识别的图像捕获位置和所述捕获到的图像相关联的信息；以及提供检索到的信息作为要被显示成叠合在所述捕获到的图像上的叠加信息。
8.一种信息显示方法，包括图像获取步骤，其获取通过在真实世界中的图像捕获位置执行图像捕获而获得的捕获 到的图像；信息获取步骤，其获取关于所述图像捕获位置的信息；通信步骤，其将所述捕获到的图像和关于所述图像捕获位置的所述信息传送到信息提 供设备，并且从所述信息提供设备接收与所述捕获到的图像和关于所述图像捕获位置的所 述信息相关联的叠加信息；以及显示步骤，其以在所述捕获到的图像上叠合所述叠加信息的方式，显示在所述通信步 骤中接收到的所述叠加信息。
9.根据权利要求8所述的信息显示方法，其中，在所述通信步骤中，除所述捕获到的图 像和关于所述图像捕获位置的所述信息之外，还将关于捕获所述捕获到的图像的时间的时 间信息传送到所述信息提供设备，并且从所述信息提供设备接收除所述捕获到的图像和关 于所述图像捕获位置的所述信息之外、此外还与所述时间信息相关联的叠加信息。
10.根据权利要求8所述的信息显示方法，其中，在所述通信步骤中，还将关于捕获所 述捕获到的图像的图像捕获方向的方向信息传送到所述信息提供设备。
11.根据权利要求8所述的信息显示方法，此外包括变焦放大倍数获取步骤，其获取捕 获所述捕获到的图像所利用的变焦放大倍数，其中，在所述通信步骤中，除所述捕获到的图像和关于所述图像捕获位置的所述信息 之外，还将所述变焦放大倍数传送到所述信息提供设备，并且从所述信息提供设备接收除 所述捕获到的图像和关于所述图像捕获位置的所述信息之外、此外还与所述变焦放大倍数 相关联的叠加信息。
12.—种移动终端，包括图像获取装置，其用于获取通过在真实世界中的图像捕获位置执行图像捕获而获得的 捕获到的图像；信息获取装置，其用于获取关于所述图像捕获位置的信息；通信装置，其用于将所述捕获到的图像和关于所述图像捕获位置的所述信息传送到信 息提供设备，并且用于从所述信息提供设备接收与所述捕获到的图像和关于所述图像捕获 位置的所述信息相关联的叠加信息；以及显示装置，其用于以在所述捕获到的图像上叠合所述叠加信息的方式，显示所述通信 装置接收到的所述叠加信息。
13.一种用于使得计算机执行控制处理的程序，所述控制处理包括以下步骤 获取通过在真实世界中的图像捕获位置执行图像捕获而获得的捕获到的图像； 获取关于所述图像捕获位置的信息；将所述捕获到的图像和关于所述图像捕获位置的所述信息传送到信息提供设备，并且 从所述信息提供设备接收与所述捕获到的图像和关于所述图像捕获位置的所述信息相关 联的叠加信息；以及以在所述捕获到的图像上叠合所述叠加信息的方式，显示接收到的叠加信息。
14.一种信息提供系统，包括信息提供设备，其被配置成为移动终端提供要与捕获到的图像组合的叠加信息；以及 移动终端，其被配置成将所述叠加信息与所述捕获到的图像组合，以获得组合图像，并且被配置成显示所述组合图像， 所述移动终端包括图像获取装置，其用于获取通过在真实世界中的图像捕获位置执行图像捕获而获得的 所述捕获到的图像，显示装置，其用于以在所述捕获到的图像上叠合所述叠加信息的方式显示所述叠加信 息，以及第一通信装置，其用于将所述捕获到的图像和关于所述图像捕获位置的信息传送到所 述信息提供设备，并且用于从所述信息提供设备接收所述叠加信息， 所述信息提供设备包括识别装置，其用于基于从所述移动终端接收的关于所述图像捕获位置的所述信息，识 别所述图像捕获位置，检索装置，其用于检索与所述识别装置识别的所述图像捕获位置和所述捕获到的图像 相关联的信息，以及第二通信装置，其用于将所述检索装置检索到的所述信息传送到所述移动终端，作为 要被显示成叠合在所述捕获到的图像上的叠加信息项目。
15.一种信息提供设备，包括识别单元，其被配置成识别真实世界中捕获捕获到的图像的图像捕获位置； 检索单元，其被配置成检索与所述识别单元识别的所述图像捕获位置和所述捕获到的 图像相关联的信息；以及提供单元，其被配置成提供所述检索单元检索到的所述信息作为要被显示成叠合在所 述捕获到的图像上的叠加信息。
16.一种移动终端，包括图像获取单元，其被配置成获取通过在真实世界中的图像捕获位置执行图像捕获而获 得的捕获到的图像；信息获取单元，其被配置成获取关于所述图像捕获位置的信息； 通信单元，其被配置成将所述捕获到的图像和关于所述图像捕获位置的所述信息传送 到信息提供设备，并且被配置成从所述信息提供设备接收与所述捕获到的图像和关于所述 图像捕获位置的所述信息相关联的叠加信息；以及显示单元，其被配置成以在所述捕获到的图像上叠合所述叠加信息的方式，显示所述 通信单元接收到的所述叠加信息。
17.一种信息提供系统，包括信息提供设备，其被配置成为移动终端提供要与捕获到的图像组合的叠加信息；以及 移动终端，其被配置成将所述叠加信息与所述捕获到的图像组合，以获得组合图像，并 且被配置成显示所述组合图像， 所述移动终端包括图像获取单元，其被配置成获取通过在真实世界中的图像捕获位置执行图像捕获而获 得的所述捕获到的图像，显示单元，其被配置成以在所述捕获到的图像上叠合所述叠加信息的方式显示所述叠 加信息，以及第一通信单元，其被配置成将所述捕获到的图像和关于所述图像捕获位置的信息传送 到所述信息提供设备，并且被配置成从所述信息提供设备接收所述叠加信息， 所述信息提供设备包括识别单元，其被配置成基于从所述移动终端接收的关于所述图像捕获位置的所述信 息，识别所述图像捕获位置，检索单元，其被配置成检索与所述识别单元识别的所述图像捕获位置和所述捕获到的 图像相关联的信息，以及第二通信单元，其被配置成将所述检索单元检索到的所述信息传送到所述移动终端， 作为要被显示成叠合在所述捕获到的图像上的叠加信息项目。
全文摘要
本发明提供了一种信息提供方法、设备和系统、信息显示方法和移动终端，其中，所述信息提供方法包括识别步骤，其识别真实世界中捕获捕获到的图像的图像捕获位置；检索步骤，其检索与在识别步骤中识别的图像捕获位置和捕获到的图像相关联的信息；以及提供步骤，其提供在检索步骤中检索到的信息作为要被显示成叠合在捕获到的图像上的叠加信息。
文档编号H04W4/02GK102006548SQ20101026552
公开日2011年4月6日 申请日期2010年8月26日 优先权日2009年9月2日
发明者历本纯一 申请人:索尼公司