信息显示系统、信息显示装置、信息提供装置以及存储介质的制作方法

专利名称：信息显示系统、信息显示装置、信息提供装置以及存储介质的制作方法
技术领域：
本发明涉及信息显示系统、信息显示装置、信息提供装置以及存储介质，尤其是涉及适于利用了 AR技术的信息显示的信息显示系统、信息显示装置、信息提供装置以及存储介质。
背景技术：
如所谓智能电话(smart phone)等那样，具备拍摄功能的高性能的便携式通信终端已得到了普及，在这样的终端装置中，已实现利用了 AR (Augmented Reality :增强现实) 技术的服务(以下称为“AR服务”)。在AR服务中，附加信息实时地被叠加在终端所拍摄的实拍图像上，所以，例如，如日本国特表2008-510254号公报中所述，能够容易地获得正在拍摄的场所的各种信息。在实拍图像上叠加信息的情况下，如果是图像内存在有多个被摄体这样的情形， 则需要进行为了正确地使各被摄体与需叠加信息相对应的位置对准。作为位置对准的方法，例如，日本国特开2009-230255号公报中公开了 在拍摄得到的实拍图像上进行图像识别，并通过与网络上的数据库中所蓄积的各种实拍图像进行对照，由此来确定被摄体。在该方法的情况下，随着AR服务的充实而在数据库中蓄积多样的对照图像。例如，在将某一店铺的信息叠加于实拍图像上的情况下，不仅对店铺的外观图像叠加信息，而且对在店铺内部所拍摄的商品图像等也叠加信息。在这样的情况下，即使是与同一店铺有关的实拍图像，也存在从店外所拍摄的店铺外观图像以及在店内对物品等进行了拍摄的图像。即，由于至被摄体的距离、视角各不相同，因而将拍摄到图像内的被摄体缩尺为不同的图像。在这样的状况下进行图像对照时，若不考虑所拍摄的实拍图像中的被摄体缩尺， 则会造成在进行对照时耗费时间以及出现误识别的可能性。

发明内容
本发明是鉴于上述实际状况而做出的，目的在于提供一种能谋求提高AR服务中的便利性的信息显示系统、信息显示装置、信息提供装置以及存储介质。为了达到上述目的，本发明的第I方面所涉及的信息显示系统具备具有拍摄功能的信息显示装置；以及信息提供装置，其中，所述信息显示装置具备关键信息获取单元，其获取与通过所述拍摄功能所拍摄到的拍摄图像的被摄体对应的关键信息；以及关键信息发送单元，其将所述关键信息发送给所述信息提供装置，所述信息提供装置具备对照图像存储单元，其存储包含对照被摄体在内的对照图像、和与所述对照图像分别对应的所述对照被摄体的缩尺信息及叠加信息；以及信息提供单元，其基于由所述关键信息发送单元所发送的关键信息，选择至少I个所述对照图像，并将所选择的对照图像、和与该选择的至少I个对照图像建立对应的所述缩尺信息及所述叠加信息提供给所述信息显示装置，并且，所述信息显示装置还具备引导显示单元，其显示引导信息，该引导信息是基于与所选择的至少I个所述对照图像对应的所述缩尺信息、和所述拍摄图像中被摄体的缩尺信息的引导信息；对照单元，其根据所述引导显示单元显示的引导信息，来对照所述拍摄图像的被摄体与所选择的至少I个所述对照图像；以及叠加显示单元，其基于所述对照单元的对照结果，在所述拍摄图像上叠加显示与所选择的至少I个所述对照图像对应的所述叠加信
肩、O为了达到上述目的，本发明的第2方面所涉及的信息显示装置具备拍摄单元；与外部装置进行通信的通信单元；以及显示单元，其中，所述通信单元具备数据获取单元，该数据获取单元从所述外部装置获取包含对照被摄体在内的对照图像、和与所述对照图像分别对应的所述对照被摄体的缩尺信息及叠加信息，所述显示单元具备引导显示单元，其显示引导信息，该引导信息是基于所述数据获取单元所获取的所述缩尺信息、和所述拍摄单元所拍摄到的拍摄图像中的被摄体的缩尺信息的引导信息；对照单元，其根据所述引导显示单元显示的引导信息，来对照所述拍摄图像的被摄体与所述对照图像；以及叠加显示单元，其基于所述对照单元的对照结果，在所述拍摄图像上叠加显示所述叠加信息。为了达到上述目的，本发明的第3方面所涉及的信息提供装置具备通信单元，其与具备拍摄功能的信息显示装置进行通信；以及信息存储单元，其存储用于提供给所述信息显示装置的信息，其中，所述信息存储单元具备数据存储单元，该数据存储单元存储包含对照被摄体在内的对照图像、和与所述对照图像分别对应的所述对照被摄体的缩尺信息及叠加信息，所述通信单元基于与所述拍摄图像的被摄体对应的关键信息，将所述数据存储单元中所存储的数据提供给所述信息显示装置。根据本发明，能够提高在利用AR技术服务时的便利性。通过结合附图阅读下面的具体实施方式
，本发明的上述目的以及进一步的目的和新特征将变得更加清楚。应该清楚地知道附图仅仅是为了例示，而不应该被理解为对本发明进行限定。


图I是本发明的实施方式所涉及的信息显示系统的示意图。图2是表示图I所示的信息显示装置的外观构成的示意图，图2(a)表示主面侧的外观构成，图2(b)表示背面侧的外观构成。图3是表示图I所示的信息显示装置的构成的框图。图4是表示通过图3所示的控制部所实现的功能的功能框图。图5是表示图I所示的信息提供装置的构成的框图。图6是表示通过图5所示的控制部所实现的功能的功能框图。图7是表不图5所不的存储部中所存储的“对照图像存储表”的不例的图。图8是用于说明本发明的实施方式I所涉及的“AR显示处理⑴”的流程图。图9是用于说明本发明的实施方式I所涉及的“AR信息提供处理⑴”的流程图。图10是用于说明本发明的实施方式I所涉及的动作的图，图10(a)表示假设场景的示例，图IO (b)表示所利用的对照图像的示例。图11是表示图8所示的“AR显示处理(I) ”所涉及的画面显示例的图，图11(a) 表示分布显示的示例，图11(b)表示分布显示中显示了引导的示例。
图12是表示图8所示的“AR显示处理(I) ”所涉及的画面显示例的图，图12(a) 表示引导移动时的显示例，图12(b)表示显示了叠加信息的示例。图13是表示引导显示的其他示例的图，图13(a)表示催促接近被摄体的引导显示的示例，图13(b)表示催促离开被摄体的引导显示的示例，图13(c)是示出必要视角的引导显示的示例。图14是用于说明本发明的实施方式2所涉及的“AR显示处理(2)”的流程图。图15是表示本发明的实施方式2所涉及的“对照图像存储表”的示例的图。图16是用于说明图14所示的“AR显示处理(2) ”中所执行的“关键信息管理处理”的流程图。图17是用于说明图14所示的“AR显示处理(2) ”中所执行的“AR数据管理处理” 的流程图。图18是用于说明图14所示的“AR显示处理⑵”中所利用的表的图，图18(a)表示“关键信息管理表”的示例，图18(b)表示“AR数据管理表”的示例。图19是用于说明本发明的实施方式3所涉及的“AR显示处理(3)”的流程图。图20是用于说明图19所示的“AR显示处理(3) ”中的对照图像和3D建模数据的图，图20 (a)是示意地表示针对对象物的视线方向，图20 (b)表示对照图像的示例，图20 (c) 表示所生成的3D建模数据的示例，图20(d)表示使视线变更后的3D建模数据的示例。
具体实施例方式以下，参照附图，对本发明所涉及的实施方式进行说明。(实施方式I)参照图1，对本发明的实施方式所涉及的信息显示系统I进行说明。图I是表示本实施方式所涉及的信息显示系统I的构成的框图。如图所示，本实施方式所涉及的信息显示系统I由通过通信网络NW连接的信息显示装置100、信息提供装置200等构成。本实施方式所涉及的通信网络NW诸如是包含因特网等的IP网、移动体通信用的蜂窝网等在内的WAN(Wide Area Network :广域网)。本实施方式所涉及的信息显示装置100是至少具备通信功能、拍摄功能、显示功能的便携式型终端装置，常说的智能电话是作为信息显示装置100的适当形态。本实施方式中，将信息显示装置100设为图I所示那样的智能电话。本实施方式中，通过包含有这样的信息显示装置100的信息显示系统1，来实现适用了 AR (Augmented Reality :增强现实) 技术的服务(以下称为“AR服务”)。即，在通过信息显示装置100的拍摄功能所拍摄到的实拍图像上，实时地叠加与该图像内的被摄体相关的信息并进行显示。参照图2以及图3，对信息显示装置100的构成进行说明。图2是表示信息显示装置100的外观构成的示意图，图2(a)表示信息显示装置100的主面侧，图2(b)表示信息显示装置100的背面侧。另外，图3是表示信息显示装置100的构成的框图。如上述各图所示，本实施方式所涉及的信息显示装置100由控制部110、通信部 120、关键信息获取部130、拍摄部140、输入输出部150、存储部160等构成。控制部110例如由CPU(Central Processing Unit :中央运算处理装置)或RAM (Random Access Memory)等构成。控制部110对信息显不装置100的各部进行控制,并通过执行程序来进行后述的各处理。通信部120是用于经由通信网络NW进行通信的构成。通信部120由诸如CDMA2000 方式等的蜂窝通信模块或IEEE 802. 16e (所谓的移动通信WiMAX)用的通信模块等可直接访问WAN的通信模块和/或诸如用于与可访问WAN的外部通信装置(例如，移动通信路由器等)或公共无线LAN的访问点等进行通信的IEEE 802. 11系列(无线LAN)用的通信模块等构成。关键信息获取部130是用于获取在接受AR服务时所需的关键信息这样的构成。关键信息获取部130由诸如GPS(Global Positioning System :全球定位系统)模块、RFID(Radio Frequency IDentification) > IrDA(Infrared Data Association)、 Bluetooth(注册商标)等所谓的近距离无线通信模块、可见光通信模块等构成。关键信息获取部130获取由外部所提供的关键彳目息。在此的“关键信息”，例如除表示信息显示装置100的当前位置的位置信息(纬度 经度信息)之外，还包括针对AR服务中所叠加的信息已被登录于信息提供装置200中的店铺等的各种设施等而赋予的ID信息等，通过将信息显示装置100获取的关键信息发送给信息提供装置200，由此来选择位置对准所需的对照图像或AR服务中所提供的信息。由此，利用GPS模块等来作为用于获取信息显示装置100的当前位置信息的构成。 另外，利用近距离无线通信模块或可见光通信模块等来作为用于获取在各种设施等可获取的ID信息的构成。这些构成例如如图2(b)所示那样，在信息显示装置100的外面上或内部等适当地构成。另外，信息显示装置100也可以不全部具备这些构成，但是，本实施方式中，信息显示装置100至少具备用于获取位置信息的构成(GPS模块等)。本实施方式中，在关键信息获取部130中至少包括用于获取当前位置的构成(GPS 模块等)，也可以任意地包括用于获取ID信息的构成。另外，关键信息获取部130也可以通过GPS以外的方法来获取当前位置信息，例如，关键信息获取部130也可以通过蜂窝通信所访问的基站或通过无线LAN所访问的访问点来获取位置信息。在该情况下，关键信息获取部130中包含有用于进行这些通信的通信部120。拍摄部140是用于实现信息显示装置100的拍摄功能的构成，例如由利用了固体拍摄元件的数字相机模块等构成。本实施方式中，是在通过拍摄部140得到的作为实时浏览图像的动态图像(实拍图像)上叠加由AR服务所提供的信息。另外，在诸如以QR码(注册商标)那样的2维码等视觉性的客体来提供上述关键信息的情况下，则成为通过拍摄部140的拍摄动作来获取关键信息的情形。在该情形下，关键信息获取部130中将含有拍摄部140。另外，拍摄部140优选为如图2(b)所示那样的双眼式立体相机。即，拍摄部140是具有在水平方向以视差相当的间隔而并列的2个透镜的拍摄装置。通过这样的立体相机， 能够进行基于3角测量原理的至被摄体为止的测距或3D建模数据的生成。输入输出部150至少包括用于显示输出由拍摄部140所拍摄的拍摄图像或由AR 服务所提供的信息等的显示装置、以及受理由信息显示装置100的用户所进行的输入操作的输入装置，本实施方式中，由显示功能与输入功能被一体化实现的触摸面板(触屏)构成为输入输出部150。另外，输入输出部150还包含智能电话的通话功能等的音频输入输出中所使用的扬声器、麦克风等。存储部160例如由闪存等半导体存储装置等构成，存储有控制部110执行的程序、各种处理中所利用的数据、通过各种处理所生成的数据、以及通过通信部120或关键信息获取部130的动作而获取的数据等。参照图4，对通过控制部110执行存储部160中所存储的程序而实现的功能进行说明。图4表示控制部110所实现的功能的功能框图。本实施方式中，如图所示，通过控制部110实现AR处理部111、拍摄处理部112、对照处理部113等的功能。AR处理部111根据基于用户操作的来自输入输出部150的输入信号等，执行与存储部160中所存储的AR服务相关的应用程序(以下称为“AR应用程序”)来控制其动作。 AR处理部111进行对于AR服务所涉及的显示动作(以下称为“AR显示”)所需的图像处理，并向输入输出部150进行显示输出。在该情况下，通过进行利用了存储部160中所存储的图像数据等的图像处理，来进行AR显示。拍摄处理部112通过控制拍摄部140，来控制信息显示装置100的拍摄功能所涉及的动作。本实施方式中，拍摄处理部112控制由AR处理部111执行的AR应用程序中所需的拍摄动作。对照处理部113通过控制通信部120或关键信息获取部130，从信息提供装置200 或各种外部装置中获取信息，由此，进行AR显示中的位置对准中所需的对照动作。在此，按照AR应用程序的执行，来控制关键信息获取部130以获取关键信息，并将所获取的关键信息存储于存储部160，同时还控制通信部120，以使得将所获取的关键信息发送给信息提供装置200等，并从信息提供装置200中获取AR应用程序的执行中所需的对照图像或叠加信息。接下来，对照处理部113将所获取的对照图像或叠加信息存储于存储部160中，进行拍摄处理部112所获取的拍摄图像与对照图像之间的对照。本实施方式中，由控制部110逻辑性地实现这些的功能，但是，这些功能中的一部分或者全部也可以通过诸如ASIC(Application Specific Integrated Circuit :确定用途用集成电路)等的硬件来实现。上述信息显示装置100的各构成是实现本发明所需的构成，也可以适当具备作为智能电话而发挥功能时所需的其他构成。接着，对信息提供装置200进行说明。信息提供装置200例如是ASP (Application Service Provider)服务器等那样的信息处理装置，本实施方式中，其对经由通信网络NW 而连接的信息显示装置100提供AR服务。参照图5，对这样的信息提供装置200的构成进行说明。图5是表示信息提供装置200的构成的框图。如图所示，信息提供装置200由控制部210、通信部220、输入输出部230、存储部 240等构成。控制部210例如由CPU或RAM等构成。控制部210控制信息提供装置200的各部， 并且通过执行程序来进行后述各处理。通信部220是用于进行经由通信网络NW的通信的构成。通信部220例如由 NIC (Network Interface Card)或路由器、调制解调器等的通信用设备来构成,进行采用了合适的通信协议的数据收发。
输入输出部230例如由键盘或鼠标等这样的进行与信息提供装置200的操作员的操作相对应的输入的输入装置、以及显示装置等那样的进行处理结果的输出的输出装置构成。存储部240例如由硬盘装置等的存储装置构成。存储部240存储有由控制部210 所执行的程序。并且，存储部240存储通过执行程序而进行的各处理时所需的数据以及通过处理所生成的数据等。参照图6，对通过控制部210执行存储部240中所存储的程序而实现的功能进行说明。图6是表示控制部210所实现的功能的功能框图。本实施方式中，如图所示，由控制部210来实现通信处理部211、信息登录部212、 信息检索部213等的功能。通信处理部211控制通信部220，经由通信网络NW进行与信息显示装置100之间的通信。本实施方式中，通信处理部211除接收信息显示装置100发送来的关键信息外，还将通过后述的信息检索部213所检索得到的信息发送给信息显示装置100。信息登录部212进行将AR服务提供中所需的信息登录于存储部240中的处理。图 7表示存储部240中所登录的信息的示例。本实施方式中，所图示的“对照图像存储表”在存储部240中被生成，且存储AR服务提供中所需的各种信息。在该对照图像存储表中，将为了对照由利用AR服务的信息显示装置100所拍摄得到的实拍图像中的被摄体而准备的多个对照图像，与成为各对照图像的索引的信息(以下称为“索引信息”)或与由对照图像所确定的被摄体建立对应地在拍摄图像上叠加并显示的信息(以下，称为“叠加信息”)等建立对应地存储。在此，本实施方式中的“对照图像”是指，将与通过AR服务所叠加的信息相关联的物体作为被摄体而拍摄的图像，例如，将店铺等建筑物的外观成为被摄体的图像或商品等那样的物品等成为被摄体的图像，登录为对照图像。与这样的对照图像建立对应的索引信息，例如有表示该被摄体所存在的场所的位置信息(纬度 经度信息)等。例如通过将具有GPS功能的拍摄装置所拍摄的拍摄图像设为对照图像，来作为Exif (Exchangeable Image File Format)的附加信息等进行获取。另外，这些信息是在向存储部240的登录时，通过信息提供装置200的操作员来操作输入输出部230而输入的。除这样的索引信息之外，如图7所示那样的“缩尺信息”与“单位缩尺”也被记录在对照图像存储表中。缩尺信息是该对照图像所涉及的拍摄数据中用以确定被摄体缩尺的信息，在此， 作为缩尺信息，记录有该图像的图像尺寸(像素数)、拍摄元件的尺寸(传感器尺寸)、至被摄体的距离、透镜的焦点距离等。这些的信息除可从对照图像的Exif数据等附加信息中获取外，也可通过操作员操作所进行的输入等来进行记录。另外，缩尺信息中也包含表示视角的信息。设为基于上述缩尺信息来计算并记录视角。在该情况下，例如，通过运算式I来计算出视角[度]。(式I)SXtarT1 {传感器尺寸[mm]/(2X 焦点距离[mm])}在此，拍摄元件的尺寸为纵或者横的任意一尺寸，焦点距离例如为换算成静态相机中的35毫米版的透镜焦点距离后得到的值。单位缩尺是基于上述缩尺信息而计算出的、表示被摄体缩尺的信息，本实施方式中，例如，将I像素(pixel)相当的实际尺寸的大小作为单位缩尺来进行记录。通过在对照图像的登录时由信息登录部212来进行这样的单位缩尺的计算。或者，也可以由操作员输入预先计算出的值。单位缩尺的计算例如以下述那样的顺序来进行。首先，基于至被摄体的距离、拍摄元件的尺寸、透镜的焦点距离，来运算式2，计算出对照图像内的被摄体的尺寸。(式2)(至被摄体的距离[mm]X传感器尺寸[mm]) /焦点距离[mm]在此，拍摄元件的尺寸为纵或者横的任意一尺寸，焦点距离例如是换算为静态相机中的35毫米版的透镜焦点距离后得到的值。通过上述运算，来确定在所代入的拍摄元件尺寸的方向(纵或者横)上被摄体的实际尺寸[_]。通过将如此计算出的被摄体尺寸除以运算中利用的拍摄尺寸的方向(纵或者横) 上的图像尺寸(像素数)，计算出I像素相当的实际尺寸。信息检索部213基于通信处理部211所接收的来自信息显示装置100的关键信息，从对照图像存储表中，检索相应的记录条目(record)并获取。在此，获取表示信息显示装置100的当前位置的位置信息等作为关键信息，对所获取的关键信息成为索引信息的记录条目进行确定。通过通信处理部211，在所确定的记录条目中所记录的信息中，至少将对照图像的图像数据、叠加信息、缩尺信息、单位缩尺等(以下称为“AR数据”)发送给信息显示装置100。本实施方式中，通过控制部210逻辑性实现上述各功能，但是这些功能的一部分或者全部例如也可以通过ASIC等的硬件来实现。以下，对以上已说明了构成的信息显示装置100以及信息提供装置200的动作例进行说明。首先，参照图8所示的流程图，对信息显示装置100的动作进行说明。图8是用于说明本实施方式所涉及的信息显示装置100中所执行的“AR显示处理(I)”的流程图。通过AR处理部111开始AR应用程序时，AR处理部111将该旨意通知给拍摄处理部112以及对照处理部113。接收到通知的拍摄处理部112控制拍摄部140，开始拍摄动作 (步骤 S1101)。拍摄动作开始后，对照处理部113通过控制关键信息获取部130，来进行关键信息的获取动作。在此，至少获取基于GPS模块等的位置信息，在成功获取到位置信息的情况下，也尝试获取其他的关键信息。另外，在未能获取位置信息的情况下，则不能接受AR服务，所以，对照处理部113直至能获取为止进行待机或者进行结束本处理等的错误处理。接下来，在获取至少包含位置信息的关键信息后，对照处理部113将所获取的关键信息记录于存储部160中(步骤SI 102)。在此，所记录的关键信息将在本处理的结束时予以删除。在此，对照处理部113对所记录的关键信息中是否有变动进行判别(步骤S1103)。 在处理刚开始后获取到关键信息的情况下，由于没有前次的记录，对照处理部113判别为 “有变动”(步骤SI 103 :是)。
在该情况下，对照处理部113通过控制通信部120，将所获取的关键信息经由通信网络NW而发送给信息提供装置200 (步骤SI 104)。信息提供装置200接收到如此从信息显示装置100发送来的关键信息时，在信息提供装置200中执行用于将AR数据发送给信息显示装置100的“AR信息提供处理(I) ”。 参照图9所示的流程图，对本实施方式所涉及的信息提供装置200执行的“AR信息提供处理(I)”进行说明。通信处理部211接收到信息显示装置100发送来的关键信息时，信息检索部 213基于接收到的关键信息来获取与对照图像存储表中的索引信息中相应的信息(步骤 S1201)。在此，基于关键信息来获取表示信息显示装置100的拍摄场所的位置信息。信息检索部213将所获取的索引信息(位置信息)作为检索对象，从存储部240的对照图像存储表中进行检索，检索其中记录有与拍摄场所对应的位置信息的记录条目(步骤S1202)，并判别在对照图像存储表内是否存在记录有与拍摄场所对应的位置信息的记录条目(步骤S1203)。另外，基于位置信息进行检索时，信息检索部213不仅对记录着表示拍摄场所的位置信息的记录条目进行检索，也对记录着表示拍摄场所附近(从拍摄场离开规定的距离的区域)的位置信息的记录条目进行检索。在对照图像存储表内存在记录着与信息显示装置100进行拍摄的拍摄场所对应的位置信息的记录条目的情况下(步骤S1203 :是)，信息检索部213从该记录条目中获取 AR数据(步骤S1204)，将该AR数据交送给通信处理部211。通信处理部211控制通信部220，将信息检索部213获取的AR数据经由通信网络 NW发送给信息显示装置100 (步骤S1205)，之后结束处理。另一方面，在对照图像存储表内没有记录着与拍摄场所对应的位置信息这样的记录条目的情况下(步骤S1203 :否)，信息提供装置200不将AR数据发送给信息显示装置 100而结束处理。在该情况下，信息提供装置200也可以将表示在当前位置不能提供AR服务之意的通知信息等发送给信息显示装置100。以上那样的、与信息显示装置100之间的收发动作，例如可通过利用已知的事务 (transaction)技术等来实现，该事务技术利用了 CGI (Common Gateway Interface)技术等。返回至图8的流程图，对AR数据被返送至信息显示装置100后信息显示装置100 的动作进行说明。从信息提供装置200发送AR数据后，信息显示装置100的通信部120经由通信网络NW接收该AR数据。进行了这样的接收后(步骤S1105 :是)，对照处理部113将接收到的AR数据存储于存储部160中，并将该旨意通知给AR处理部111。AR处理部111通过控制输入输出部150，使拍摄部140当前正在拍摄的实时浏览图像进行显示输出，并基于接收到的AR数据的单位缩尺，来生成表示所接收的对照图像的分布的图像，并使所生成的图像显示输出在输入输出部150上(步骤S1106)。在此，参照基于所可假想场景的示例的附图，对处理内容进行说明。本实施方式中，如图10(a)所示那样，在有店铺A 店铺E的街道，利用AR服务。在此，关于店铺A，在信息提供装置200中登录有对照图像等，所以，店铺A是可提供AR服务的店铺，但关于其他的店铺B E，由于在信息提供装置200中未登录信息，所以，店铺B E是不能提供AR服务的店铺。接下来，关于店铺A，假设图10(b)所示那样的对照图像已登录在信息提供装置 200中。如图所示，在此假设除对店铺A的外观进行拍摄得到的对照图像AA外，还将对店铺A内正销售的商品进行拍摄得到的对照图像AB AZ登录在信息提供装置200中。这些对照图像的图像尺寸全部设为相同。接下来，对照图像是按照仅作为对象的被摄体被收纳于图像尺寸内的方式所拍摄得到的。这样，在准备有与多个被摄体相关的多个对照图像的情况下，由于被摄体的大小并非相同，所以各图像的被摄体缩尺也不同。也就是说，相对于对照图像AA是以整个视角对建造物的外观进行拍摄得到的图像，而对照图像AZ是以整个视角对作为商品的笔进行拍摄得到的图像，所以，I像素相当的实际尺寸大不相同。在该情况下，如果在实拍图像的整个视角对店铺A的外观进行拍摄，则能够进行利用了对照图像AA的对照，但是，在此即使拍入商品的笔，也会由于图像内的笔的缩尺过小，而不能进行与对照图像AZ之间的对照。即，如果不与作为对象的被摄体相对应地以恰当的视角来进行拍摄，则不能恰当地获得由AR服务所提供的信息。为了消除这样的不妥当，本实施方式中，通过利用在信息提供装置200的对照图像存储表中与对照图像一并登录的单位缩尺，由此，能够引导用户以适当的视角来进行拍摄。由此，本实施方式在步骤SI 106中，进行基于从信息提供装置200接收到的对照图像的单位缩尺的分布显示。图11(a)表示该情况下的显示例。如图所示，在输入输出部150 中设定“拍摄图像显示区域”与“引导显示区域”，在拍摄图像显示区域中显示由拍摄部140 拍摄到的实时浏览图像。并且，在引导显示区域中进行如图11(a)所示那样的分布显示。如图所示，在该分布显示中，例如，显示上下方向的双箭头，并在该双箭头的右侧呈坐标图状地显示基于单位缩尺的对照图像的分布。在图11(a)的示例中示出了 分布的位置越处于双箭头的上方，则从信息显示装置100(相机)至与该分布对应的对照图像的被摄体为止的距离就越远，分布的位置越处于双箭头的下方，从信息显示装置100 (相机)至与该分布对应的对照图像的被摄体为止的距离就越近。S卩，由于单位缩尺是I像素相当的实际尺寸，所以，关于针对对照图像AA(图 10(b))那样的建造物的外观进行拍摄得到的图像，其单位缩尺的值相对变大，关于针对对照图像AZ那样的笔进行拍摄得到的图像，其单位缩尺的值则相对变小。由此，单位缩尺的值越大，成为越离开被摄体而进行了拍摄，单位缩尺的值越小，成为越接近被摄体而进行了拍摄。由此，在图11(a)所示的分布显示中，单位缩尺的值越大，则在表示对照图像的被摄体处于更远的情况的双箭头的上侧，显示分布，而单位缩尺的值越小，则在表示对照图像的被摄体处于更近的情况的双箭头的下侧，显示分布。接下来，分布显示的横方向示出该单位缩尺的图像数。在图11(a)的示例中，在双箭头的右上侧的分布是与对店铺的外观进行拍摄得到的对照图像AA(图10(a))对应，在双箭头的右下侧的多个分布是与对商品进行拍摄得到的多个对照图像AB AZ (图10 (b))对应。在此，返回至图8的流程图，接着进行处理的说明。如上所述，步骤S1106中进行分布显示时，AR处理部111计算出通过拍摄部140当前正在拍摄的图像的单位缩尺(步骤S1107)。在此，利用拍摄部140的性能信息(传感器尺寸等)、此时的拍摄设定(图像尺寸、 透镜焦点距离等)、以及通过测距动作所获得的至被摄体为止的距离等，以与上述信息提供装置200的信息登录部212相同的方法来计算出单位缩尺。在此，如果拍摄部140是立体相机，则能够进行利用了 3角测量原理的测距，所以，能够更正确地求取至被摄体为止的距离。在计算出拍摄图像的单位缩尺后，AR处理部111使如图11(b)所示那样的引导在引导显示区域中显示(步骤S1108)。该引导已反映了所计算出的拍摄图像的单位缩尺，例如在分布显示中的双箭头的左侧显示引导。在此，图11(b)的拍摄图像显示区域中正在显示的实时浏览图像具有下述视角， 即具有不仅将能提供AR服务的店铺A拍入还将不能提供AR服务的店铺B E也拍入的较宽的视角。在这样的情况下，店铺A即使包含在视角内，由于图像整体中的店铺A的尺寸小，所以实时浏览图像的缩尺与对照图像AA(图10(b))的缩尺不同，从而不能恰当地进行对照。在该情况下，如图11(b)所示那样，已反映了拍摄图像的单位缩尺的引导显示为处于比示出对照图像AA的分布更上侧位置。在图11(b)的示例中，在引导的位置不存在对照图像分布，所以，用户能够认识到如不接近被摄体或通过变焦而设置为望远侧的视角， 则不能实施用于进行AR显示的对照。如此，在当前的拍摄图像中不能进行利用了从信息提供装置200所获取的对照图像的对照的情况下(步骤S1109 :否)，返回至步骤S1107，AR处理部111再次对拍摄图像的单位缩尺进行计算。即，用户若通过引导显示而认识到不可对照，则通过接近被摄体或将变焦设置为望远侧，来如图12(a)所示那样地缩窄视角，从而能计算出该拍摄图像的单位缩尺(步骤SI 107)。在该情况下，虽与所计算出的单位缩尺对应地进行引导显示(步骤S1108)，但如图12(a)所示，按照向下侧移动的方式来显示引导。如图所示，引导移动至与对照图像AA的分布相当的位置时，成为能够以当前的视角来进行与对照图像AA之间的对照(步骤S1109 是)。在该情况下，对照处理部113通过进行AR显示中的已知的图像处理，来进行与引导对应的单位缩尺的对照图像(在该情况下，对照图像AA)与拍摄图像之间的对照(步骤 S1110)，识别拍摄图像内的店铺A的位置。进行这样对照后，如图12(b)所示，通过AR处理部111例如将拍摄图像进行全画面显示，并且将与对照图像AA建立对应的从信息提供装置 200提供的叠加信息叠加显示在与拍摄图像内的店铺A对应的位置(步骤SI 111)。接下来，例如，若没有发生AR应用程序的结束指示或信息显示装置100的电源断开等所谓的规定的结束事件(步骤S1112 :否)，则反复进行步骤S1102以后的处理。在此， 在步骤S1102中虽进行关键信息的获取动作，但只要信息显示装置100没有大幅地移动等， 则相对于前次获取的关键信息不会发生变动(步骤S1103:否)。在这样的情况下，处理进入至步骤S1107，成为进行基于当前单位缩尺的引导显示(与视角变化相应的引导位置的更新)。另一方面，在新获取的关键信息有变动的情况下(步骤S1103 :是)，重新将该关键信息发送给信息提供装置200 (步骤S1104)，并利用基于该关键信息而提供的AR数据来进行以后的处理(步骤S1105 )。另外，在信息提供装置200不存在与信息显示装置100发送来的关键信息相应的对照图像的情况下，如上所述，从信息提供装置200不进行AR数据的发送，或者发送不能提供AR服务之意的通知信息。在这样的情况下(步骤S1105:否)，处理进入步骤S1112，进行与有无结束事件的发生相应的动作。即，如果结束事件未发生(步骤S1112 :否)，则再次从关键信息的获取动作起，反复进行处理(步骤S1102 )。在此，在结束事件发生的情况下(步骤S1112 :是)，删除存储部160中所记录的关键信息后结束处理。如以上说明那样，根据本实施方式，在终端装置进行AR显示时，显示基于与该拍摄场所相关联地准备的对照图像的被摄体缩尺的分布，并且在该分布显示上对拍摄图像中的被摄体缩尺进行引导显示，所以，能够易于设定适于进行利用了所提供的对照图像的对照的视角或拍摄位置，能够提高利用AR显示时的便利性。另外，本实施方式中，例示了如图11(a)、(b)以及图12(a)、(b)所示那样的引导显示，但引导显示的方法或方式是任意的。由此，本发明并不局限于这些实施方式。例如，在由于远离被摄体而拍摄图像内的被摄体像为较小的情况下，信息显示装置100催促接近被摄体或进行基于变焦放大(zoom in)的视角变更，如图13(a)所示，也可将朝上的箭头图像作为引导来进行显示。相反，由于被摄体过度接近而使被摄体像未能收纳于视角内的情况下，信息显示装置100催促远离被摄体或者进行基于变焦缩小(zoom out)的视角变更，如图13(b)所示， 也可以将朝下的箭头图像作为引导来进行显示。或者，也可以是如图13(c)所示，信息显示装置100将表示在对照时所需视角的矩形框作为引导来进行显示，由此来催促视角变更，以使得被摄体像占满在整个该矩形框。这些引导显示，例如在拍摄图像与对照图像的单位缩尺相近的情况下，有利于使其接近更恰当的视角，通过更直感的引导显示，能够催促高效的视角变更。由此，也可以是 先进行图11(a)、(b)中所例示那样的引导显示，在某种程度近似于单位缩尺的阶段，切换为图13(a) (C)所示那样的引导显示。或者，也可以是在对照图像的数量少的情况下等，从最初起就进行图13所示那样的引导显示。本实施方式中，通过立体相机所进行的测距来获取在计算单位缩尺时所需的至被摄体为止的距离，由此获得更正确的距离信息，但是，用于获取至被摄体为止的距离的方法是任意的。例如，为了获取至被摄体为止的距离，也可以利用透镜的对焦距离。在该情况下， 信息显示装置100中所具备的拍摄部140可以不是例示那样的立体相机，也可由一般单眼式的相机模块来构成拍摄部140。(实施方式2)在上述实施方式I中，信息显示装置100通过GPS等获取位置信息等的关键信息后，基于该关键信息，信息提供装置200对AR数据进行检索，并将该AR数据提供给信息显示装置100。但是，在AR服务的提供者扩大时，由于当前位置附近的AR服务的提供者增多， 将会导致下述问题发生，即，除对信息提供装置200的问询次数变多之外，I次所提供的AR 数据的量也变多，通信量负荷或信息显示装置100内的存储器使用量增大，进而导致性能降低。
14
另外，如上所述，由于信息显示装置100也可以获得多个种类的关键信息，根据情况，则会发生必需交替地针对与多个关键信息对应的大量的对照图像进行对照，同样成为信息显示装置100的性能降低的主要因素。另外，即使在利用相同种类的关键信息的情况下，例如，在利用GPS的位置信息的情况下，用户在到达目的地场所之前，也有可能进行沿路径返回的情况。此时，信息处理装置100按照位置信息的变动来访问信息提供装置200时，信息显示装置100的性能降低，对于用户的便利性来说，并非是优选。在该情况下，虽然只要在信息显示装置100内蓄积尽可能多的AR数据，则能够降低对信息提供装置200的访问次数，但是，若在进行对照的信息显示装置100内蓄积较多的 AR数据时，则在对照处理时会耗费时间，所以不能避免性能降低。本实施方式中，通过获取的关键信息以及AR数据的管理，以谋求对信息提供装置 200的问询次数的减少和信息显示装置100中的存储器使用的效率化。由此，参照图14的流程图，对信息显示装置100中所执行的“AR显示处理(2) ”进行说明。该处理是取代实施方式I的“AR显示处理(I)”而执行的处理。在此，上述实施方式I中，必需将通过GPS等获取的位置信息作为关键信息，但是， 本实施方式中，即便是在未获取位置信息而获取了其他种类的关键信息的情况下，信息显示装置100也进行对信息提供装置200的问询。如上所述，也存在有从店铺等的设施等发射关键信息的情形。例如，在店铺的店头等设置近距离无线通信或可见光通信的发射装置，若发射该店铺的AR数据所涉及的关键信息，则在接近该店铺时能够获取关键信息。该情况下所发射的关键信息，例如除可以是与通过GPS获取的位置信息相当的位置信息等之外，还在该设施已在信息提供装置200中登录了 AR数据等的情况下，也可以将表示该设施的识别信息作为关键信息而进行发射。在这样的情况下，在信息提供装置200的对照图像存储表中附加了图15所示那样的“组ID”作为索引信息。通过将多个AR数据与I个组ID建立对应，能够提高信息提供装置200中的检索效率。另外，本实施方式中，如图15所示，针对各AR数据赋予唯一的识别信息(AR数据识别信息)。在该情况下，本实施方式的信息提供装置200在从信息显示装置100发送来关键信息时，将与该关键信息对应的识别信息(AR数据识别信息)返送给信息显示装置100， 在从信息显示装置100发送来识别信息(AR数据识别信息)时，将与该识别信息(AR数据识别信息)对应的AR数据返送给信息显示装置100。另外，关于信息显示装置100获取的关键信息，例如包含由对店铺内销售的商品等附加的价标等所随附的RFID芯片发射来的信息或者显示的2维码所表现的信息，这些的关键信息成为与该商品的AR数据建立对应的识别信息。本实施方式中，设这样的识别信息与上述AR数据识别信息相同。针对在如以上那样的设想下所执行的“AR显示处理(2)”的动作进行说明。另外， 与实施方式I相同地假设将用户进行的AR应用程序的执行指示作为契机而开始处理。开始处理后，拍摄处理部112控制拍摄部140而开始拍摄动作(步骤S2101)，并且通过对照处理部113控制关键信息获取部130来进行关键信息的获取动作(步骤S2102)。 所获取的关键信息例如将被临时性保持在RAM等的存储区域中。
与实施方式I的示例相同地将获取的关键信息记录于存储部160，但本实施方式中，图18(a)所示那样的“关键信息管理表”在存储部160中生成，所获取的关键信息与附加信息被存储于该关键信息管理表中。如图18(a)所示，该关键信息管理表由以记录条目No.(编号)作为关键字(key) 的记录条目来构成。在此，构成表的记录条目数例如是由存储部160的容量中分配给AR应用程序的容量或信息显示装置100的处理能力等所规定的。即，按照所记录的关键信息的数据量成为不降低AR应用程序的执行所涉及性能的程度的方式，来规定记录条目数。本实施方式中，例如，设为由η个记录条目来构成表。另外，设步骤S2102中所获取的关键信息的数量为N(个)。如上所述，通过多种方法来获取关键信息，所以，在相同场所进行关键信息获取动作的情况下，例如有通过GPS来获取位置信息、并且通过近距离无线通信来获取组ID等这样的同时获取多个关键信息的情况，所以，关键信息的数量N为N彡I。如图18(a)所示，在这样的关键信息管理表中记录有所获取的关键信息(例如， 位置信息、组ID、识别信息等)，表示该关键信息的获取方法的种类的信息(例如，GPS、可见光通信、RFID、IrDA、Bluetooth(注册商标)、2维码等之外)、利用日期时间、针对该关键信息而由信息提供装置200发送的识别信息(AR数据识别信息)、表示从删除对象中应除外的记录条目的标志(“除外标志”)等。在此，“利用日期时间”中记录所获取的关键信息被记录时的日期时间。另外，已记录在关键信息管理表中的关键信息被再次获取时，利用日期时间将被更新为此时的日期时间。执行“关键信息管理处理”作为用以在这样的关键信息管理表中存储关键信息的处理(步骤S2200)。参照图16所示的流程图，对该“关键信息管理处理”进行说明。开始处理后，对照处理部113对存储部160的关键信息管理表进行访问，在关键信息管理表中存储有与RAM中所保持的关键信息相同的关键信息的情况下，将涉及该关键信息的“利用日期时间”更新为当前日期时间(步骤S2201)。在此，关于RAM中所保持的、本次获取的关键信息当中的已完成记录于这样的关键信息管理表中的关键信息，在更新利用日期时间后，从RAM中删除。将已完成记录的关键信息从RAM中删除后，RAM中余留的关键信息成为未记录在关键信息管理表中的关键信息。在本次获取的关键信息中，全部关键信息均已记录在关键信息管理表中的情况下(步骤S2202 :否)，仅进行利用日期时间的更新后，结束处理，返回至“AR显示处理⑵”(图14)的流程。另一方面，在本次获取的关键信息中存在有未被记录在关键信息管理表中的关键信息的情况下(步骤S2202 :是)，对照处理部113判别是否能将这样的未记录的关键信息追加到关键信息管理表中(步骤S2203)。如上所述，本实施方式所涉及的关键信息管理表是基于存储部160的容量等而将记录条目数限制为η个为止。在这样的η个记录条目中，只要有I以上的空白记录条目，对照处理部113则判别为可追加关键信息(步骤S2203 :是)。在该情况下，关于RAM中余留的关键信息中I个关键信息，对照处理部113将该关键信息与表示获取方法的信息、以及作为获取日期时间的表示当前日期时间的信息记录在 I个空白记录条目中(步骤S2209)。在该情况下，对照处理部113删除RAM上的该关键信
本次获取的I个关键信息记录于关键信息管理表中后，对照处理部113通过控制通信部120，将该关键信息经由通信网络NW发送给信息提供装置200，并将经由通信网络NW 从信息提供装置200获取对应的识别信息(AR数据识别信息)(步骤S2210)。在该情况下，信息提供装置200中，通信部220接收到从信息显示装置100发送来的关键信息后，信息检索部213对存储部240进行访问，从图15所示的对照图像存储表中检索与接收到的关键信息建立对应的识别信息(AR数据识别信息)，通信部220将该识别信息(AR数据识别信息)发送给信息显示装置100。这样，信息提供装置200发送识别信息(AR数据识别信息)，信息显示装置100的通信部120接收识别信息(AR数据识别信息)。对照处理部113将所接收的识别信息(AR 数据识别信息)记录在通过步骤S2209在关键信息管理表中所记录的关键信息的记录条目中(步骤S2211)。对I个记录条目的关键信息的记录完成后，对照处理部113通过判别是否仍有在 RAM上余留的本次获取的关键信息，来判别未记录在关键信息管理表中的关键信息是否全部已被记录(步骤S2212)。若本次获取的关键信息中还有在RAM中余留的关键信息(步骤S2212 :否)，则处理返回至步骤S2203。在此，η个记录条目中全部已记录有信息的情况下，对照处理部113 判别为不能追加关键信息(步骤S2203 :否)，通过删除任意一个记录条目的内容来准备空白记录条目。在该情况下，对照处理部113扫描关键信息管理表中所记录的利用日期时间，确定出记录着最早利用日期时间的记录条目(步骤S2204)。接下来，对照处理部113判别该记录条目中所记录的关键信息是否为位置信息以外的信息(组ID或识别信息等)(步骤 S2205)。在是记录有除位置信息以外的关键信息的记录条目的情况下(步骤S2205 :是)， 对照处理部113删除该记录条目的内容(步骤S2208)。由此，能够准备I个空白记录条目， 所以，通过步骤S2209以后的处理，在该空白记录条目中记录相应的信息。另一方面，记录着最早利用日期时间的记录条目的关键信息为位置信息的情况下 (步骤S2205 :否)，对照处理部113基于该位置信息和当前位置，来判别该记录条目中所记录的位置信息是否为与当前位置接近的位置(步骤S2206)。在此，本次获取的关键信息中只要包含位置信息，对照处理部113则将该位置信息所示的位置用作当前位置。如未包含位置信息，对照处理部113则通过控制关键信息获取部130，进行当前位置信息的获取。接下来，对照处理部113基于表示各位置的纬度·经度，来运算2点间的距离，对所计算出的距离与规定的阈值进行比较，由此来判别该位置信息所示的位置是否接近当前位置。该情况下的阈值是任意的。关于阈值，可以由信息显示装置100的制造者来设定，也可以由使用者任意地设定。通过这样的动作，若利用日期时间为最早的记录条目中所被记录的位置信息是表示接近当前位置的位置信息时(步骤S2206 :是)，对照处理部113将该记录条目从删除对象中除外(步骤S2207)，返回至步骤S2204。在该情况下，例如，在该记录条目中置位用于表示该记录条目是应从删除对象中除外的记录条目的标志(除外标志)。
另一方面，如果是记录着表示远离当前位置的位置的位置信息的记录条目(步骤 S2206 :否)，处理进入步骤S2208，对照处理部113删除该记录条目的内容。接下来，通过进行步骤S2209以后的处理，在该记录条目中记录各种信息。这样，在本次获取的关键信息的全部均被记录于关键信息管理表中时(步骤 S2212 :是)，对照处理部113结束本处理，返回至“AR显示处理(2) ” (图14)的流程。在此，本实施方式中，从信息提供装置200中获取的AR数据将被记录到如图18 (b) 所示那样的在存储部160中生成的“AR数据管理表”中。如图所示，在“AR数据管理表”中生成以记录条目No.作为关键字的记录条目，在各记录条目中记录与关键信息对应的识别信息(AR数据识别信息)，并且记录与该识别信息(AR数据识别信息)对应的AR数据(即，对照图像、叠加信息、缩尺信息、单位缩尺信息等)、和表示该AR数据的利用日期时间的信息等。在此，“利用日期时间”中记录从信息提供装置200中获取该AR数据时的日期时间。另外，关于构成AR数据管理表的记录条目数，设为是由AR应用程序所分配的存储部160的容量或信息显示装置100的处理能力等所规定的。即，按照所记录的信息量不会使AR应用程序的执行性能降低的方式来规定记录条目数。本实施方式中，设为由m个记录条目来构成表。上述“关键信息管理处理”(步骤S2200)执行后，在“AR显示处理(2) ”中执行用于在这样的AR数据管理表中记录AR数据的“AR数据管理处理”(步骤S2300)。参照图17 所示的流程图，对该AR数据管理处理进行说明。开始处理后，对照处理部113先访问存储部160的关键信息管理表(图18(a))，确定以与本次的关键信息获取动作对应的日期时间作为利用日期时间而记录的记录条目，并确定该记录条目中所记录的识别信息(AR数据识别信息)。即，对照处理部113对于与本次获取的关键信息建立对应的识别信息(AR数据识别信息)进行确定。在该情况下，对照处理部113从关键信息管理表中获得所确定的识别信息(AR数据识别信息)(步骤S2301)，并临时性保持于RAM中。接着，对照处理部113访问存储部160的AR数据管理表(图18(b))，对已记录有步骤S2301中所获取的识别信息(AR数据识别信息)的记录条目进行确定，将该记录条目的“利用日期时间”更新为当前日期时间(步骤S2302)。即，与本次获取的关键信息建立对应的AR数据，是已在AR数据管理表中完成了记录的情况下，作为此时从信息提供装置200 所获取的AR数据，来更新“利用日期时间”。关于这样的表示在AR数据管理表中已完成记录的AR数据的识别信息(AR数据识别信息)，在更新“利用日期时间”后，从RAM中删除该识别信息。在进行了这样的删除后， 若RAM中还余留有识别信息，则由RAM中余留的该识别信息所示的AR数据，将成为未记录在AR数据管理表中的数据。另外，若在RAM中未余留识别信息，则与本次获取的关键信息对应的AR数据全部已在AR数据管理表中完成记录。在该情况下(步骤S2303:否)，对照处理部113仅更新与本次获取的关键信息对应的AR数据有关的“利用日期时间”后，结束处理，处理返回至“AR 显示处理⑵”(图14)的流程。另一方面，在存在有AR数据管理表中未记录的AR数据的情况下(步骤S2303 是)，对照处理部113判别是否能够追加到AR数据管理表中(步骤S2304)。如上所述，本实施方式所涉及的AR数据管理表是基于存储部160的容量等而将记录条目数限制为m个为止。在这样的m个记录条目中，只要有I个以上的空白记录条目，对照处理部113则判别为可追加AR数据(步骤S2304 :是)。在该情况下，对照处理部113选择RAM中所保持的识别信息(AR数据识别信息) 中的I个。接下来，对照处理部113控制通信部120，将所选择的识别信息(AR数据识别信息)经由通信网络NW发送给信息提供装置200，从信息提供装置200中获取与该识别信息 (AR数据识别信息)建立对应的AR数据(步骤S2310)。此时，在信息提供装置200中，通信部220接收到信息显示装置100发送来的识别信息(AR数据识别信息)，信息检索部213访问存储部240，在图15所示的对照图像存储表中，对与接收到的识别信息(AR数据识别信息)建立对应的AR数据进行检索，通信部220 将AR数据发送给信息显示装置100。这样，信息提供装置200发送AR数据后，信息显示装置100的通信部120接收该 AR数据。对照处理部113将所接收的AR数据记录于I个空白记录条目中(步骤S2311)。 对照处理部113另外还将表示此时的当前日期时间的信息作为该AR数据的利用日期时间而进行记录。此时，对照处理部113将RAM中所保持的识别信息(AR数据识别信息)中与已记录于AR数据管理表中的AR数据相关的识别信息(AR数据识别信息)从RAM中删除。对照处理部113通过判别在RAM上是否余留有识别信息(AR数据识别信息)，来判别未记录于AR数据管理表中的AR数据的全部是否已被记录于AR数据管理表中(步骤 S2312)。在RAM上余留有识别信息(AR数据识别信息)的情况下(步骤S2312 :否)，处理返回至步骤S2304，对于这些识别信息(AR数据识别信息)，进行AR数据的获取和记录。在此，在AR数据管理表的m个记录条目全部记录有信息的情况下，对照处理部113判别为不能追加AR数据(步骤S2304 :否)，通过删除任意一个记录条目的内容来准备空白记录条目。在该情况下，对照处理部113对AR数据管理表中所记录的利用日期时间进行扫描，对记录着最早利用日期时间的记录条目进行确定(步骤S2305)。接下来，对照处理部 113对该记录条目中所记录的识别信息(AR数据识别信息)进行确定。接着，对照处理部113访问关键信息管理表，判别是否有记录着所确定的识别信息(AR数据识别信息)的记录条目。即，对照处理部113判别与利用日期时间最早的AR数据对应的关键信息是否余留在当前的关键信息管理表中(步骤S2306)。在关键信息管理表中未余留对应的关键信息的情况下(步骤S2306 :否)，对照处理部113从AR数据管理表中删除步骤S2305中所确定的记录条目的内容(步骤S2307)。 由此，能够准备I个空白记录条目，所以，通过步骤S2310以后的处理，在该记录条目中记录相应的信息。另一方面，在与利用日期时间最早的AR数据对应的关键信息仍余留在当前的关键信息管理表中的情况下(步骤S2306 :是)，对照处理部113通过判别在该关键信息的记录条目中是否置位“除外标志”，来判别该关键信息是否是在“关键信息管理处理”(图16) 的步骤S2207中已从删除对象中除外的信息(步骤S2308)。
在此，在与步骤S2305所确定的AR数据对应的关键信息是在关键信息管理表已从删除对象中除外的情况下(步骤S2308 :是)，对于在步骤S2305确定的记录条目，对照处理部113也将其从删除对象中除外(步骤S2309)，处理返回至步骤S2305。在该情况下，例如也可以在记录条目中置位表示作为除外对象的标志，并将该记录条目的利用日期时间更新为当前的日期时间，由此，步骤S2305中所确定的记录条目将被除外。通过上述“关键信息管理处理”(图16)，则在关键信息管理表中，按照余留相对而言是最近所获取的关键信息或者利用日期时间早但位置表示是与当前位置接近的关键信息的方式来进行管理。由此，与步骤S2305中所确定的AR数据对应的关键信息，只要在关键信息管理表中余留，并且从删除对象中除外，则即使AR数据的利用日期时间早，该AR数据在使用了本次获取的关键信息的AR显示中或者在使用了不久将来可获取的关键信息的 AR显示中被利用的可能性也高。由此，通过将这样的AR数据从AR数据管理表中的删除对象中除外，而使其在AR管理表中余留下来。在这样的除外处理后，处理返回至步骤S2305，检索能够成为删除对象的记录条目，并删除其内容(步骤S2305 步骤S2307)。接下来，在如此准备的空白记录条目中记录新获取的AR数据(步骤S2310 步骤S2311)。另一方面，即使是在关键信息管理表中仍余留的对应的关键信息，只要不是从删除对象中除外的关键信息(步骤S2308 :否)，则在关键信息管理表中余留的关键信息中，相对而言，该关键信息的利用日期时间早，该关键信息表示的位置与当前位置不近、且关于对应的AR数据其利用日期时间为最早。由此，对照处理部113将步骤S2305中所确定的记录条目中所记录的AR数据，视为本次或者不久将来被利用的可能性低，所以，对照处理部113 删除该记录条目的内容来准备空白记录条目(步骤S2307)。直至成为对象的全部AR数据被记录完成为止，反复进行以上那样的动作(步骤 S2312 :否)，全部AR数据被记录后(步骤S2312 :是)，对照处理部113结束本处理，返回至 “AR显示处理⑵”(图14)的流程。在“AR显示处理(2)”中，AR处理部111进行利用了与步骤S2102中所获取的关键信息对应的AR数据的AR显示。在此，通过进行与实施方式I中说明的“AR显示处理
(I)”(图8)的步骤S1106 步骤Sllll相同的动作，进行利用已获取AR数据的AR显示 (步骤 S2103)。接下来，若不发生规定的结束事件(步骤S2104 :否)，则通过反复执行步骤S2102 以后的处理，AR处理部111进行AR显示。接下来，在结束事件的发生时(步骤S2104:是)， 结束本处理。如上所述，根据本实施方式，能够根据信息显示装置100中可利用的存储器资源或处理能力等，以使得AR显示可高效率执行的方式来恰当地管理信息显示装置100所保持的关键信息或AR数据，并且有效地减少用于从信息提供装置200向信息显示装置100提供的AR数据的数据传输，所以，能够减轻通信量负荷，并且能够防止信息显示装置100的性能降低，能够实现AR服务利用中的便利性的提高。S卩,信息显示装置100获取关键信息时,仅从信息提供装置200中获取与该关键信息对应的识别信息，所以，不传输对照图像等那样的相对数据量大的AR数据。接下来，基于所获取的识别信息，仅在信息显示装置100所保持的AR数据中未含有相应的AR数据的情况下，信息显示装置100才从信息提供装置200中接收AR数据的提供。由此，相比于在每次获取关键信息时均从信息提供装置200中获取AR数据的情况，能够大幅度地削减通信网络NW上的数据传输量。另外，在信息显示装置100内按照优先地余留相对而言最近所获取的关键信息和表示与当前位置接近的位置信息的关键信息的方式来进行保持，并按照不删除与这些的关键信息对应的AR数据的方式来进行管理，所以，在信息显示装置100内，优先地保持当前或者不远将来被利用的可能性高的AR数据，能够更进一步地减少为了获取AR数据而与信息提供装置200之间进行的事务次数。另外，本实施方式中，与此时所获取的关键信息对应的AR数据是在AR数据管理表中已完成了记录的情况下，更新与该AR数据相关的“利用日期时间”(“AR数据管理处理”(图17)的步骤S2302)，但是，也可以在AR数据管理表中所记录的AR数据被利用于AR 显示时，更新“利用日期时间”。由此，能够使实际在AR显示中所利用的AR数据优先地保持于信息显示装置100中。另外，从关键信息管理表中删除关键信息时(“关键信息管理处理”(图16)的步骤S2208)，也可以从AR数据管理表中删除与该关键信息建立对应的AR数据，从AR数据管理表中删除AR数据时(“AR数据管理处理”(图17)的步骤S2307)，也可以从关键信息管理表中删除与该AR数据的识别信息(AR数据识别信息)建立对应的关键信息。由此，关键信息以及AR数据中的任意一个被视为删除对象时，也一并删除相互对应的AR数据或者关键信息，所以，在关键信息管理表以及AR数据管理表的任意一者中，都能够提高预先准备空白记录条目的可能性。(实施方式3)上述实施方式2中，作为从店铺等的设施等发射的关键信息，例示了组ID，通过与获取该组ID相同的方法，不仅可以获取关键信息，也可以由设施获取AR数据(对照图像)。 在该情况下，例如，即使在通过GPS不能获取位置信息的情况下，不仅能够获取AR服务的利用中所需的AR数据，还可在不访问信息提供装置200等的情况下获取AR数据，所以，能够减少通信网络NW中的通信量负荷。在该实施方式中，设置于店铺等设施等的近距离无线通信装置或可见光通信装置作为信息提供装置200而发挥功能，这与上述各实施方式中例示的信息提供装置200不同， 这些装置只要仅保持与设置场所相关的信息并发射即可，所以，能够小规模且简易地实现， 而且能够对提供庞大的AR数据进行分流。作为如此提供的对照图像，在上述各实施方式中，采用了照片图像等的所谓2D图像。在该情况下，若从与拍摄对照图像的相机的视线方向不相一致的视线方向进行拍摄，则存在不能很好地进行对照的情况。尤其关于店铺等的内部中的各多数商品而进行AR显示的情况下，在店铺内部狭窄或者接近对象物时，并不局限于能够以与对照图像的视线方向相同的视线方向进行拍摄。另外，由于对照动作是利用背景来进行的，用户不能认识到利用哪样的对照图像，所以，通常不能主动地进行与对照图像的视线方向相匹配的拍摄。在此，在以立体相机来构成拍摄部140的信息显示装置100的情况下，信息显示装置100能够基于拍摄图像来生成3D建模数据。由此，信息显示装置100通过将这样的3D 建模数据与对照图像进行对照，能够实现消除上述那样的问题。本实施方式中，以下对该情况下的动作例进行说明。参照图19所示的流程图，对信息显示装置100利用3D建模数据进行对照的情况下的“AR显示处理(3)”进行说明。另外，本实施方式中设为通过设置于店铺等的设施等的近距离无线通信装置或可见光通信装置来将AR数据提供给信息显示装置100。开始处理时，通过拍摄处理部112来控制作为立体相机的拍摄部140，开始拍摄动作(步骤S3101)。在本实施方式中设为在存储部160中包含诸如VRAM (Video RAM)等那样的、为了进行图像处理而展开图像数据的存储装置。在该情况下，对照处理部113针对存储部160中被展开的图像数据，利用3D建模的已知技术，基于拍摄图像来提取被摄体，并进行纵深估计，由此，生成所提取的被摄体的3D建模数据(步骤S3102)。在生成3D建模数据后，对照处理部113利用图像处理中的已知技术，对于通过拍摄图像生成3D建模数据后的被摄体，例如，通过SIFT (Scale Invariant Feature Transform)或SURF (Speeded Up Robust Features)等,来进行特征点的提取或特征量的计算(步骤S3103)。另外，对照处理部113通过控制关键信息获取部130等，获取从设置于店铺等的设施等的近距离无线通信装置或可见光通信装置中发射来的AR数据，并将AR数据记录于存储部160中(步骤S3104)。在AR数据的记录时，对照处理部113将其记录于实施方式2中所例示那样的AR数据管理表等。在获取的AR数据中所含的对照图像包含有多个的情况下，对照处理部113依次进行所生成的3D建模数据与这些对照图像之间的对照，由此，在将作为处理对象的对照图像的索引编号i设定为初始值“O”后(步骤S3105)，通过对i的值进行加I (步骤S3106)，来指定第I个对照图像。对于存储部160中所存储的该对照图像(第i个的对照图像)，对照处理部113通过进行与步骤S3103中的处理相同的处理，由SIFT或SURF等来进行特征点的提取或特征量的计算(步骤S3107)。在此，在当前正在拍摄的被摄体为图20(a)所示那样的立体物的情况下，所准备的对照图像设为从图20(a)中的“对照图像的视线”所示的方向所拍摄的如图20(b)所示那样的照片图像(2D图像)。在此，在将信息显示装置100所进行的当前的拍摄方向设为图 20(a)中的“当前的相机视线”所示的方向时，在步骤S3102中所生成的3D建模数据成为图 20(c)所示那样的情形。在该情况下，对照图像的视线与当前的拍摄中的视线不同，所以，在所生成的3D 建模数据中，不能进行利用对照图像的对照。由此，对照处理部113比较拍摄图像的特征点 特征量与对照图像的特征点·特征量，按照成为对照图像的视线的方式变更3D建模数据的视线方向(步骤S3108)。如图20(d)所示，如此地进行了视线变更后的3D建模数据与对照图像相似，因而能够进行利用对照图像的对照。另外，在当前进行比较的对照图像不是生成了 3D建模数据的被摄体的情况下，即便变更3D建模数据的视线也不会对照成功(步骤S3109 :否)。在该情况下，处理返回至步骤S3106，对照处理部113通过将作为对象的对照图像的索引编号i加1，针对下一对照图像进行上述处理。接下来，在对照成功的情况下(步骤S3109 :是)，AR处理部111通过进行与实施方式I中例示的“AR显示处理(I) ”(图8)的步骤SI 106 步骤Sllll相同的处理，来进行 AR显示(步骤S3110)。另外，若上述各实施方式中例示那样的规定的结束事件未发生(步骤S3111 :否)， 则处理返回至步骤S3104，对照处理部113反复进行以后的处理。发生结束事件时(步骤 S3111 :是)，对照处理部113结束本处理。根据以上所述的本实施方式，基于从拍摄图像与对照图像中提取的特征点或特征量，来变更基于拍摄图像而生成的3D建模数据的视线方向，由此，即便在由不同于对照图像的视线方向的方向进行拍摄的情况下，也能够进行恰当的对照，与拍摄图像的拍摄方向无关地能够正确地进行AR显示。即，即便由于AR服务的扩大而使AR服务的对象增加的情况下，也能够进行正确的AR显示，能够提高用户的便利性。另外，本实施方式中，从设置于店铺等的设施等的近距离无线通信装置或可见光通信装置中获取作为照片图像的对照图像，但是，这样所提供的对照图像本身也可为3D建模数据。在实施方式I或实施方式2中所例示的信息提供装置200提供对照图像的情况下， 也可以同样地设为3D建模数据。如果是3D建模数据彼此间的对照，则不进行图像处理就能够进行基于数值运算的更正确的对照动作。如以上说明的那样，根据本发明所涉及的上述各实施方式，在利用AR服务的情况下，即使服务对象的数据量是庞大的情况下，也能够提高用户的便利性。上述实施方式是一个示例，本发明的适用范围并不局限于此。即，可进行各种应用，所有实施的方式均包含在本发明的范围内。例如，上述各实施方式中所示的规格或格式等是一个示例，只要能获得相同效果， 所能采用的规格或格式是任意的。另外，在上述各实施方式中，作为信息显示装置100，以智能电话进行了例示，但是，信息显示装置100只要至少具有拍摄功能且能获取关键信息和/或AR数据的构成即可，并不局限于智能电话，能够将任意的装置用作信息显示装置100。在这样的作为信息显示装置100而可采用的任意装置中，即使是不具有上述控制部110所实现的功能的装置，若通过适用程序，能够实现图4所示那样的功能构成，则能够将已有装置作为本发明所涉及的信息显示装置而使其发挥功能。同样地，若通过在通用服务器装置等中适用程序，能够实现图6所示那样的功能构成，则可将已有的信息处理装置等作为本发明所涉及的信息提供装置而使其发挥功能。为了作为信息显示装置或信息提供装置而发挥功能，在任意装置中适用程序的方法，可以根据需要而适当地确定。例如，通过存储于⑶-ROM或存储卡等的存储介质中，能够适用程序，而且例如也可经由因特网等的通信介质来适用。在不脱离其精神或者主要特征的范围内，还能够以其他各种形式实施。因此，上述的实施方式从各方面来说，只是简单的例示，本发明的范围由权利要求的范围所示，不受说明书正文限制。进而，属于权利要求的范围内的变形或变更都在本发明的范围内。
权利要求
1.一种信息显不系统,具备具有拍摄功能的信息显示装置；以及信息提供装置，所述信息显示装置具备关键信息获取单元，其获取与通过所述拍摄功能所拍摄到的拍摄图像的被摄体对应的关键 目息；以及关键信息发送单元，其将所述关键信息发送给所述信息提供装置，所述信息提供装置具备对照图像存储单元，其存储包含对照被摄体在内的对照图像、和与所述对照图像分别对应的所述对照被摄体的缩尺信息及叠加信息；以及信息提供单元，其基于由所述关键信息发送单元所发送的关键信息，选择至少I个所述对照图像，并将所选择的对照图像、和与该选择的至少I个对照图像建立对应的所述缩尺信息及所述叠加信息提供给所述信息显示装置，所述信息显示装置还具备引导显示单元，其显示引导信息，该引导信息是基于与所选择的至少I个所述对照图像对应的所述缩尺信息、和所述拍摄图像中被摄体的缩尺信息的引导信息；对照单元，其根据所述引导显示单元显示的引导信息，来对照所述拍摄图像的被摄体与所选择的至少I个所述对照图像；以及叠加显示单元，其基于所述对照单元的对照结果，在所述拍摄图像上叠加显示与所选择的至少I个所述对照图像对应的所述叠加信息。
2.一种信息显示装置，具备拍摄单兀；与外部装置进行通信的通信单元；以及显示单元，所述通信单元具备数据获取单元，该数据获取单元从所述外部装置获取包含对照被摄体在内的对照图像、和与所述对照图像分别对应的所述对照被摄体的缩尺信息及叠加信息，所述显示单元具备引导显示单元，其显示引导信息，该引导信息是基于所述数据获取单元所获取的所述缩尺信息、和所述拍摄单元所拍摄到的拍摄图像中的被摄体的缩尺信息的引导信息；对照单元，其根据所述引导显示单元显示的引导信息，来对照所述拍摄图像的被摄体与所述对照图像；以及叠加显示单元，其基于所述对照单元的对照结果，在所述拍摄图像上叠加显示所述叠加信息。
3.根据权利要求2所述的信息显示装置，其特征在于所述引导显示单元还具备用于显示所述对照图像的分布的分布显示单元，所述对照图像的分布基于所述数据获取单元所获取的所述缩尺信息，所述引导信息与由所述分布显示单元所显示的所述分布相对应。
4.根据权利要求3所述的信息显示装置，其特征在于所述引导显示单元基于所述拍摄单元所拍摄的所述拍摄图像的视角变化，来变更所显示的所述引导信息。
5.根据权利要求3所述的信息显示装置，其特征在于所述信息显示装置还具备缩尺计算单元，该缩尺计算单元计算所述拍摄图像中I像素相当的实际尺寸，所述分布显示单元显示所述对照图像的分布，所述对照图像的分布基于正示出所述缩尺信息的所述对照图像中I像素相当的实际尺寸，所述引导显示单元显示与由所述缩尺计算单元所计算出的所述实际尺寸相应的所述引导信息。
6.根据权利要求5所述的信息显示装置，其特征在于所述拍摄单元是立体相机，所述缩尺计算单元基于通过该立体相机求取的至被摄体为止的距离，进行所述实际尺寸的计算。
7.一种信息提供装置，具备通信单元，其与具备拍摄功能的信息显示装置进行通信；以及信息存储单元，其存储用于提供给所述信息显示装置的信息，所述信息存储单元具备数据存储单元，该数据存储单元存储包含对照被摄体在内的对照图像、和与所述对照图像分别对应的所述对照被摄体的缩尺信息及叠加信息，所述通信单元基于与所述拍摄图像的被摄体对应的关键信息，将所述数据存储单元中所存储的数据提供给所述信息显示装置。
8.根据权利要求7所述的信息提供装置，其特征在于所述信息提供装置还具备缩尺计算单元，该缩尺计算单元计算所述对照图像中I像素相当的实际尺寸，所述数据存储单元将所述缩尺计算单元计算出的所述实际尺寸存储为所述缩尺信息。
全文摘要
一种提高利用了AR(增强现实)的服务的便利性的信息显示系统、信息显示装置、信息提供装置以及存储介质。进行AR的信息显示的信息显示装置从信息提供装置获取用于对照在拍摄图像中的被摄体的对照图像和用于表示该对照图像中被摄体的缩尺的缩尺信息。并且，在信息显示装置的输入输出部(150)，显示拍摄图像，并且显示基于被摄体缩尺的对照图像的分布，在该分布显示上进行与拍摄图像中的被摄体缩尺相应的引导显示。该引导显示与视角的变化对应地在分布显示上进行移动。由此，能够易于设置可恰当地进行利用所获取的对照图像的对照的视角，并提高便利性。
文档编号G06Q10/00GK102592178SQ20111039690
公开日2012年7月18日 申请日期2011年12月2日 优先权日2010年12月7日
发明者中岛光康, 吉滨由纪, 山谷崇史, 樱井敬一 申请人:卡西欧计算机株式会社