摄影装置、信息取得系统及程序的制作方法

专利名称：摄影装置、信息取得系统及程序的制作方法
技术领域：
本发明是关于具有在拍摄被摄体时取得拍摄被摄体的位置信息并将被摄体与位置信息建立对应关系的功能的摄影装置、以及使用该信息取得被摄体的信息的摄影装置、信息取得系统及程序。本申请，基于2010年2月8日提出申请的日本特愿2010-025998号主张优先权，将其内容援用于此。
背景技术：
以往，具有摄影功能的摄影装置(例如数字相机)等的携带信息机器等中，已有一种具有下述功能者，亦即检测该携带信息机器所位于的位置信息，并对应检测出的位置信息处理所拍摄的影像数据(参照例如专利文献I)。 [专利文献I]日本特开2004-15187号公报

发明内容
然而，例如包含上述专利文献I在内，使用者无法容易地得到使用者拍摄中的被摄体(例如建造物)为何的信息。本发明的态样，其目的在于提供可充实使用者的活动的摄影装置、信息取得系统及程序。本发明的态样的摄影装置，具备摄影部，拍摄被摄体；位置信息取得部，取得摄影位置的位置信息；控制部，根据前述位置信息取得与前述被摄体相关的信息，将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部；以及保持控制部，将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至前述控制部。本发明的态样的摄影装置，具备纬度经度检测部，检测自身位置的纬度经度信息；方位角检测部，检测拍摄影像数据中的方位角；控制部，将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息，借由该纬度经度信息及该方位角取得并显示于显示部；以及保持控制部，在侦测使前述AR信息储存于存储部的动作后，将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出。本发明的态样的信息取得系统，具备摄影装置与信息检索系统；前述摄影装置是上述任一者的摄影装置。本发明的态样的信息取得系统，由摄影装置与信息检索系统构成，该信息检索系统借由从前述摄影装置发送的纬度经度信息及方位角，抽出位于该纬度经度信息中的前述方位角方向的纬度经度范围的建造物，将附加于该抽出的该建造物的信息发送至前述摄影装置；前述摄影装置具备纬度经度检测部，检测自身位置的纬度经度信息；方位角检测部，检测拍摄影像数据中的方位角；控制部，将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息，借由该纬度经度信息及该方位角取得并显示于显示部；以及保持控制部，在侦测使前述AR信息储存于存储部的动作后，将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出；前述信息检索系统具备数据库，储存有使建造物的建造物识别编号及该建造物的纬度经度信息对应的地图数据、以及使前述建造物识别编号及该建造物识别编号所显示的建造物的前述AR信息对应的建造物表；以及信息检索服务器，借由从前述摄影装置发送的前述纬度经度信息及前述方位角，从前述地图数据检索位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物的建造物识别编号，借由被检索出的前述建造物识别编号，从前述建造物表读出附加于该建造物识别编号所显示的建造物的前述AR信息，并将所读出的建造物的前述AR信息发送至前述摄影装置。本发明的态样的程序，用以使计算机执行上述任一者的摄影装置的功能的程序，其用以使计算机执行输入拍摄被摄体的摄影位置的位置信息的步骤；根据前述位置信息取得与前述被摄体相关的信息的步骤；将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部的步骤；以及将保持前述被摄体的影像数据及与前述被摄体 相关的信息的保持控制信号输出至控制部的步骤。本发明的态样的程序，用以使计算机执行上述任一者的摄影装置的功能的程序，其用以使计算机执行输入纬度经度检测部所检测的自身位置的纬度经度信息的步骤；输入方位角检测部所检测的拍摄影像数据中的方位角的步骤；将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息，借由该纬度经度信息及该方位角取得并显示于显示部的步骤；以及在侦测使前述AR信息储存于存储部的动作后，将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出的步骤。根据本发明的态样，提供可充实使用者的活动的摄影装置、信息取得系统及程序。


图I显示本发明的一实施形态的信息取得系统的构成例的方块图。图2显示储存于图I中的数据库的建造物表构成例的概念图。图3显示以数字相机拍摄中的影像的信息检索处理流程的流程图。图4显示显示于数字相机的显示影像的概念图。图5显示显示于数字相机的显示影像的概念图。图6显示显示于数字相机的显示影像的概念图。图7显示以数字相机拍摄后的影像的信息检索处理流程的流程图。图8显示从输入于数字相机的店铺信息检索信息的处理流程的流程图。图9显示具有取得及储存AR(扩张现实)信息的功能的信息取得系统的方块图。图10显示建物的现实影像与记载有该建物的各AR信息的标志(假想记述)影像的显示部中的合成影像的图。图11显示储存于图9中的AR信息存储部的AR信息表的图。图12显示检索建造物的AR信息的检索范围的图。图13显示图9中的信息检索系统的动作例的流程图。主要元件符号说明I数字相机 2信息检索系统3无线基地台 4信息通讯网
11控制部12收发讯部13 摄影部14GPS15存储部16方位感测器17显示部18计时器19导航部21信息检索服务器22数据库30AR信息存储部31保持控制部
具体实施例方式以下，参照图式说明本发明一实施形态的摄影装置及信息取得系统。图I显示本实施形态的摄影装置及信息取得系统的构成例的方块图。图I中，信息取得系统由摄影装置一例的数字相机I与信息检索系统2构成，数字相机I通过无线通讯与无线基地台3进行数据通讯，通过此无线基地台3及网际网路等信息通讯网4，与信息检索系统2 (或后述的信息检索服务器21)进行数据的收发送。此外，本实施形态的摄影装置，如上述的数字相机I或具备摄影机的行动电话等的具有摄影功能的携带型终端。例如，数字相机I具有浏览功能，其具有控制部11、收发讯部12、摄影部13、GPS (Global Positioning System,全球定位系统)14、存储部15、方位感测器16 (方位角检测部)、显示部17、以及计时器18。此处，本实施形态的无线通讯，不使用线作为传送路，而包含电波、光或音波等的通讯者。摄影部13,具有CO)(Charge Coupled Device,电荷I禹合元件)或CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化半导体)影像感测器、透镜等，将拍摄被摄体(所拍摄的对象物)后的影像数据对上述控制部11输出。以下说明中，作为一例，本实施形态的被摄体表示建造物(包含店铺的商业大楼、包含学校及医院的公共建物、工厂、包含公寓的住宅、铁塔、桥、水坝、游乐园、铜像等的人工建造物等)。GPS14(位置信息取得部、纬度经度检测部)，当对其输入指示来自使用者的摄影的控制信号(例如，检测到已按下摄影钮BI—事的未图示周边电路所输出的控制信号)、或指示信息检索的控制信号(例如，检测到已借由使用者触碰显示检索等的图像(标识)而选择图像一事的未图示周边电路所输出的控制信号)，即取得数字相机I的纬度、经度的信息(纬度经度信息、位置信息)，并对控制部11输出。此外，本实施形态的位置信息取得部(纬度经度检测部)只要能取得摄影装置13的位置者亦可为其他构成，例如亦可利用无线基地台3来取得摄影装置13的位置信息。方位感测器16 (方位角检测部、方位信息取得部)由电子罗盘等构成，当对其输入指示来自使用者的摄影的控制信号(例如，检测到已按下摄影钮BI —事的未图示周边电路所输出的控制信号)、或指示信息检索的控制信号(例如，检测到已借由使用者触碰显示检索等的图像(标识)而选择图像一事的未图示周边电路所输出的控制信号)时，摄影部13中例如串联配置的CCD及透镜，检测出此串联方向的方位并作为方位信息输出至控制部
11。此外，方位感测器16亦可检测从使用者观看的被摄体的方向(亦即摄影方向)的方位，并作为方位信息输出至控制部U。此处，当采用方位角作为方位信息时，例如以上述位置信息的纬度经度为中心点，以北为基准(0度)，顺时针绕东(90度)、南(180度)、西(270度)，以度、分、秒的单位表现方位角。控制部11，当从未图示周边电路对其输入指示使用者按下摄影钮BI等的摄影的控制信号时，即对所拍摄的影像数据赋予影像识别信息，并将就各该影像识别信息拍摄的影像数据与从计时器18取得的时刻数据、位置信息及方位信息彼此对应地依摄影顺序写入存储部15。显示部17，显示摄影部13所拍 摄的影像数据、或通过使用者选择为欲显示的影像而由控制部11从存储部15读出的影像数据。又，显示部17，如后所述是借由上述控制部11的控制，进行从信息检索系统2接收的影像数据或使用者输入的文字数据等的显示。收发讯部12，通过无线通讯与无线基地台3进行收发讯，通过信息通讯网4在与信息检索系统2之间进行影像数据、文字数据或控制信号等数据的收发讯。其次，信息检索系统2，如图I所示具有信息检索服务器21与数据库22。此外，数据库22亦可设于信息检索服务器21内的存储媒体(例如存储器或HDD等)，亦可设于外接的存储媒体或其他终端的存储媒体。如图2所示的建造物表，在数据库22储存有用以识别建造物的建造物识别信息、建造物的名称即建造物名称、建造物信息(地址、电话号码、种类、以建造物为中心的周边影像数据等信息)、建造物的纬度经度等的位置信息、建造物的说明(若是店铺则为该店铺所记载的信息)、投稿信息(曾造访过的使用者的评价等评论及使用者所投稿的影像数据
坐、
寸/ o又，于数据库22储存有以纬度经度为二维平面的座标轴配置有所登录的各建造物的地图数据。此地图数据中，各建造物显示于与上述建造物识别信息对应的纬度经度的位置。信息检索服务器21，使用被输入的上述位置信息及方位信息，从位置信息所显示的纬度经度的位置，在方位信息所示的方向上寻找位于最近距离的建造物，并取得所寻找出的建造物的建造物识别信息。又，信息检索服务器21，从上述建造物表检索与经寻找而取得的建造物的建造物识别信息对应的建造物，并将检索出的建造物的各信息(建造物名称、建造物信息等)发送至数字相机I。此外，信息检索服务器21，亦可视例如收发讯数据容量等的必要情形，选择性地发送对数字相机I发送的上述建造物的各信息。此时，信息检索服务器21，亦可借由既定的操作(例如来自数字相机I的要求等)等再度将上述建造物的各信息中剩余的信息发送至数字相机I。<以数字相机I拍摄中的影像的信息检索>其次，使用图I及图3、以及图4至图6说明本实施形态的动作。图3显示在将数字相机I朝向建造物拍摄中的状态下欲进行信息检索时本实施形态的信息检索处理的动作例的流程图。图4至图6，显示数字相机I的显示部17所显示的画面及数字相机的摄影钮BI的配置的图。以下说明中，说明例如使用者一边步行于闹区，一边寻找吃晚餐的餐厅的状态。使用者一边徘徊于闹区，一边将数字相机I的镜头朝向具有中意外观的餐厅(步骤SI)，当发现欲取得信息的外观的餐厅时，即如图4所示，触碰(按下)设于数字相机I的影像显示栏MP的浏览图像II，借此选择浏览图像Il (步骤S2)。此时，控制部11在上述摄影状态下，将从摄影部13输入的摄影部13拍摄中的影像数据，如图4所示通过显示部17于影像显示栏MP显示拍摄中的餐厅的影像数据。此外，本实施形态中的影像显示栏MP(影像显示部)，以触控面板(包含例如感压类型、静电类型、或音波类型等)构成。此外，上述步骤S2，亦可在按下数字相机I的摄影钮BI后，一边观看显示所拍摄的上述餐厅影像的影像显示栏MP，一边触碰浏览图像Il来作选择。借由触碰浏览图像II，即从未图示的周边电路对控制部11输出表示已选择浏览图像Il 一事的信号。接着，控制部11，借由表示已选择所输入的浏览图像Il 一事的信号，检测出已选择浏览图像Il 一事，并对摄影部13的拍摄中的上述餐厅的影像数据赋予影像识别信息，与该影像识别信息对应地将影像数据与拍摄时刻写入存储部15，以储存该影像数据(步骤S3)。
又，控制部11，在浏览图像Il被触碰时，将GPS14所取得的位置信息与方位感测器16所取得的方位信息作为关连信息，对应于上述影像识别信息而写入存储部15，并加以储存(步骤S4)。接着，控制部11在将影像数据及上述关连信息写入存储部15后，即将用以识别数字相机I的相机识别信息(赋予使用者的使用者识别信息或赋予数字相机I的识别信息)、包含上述位置信息与上述方位信息的检索要求信号通过收发讯部12往信息检索系统2发送(步骤S5)。此外，控制部11在上述步骤S3 步骤S5中，亦可不将上述影像数据及上述关连信息等写入存储部15而通过收发讯部12将上述检索要求信号往信息检索系统2发送。其次，在信息检索系统2中，当信息检索服务器21从数字相机I接收上述检索要求信号时，即根据检索要求信号所含的位置信息及方位信息从数据库22的地图数据抽出检索对象的建造物。接着，信息检索服务器21借由此建造物识别信息，从图2的建造物表将该建造物表中的各信息以包含建造物识别信息的方式作为检索结果信息对数字相机I发送(步骤S7)。此时，例如信息检索服务器21，读出在检索要求信号通过收发讯部12从数字相机I发送时所附加的数字相机I在网路上的位址，并对此位址发送检索结果信息。此外，上述步骤S7中，信息检索服务器21在储存于数据库22的使用者登录表中，亦可仅在检测出检索要求信号所含的相机识别信息已登录于上述使用者登录表时，根据检索要求信号所含的位置信息及方位信息从数据库22的地图数据抽出检索对象的建造物。此时，信息检索服务器21在检测出检索要求信号所含的相机识别信息未登录于上述使用者登录表时，例如只要根据相机识别信息将需要使用者登录的信息对数字相机I发送即可。接着，数字相机I中，当控制部11通过收发讯部12从信息检索系统2接收上述检索结果信息后，如图5所示通过显示部17在信息显示栏SP显示建物信息(步骤S8)。例如，当建造物为餐厅时，即会显示是何种种类(中式、和风、法式、义式等)的餐厅的信息、餐厅的电话号码、地址等。此外，图5所示的信息显示栏SP仅为本实施形态的一例，亦可在上述餐厅的影像重叠信息显示栏SP的一部分来显示。又，信息显示栏SP是上述影像显示栏MP的一部分，借由触碰例如上述浏览图像Il或后述的CM图像12等并选择后来显示。
又，当使用者触碰CM图像12后，上述周边电路则将表示已选择CM图像12 —事的信号输出至控制部11。借此，控制部11借由被输入已选择上述CM图像12 —事的信号，检测出已选择CM图像12 —事，并将检索结果信息所包含的餐厅广告信息(菜单、座位数、店内影像、主厨今日的推荐料理等)通过显示部17显示于信息显示栏SP。又，当该广告信息包含店内影像等的影像数据时，控制部11将该影像数据显示于信息显示栏SP。又，当使用者触碰投稿阅览图像13时，上述周边电路则将表示已选择投稿阅览图像13 —事的信号输出至控制部11。借此，控制部11借由被输入已选择投稿阅览图像13—事的信号，检测出已选择投稿阅览图像13—事，并将检索结果信息所包含的其他使用者写入的投稿信息(评论)通过显示部17显示于信息显示栏SP。又，当上述投稿信息有多个时，控制部11例如依照所投稿的日期顺序将多个投稿信息显示于信息显示栏SP。
当该投稿信息亦包含影像数据，如包含其他使用者所拍摄的各料理的照片或店内部的影像数据时，控制部11将该影像数据通过显示部17显示于信息显示栏SP。接着，在图5中，控制部11例如检测出表示以从信息显示栏SP左端往右方向滑动的方式触碰一事的信号时，即结束信息显示栏SP的显示，而如图4所示于影像显示栏MP通过显示部17显示上述餐厅的影像。此外，控制部11例如亦可在信息检视栏SP显示投稿信息的显示中，检测出表示选择了投稿阅览图像13 —事的信号时，即结束信息显示栏SP的显示或投稿信息的显示。又，控制部11例如亦可在信息显示栏SP显示建物信息后显示广告信息(或投稿信息)时，与建物信息一起显示广告信息，亦可在从信息显示栏SP删除建物信息后显示广告信息。此外，控制部11在检测出表示已触碰显示于信息显示栏SP的该店内影像等一事的信号时，即将该店内影像的放大影像或缩小影像显示于信息显示栏SP(或影像显示栏MP)。又，当使用者触碰邮件图像14后，上述周边电路则将表示已选择邮件图像14 一事的信号输出至控制部11。借此，控制部11借由被输入显示已选择上述邮件图像14 一事的信号，检测出已选择邮件图像14 一事，并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。此处的输入栏IP，由供使用者输入信息等的文字栏T、触碰画面型键盘部K构成。此输入栏IP是供使用者输入后述投稿信息、店铺名称或年度时等使用。使用者使用触碰画面型键盘部K在输入栏IP的文字栏T写入本身吃过的料理、店内的气氛、或店员的服务品质等投稿信息。接着，使用者借由再度触碰邮件图像14，控制部
11即检测出已选择邮件图像14 一事，而将记载于文字栏T的文字信息及显示于影像显示栏MP的影像数据与相机识别信息及建造物识别信息一起作为投稿信息，通过收发讯部12将包含该投稿信息的检索要求信号发送至信息检索系统2。接着，当信息检索服务器21从数字相机I接收上述检索要求信号后，即对数据库22的建造物表的投稿栏写入与建造物识别信息对应输入的新投稿信息。此外，信息检索服务器21在将写入于投稿写入栏(文字栏T)的投稿信息写入数据库22的建造物表的投稿栏前，亦可在数据库22的使用者登录表中，仅在检测出检索要求信号所含的相机识别信息的有无、检测出已登录有相机识别信息时，将上述投稿信息写入数据库22的建造物表的投稿栏。其次，控制部11进行是否已选择结束图像E的检测(步骤S9)。此处，当使用者触碰上述结束图像E后，上述周边电路则将表示已选择结束图像E —事的信号输出至控制部11。接着，控制部11借由被输入已选择结束图像E —事的信号，检测出已选择结束图像E —事时，即结束信息检索的处理。另一方面,控制部11在未被输入表不已选择结束图像E —事的信号而未检测出已选择结束图像E—事时，即将处理返回步骤SI，继续数字相机I的摄影处理及信息检索处·理。又，控制部11亦可在选择浏览图像Il时，使发送至信息检索系统2的检索要求信号包含所拍摄的影像数据。接着，信息检索服务器21亦可借由从地图数据抽出的建造物的建造物识别信息，通过影像辨识比较从建造物表检索的建造物信息的周边影像数据与所发送的影像数据，并从影像数据抽出特征量，与所储存的周边影像数据的特征量比较，检测是否为设定了类似度的数值以上，借此判定是否对应于所拍摄的建造物。此时，当判定周边影像数据的建造物与影像数据的建造物为非相同而作为比较结果时，信息检索服务器21，亦可借由位置信息及方位信息从地图数据抽出距离次一接近的建造物，并再度进行特征量的比较，并进行新抽出的建造物的周边影像数据与拍摄中的影像数据的类似性的评价。此外，本实施形态的浏览图像II，亦可与上述摄影钮BI同样地作为浏览钮(未图示)设于摄影装置I。此时，上述浏览钮的功能与上述浏览图像Il的功能相同。又，本实施形态的摄影钮BI，亦可借由操作未图示的切换部来发挥浏览钮的功能。此时则不需要浏览图像Il或浏览钮。<以数字相机I拍摄后的影像的信息检索>其次，使用图I及图7、以及图4至图6说明本实施形态的动作。图7在借由数字相机I拍摄建造物后，读出储存于存储部15的影像数据，并对该影像数据进行信息检索的情形下，显示本实施形态的信息检索处理的动作例的流程图。以下说明中，表示例如使用者一边徘徊于新宿的闹区，一边寻找吃晚餐的餐厅，并在拍摄数个餐厅的影像数据后从其中寻找用餐的餐厅的状态例。使用者一边徘徊于闹区，一边将数字相机I朝向具有中意外观的餐厅(步骤Sll)，之后当发现欲进行信息检索的外观的餐厅时，即按下设于数字相机I的摄影钮BI (快门)(步骤S12)。此处，控制部11将摄影部13拍摄中的影像数据如图4所示般于显示部17的影像显示栏MP显示拍摄中的餐厅的影像数据。其次，借由使用者按下摄影钮BI，周边电路即对控制部11输出表示已按下摄影钮
一事的信号。接着，控制部11借由被输入表示已按下摄影钮BI—事的信号，检测出已按下摄影钮BI —事，并对摄影部13拍摄中的上述餐厅的影像数据赋予影像识别信息，与该影像识别信息对应地将影像数据与摄影时刻写入存储部15并加以储存(步骤S13)。
接着，控制部11在摄影钮BI被按下的时点，将GPS14所取得的位置信息与方位感测器16所取得的方位信息与上述影像识别信息对应地写入存储部15并加以储存(步骤S14)。其次，当使用者欲进行拍摄的餐厅的信息收集时，使用者即触碰已拍摄影像的读出图像R。借此，周边电路即对控制部11输出表示已选择读出图像R—事的信号。此处，控制部11借由是否被输入表示已选择读出图像R—事的信号，来进行于存储部15是否储存有影像的判定(步骤SI5)。此时，当被输出表示已选择读出图像R—事的信号时，控制部11即检测出已选择读出图像R —事，并开始信息的搜索，因此将处理往步骤S16推进。此外，读出图像R亦可作成读出钮(未图示)。此时，读出钮只要如摄影钮BI般设于数字相机I本体即可。另一方面，当未输入表不已选择读出图像R—事的信号时或于存储部15未储存有图像时，控制部11由于即进行新的影像处理，因此将处理返回至步骤S11。接着，控制部11在使用者触碰读出图像R而从周边电路被输入表不已选择读出图像R —事的信号后，即从存储部15依时间序列拍摄的顺序依序读出影像数据(步骤S16)，并将影像数据作为照片影像依照预先设定的各张数(或将影像数据依各张)通过显示部17显示于影像显示栏MP。又，当照片影像难以进入一页时(或依各张显示时)，若使用者将显示于影像显示栏MP的影像以滑动于既定方向的方式触碰时，即将前页或次页的照片影像显示于影像显示栏MP。此时，控制部11借由检测出表示已将显示于影像显示栏MP的影像以滑动于既定方向的方式触碰一事的信号，即将前页或次页的照片影像通过显示部17显示于影像显示栏MP。其次，使用者例如借由触碰从照片影像中选择有兴趣的餐厅的影像，进而触碰浏览图像Il后，周边电路即将所选择的影像识别信号与表示已选择浏览图像Il 一事的信号对控制部11输出。借此，控制部11当被输入表示已按下浏览图像Il 一事的信号后，借由所选择的影像数据的影像识别信息，从存储部15读出与该影像识别信息对应的位置信息及方位信息，并将包含相机识别信息、位置信息及方位信息的检索要求信号通过收发讯部12往信息检索系统2发送(步骤S17)。以下的步骤S6 S8的处理，由于与图3的步骤S6 步骤S8的处理相同，因此省略说明。其次，控制部11进行是否已选择结束图像E的检测(步骤S18)。此时，控制部11，当通过使用者触碰结束图像E而从周边电路输入表示已选择结束图像E —事的信号时，即结束浏览的处理。另一方面，控制部11在未被输入表不已选择结束图像E—事的信号时，即将处理返回步骤S16，继续来自照片影像的影像的选择处理。<来自已输入数字相机I的店铺信息的信息检索>其次，使用图I及图8、以及图4至图6说明本实施形态的动作。图8显示在使用者对数字相机I输入店铺名称，借此从储存于数据库22的对应店铺名称的图2的建造物表，欲进行所输入的店铺名称的餐厅等的信息检索时，本实施形态的信息检索处理的动作例的流程图。以下说明中，显示例如欲在原宿吃晚餐时，欲确认从朋友听说的餐厅的信息的状、态。当使用者借由触碰选择检索图像15后，上述周边电路则将表示已选择检索图像15 —事的信号输出至控制部11。借此，控制部11借由被输入表示已选择检索图像15 —事的信号，检测出已选择检索图像15 —事，并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。接着，使用者对输入栏IP的文字栏T使用触碰画面型键盘部K写入欲进行检索的餐厅的店铺名称(步骤S21)，使用者再度触碰检索图像15(步骤S22)。借此，周边电路将表示已选择检索图像15 —事的信号与输入在文字栏T的店铺名称的文字数据对控制部11输出。接着，控制部11借由表示已选择检索图像15 —事的信号的输入，检测出已选择检索图像15—事，读入输入于上述文字栏T的店铺名称的数据，并与自身的相机识别信息一起作为检索要求信号，通过收发讯部12将此检索要求信号对信息
检索系统2发送(步骤S23)。其次，当服务器21输入上述检索要求信号后，即从数据库22中的建造物表读出与上述店铺名称对应的建造物(店铺)的信息(店铺信息、图2的表中的各信息)(步骤S24)。在读入上述店铺信息后，服务器21即将该取得的上述店铺信息往数字相机I发送(步骤S25)。当通过收发讯部12接收店铺信息后，控制部11即通过显示部17在图5的影像显示栏MP显示建物信息所含的店铺周边的影像数据，且在信息显示栏SP显示建物信息(步骤S26)。例如显示餐厅是何种种类(中式、和风、法式、义式等)的餐厅的信息与电话号码
坐寸o又，当使用者借由触碰选择CM图像12后，控制部11即检测出已选择CM图像12一事，并将检索结果信息所包含的餐厅广告信息(菜单、或主厨今日的推荐料理等)通过显示部17显示于信息显示栏SP。又，当使用者借由触碰选择投稿阅览图像13后，周边电路则将表示已选择投稿阅览图像13 —事的信号输出至控制部11。控制部11借由被输入表示已选择投稿阅览图像13—事的信号，检测出已选择投稿阅览图像13 —事，并将检索结果信息所包含的其他使用者写入的投稿信息通过显示部17显示于信息显示栏SP。此外，当有多个投稿信息时，控制部11将该多个投稿信息依序通过显示部17显示于信息显示栏SP。又，控制部11，当投稿信息亦包含影像数据时，将该影像数据通过显示部17显示于信息显示栏SP。接着，控制部11进行是否已选择结束图像E的检测(步骤S27)。此结束图像E的选择的检测，由于与〈以数字相机I拍摄中的影像的信息检索 > 中的(图3中的)步骤S9的处理相同，因此省略说明。此时，控制部11在从周边电路被输入表示使用者已借由触碰结束图像E而选择结束图像E—事的信号时，即结束浏览的处理。另一方面，控制部11当未被输入表示已选择结束图像E —事的信号时，即将处理返回步骤S21，而继续店铺信息的检索。<对登录于数据库22的店铺的收费处理>数据库22的建造物表，亦可在上述建造物为店铺(亦包含餐厅或公司)时，依该各店铺储存有折扣优惠券的数据。接着，服务器21于检索结果信息附加折扣优惠券信息，并往数字相机I发送。使用者当使用上述折扣优惠券信息用餐或购物时，信息检索服务器21，根据有否使用折扣优惠券信息来检测使用者有否有用餐或购物。例如，当上述折扣优惠券信息显示于数字相机I的信息显示栏SP的条码(包含二维条码)等时，由店铺的读取机读取该条码，将从数字相机I发送的相机识别信息及购物(或用餐)的费用与显示已使用折扣优惠券一事的利用信息往信息检索系统2发送。借此，当信息检索服务器21接收上述利用信息 后，即从数据库22读出与附加于该利用信息的相机识别信息对应的历程信息，而在信息的利用阶段中(进行信息检索而利用该店铺？或观看店铺所提供的信息而利用该店铺？或观看投稿信息而利用该店铺等的信息)，亦即以与将数据库22的信息利用至何种程度对应的信息提供费，对使用者所利用的店铺进行不同的收费。又，信息检索服务器21将依照各相机识别信息进行了信息检索的阶段及利用了折扣优惠券信息的历程写入储存于数据库22的历程表。在该条码包含显示店铺的建造物识别信息。在数据库22设有收费表，其储存与该建造物识别信息对应的对应于各店铺的收费历程与收费的累计值。接着，信息检索服务器21对应于建造物识别信息，将与所利用的金额及上述信息的利用阶段对应的收费作为历程写入上述收费表，并加算新的收费于累计值以进行累计值的更新。〈对使用者的点数的附加处理>信息检索服务器21，就使用者每次在店铺利用折扣优惠券信息而使用折扣优惠券信息时的利用金额所对应(例如将利用金额乘以点数系数所计算出者)的点数，在数据库22的使用者登录表中将求出的点数对应于相机识别信息予以累计。又，信息检索服务器21将针对发送投稿信息来的使用者预先设定的数值的点数对应于相机识别信息累计于上述使用者登录表。上述点数亦可代替金钱，在支付价款中与折扣优惠券信息一起使用。<投稿信息的显示顺序>此处，信息检索服务器21，亦可在最初阶段将昵称与标题作为投稿信息与投稿识别信息一起对数字相机I发送。接着，控制部11最初是于信息显示栏SP仅显示多个昵称与标题。接着，使用者则从该多个显示者中，触碰选择有兴趣的投稿信息的昵称与标题。借此，周边电路则将显示已选择昵称与标题一事的信号与已选择的投稿信息的投稿识别信息对控制部11发送。借此，控制部11对信息检索系统2发送投稿识别信息与投稿信息发送要求。借此，信息检索服务器21将与所发送的投稿识别信息对应的文字数据及影像数据(投稿信息整体)对数字相机I发送。此处，信息检索服务器21对各投稿信息赋予用以识别的投稿识别信息，并与相机识别信息对应地写入使用者登录表而加以储存。此外，本实施形态中，控制部11亦可在通过收发讯部12接收来自信息检索系统2的文字数据及影像数据后，于信息显示栏SP显示文字数据，并将影像数据显示于影像显示栏MP。又，信息检索服务器21在使用者登录表中，从使用者登录表检索与所参照的投稿信息对应的投稿识别信息，并增加与该投稿识别信息对应的相机识别信息的参照次数。接着，信息检索服务器21在使用者选择投稿信息的最初的昵称及标题的显示阶段，将依照投稿信息的被选择次数多寡顺序，亦即参照次数较多的使用者的昵称与标题显示于信息显示栏SP的顺位为上位的显示表，往数字相机I发送。借此，控制部11即依照上述显示表，于信息显示栏SP依序显示昵称与标题。<过去的影像数据的显示处理>又，本实施形态中，数据库22亦可具有过去影像表，其将依各年度拍摄各纬度经度的建物及风景的影像数据对应于各经度纬度而予储存。当使用者借由触碰选择过去影像图像16后，上述周边电路则将表示已选择过去 影像图像16 —事的信号输出至控制部11。借此，控制部11借由被输入表示已选择过去影像图像16—事的信号，检测出已选择过去影像图像16 —事，并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。接着，使用者使用触碰画面型键盘部K于文字栏T写入年度(例如西元)后，即触碰过去影像图像16 (或浏览图像II)。借此，周边电路将表示已选择过去影像图像16—事的信号与上述年度的文字数据往控制部11发送。当控制部11检测出显示已选择过去影像图像16 —事的信号后，即读入文字数据(显示被写入于文字栏T的年度)。在读入年度的数据后，控制部11即将过去影像检索要求与读入的年度、位置信息、方位信息、相机识别信息一起往信息检索系统2发送。其次，在信息检索系统2中，信息检索服务器21选择与基于建造物的位置信息(从显示于影像显示栏MP的数字相机I所接收)的纬度经度对应的过去影像表。接着，信息检索服务器21读入该选择的过去影像表中与方位信息及年度对应的影像数据，并将读出的影像数据发送至数字相机I。数字相机I将与从信息检索服务器21接收的上述年度对应的影像数据通过显示部17显示于影像显示栏MP。此外，信息检索服务器21，当有对上述读出影像数据的附加信息时，将读出影像数据与该信息发送至数字相机I。借此，使用者可得到过去各年度有何种建造物，或仅有风景而无其他影像等的信肩、O此处，信息检索服务器21当无法检索对应的纬度经度的过去影像表时，即检索位于方位信息的方向的纬度经度且为最接近的纬度经度的过去影像表，从该表进行影像数据的抽出。又，若检索对象的年度是无照片的时代，亦可将该时代所描绘的风景画或凭想象作成的CG(Computer Graphics)的影像数据代替照片的影像数据，与年度对应地储存于存储部15的上述过去影像表。〈AR(Augmented Reality :扩张现实)信息的显示处理〉如已述般，图I的构成中，控制部11将从GPS14得到的显示数字相机I自身的存在位置的纬度经度信息(位置信息)、以方位感测器16 (方位角检测部)得到的显示数字相机I的光学轴方向(所摄影的方向)的方位角所构成的方位信息等，对摄影部13拍摄被摄体后的影像数据附加影像识别信息，并依摄影顺序写入存储部15。
对于此图I的构成，如图9所示，作为AR信息的取得及储存用的功能而新附加了保持控制部31与AR信息存储部30。图9显示具有取得及储存AR信息的功能的信息取得系统构成例的方块图。本实施形态的AR信息，是显示图2所示的建物表所示的各种信息(与被摄体相关的信息)。例如，AR信息包含用以识别建造物的建造物识别信息、建造物的名称即建造物名称、建造物信息(地址、电话号码、种类、以建造物为中心的周边影像数据等信息)、建造物的纬度经度等的位置信息、建造物的说明(若是店铺则为该店铺所记载的信息)、投稿信息(曾造访过的使用者的评价等评论及使用者所投稿的影像数据等)。此处，建物识别信息亦可是显示储存有建造物信息的场所的URL。控制部11，亦可构成为由使用者任意设定是否要将此AR信息中的任一者设为对通过影像(拍摄被摄体后的影像)的影像数据重叠显示的标志(扩张现实的物件)。
此处，所谓通过影像，是将摄影部13成像于摄影元件的影像连续地作为影像数据往控制部11输出，控制部11依序显示于显示部17的影像数据。保持控制部31检测要求AR信息的保持的动作。换言之，保持控制部31检测使摄影部13成像于CCD等元件而显示于显示部17的影像数据与位于此影像数据内(位于影像的视角内)的AR信息储存于AR信息存储部30的保持时点。此外，AR信息存储部30亦可作成设于信息检索系统2的构成。此处，控制部11预先使显示焦距及倍率等与视角的对应的表储存于存储部15，借由在取得影像数据时的焦距及倍率等求出影像的视角信息。图10显示建物Tl至T4的现实影像(通过影像)与作为记载有该建物Tl至T4各个的AR信息的扩张现实的物件的标志(例如记载有作为扩张现实的建造物信息的标志)TB1、TB2、TB3、TB4的影像的在显示部17的合成影像(AR影像)的图。又，本实施形态中的数字相机I有取得AR信息的AR信息取得模式或通常摄影模式。控制部11借由设于数字相机I壳体的AR信息取得模式的按钮(AR信息取得钮ARB1)的按下、或触碰显示于显示部17的AR信息取得模式的图像(AR信息取得图像ARII)，控制部11，借由检测出来自开关的信号而检测出按钮的按下或借由触碰感测器检测出显示部17中的图像的触碰，来进行设为AR信息取得模式或通常摄影模式的任一者的控制。又，本实施形态中的数字相机I具有在AR信息取得模式的情形下将AR信息作为标志显示(合成影像数据与AR信息的扩张现实的物件)的模式(AR显示模式)或非显示(仅显示影像数据)的模式(AR非显示模式)。控制部11借由设于数字相机I壳体的显示/非显示按钮(AR切换纽ARB2)的按下而产生来自开关的信号、或显示于显示部17的显示/非显示图像(AR切换图像ARI2)的触碰，控制部11借由感测器检测出按钮的按下或图像的触碰，而进行设为显示或非显示的任一者的控制。此处，在显示部17，在显示元件上设有透明的触碰感测器，在触碰图像后，借由已触碰该处碰感测器，而将被触碰的区域的座标值作为检测信号往控制部11发送。控制部11能使触碰感测器的座标与显示的显示元件的座标一致，借由检测信号的座标值判定显示中的影像(显示于显示部17的图像显示任一应用程序的启动等？或识别作为缩图影像显示的影像数据的影像识别信息等)。控制部11，每于数字相机I的方位角(方位信息)变化时，将被保持时显示于显示部17的拍摄影像数据后的纬度经度信息(位置信息)、方位信息及视角信息与AR信息取得要求一起通过收发讯部12往信息检索系统2发送。此外，控制部11亦可借由定期地或使用者的指示，将位置信息及AR信息取得要求通过收发讯部12往信息检索系统2发送，来取得AR信息。又，控制部11亦可借由定期地或使用者的指示，将借由保持控制部31保持的影像数据及AR信息取得要求通过收发讯部12往信息检索系统2发送，来取得AR信息。此处，控制部11针对方位角的变化，就既定周期检测方位角，当方位角从已储存于存储部15的方位角存储部的方位角超过预先设定的角度而变化时，即检测为方位角的变化，使此时点的方位角新储存于方位角存储部。信息检索服务器21在从数字相机I接收AR信息取得要求后，即根据附加于AR信息取得要求的纬度经度信息、方位信息及视角信息，从视角信息求出已求出的纬度经度信息所显示的纬度经度的座标位置至检索AR信息的纬度经度的座标位置为止的检索距离。又，信息检索服务器21从记载有视角信息与对应该视角的检索距离的数据库22 的检索距离表读出对应视角信息的检索距离，借此求出AR信息的检索距离。图12显示检索建造物的AR信息的检索范围的图。接着，信息检索服务器21借由基于纬度经度信息的座标位置、数字相机I的透镜的光轴的方位角、检索距离，求出图12所示的检索范围，从数据库22的地图数据读出位于此检索范围的建造物识别信息。又，信息检索服务器21借由已读出的建造物识别信息，从数据库22内的建造物表读出建造物的AR信息。信息检索服务器21将已读出的AR信息与对应的建造物识别信息一起对数字相机I发送。借此，控制部11对基于数字相机I的纬度经度信息的座标值，配合基于AR信息所含的纬度经度信息所示的纬度经度信息的座标值，于影像数据(通过影像)叠合此AR信息的标志(扩张现实的物件)的影像而合成，在显示部17以图10所示的状态显示。又，控制部11在从保持控制部31接收保持控制信号后，即将被保持时的纬度经度信息、方位信息及视角信息与因AR信息取得要求而从信息检索系统2发送的AR信息及识别此AR信息的建造物的建造物识别信息，就保持时的影像数据的各影像识别信息进行对AR信息存储部30记录的处理。图11显示储存于图9中的AR信息存储部30的AR信息表的构成的图。AR信息表是就各影像识别彳目息储存于ARfg息存储部30。控制部11，将如上述就各影像识别信息生成，建造物识别信息(显示储存有建造物的AR信息的场所的URL)、此建造物的AR信息(包含纬度经度信息)、被输入保持控制信号而被保持时的数字相机I本身的纬度经度信息、方位信息及视角信息对AR信息存储部30作为AR信息表写入储存。又，控制部11在被输入保持控制信号后，则使在该时点成像于摄影部13的摄影元件的影像数据与对此影像数据赋予的影像识别信息对应地写入存储部15并加以储存。此处，作为用以指示保持AR信息的输入的动作，保持控制部31例如具有检测手段(检测借由按下设于数字相机I壳体的AR信息取得钮ARBl而产生的来自开关的信号)、或由触碰感测器检测已触碰显示于显示部17的显示AR信息取得的图像(AR信息取得图像ARI I) —事的检测手段等。接着，保持控制部31在被按下AR信息取得钮时或显示AR信息取得的图像被触碰时，即检测出记录影像数据与AR信息的信号已被输入，对控制部11输出进行保持控制的保持控制信号。如此，保持控制部31借由使用者对数字相机I的作用(动作、操作、动作)，检测出记录影像数据与AR信息的信号已被输入，对控制部11输出进行保持控制的保持控制信号。又，保持控制部31，例如，作为保持AR信息的动作，亦可借由加速度感测器检测出数字相机I被急遽地移动(为了易看清楚画面而将数字相机I朝向下方、挥动等的动作)，并将此检测时点作为保持的时点。在使用上述加速度感测器的加速度检测中，保持控制部31在从加速度感测器被供应预先设定的阈值以上的加速度数据后，即作为保持指示的控制信号，将保持控制信号 对控制部11输出。如此，保持控制部31借由终端(例如数字相机I)的作用，检测出记录影像数据与AR信息的信号已被输入，对控制部11输出进行保持控制的保持控制信号。又，保持控制部31，例如，作为保持AR信息的动作，亦可借由在预先设定的检测范围的时间内移动了检测影像特征点而由此特征点预先设定的距离来检测，或借由摄影元件输出的影像数据的对比已超过预先设定的差分而变化，检测出影像数据中的影像图案的变化，并将此检测时点作为保持的时点。在上述影像图案的变化的检测中，保持控制部31在检测出预先设定的阈值以上的影像图案的变化后，将保持控制信号作为进行保持控制的控制信号对控制部11输出。又，保持控制部31，例如，作为保持AR信息的动作，亦可使用仰角感测器检测出数字相机I的角度急遽变化(借由为了易看清楚画面而将数字相机I朝向下方、挥动等的动作而移动)，并将此检测时点作为保持的时点。在使用上述仰角感测器的仰角信息的检测中，保持控制部31在从仰角感测器被供应预先设定的阈值以上的仰角变化后，即将保持控制信号作为进行保持控制的控制信号对控制部11输出。如此，保持控制部31借由终端(例如数字相机I)的作用，检测出记录影像数据与AR信息的信号已被输入，对控制部11输出进行保持控制的保持控制信号。又，控制部11，在指示使用上述的加速度感测器、影像图案的变化及仰角感测器的保持的动作时，由于取得在接收保持控制信号时的影像数据所对应的AR信息，因此需使每次AR信息取得要求所得的影像数据及对应此影像数据的建造物识别信息与此建造物的AR信息、纬度经度信息、方位信息及视角信息在既定时间内、例如I秒间储存于AR信息存储部30的缓冲部。因此，控制部11，将对应AR信息取得要求的影像数据及对应此影像数据的建造物识别信息与此建造物的AR信息、纬度经度信息、方位信息及视角信息在既定时间内、例如I秒间储存于AR信息存储部30的缓冲部并加以储存(快取)。接着，控制部11在被输入保持控制信号后，接受保持控制信号前一刻或预先设定的时间前的AR信息取得要求时，即将从信息检索系统2得到而储存于缓冲部的、就对应影像识别信息的各AR信息取得要求所得到的影像数据及对应此影像数据的建造物识别信息与此建造物的AR信息、纬度经度信息、方位信息及视角信息，作为附加了时刻信息的AR信息表对AR信息存储部30写入并加以储存。
又，控制部11将影像数据与此影像识别信息一起写入存储部15并加以储存。又，控制部11及保持控制部31亦可构成为即使设定为AR显示设为非显示的非显示模式，亦进行AR信息的取得或AR信息的保持处理。借由上述的处理，控制部11在显示使保持的影像的AR信息时，借由基于AR显示确认的钮(AR切换钮ARB2)(设于数字相机I壳体)的按下的指示信号、或基于AR显示确认的图像(AR切换钮ARI2)(显示于显示部17)的触碰的指示信号，比较来自储存于AR信息存储部30的AR信息表的时刻信息与内部时钟的时刻，从AR信息存储部15选择最新时刻的AR信息表并读出，而与从信息检索系统2发讯时同样地于显示部17将影像数据与AR信息的标志一起显示。此外，控制部11亦可定期地从信息检索服务器21取得上述最新时刻的AR信息表，亦可根据上述指示信号从信息检索服务器21取得上述最新时刻的AR信息表。又，控制部11在AR信息取得模式的情形，亦可借由接收使保持时的保持控制信号而显示使保持的影像的AR信息。又，控制部11亦可构成为从存储部15读出储存于AR信息存储部30的影像识别 信息所对应的影像数据，并将所读出的影像数据的缩图影像显示于显示部17。控制部11亦可构成为借由使用者触碰显示于显示部17的该缩图影像而选择影像数据。控制部11借由与所选择的缩图影像被赋予对应关系的影像识别信息，从AR信息存储部30读出此影像识别信息的AR信息表，并对显示部17进行显示。此时，如上所述，使用者能选择AR信息的显示/非显示。此处，控制部11只要将记载于建造物表的用以识别建造物的建造物识别信息、建造物的名称即建造物名称、建造物信息、建造物的纬度经度等的位置信息、建造物的说明、投稿信息全部作为AR信息储存于存储部15等，即使在与无线基地台3的无线不通的场所，亦即离线的情形，控制部11亦能对储存于AR信息存储部30的影像数据如图I所示地附加AR信息的标志并显示于显示部17。又，只要非在离线下使用，控制部11亦可构成为先将为了 AR信息取得要求所必需的数字相机I的纬度经度信息、方位角信息及视角信息作为AR信息表加以储存，而在选择影像数据时再度对信息检索系统进行AR信息取得要求。借由上述的构成，使用者即使不将数字相机I的摄影方向朝向欲取得AR信息的方向，例如即使在将数字相机I置于桌上而观看显示部17画面的状态下，亦能一边观看欲取得AR信息的方向的影像数据、一边确认AR信息。又，控制部11在成为AR信息取得模式的情形下，从保持控制部31接收保持控制信号后，即将用以催促输入使用者ID的显示与显示有英文字母及数字的按键的图像一起显示使用者ID写入栏。借由使用者触碰显示有英文字母及数字的按键的图像，控制部11即检测出对应的文字数据并写入内部缓冲体，且于使用者ID写入栏显示内部缓冲体的文字数据。接着，控制部11借由检测出位于显示有英文字母及数字的按键的图像的输入(enter)键已被触碰，而将内部缓冲体的文字列固定为使用者ID。控制部11于AR信息表附加储存于内部缓冲体的使用者ID并加以储存。在使用者欲参照AR信息时而选择影像数据后，即将用以催促输入使用者ID的显示与显示有英文字母及数字的按键的图像一起显示使用者ID写入栏。
借由检测出显示有英文字母及数字的按键的图像已被触碰，控制部11即检测出对应的文字数据并写入内部缓冲体，且于使用者ID写入栏显示内部缓冲体的文字数据。接着，控制部11借由检测出位于显示有英文字母及数字的按键的图像的输入键已被触碰，而进行对应内部缓冲体的文字列的使用者ID、及与所选择的影像数据的影像识别信息对应的AR信息表被附加的使用者ID的比较。控制部11，在使用者输入的使用者ID与附加于AR信息表的使用者ID为相等时，即于显示部17进行将影像数据与AR信息合成的影像(AR影像)的显示，另一方面，在与附加于AR信息表的使用者ID为相异时，即仅显示影像数据。借由此构成，数字相机I能依各影像特定使用者(或使用者ID)并进行AR信息的显不。又，控制部11在不显示其他使用者登录于信息检索系统2的AR信息或其他使用者已取得的AR信息而欲显示自身登录的AR信息或自身取得的AR信息时，将使用数字相 机I的使用者作为使用者表如通讯录般预先存放于存储部15或数据库22，在欲参照AR信息的图像(AR切换图像ARI2)被触碰后，控制部11即将从使用者表取得的使用者名的名单(或使用者ID的名单)显示于显示部17。接着，亦可构成为，在使用者从此名单触碰自身的使用者ID后，控制部11即从AR信息存储部30读出附加有与此被触碰的使用者ID相同的使用者的AR信息表，从存储部15读出具有与此AR信息表的影像识别信息相同的影像识别信息的影像数据并作为缩图影像显示于显示部17。此外，亦可构成为，控制部11在显示有上述名单的状态下，基于其他使用者已被选择的信号，从AR信息存储部30读出附加有与该其他使用者ID相同的使用者的AR信息表，从存储部15读出具有与此AR信息表的影像识别信息相同的影像识别信息的影像数据并作为缩图影像显示于显示部17。又，亦可构成为，控制部11在使各影像识别信息的AR信息表储存于AR信息存储部30时，不仅从信息检索系统2接收的AR信息，亦对此AR信息附加与AR信息建立关联的参数或摄影时日(时刻信息)作为AR关联信息，与各建造物识别信息对应地储存于AR信息表。借此方式，例如使用者在使10年前的影像数据、AR信息及AR关联信息显示于显示部17时，按下显示于显示部17的AR日期检索的图像(AR日期检索图像ARI 3)后，控制部11即借由感测器检测出已按下AR日期检索的图像，并将输入日期的输入栏与显示有英文字母及数字的按键的图像一起显示于显示部17。接着，在使用者借由显示有英文字母及数字的按键的图像对输入栏输入日期后，控制部11即从AR信息存储部30检索附加有与此日期相同的日期的AR信息表并抽出。接着，控制部11读入与被抽出的AR信息表对应的影像识别信息，从存储部15读入此影像识别信息的影像数据，并作为缩图影像显示于显示部17。借由使用者触碰显示于显示部17的缩图影像，控制部11借由显示部17的感测器检测出该缩图影像已被触碰，侦测被触碰而被选择的影像数据的影像识别信息。接着，控制部11从存储部15读出与被选择的影像数据的影像识别信息对应的影像数据并显示于显示部17。进而，控制部11读入与影像识别信息对应的AR信息表，并将AR信息及AR关联信息叠合于先前显示的影像数据而成的合成影像(AR影像)显示于显示部17。借由上述的构成，使用者能通过显示部17观看10年前的影像数据与位于此影像数据的建造物的10年前的AR信息。又，借由触碰显示于显示部17的现在的AR信息显示图像(AR切换钮图像ARI2)，控制部11即借由触碰感测器的检测信号侦测出现在的AR信息显示图像已被触碰，并从AR信息存储部30抽出此影像数据的影像识别信息的AR信息表。接着，控制部11从AR信息表附加在现在至过去的期间(本实施形态的情形为10年间)取得AR彳目息时的纟韦度经度彳目息、方位彳目息及视角彳目息，并对彳目息检索系统2附加AR信息检索要求。此外，控制部11亦可从信息检索系统2取得现在至过去的期间(本实施形态的情形为10年间)的所有AR信息。信息检索服务器21在从数字相机I接收AR信息检索要求后，即从数据库22的地图数据抽出借由附加于此AR信息取得要求的纬度经度信息、方位信息及视角信息所求的 检索范围中的建造物的建造物识别信息。接着，信息检索服务器21从数据库22的建造物表读出与建造物识别信息对应的建造物的AR信息，并对数字相机I发送。借此，控制部11对过去的影像数据重叠现在位于该处的建造物的AR信息来显示。借由此构成，能容易地确认过去与现在的建造物的变迁。又，在被摄体的摄影当时(例如10年前)的AR信息依时日顺序等保存于信息检索系统2的数据库22时，控制部11亦可根据现在或过去的时刻信息(例如，现在、10年前等)，取得该时刻信息的AR信息并显示于显示部17。使用者能从现在回朔至过去依时间序列观看与影像数据对应的AR信息。又，在已说明的就影像数据的各影像识别信息设定使用者ID的构成中，能借由作成能附加多个使用者ID的构成来限定AR信息仅对多个友人(使用者)间揭示。又，亦可构成为就各建造物识别信息设定使用者ID并就各建造物的AR信息进行管理。此情形下，设定进行使用者ID写入的模式，控制部11就各建造物催促使用者ID的输入。又，任一使用者ID均未设定时，则为公开显示，亦即为不限定观看的人(使用者)，任一个人(使用者)均能观看的状态。控制部11仅在于与所选择的影像数据对应的AR信息表附加有使用者ID时，才将输入使用者ID的栏与显示有英文字母及数字的按键的图像显示于显示部17。如上所述，使用使用者ID的AR信息的显示的组合有以下5种类。(I)现在(或过去)的影像数据及现在(或过去)的影像数据内的建造物的AR信息的合成影像附加有使用者ID，能显示的使用者的限定显示(2)现在(或过去)的影像数据及现在(或过去)的影像数据内的建造物的AR信息的合成影像未附加有使用者ID，任一使用者均能显示的开放显示(3)位于现在(或过去)的影像数据及现在(或过去)的影像数据的检索范围中的现在建造物的AR信息的合成影像附加有使用者ID，能显示的使用者的限定显示
(4)位于现在(或过去)的影像数据及现在(或过去)的影像数据的检索范围中的现在建造物的AR信息的合成影像未附加有使用者ID，任一使用者均能显示的开放显示(5)仅现在(或过去)的影像数据的显示(AR信息非显示)又，控制部11能借由基于AR使用者切换图像ARI 4的选择的信号切换使用了上述使用者ID的AR信息的显示。其次，使用图13说明本发明的其他实施形态即图9的信息检索系统的动作。图13显示本发明的其他实施形态的信息检索系统的动作例的流程图。 在使用者触碰显示于显示部17的AR信息取得模式的图像(AR信息取得图像ARI1)后，控制部11检测出AR信息取得模式的图像已被触碰，将数字相机I设为AR信息取得模式。控制部11使从摄影部13连续供应的影像数据显示于显示部17(步骤S31)。接着，控制部11从GPS14与方位感测器16的各个分别读入显示纬度精度的座标值的纬度经度信息(位置信息)、显示数字相机I的光学轴的方位角的方位信息(步骤S32)。此时，控制部11依据焦距及倍率，从储存于存储部15的就焦距及倍率的组合附有对应视角信息的表读出视角信息，求出对信息检索系统2进行AR信息取得要求时的数字相机I中的视角信息。在得到纬度经度信息、方位信息及视角信息后，控制部11对AR信息取得要求赋予数字相机I的相机识别信息、纬度经度信息、方位信息及视角信息，并往信息检索系统2发送(步骤S33)。信息检索服务器21，从数字相机I所供应的纬度经度信息、方位信息及视角信息求出建造物的检索的检索范围，从数据库22的地图数据检索检索范围内的建造物，使用在此检索范围内检索出的建造物的建造物识别信息，从建造物表读出AR信息(步骤S34)。接着，信息检索服务器21将已读出的AR信息与此AR信息的建造物识别信息一起对与相机识别信息对应的数字相机I发送。其次，控制部11依据自身的纬度经度信息、方位信息视角信息与检索距离(从信息检索系统2附加于AR信息而被发送)与被供应的AR信息所含的建造物的纬度经度信息，计算在显示部17的影像数据显示座标中的各建造物的座标位置，并在显示影像数据后，将影像数据中的建造物各自的AR信息作为标志显示(步骤S35)。接着，控制部11判断从方位感测器16供应的方位角是否已变化既定角度(距离)(步骤S36)。亦即，控制部11求出从方位感测器16供应的方位角与储存于方位角存储部的方位角的差分，比较此差分与预先设定的角度(角度的阈值)。此时，控制部11在差分已超过(或以上)既定角度(角度的阈值)而变化时，即判断为方位角已变化，使处理返回步骤S31，另一方面，在差分未超过(或以上)既定角度(角度的阈值)而变化时，即判断为方位角未变化，使处理进至步骤S37。其次，控制部11进行是否已从保持控制部31被供应保持控制信号的判定(步骤S37)。此时，控制部11在被输入保持控制信号后，即使处理进至步骤S38，另一方面，在未被输入保持控制信号时，即使处理返回步骤S36。此处，保持控制部31例如比较来自加速度感测器的加速度数据与预先设定的加速度数据的阈值，在从加速度感测器供应的加速度数据超过加速度数据的阈值(或以上)时，生成保持控制信号往控制部11发送。另一方面，保持控制部31，在从加速度感测器供应的加速度数据为加速度数据的阈值以下(或未满)时，则不进行将保持控制信号往控制部11发送的处理。接着，控制部11将从GPS14与方位感测器16的各个所取得的分别显示纬度精度的座标值的纬度经度信息(位置信息)、显示数字相机I的光学轴的方位角的方位信息写入存储部15并加以储存(步骤S38)。其次，控制部11使处理进至步骤S36(返回)。在AR信息取得模式的情形，不论在AR信息的显示及非显示的任一者，均反复图13的流程图。如上述，根据本实施形态，能改变数字相机I的摄影方向，亦即将摄影方向改变至 与已取得AR信息的方向相异的方向，使显示部17移动至使用者最容易观看的位置，而在已取得AR信息时的影像数据中进行AR信息的确认。例如，能保持位于影像数据(为来自东京车站北口的影像数据)的建造物的AR信息，而于餐厅的表上确认来自东京车站北口的影像数据的建造物的AR信息。又，使用者能保持从现在位置往北方向的建造物的AR信息，在保持后使数字相机I朝向与北方向相异的方向(例如地面的方向或东方向)的状态下确认所保持的影像数据的建造物的AR信息。又，本实施形态的数字相机I即使在与无线基地台3不进行通讯的离线的情形，亦能进行上述的处理。其次，说明数字相机I的导引功能。已借由使用者而成为AR信息取得模式且影像数据及AR信息显示为标志。又，在保持AR信息后的AR信息确认模式亦能进行相同的处理。在触碰显示于显示部17的导引图像后，控制部11即借由触碰感测器检测出已触碰导引图像，启动导引程序(导引部)。控制部11将催促触碰(触碰要求导引的建造物的标志)的显示显示于显示部17。在使用者触碰要求导引的建造物的标志后，控制部11检测出与被触碰的建造物的标志对应的建造物识别信息，从AR信息存储部30读入与显示中的影像数据的影像识别信息对应的AR信息表。接着，控制部11依据此AR信息表，从与所检测出的建造物识别信息对应的AR信息读入建造物的纬度经度信息，附加数字相机I现在位置的纬度经度信息与建造物的纬度经度信息，作为导引要求对信息检索系统2发送。信息检索服务器21在接收导引要求后，即从储存于数据库22的地图数据检索被附加的数字相机I的纬度经度信息与建造物的纬度经度信息间的最短路径(或多条路径)。亦即，信息检索服务器21从地图数据抽出距离纬度经度信息所示数字相机I所位于的座标值最近的十字路口，作为开始十字路口。同样地，信息检索服务器21从地图数据抽出距离纬度经度信息所示建造物所位于的座标值最近的十字路口，作为结束十字路口。接着，信息检索服务器21依据地图数据的道路网路，生成连结开始十字路口至结束十字路口的多条道路路线的组合，选择各个组合的距离为最小的路径，例如以抽出最短路径的狄克斯特拉(Dijkstra)法等可有效率地解出已知的最短路径问题的图形理论中的算式，抽出合计距离为最小的道路路线的组合。接着，信息检索服务器21将显示开始十字路口至结束十字路口的道路路径的地图的影像数据对已进行导引要求的数字相机I发送。此处，信息检索服务器21将地图的影像数据中的导引路径(连结开始十字路口至结束十字路口的道路路径)的显示色以与其他道路不同色生成地图的影像数据。控制部11将所接收的地图的影像数据变更为自身的显示部17能显示的大小，将变更后的地图的影像数据显示于显示部17。接着，控制部11将显示自身位置的标记重叠配置于对应以GPS14取得的纬度经度位置的显示于显示部17的地图的影像数据上的位置。借此，使用者能一边确认自身标记的移动，一边接受开始十字路口至结束十字路口的导引的导引服务。又，亦可从数字相机I对其他使用者的其他数字相机发送影像数据及此影像数据 的建造物的AR信息，进行与其他使用者的信息共有。进而，亦可从数字相机I将影像数据及此影像数据内的建造物的AR信息上传至SNS (Social Networking Service,社会性网路服务)等网页,而将信息与多数个其他数字相机共有。此情形下，借由先于AR信息表附加使用者ID，仅已辨识使用者ID的使用者能在此SNS阅览或追加对应影像数据的AR信息。此处，SNS服务器具有存放影像数据及AR信息的AR信息共有数据库。使用者能从数字相机I对自身欲登录的影像数据及对应此影像数据的AR信息附加使用者信息，并加以登录。此处，在使用者触碰显示于显示部17的使用者登录的图像后，控制部11即借由触碰感测器检测出已触碰图像，将登录画面显示于显示部17。于此登录画面，亦包含与使用者所取得的AR信息对应的影像数据的缩图影像与显示有英文字母及数字的按键的图像。在此登录画面中，使用者从缩图影像选择欲登录的影像数据，输入对此影像数据的使用者ID与使用者自身的名称(或昵称)并触碰输入图像，借此控制部11即存取于SNS服务器，将此影像数据及AR信息与登录要求一起发送。SNS服务器在接收此登录要求后，即生成使用者自身的名称(或昵称)的档案，将被登录要求的影像数据及AR信息写入AR信息共有数据库并加以储存。此档案是与图11的AR信息表相同的构成。接着，在使用者触碰显示于数字相机I的显示部17的AR信息参照图像后，控制部11即借由触碰感测器检测出已触碰图像，将参照画面显示于显示部17。在此参照画面，亦包含显示有英文字母及数字的按键的图像。其次，在此登录画面中，使用者借由触碰显示有英文字母及数字的按键的图像来输入欲参照的使用者名称(或昵称)及使用者ID并触碰输入图像，借此控制部11即存取于SNS服务器，将此名称(或昵称)及使用者ID与影像数据及AR信息参照要求一起发送。SNS服务器在接收参照要求后，借由被附加于参照要求的名称(或昵称)检索AR信息共有数据库，抽出相同的名称(或昵称)的档案。接着，SNS服务器从此档案的AR信息中读出附加有与所接收的使用者ID相同的使用者ID的影像识别信息及对应此影像识别信息的影像数据，将已读出的AR信息及影像数据对数字相机I发送。控制部11将被输入的影像数据及AR信息如已说明般显示于显示部17。其次，在使用者触碰显示于数字相机I的显示部17的AR信息变更图像后，控制部11即借由触碰感测器检测出已触碰图像，将变更画面显示于显示部17。于此登录画面，亦包含与读入的AR信息对应的影像数据的缩图影像、信息记录栏与显示有英文字母及数字的按键的图像。接着，在此变更画面中，使用者从缩图影像选择欲变更的AR信息的影像数据后，控制部11即借由触碰感测器检测出被选择的影像数 据，将已选择的影像数据显示于显示部17，于此显示的影像数据上与各建造物的位置对应地重叠显示AR信息的标志。接着，使用者借由触碰选择欲变更的AR信息的标志，并借由触碰显示有英文字母及数字的按键的图像来于信息写入栏输入已追加或编辑的文字列及使用者ID，并触碰输入键(输入图像)，控制部11即将已输入信息写入栏的文字列作为新的建造物的AR信息，作为包含使用者名称、使用者ID的变更要求将影像识别信息及建造物识别信息与已变更的AR信息一起往SNS服务器发送。SNS服务器在接收变更要求后，借由被附加于变更要求的名称(或昵称)检索AR信息共有数据库，抽出相同的名称(或昵称)的档案。接着，SNS服务器进行被附加于影像识别信息的使用者ID是否与被附加于所接收的变更要求的使用者ID —致的判定，在不一致时即不进行任何动作而将无法变更一事通知数字相机I。另一方面，SNS服务器，在被附加于AR信息的使用者ID与被附加于所接收的变更要求的使用者ID —致时，即变更此影像识别信息中的建造物识别信息的AR信息。又，亦可将用以实现图9中的数字相机I的控制部11、保持控制部31的AR信息保持功能的程序记录于计算机可读取记录媒体，将记录于此记录媒体的程序读入计算机系统，并借由实行以进行AR信息的控制。又，亦可将用以实现图9中的信息检索服务器21的AR信息检索功能的程序记录于计算机可读取记录媒体，将记录于此记录媒体的程序读入计算机系统，并借由实行以进行AR信息的检索控制。此外，此处所称的「计算机系统」包含OS或周边机器等硬件者。又，「计算机系统」只要是利用WWW系统的情形，则亦包含具备网页提供环境(或显示环境)。又，「计算机可读取记录媒体」是指软盘、光磁盘、ROM、CD-ROM等的可搬送媒体、内装于计算机系统的硬盘等储存装置。进而，「计算机可读取记录媒体」，亦包含如通过网际网路等网路或电话线等的通讯线路发送程序时的通讯线在短时间动态地保持程序者，或在该情形下的服务器或作为客户端的计算机系统内部的挥发性存储器(RAM)般保持有一定时间程序者。又，上述程序亦可用以实现前述功能一部分的程序，进而，亦可将前述的功能组合于已记录于计算机系统的程序来加以实现。以上，虽参照图式详述了本发明的实施形态，但具体构成不限于此实施形态，亦包含在不脱离本发明要旨的范围的设计等。
权利要求
1.一种摄影装置，其特征在于，具备 摄影部，拍摄被摄体； 位置信息取得部，取得摄影位置的位置信息； 控制部，根据前述位置信息取得与前述被摄体相关的信息，将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部；以及 保持控制部，将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至前述控制部。
2.如权利要求I的摄影装置，其特征在于其中，前述控制部根据从前述保持控制部接收的前述保持控制信号，将前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
3.如权利要求I或2的摄影装置，其特征在于其中，前述控制部能切换对前述显示部的与前述被摄体相关的信息的显示及非显示。
4.如权利要求I至3中任一项的摄影装置，其特征在于其中，前述控制部在拍摄前述被摄体中接收前述保持控制信号时，将所保持的前述被摄体的影像数据及与前述被摄体相关的信息显示于前述显示部。
5.如权利要求I至4中任一项的摄影装置，其特征在于其中，前述控制部，根据前述保持控制信号将所保持的与前述被摄体相关的信息及前述被摄体的影像数据往其他终端发送。
6.如权利要求I至5中任一项的摄影装置，其特征在于其中，与前述被摄体相关的信息是ARィ目息。
7.一种信息取得系统，其特征在于，具备摄影装置与信息检索系统； 前述摄影装置是权利要求I至6中任一项的摄影装置。
8.一种摄影装置，其特征在于具备 纬度经度检测部，检测自身位置的纬度经度信息； 方位角检测部，检测拍摄影像数据中的方位角； 控制部，将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息，借由该纬度经度信息及该方位角取得并显示于显示部；以及 保持控制部，在侦测使前述AR信息储存于存储部的动作后，将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出。
9.如权利要求8的摄影装置，其特征在于其中，前述控制部，在从前述保持控制部被输入前述保持控制信号后，在已被输入该保持控制信号时，即将已拍摄前述影像数据的自身位置的前述纬度经度信息及方位角附加用以识别前述影像数据的影像识别信息后储存于前述存储部。
10.如权利要求8的摄影装置，其特征在于其中，前述控制部，在从前述保持控制部被输入前述保持控制信号后，在已被输入该保持控制信号时，即将显示于前述显示部的前述影像数据及对应该影像数据的前述AR信息附加用以识别该影像数据的影像识别信息后储存于前述存储部。
11.如权利要求8至10中任一项的摄影装置，其特征在于其中，前述存储部，就各前述影像数据由识别前述影像数据的影像识别信息、识别影像数据内的建造物的建造物识别信息、该建造物识别信息所显示的建造物的建造物信息、附加于该影像识别信息的使用者ID构成。
12.如权利要求8至11中任一项的摄影装置，其特征在于其中，前述控制部从前述存储部读出前述AR信息及前述影像数据并使之显示于前述显示部。
13.如权利要求8至12中任一项的摄影装置，其特征在于其中，前述控制部将在摄影状态下被附加的前述AR信息往信息检索系统发送。
14.一种信息取得系统，其特征在干，由摄影装置与信息检索系统构成，该信息检索系统借由从前述摄影装置发送的纬度经度信息及方位角，抽出位于该纬度经度信息中的前述方位角方向的纬度经度范围的建造物，将附加于该抽出的该建造物的信息发送至前述摄影装置； 前述摄影装置具备 纬度经度检测部，检测自身位置的纬度经度信息； 方位角检测部，检测拍摄影像数据中的方位角； 控制部，将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息，借由该纬度经度信息及该方位角取得并显示于显示部；以及 保持控制部，在侦测使前述AR信息储存于存储部的动作后，将使前述AR信息与前述影像数据储存于存储部的保持控制信号对前述控制部输出； 前述信息检索系统具备 数据库，储存有使建造物的建造物识别编号及该建造物的纬度经度信息对应的地图数据、以及使前述建造物识别编号及该建造物识别编号所显示的建造物的前述AR信息对应的建造物表；以及 信息检索服务器，借由从前述摄影装置发送的前述纬度经度信息及前述方位角，从前述地图数据检索位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物的建造物识别编号，借由被检索出的前述建造物识别编号，从前述建造物表读出附加于该建造物识别编号所显示的建造物的前述AR信息，并将所读出的建造物的前述AR信息发送至前述摄影装置。
15.ー种用以使计算机执行权利要求I至6中任一项的摄影装置的功能的程序，其特征在于其用以使计算机执行 输入拍摄被摄体的摄影位置的位置信息的步骤； 根据前述位置信息取得与前述被摄体相关的信息的步骤； 将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部的步骤；以及将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至控制部的步骤。
16.一种用以使计算机执行权利要求8至13中任一项的摄影装置的功能的程序，其特征在于其用以使计算机执行 输入纬度经度检测部所检测的自身位置的纬度经度信息的步骤； 输入方位角检测部所检测的拍摄影像数据中的方位角的步骤； 将位于前述纬度经度信息中的前述方位角方向的纬度经度范围的建造物被附加的AR信息，借由该纬度经度信息及该方位角取得并显示于显示部的步骤；以及在侦测使前述AR信息储存于存储部的动作后，将使前述AR信息与前述影像数据储存于存储部的保持 控制信号对前述控制部输出的步骤。
全文摘要
摄影装置，具备摄影部，拍摄被摄体；位置信息取得部，取得摄影位置的位置信息；控制部，根据前述位置信息取得与前述被摄体相关的信息，将前述被摄体的影像数据及与前述被摄体相关的信息显示于显示部；以及保持控制部，将保持前述被摄体的影像数据及与前述被摄体相关的信息的保持控制信号输出至前述控制部。
文档编号H04N5/91GK102763404SQ20118000865
公开日2012年10月31日 申请日期2011年2月7日 优先权日2010年2月8日
发明者井上英也 申请人:株式会社尼康