携带型终端、信息检索服务器以及信息取得系统的制作方法_2

文档序号:9506200阅读:来源:国知局
面,控制部11在未被输入表示已选择结束图像E—事的信号而未检测出已选择结束图像E—事时,即将处理返回步骤S1,继续数字相机1的摄影处理及信息检索处理。
[0093]又,控制部11亦可在选择浏览图像II时,使发送至信息检索系统2的检索要求信号包含所拍摄的影像数据。
[0094]接着,信息检索服务器21亦可根据位置信息及方位信息并使用从地图数据抽出的建造物的建造物识别信息,从建造物表检索建造物信息的周边影像数据。信息检索服务器21,通过影像辨识比较从建造物表检索的建造物信息的周边影像数据与所发送的影像数据,并从影像数据抽出特征量(以多维向量表示颜色、结构、形状等的数据),与所储存的周边影像数据的特征量比较,检测是否为设定了类似度的数值以上,藉此判定是否对应于所拍摄的建造物。
[0095]此时,当判定周边影像数据的建造物与影像数据的建造物为非相同而作为比较结果时,信息检索服务器21,亦可藉由位置信息及方位信息从地图数据抽出距离次一接近的建造物,并再度进行特征量的比较,并进行新抽出的建造物的周边影像数据与拍摄中的影像数据的类似性的评价。
[0096]此外,本实施形态的浏览图像II,亦可与上述摄影钮B1同样地作为浏览钮(未图示)设于摄影装置1。此时,上述浏览钮的功能与上述浏览图像II的功能相同。又,本实施形态的摄影钮B1,亦可藉由操作未图示的切换部来发挥浏览钮的功能。此时则不需要浏览图像II或浏览钮。
[0097]如上所述,当进行从影像数据、位置信息、以及方位信息特定出欲检索的被摄体的影像处理时,在所拍摄的影像数据存在多个被摄体的情形下,作为要将此等多个被摄体中的何者作为检索对像的设定方法一例,可考虑以下两者。
[0098].将位于影像的中心部分(或占据中心位置的区域)的被摄体优先(作为检索对像的顺序第一个)作为检索对像。
[0099]亦即,信息检索服务器21,当从数字相机1被输入影像数据与位置信息及方位信息时,即进行此影像数据的各被摄体的轮廓抽出处理,并选择所抽出的轮廓与上述影像数据的中心部分一致或类似的被摄体。
[0100]接着,信息检索服务器21,藉由各影像的特征量进行被选择的被摄体的影像数据与周边影像数据的比较。
[0101].藉由使使用者触控影像显示栏以选择检索对像的被摄体。
[0102]亦即,信息检索服务器21,当从数字相机1被输入影像数据与位置信息及方位信息时,即进行此影像数据的各被摄体的轮廓抽出处理,特定出影像数据中的各被摄体,对各被摄体赋予被摄体识别信息。
[0103]接着,信息检索服务器21,是将已抽出轮廓的影像数据与对此影像数据中依各被摄体建立对应关是后的数据发送往数字相机1。
[0104]当被输入上述已抽出轮廓的影像数据后,控制部11在影像显示栏MP显示已输入的影像数据,并将「请选择被摄体」等的催促选择被摄体的文字数据显示于文字栏T。
[0105]在使用者藉由触控而选择影像显示栏MP的被摄体后,控制部11即相对影像显示栏MP中被触碰的位置检测相对应位置的被摄体,将此被摄体的被摄体识别信息通过收发讯部12发送至信息检索服务器21。
[0106]当输入上述被摄体识别信息后,信息检索服务器21,即藉由各影像的特征量进行与所输入的被摄体识别信息对应的被摄体的影像数据与周边影像数据的比较。
[0107]其次,说明使用缩放以任意倍率拍摄的被摄体的特定。当进行通过缩放拍摄的影像数据中的被摄体的特定时,信息检索服务器21,使用根据所输入的位置信息及方位信息从地图数据抽出的建造物的建造物识别信息,从建造物表检索建造物信息的周边影像数据。信息检索服务器21,是通过影像辨识比较从建造物表检索的建造物信息的周边影像数据与所发送的影像数据。例如,使用者是触碰影像显示栏MP的缩放图像而进行缩放并摄影,其后触控浏览图像II。此时,控制部11在将所拍摄的影像数据发送至信息检索服务器21时,检测使用者已触碰缩放图像一事,并对所拍摄的影像数据附加表示已缩放后拍摄一事的缩放信息并通过收发讯部12发送至信息检索服务器21。
[0108]又,信息检索服务器21,当在周边影像数据中未检测与影像数据的被摄体对应的影像的情况,被附加通过缩放拍摄的缩放信息时,相对预先设定的方位信息的方位角,在与缩放信息的缩放倍率对应(与缩小及放大的倍率对应)预先设定的+侧及一侧分别设定既定角度α的检索范围,并藉由影像辨识比较与位于此检索范围内的建造物对应的周边影像数据与影像数据。
[0109]此外,作为使用缩放通过任意倍率拍摄被摄体时的其他的被摄体特定方法,除了位置信息、方位信息以外,亦可使用表示藉由测距仪等的测距装置10(测距离部)(设于数字相机1、用以测定摄影装置与被摄体的距离)所测量的数字相机1与检索对象的建造物的距离的距离信息,特定出地图数据中建造物大致的位置并检索其范围内。
[0110]此情形下,控制部11在将所拍摄的影像数据发送至信息检索服务器21时,对所拍摄的影像数据,附加表示经缩放而拍摄被摄体一事的缩放信息与上述距离信息,通过收发讯部12发送至信息检索服务器21。
[0111]又,信息检索服务器21,亦可藉由所输入的位置信息及方位信息与上述距离信息,特定出地图数据上建造物的位置并将以该位置为中心的既定范围作为检索范围,进行建造物的检索,并进行被检索出的建造物的周边影像数据与从数字相机1输入的影像数据的比较。
[0112]又,当上述经抽出的建造物为多楼层的大楼,且在该大楼进驻有多间店时,信息检索服务器21,即将进注于大楼内的所有店的店名与对应各店的店识别信息建立对应关系后作为一览表数据往数字相机1发送。
[0113]当输入上述一览表数据后,控制部11即将该一览表数据的店名一览显示于影像显示栏ΜΡ,并将「请选择喜爱的店名」等的用以催促选择店名的文字数据显示于文字栏Τ。
[0114]接着,控制部11,根据使用者触碰影像显示栏ΜΡ的位置,检测使用者所选择的店名,并将该检测出的店名的店识别信息通过收发讯部12往信息检索服务器21发送。
[0115]信息检索服务器21,从建造物表读出与从数字相机1输入的店识别信息对应的店的信息,并将所读出的检索结果信息往数字相机1发送。
[0116]控制部11当被输入来自信息检索服务器21的上述检索结果信息后,即如已说明的步骤S8所记载,在信息显示栏SP显示检索结果信息。
[0117]此时,在数据库22的建造物表设有用以识别店的店识别信息作为建造物识别信息的下位信息,与此用以识别店的店识别信息对应地储存有店的名称即店名、店信息(地址、电话号码、种类、店的入口或内部影像等的信息)、建造物的玮度经度等的位置信息、店的说明(店所记载的信息)、投稿信息(曾去过的使用者评价等的评论及使用者所投稿的影像数据等)。此外,图2所说明的各数据是与建造物识别信息建立对应关系后储存于建造物表。
[0118]又,以下说明如上所述般作为检索对象抽出的建造物的多层的商业大楼时店的其他选择方法。作为上述其他选择方法,本实施形态中,在数字相机1设置角度信息取得部102(例如仰角感测器),并将位置信息、方位信息与表示仰角的仰角信息(角度信息)与影像数据一起往信息检索服务器21发送。
[0119]信息检索服务器21通过藉由位置信息、方位信息而从地图数据抽出的建造物的建造物识别信息检索建造物表。又,信息检索服务器21是读取检索出的建造物信息的层数,且根据数字相机1的位置信息、建造物的位置信息求出建造物至数字相机1(或摄影位置)为止的距离。
[0120]信息检索服务器21,从该求出的距离与仰角信息算出表示数字相机1所拍摄的高度(自地面起的距离)的高度数据,从表示建造物的各层数高度的信息(在建造物表中依各建造物储存)检测与所算出高度数据对应的层数。
[0121]接着,信息检索服务器21如上述,在作成上述一览表数据时,将进驻于接近上述高度数据的楼层的店名记载为此一览表的上位,并随着相距高度数据越来越远,逐一往一览表的下位方向记载,并将所作成的一览表发送至数字相机1。
[0122]在输入上述一览表数据后,数字相机1的控制部11,显示输入于影像显示栏MP的一览表数据的店名一览,并将「请选择喜爱的店名」等的用以催促选择店名的文字数据显示于文字栏T。
[0123]接着,控制部11,根据使用者触碰影像显示栏MP的位置,检测使用者所选择的店名,并将该检测出的店名的店识别信息通过收发讯部12往信息检索服务器21发送。
[0124]当被输入上述店识别信息后,信息检索服务器21即从建造物表读出与所输入的店识别信息对应的店的信息,并将所读出的检索结果信息网数字相机1发送。
[0125]当检索结果信息被输入后,控制部11即如已说明的步骤S8所记载,在信息显示栏SP显示检索结果信息(相关信息)。
[0126]<以数字相机1拍摄后的影像的信息检索>
[0127]其次,使用图1及图7、以及图4至图6说明本实施形态的动作。图7是在藉由数字相机1拍摄建造物后,读出储存于存储部15的影像数据,并对该影像数据进行信息检索的情形下,显示本实施形态的信息检索处理的动作例的流程图。
[0128]以下说明中,表示例如使用者一边徘徊于新宿的闹区,一边寻找吃晚餐的餐厅,并在拍摄数个餐厅的影像数据后从其中寻找用餐的餐厅的状态例。
[0129]使用者一边徘徊于闹区,一边将数字相机1朝向具有中意外观的餐厅(步骤S1),的后当发现欲进行信息检索的外观的餐厅时,即按下设于数字相机1的摄影钮B1 (快门)(步骤S12)。此处,控制部11将摄影部13拍摄中的影像数据如图4所示般于显示部17的影像显示栏MP显示拍摄中的餐厅的影像数据。
[0130]其次,藉由使用者按下摄影钮B1,周边电路即对控制部11输出表示已按下摄影钮一事的信号。
[0131]接着,控制部11藉由被输入表示已按下摄影钮一事的信号,检测出已按下摄影钮一事,并对摄影部13拍摄中的上述餐厅的影像数据赋予影像识别信息,与该影像识别信息对应地将影像数据与摄影时刻写入存储部15并加以储存(步骤S13)。
[0132]接着,控制部11在摄影钮B1被按下的时点,将GPS14所取得的位置信息与方位感测器16所取得的方位信息与上述影像识别信息对应地写入存储部15并加以储存(步骤S14) ο
[0133]其次,当使用者欲进行拍摄的餐厅的信息收集时,使用者即触控已拍摄影像的读出图像R。藉此,周边电路即对控制部11输出表示已选择读出图像R—事的信号。
[0134]此处,控制部11藉由是否输入表示已选择读出图像R—事的信号,来进行于存储部15是否储存有影像的判定(步骤S15)。
[0135]此时,当被输出表示已选择读出图像R—事的信号时,控制部11即检测出已选择读出图像R —事,并开始信息的搜索,因此将处理往步骤S16推进。此外,读出图像R亦可作成读出钮(未图示)。此时,读出钮只要如摄影钮B1般设于数字相机1即可。
[0136]另一方面,当未输入表示已选择读出图像R—事的信号时或在存储部15未储存有图像时,控制部11由于即进行新的影像处理,因此将处理返回至步骤S11。
[0137]接着,控制部11在使用者触碰读出图像R而从周边电路被输入表示已选择读出图像R —事的信号后,即从存储部15依时间序列拍摄的顺序依序读出影像数据(步骤S16),并将影像数据作为照片影像依照预先设定的各张数(或将影像数据依各张)通过显示部17显示于影像显示栏MP。
[0138]又,当照片影像难以进入一页时(或依各张显示时),若使用者将显示于影像显示栏MP的影像以滑动于既定方向的方式触碰时,前页或次页的照片影像即显示于影像显示栏MP。此时,控制部11藉由检测出表示已将显示于影像显示栏MP的影像以滑动于既定方向的方式触碰一事的信号,即将前页或次页的照片影像通过显示部17显示于影像显示栏MP。
[0139]其次,使用者例如藉由触碰从照片影像中选择有兴趣的餐厅的影像,进而触碰浏览图像II后,周边电路即将所选择的影像识别信号与表示已选择浏览图像II 一事的信号对控制部11输出。
[0140]藉此,控制部11当被输入表示已按下浏览图像II 一事的信号后,藉由所选择的影像数据的影像识别信息,从存储部15读出与该影像识别信息对应的位置信息及方位信息,并将包含相机识别信息、位置信息及方位信息的检索要求信号通过收发讯部12往信息检索系统2发送(步骤S5)。
[0141]以下的步骤S6?S8的处理,由于与图3的步骤S6?步骤S8的处理相同,因此省略说明。
[0142]其次,控制部11进行是否已选择结束图像E的检测(步骤S18)。此时,控制部11,当通过使用者触碰结束图像E而从周边电路输出表示已选择结束图像E—事的信号输出时,即结束浏览的处理。另一方面,控制部11在未被输入表示已选择结束图像E—事的信号时,即将处理返回步骤S16,继续来自照片影像的影像的选择处理。
[0143]〈来自已输入数字相机1的店铺信息的信息检索>
[0144]其次,使用图1及图8、以及图4至图6说明本实施形态的动作。图8显示在使用者对数字相机1输入店铺名称,藉此从储存于数据库22的对应店铺名称的图2的建造物表,欲进行所输入的店铺名称的餐厅等的信息检索时,本实施形态的信息检索处理的动作例的流程图。
[0145]以下说明中,显示例如欲在原宿吃晚餐时,欲确认从朋友听说的餐厅的信息的状
??τ ο
[0146]当使用者藉由触碰选择检索图像15后,上述周边电路则将表示已选择检索图像15—事的信号输出至控制部11。
[0147]藉此,控制部11藉由被输入表示已选择检索图像15—事的信号,检测出已选择检索图像15 —事,并将如图6所示的输入栏IP通过显示部17显示于影像显示栏MP的一部分。
[0148]接着,使用者对输入栏IP的文字栏T使用触碰画面型键盘部K写入欲进行检索的餐厅的店铺名称(步骤S21),使用者再度触碰检索图像15(步骤S22)。
[0149]藉此,周边电路将表示已选择检索图像15—事的信号与输入于文字栏T的店铺名称的文字数据对控制部11输出。
[0150]接着,控制部11藉由表示已选择检索图像15—事的信号的输入,检测出已选择检索图像15 —事,读入输入于上述文字栏T的店铺名称的数据,并与自身的相机识别信息一起作为检索要求信号,通过收发讯部12将此检索要求信号对信息检索系统2发送(步骤S23)。
[0151]其次,当服务器21输入上述检索要求信息后,即从数据库22中的建造物表读出与上述店铺名称对应的建造物(店铺)的信息(店铺信息、图2的表中的各信息)(步骤S24)。
[0152]在读入上述店铺信息后,服务器21即将该取得的上述店铺信息往数字相机1发送(步骤S25)。
[0153]当通过收发讯部12接收店铺信息后,控制部11即通过显示部17在图5的影像显示栏MP显示建筑物信息所含的店铺周边的影像数据,且在信息显示栏SP显示建筑物信息(步骤S26)。例如显示餐厅是何种种类(中式、和风、法式、义式等)的餐厅的信息与电话号码等。
[0154]又,当使用者藉由触碰选择CM图像12后,控制部11即检测出已选择CM图像12一事,并将检索结果信息所包含的餐厅广告信息(菜单、座位数、店内影像、主厨今日的推荐料理等)通过显示部17显示于信息显示栏SP。
[0155]又,当使用者藉由触碰选择投稿阅览图像13后,周边电路则将表示已选择投稿阅览图像13 —事的信号输出至控制部11。
[0156]控制部11藉由被输入已选择投稿阅览图像13 —事的信号,检测出已选择投稿阅览图像13 —事,并将检索结果信息所包含的其他使用者写入的投稿信息通过显示部17显示于信息显示栏SP。
[0157]此外,当有多个投稿信息时,控制部11是将该多个投稿信息依序通过显示部17显示于信息显示栏SP。又,控制部11,当投稿信息亦包含影像数据时,是将该影像数据通过显示部17显示于信息显示栏SP。
[0158]接着,控制部11进行是否已选择结束图像E的检测(步骤S27)。此结束图像E的选择的检测,由于与〈以数字相机1拍摄中的影像的信息检索中的步骤S9的处理相同,因此省略说明。
[0159]此时,控制部11在从周边电路被输入表示使用者已藉由触碰结束图像E而选择结束图像E—事的信号时,即结束浏览的处理。另一方面,控制部11当未被输入表示已选择结束图像E —事的信号时,即将处理返回步骤S21,而继续店铺信息的检索。
[0160]<数据库22的更新处理>
[0161]当因店的外观变更或建造物改建等,储存于数据库22的建造物表的建造物信息老旧时,是如以下所述进行对应的建造物的数据的更新。
[0162]如以上所说明,当从数字相机1输入位置信息、方位信息、以及影像数据后,信息检索服务器21,即根据位置信息及方位信息从地图数据抽出对应的建造物识别信息,并藉由此建造物识别信息,依据建造物表比较建造物的周边影像数据与所输入的影像数据的影像的特征量,并进行影像辨识处理。
[0163]然而,信息检索服务器21,当周边影像数据中的任一建造物与影像数据的建造物不具有类似性时,例如将「未能检索到对应的建造物。请输入其他影像数据」的文字数据往数字相机1发送。
[0164]藉此,控制部11将所输入的上述文字数据显示于信息显示栏SP。
[0165]又,信息检索服务器21,当在与建造物表中表示同一位置信息的位置登录有与使用者所发送的影像数据不同的建造物的影像数据时,由于记载于建造物表中表示同一位置信息的位置,因此在建造物表中依各建造物设置的修正旗标项目,登录表示须修正影像数据一事的修正旗标信息(例如数字1等)。
[0166]接着,信息检索服务器21,是依预先设定的建造物表的修正周期,藉由与登录于建造物表的修正旗标信息对应的建造物信息,从地图数据(位于地图数据内的玮度经度的位置信息与地址的对应表)抽出地址。抽出该地址后,信息检索服务器21,即在与此地址对应的最新建造物的信息中,从网页的地址一建造物的检索系统等取得进驻于建造物的店铺信息,已进行建造物表的更新。此作业,亦可由建造物表的管理者利用网页的检索系统,并从自地图数据所取得的上述地址检索该地址的建造物,搜索进驻于该建造物的店,并藉由搜索结果更新建造物表。此外,建造物的影像数据,亦可使用从使用者发送的影像数据来进行更新。
[0167]藉由上述构成,能将建造物表的建造物的各信息(建造物名称、建造物信息、建造物的影像数据等)随时更新成最新的信息。
[0168]<所浏览的信息的有效利用1>
[0169]信息检索服务器21,亦可针对检索出的建造物表中各店铺的店铺信息,从建造物表检索与位于该店铺附近(例如半径lkm的圆内的区域)的类似店(贩卖同样商品或同样类别的餐厅)相关的类似信息。此时,信息检索服务器21是使类似店的店铺的建造物识别信息,对应于与检索出的店铺对应的类似店的店铺名与从检索出的店铺起的距离,并往数字相机1发送。
[0170]藉此,控制部11可将从信息检索服务器21输入的类似店的店铺名称与自店铺起的距离的一览表组合方块通过显示部17显示于影像显示栏MP。
[0171]接着,控制部11从上述一览表的组合方块将使用者经处碰而选择的店铺的建造物识别信息往信息检索服务器21发送。
[0172]当被输入使用者所选择的店铺的建造物识别信息后,信息检索服务器21从建造物表读出与所输入的建造物识别信息对应的建造物的信息,并将所读出的信息作为检索结果信息往数字相机1发送。
[0173]当输入上述建造物信息时,控制部11与〈以数字相机1拍摄中的影像的信息检索 > 中的显示同样地,将所输入的类似店铺的建造物信息通过显示部17显示于信息显示栏SP。
[0174]<所浏览的信息的有效利用2>
[0175]信息检索服务器21,使使用者自数字相机1要求检所的店铺识别信息的历程对应于相机识别信息,并依各相机识别信息(依各使用者)登录于数据库的使用者登录表。
[0176]此情形下,信息检索服务器21,与店铺识别信息对应地从建造物表检测出店铺的种类(此时在建造物表储存有各店铺的种类),并对应于使用者登录表的相机识别信息,与所检出的种类的次数信息一起将该种类登录于使用者登录表。此外,所检索出的种类次数较多的种类,设为使用者的兴趣较高的偏好信息。
[0177]又,在已述的 < 所浏览的信息的有效利用1>中,在将类似店的店铺信息(类似信息)发送至数字相机1时,将设定为与发送了检索要求的数字相机1的相机识别信息对应的使用者历程的顺序,例如依所检索的种类次数较多至较少的顺序排列至第五个为止的种类读出以作为偏好信息。接着,信息检索服务器21当从店铺信息检索类似店的店铺时,亦可检索与此偏好信息对应的种类的类似的片铺。藉此,本实施形态,在〈所浏览的信息的有效利用1>中,能进行针对使用者偏好的精度高的类似店铺的提供。
[0178]<对登录于数据库22的店铺的收费处理>
[0179]数据库22的建造物表,亦可在上述建造物为店铺(亦包含餐厅或公司)时,依该各店铺储存有折扣优惠券的数据。
[0
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1