引导方法及引导系统的制作方法
【专利摘要】本发明的商品布局数据库(101)保存将用于识别配置在建筑物内的多个商品识别信息和多个商品在所述建筑物内的配置位置对应起来的商品配置信息；摄影部(201)拍摄所述建筑物内的使用者的周围；商品确定部(103)分析摄影图像，确定摄影图像内所包含的商品识别信息；引导信息生成部(104)基于被确定的商品识别信息、商品配置信息以及用于识别由使用者预先登记的登记商品识别信息，确定登记商品在建筑物内的配置位置，生成用于将使用者向所确定的登记商品的配置位置引导的引导信息；显示部(203)提示生成的引导信息。
【专利说明】引导方法及引导系统
【技术领域】
[0001]本发明涉及一种用于将使用者引导至感兴趣的商品的位置的引导方法及引导系统。
【背景技术】
[0002]GPS(Global Posit1ning System)是一种用于确定在地球上的位置的系统。GPS在汽车行驶在公路上时等、以数米的程度确定屋外的移动物体的位置时极为有效。汽车导航系统利用GPS确定使用者(汽车)的现在位置，将使用者向目的地引导。
[0003]例如，专利文献I公开了一种购物指南信息提供装置，用于搜索从终端位置起在一定距离内存在的店铺、并且正在销售所登记的预定购买商品的店铺，当搜索到在使用者的附近正在销售预定购买商品的店铺时，将该店铺信息通知给该使用者所持有的移动终端进行引导。
[0004]然而，在建筑物内等的屋内环境下，有时GPS信号被屋顶或墙壁遮挡而无法接收。此外，有时在建筑物的背影下不能直接接收GPS信号，而是接收通过迂回建筑物而到达的GPS信号来确定现在的位置。此时，有时因迂回建筑物而到达的GPS信号的影响，现在位置的检测精确度会劣化。此外，在以往的GPS中，无法以1cm至Im的程度来确定现在位置。因此，存在在店内等的屋内环境下，难以确定使用者的现在位置而将使用者引导至指定商品的位置的问题。
[0005]以往技术文献
[0006]专利文献
[0007]专利文献1:日本专利公开公报特开2002-175465号
【发明内容】
[0008]本发明是为了解决上述的问题，其目的在于提供一种可将使用者向建筑物内的感兴趣的商品的位置引导的引导方法及引导系统。
[0009]本发明的一方面所涉及的引导方法包括:商品配置信息保存步骤，将用于识别配置在建筑物内的多个商品的多个商品识别信息和所述多个商品在所述建筑物内的配置位置相互对应起来的商品配置信息保存在商品配置信息保存部；摄影步骤，拍摄所述建筑物内的使用者的周围；确定步骤，分析在所述摄影步骤中拍摄到的摄影图像，确定所述摄影图像内所包含的商品识别信息；以及引导步骤，基于在所述确定步骤中确定的所述商品识别信息、保存在所述商品配置信息保存部的所述商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定所述登记商品在所述建筑物内的配置位置，提示用于将所述使用者向所确定的所述登记商品的配置位置引导的引导信息。
[0010]根据本发明，利用摄影图像内所包含的商品的配置位置和由使用者预先登记的登记商品在建筑物内的配置位置，能够将使用者向建筑物内的感兴趣的商品的位置引导。
【专利附图】
【附图说明】
[0011]图1是表示本发明的实施方式中的引导系统的总体结构的图。
[0012]图2是表示本发明的实施方式中的引导服务装置、引导装置以及设备的结构的图。
[0013]图3是用于对本发明的实施方式中设备和引导服务装置的动作进行说明的流程图。
[0014]图4是用于对本发明的实施方式中引导装置和引导服务装置的动作进行说明的第I流程图。
[0015]图5是用于对本发明的实施方式中引导装置和引导服务装置的动作进行说明的第2流程图。
[0016]图6是用于说明在本发明的实施方式中使用者利用引导装置拍摄店铺内的拍摄方向的图。
[0017]图7是表示在商品布局数据库保存的店内布局图的一个例子的图。
[0018]图8是表不在商品布局数据库保存的商品布局信息的一个例子的图。
[0019]图9是表不在摄影图像内存在兴趣商品时显不的引导彳目息的一个例子的图。
[0020]图10是表不在摄影图像内存在兴趣商品时显不的引导彳目息的另一个例子的图。
[0021]图11是表示在生成图10所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0022]图12是表示在摄影图像内不存在兴趣商品时显示的引导信息的一个例子的图。
[0023]图13是表不在摄影图像内不存在兴趣商品时显不的引导彳目息的另一个例子的图。
[0024]图14是表示在生成图13所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0025]图15是表不在摄影图像内看不见的位置存在感兴趣的商品时显不的引导彳目息的一个例子的图。
[0026]图16是表示在生成图15所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0027]图17是表不被确定的商品不是兴趣商品，而在摄影图像内存在兴趣商品时显不的引导信息的一个例子的图。
[0028]图18是表示在生成图17所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0029]图19是表不在商品一维配置的摄影图像内不存在兴趣商品时显不的引导彳目息的一个例子的图。
[0030]图20是表示在生成图19所示的引导信息时所使用的用户界面部件图像的一个例子的图。
【具体实施方式】
[0031]以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式是将本发明具体化的一个例子，并不限定本发明的技术范围。
[0032]本实施方式的引导系统为在陈列架上排列有多数商品的店铺内，将使用者向该使用者感兴趣的商品(希望购买的对象商品等)的位置引导的系统。使用者持有具有相机功能的便携终端(智能手机)，引导系统利用使用者用相机拍摄到的图像，将使用者向目的地引导。
[0033]在本实施方式中，对下述的5个例子进行说明。
[0034](I)店铺内搜索I
[0035]首先，应用软件使用搭载于智能手机的相机拍摄店内。然后，应用软件或服务器通过图像识别将表示使用者感兴趣的商品的商品清单和拍摄到的图像进行匹配。接着，应用软件在智能手机的画面上提示使用者感兴趣的商品就在附近。
[0036](2)店铺内搜索2
[0037]首先，应用软件使用搭载于智能手机的相机拍摄店内。然后，应用软件或服务器通过图像识别将表示使用者感兴趣的商品的商品清单和拍摄到的图像进行匹配。接着，应用软件将表示感兴趣的商品的位置的标记重叠于智能手机的画面所显示的摄影图像进行提不O
[0038](3)店铺内引导I
[0039]首先，应用软件使用搭载于智能手机的相机拍摄店内。然后，应用软件或服务器通过图像识别来确定所陈列的商品，并从将商品和商品所配置的位置对应起来的商品布局信息推定智能手机(使用者)的位置。接着，应用软件根据推定的智能手机的位置和感兴趣的商品的位置，以文本等在智能手机的画面上提示感兴趣的商品的相对位置、或者用声音进行通知。
[0040](4)店铺内引导2
[0041]首先，应用软件使用搭载于智能手机的相机拍摄店内。然后，应用软件或服务器通过图像识别来确定所陈列的商品，并从将商品和商品所配置的位置对应起来的商品布局信息推定智能手机(使用者)的位置。接着，应用软件根据推定的智能手机的位置和感兴趣的商品的位置，在智能手机的画面上提示指向感兴趣的商品的相对方向。
[0042](5)店铺内引导3
[0043]首先，应用软件使用搭载于智能手机的相机拍摄店内。然后，应用软件或服务器通过图像识别来确定所陈列的商品，并从将商品和商品所配置的位置对应起来的商品布局信息推定智能手机(使用者)的位置。接着，应用软件将表示位于陈列架背面的感兴趣的商品的位置的标记重叠于智能手机的画面所显示的摄影图像进行提示。
[0044]<总体结构>
[0045]图1是表示本发明的实施方式中的引导系统的总体结构的图。引导系统具备引导服务装置100、引导装置200及设备300。
[0046]设备300例如为冰箱、洗衣机或微波炉等家电设备。
[0047]设备300在将使用者感兴趣的商品登记到引导服务装置100时被加以利用。例如，设备300的用户界面显示商品清单，并受理使用者从商品清单对商品的选择。一旦商品被选择，设备300便向引导服务装置100通知所选择的商品。
[0048]引导服务装置100例如为服务器装置。引导服务装置100将通知的商品作为使用者感兴趣的商品(以下，称为兴趣商品)存储于兴趣商品清单。感兴趣的商品例如是使用者明确指定的想购买的商品(购物便条)。此外，感兴趣的商品是通过冰箱或微波炉等住宅内的设备自动管理并把握冰箱内的已购买的商品的使用状态或保存状态，作为近日中需要购买的商品而被自动选择的商品。
[0049]引导装置200例如为执行应用软件的智能手机。此外，引导装置200还可以是便于携带的平板型电脑或手机，也可以是具有相机功能的终端。引导装置200从引导服务装置100下载引导应用软件。引导应用软件由引导服务装置100所具备的应用软件管理部来管理。应用软件管理部根据来自引导装置200的请求发送引导应用软件。
[0050]另外，引导装置200也可以从与引导服务装置100不同的管理引导应用软件的服务器装置下载引导应用软件。另外，引导装置200和设备300也可以是相同的设备。
[0051]引导装置200执行下载的引导应用软件。在引导装置200中执行的引导应用软件(程序)控制设置于引导装置200的相机，拍摄使用者的周围的图像。引导装置200将拍摄到的图像发送给引导服务装置100。引导服务装置100分析接收到的图像并确定被拍摄的商品。此外，引导装置200可以预先保存用于图像分析的分析数据。此时，引导应用软件分析拍摄到的图像并确定被拍摄的商品。当引导装置200确定了被拍摄到的图像中所包含的商品时，引导装置200将已确定的商品通知给引导服务装置100。
[0052]作为确定拍摄到的图像中所包含的商品的方法，例如有将商品的包装照片或在商品的包装上记载的文本记录到数据库并加以管理，对图像进行匹配。此外，还可以通过将从拍摄到的图像中提取的文本和预先记录于数据库的文本进行匹配，确定拍摄到的图像中所包含的商品。另外，也可以通过其它的方法来确定拍摄到的图像中所包含的商品。
[0053]接着，对引导服务装置100、引导装置200以及设备300的结构分别进行说明。
[0054]图2是表示本发明的实施方式中的引导服务装置100、引导装置200以及设备300的结构的图。引导服务装置100和引导装置200通过网络能互相通信地连接。此外，引导服务装置100和设备300通过网络能互相通信地连接。网络例如为互联网。
[0055]设备300具备兴趣商品输入受理部301、显示部302及通信部303。
[0056]兴趣商品输入受理部301受理使用者对兴趣商品的输入。兴趣商品输入受理部301通过例如触摸屏的画面上显示的键盘受理使用者对兴趣商品的输入。此外，兴趣商品输入受理部301也可以通过声音识别受理使用者对兴趣商品的输入。
[0057]显示部302显示各种信息。显示部302显示可选择的商品。显示部302显示在设备300中使用的商品。例如，在设备300为冰箱的情况下，显示部302显示冷冻食品、蔬菜及水果等食料。使用者从显示部302显示的商品清单中选择所希望的兴趣商品。
[0058]通信部303从引导服务装置100接收各种信息，并且向引导服务装置100发送各种信息。通信部303从引导服务装置100接收可选择的商品清单。通信部303向引导服务装置100发送与由兴趣商品输入受理部301受理的兴趣商品有关的兴趣商品信息。另外，兴趣商品信息包含用于识别使用者的使用者ID。
[0059]引导装置200具备摄影部201、现在位置取得部202、显示部203及通信部204。
[0060]摄影部201拍摄建筑物内的使用者的周围，取得摄影图像。另外，摄影图像可以是静止画片也可以是动画片。
[0061]现在位置取得部202例如由GPS构成，取得引导装置200的现在位置。
[0062]通信部204从引导服务装置100接收各种信息，并向引导服务装置100发送各种信息。通信部204向引导服务装置100发送由摄影部拍摄的摄影图像。通信部204接收由引导服务装置100发送来的引导信息。引导信息是用于将使用者引导至兴趣商品的位置的信息。
[0063]显示部203显示各种信息。显示部203显示由通信部204接收到的引导信息。
[0064]引导服务装置100具备商品布局数据库101、兴趣商品数据库102、商品确定部103、引导信息生成部104、更新部105及通信部106。
[0065]商品布局数据库101保存将用于识别配置在建筑物内的多个商品的多个商品识别信息和多个商品在所述建筑物内的配置位置对应起来的商品配置信息。另外，每个店铺都存在商品配置信息。此外，商品配置信息包含例如商品名或商品的图像。
[0066]兴趣商品数据库102保存用于识别使用者预先登记的兴趣商品的兴趣商品识别信息。兴趣商品数据库102保存每个使用者的兴趣商品清单，例如，将兴趣商品清单与用于识别使用者的使用者ID对应起来加以保存。此外，兴趣商品识别信息包含例如兴趣商品的商品名或兴趣商品的图像。
[0067]商品确定部103分析由引导装置200的摄影部201拍摄的摄影图像，确定摄影图像内所包含的商品识别信息。
[0068]引导信息生成部104基于由商品确定部103确定的商品识别信息、保存在商品布局数据库101的商品配置信息、以及用于识别由使用者预先登记的兴趣商品的兴趣商品识别信息，确定兴趣商品在建筑物内的配置位置，并生成用于将使用者向所确定的兴趣商品的配置位置引导的引导信息。引导信息生成部104基于从引导装置200接收到的现在位置信息，确定使用者现在所在的店铺，并从商品布局数据库101读出与确定的店铺对应的商品配置信息。
[0069]引导信息生成部104在由商品确定部103确定的商品识别信息与保存在兴趣商品数据库102中的兴趣商品识别信息一致的情况下，生成表示兴趣商品在摄影图像内的位置的图像来作为引导信息。即，由商品确定部103确定的商品识别信息与保存在兴趣商品数据库102中的兴趣商品识别信息一致意味着摄影图像内存在兴趣商品，引导信息是表示兴趣商品处在摄影图像内的何处的信息。
[0070]此外，引导信息生成部104在由商品确定部103确定的商品识别信息与保存在兴趣商品数据库102中的兴趣商品识别信息不一致的情况下，生成表示兴趣商品的位置的图像来作为引导信息。即，由商品确定部103确定的商品识别信息与保存在兴趣商品数据库102中的兴趣商品识别信息不一致意味着摄影图像内不存在兴趣商品，引导信息是表示兴趣商品处在摄影图像外的何处的信息。
[0071]另外，引导信息生成部104在由商品确定部103确定的商品识别信息与保存在兴趣商品数据库102中的兴趣商品识别信息不一致的情况下，可以生成表示兴趣商品存在的方向的图像来作为引导信息。
[0072]此外，引导信息生成部104在由商品确定部103确定的商品识别信息与保存在兴趣商品数据库102中的兴趣商品识别信息不一致、兴趣商品存在于摄影图像内的隐蔽位置时，生成表示兴趣商品的虚拟位置的图像作为所述引导信息。例如，在摄影图像内所包含的架子上没有陈列兴趣商品、而在摄影图像内所包含的架子的背面的架子上陈列有兴趣商品的情况下，引导信息生成部104生成虚拟地表示从现在使用者的位置看不见的兴趣商品的位置的引导信息。
[0073]更新部105基于由引导装置200的摄影部201拍摄到的摄影图像，更新保存在商品布局数据库101的商品配置信息。更新部105确定由商品确定部103确定的商品识别信息的建筑物内的配置位置，当确定的配置位置与商品配置信息所包含的商品识别信息的配置位置不同时，更新商品配置信息，使商品配置信息所包含的商品识别信息的配置位置变更为确定的配置位置。
[0074]通信部106从设备300接收各种信息，并将各种信息向设备300发送。此外，通信部106还从引导装置200接收各种信息，并将各种信息向引导装置200发送。通信部106接收由引导装置200发送来的现在位置信息和摄影图像信息。通信部106接收由设备发送来的兴趣商品信息。通信部106向引导装置200发送由引导信息生成部104生成的引导信息。
[0075]接着，对本发明的实施方式中的引导系统的动作进行说明。
[0076]图3是用于对本发明的实施方式中设备和引导服务装置的动作进行说明的流程图。
[0077]首先，在步骤SI，设备300的兴趣商品输入受理部301受理使用者对兴趣商品信息的输入。使用者输入自己感兴趣的商品(兴趣商品)。例如，使用者将预定购买的商品作为兴趣商品输入。另外，兴趣商品输入受理部301可以受理从显不部302显不的多个商品中对所希望的商品的选择。兴趣商品输入受理部301可以受理对兴趣商品的商品名或兴趣商品的商品号的输入。进而，兴趣商品输入受理部301还可以将商品的种类作为兴趣商品信息来受理。商品的种类并不是能唯一地识别具体的商品名等商品的信息，而是能确定例如点心、冷冻食品、肉、鱼或蔬菜等粗略的商品的种类的信息。
[0078]接着，在步骤S2，通信部303向引导服务装置100发送由兴趣商品输入受理部301受理的兴趣商品信息。此时，通信部303将用于识别使用者的使用者ID附加于兴趣商品信息进行发送。使用者ID可以由使用者输入，也可以预先存储于设备300。
[0079]接着，在步骤S3，引导服务装置100的通信部106接收由设备300发送来的兴趣商品?目息。
[0080]接着，在步骤S4，通信部106将接收到的兴趣商品信息存储到兴趣商品数据库102。此时，通信部106将兴趣商品信息与接收到的使用者ID对应起来加以存储。
[0081]通过以上所述方式，将兴趣商品预先登记到引导服务装置100。
[0082]图4是用于对本发明的实施方式中引导装置和引导服务装置的动作进行说明的第I流程图。图5是用于对本发明的实施方式中引导装置和引导服务装置的动作进行说明的第2流程图。
[0083]首先，在步骤S11，引导装置200的摄影部201拍摄店铺内的使用者的周围。此时，摄影部201拍摄店铺内的陈列有多个商品的架子。
[0084]接着，在步骤S12，现在位置取得部202取得表示引导装置200的现在位置的现在位置信息。现在位置信息例如用玮度和经度来表示。
[0085]接着，在步骤S13，通信部303向引导服务装置100发送由摄影部201拍摄的摄影图像、由现在位置取得部202取得的现在位置信息。此时，通信部303将用于识别使用者的使用者ID附加于摄影图像及现在位置信息进行发送。使用者ID可以由使用者输入，也可以预先存储于引导装置200。
[0086]另外，在本实施方式中，引导装置200取得并发送现在位置信息，但本发明并不限定于此，引导装置200也可以受理店铺地址或店铺名的输入，并将受理的店铺地址或店铺名作为现在位置信息进行发送。
[0087]接着，在步骤S14，引导服务装置100的通信部106接收由引导装置200发送来的摄影图像和现在位置信息。
[0088]接着，在步骤S15，商品确定部103分析由通信部106接收到的摄影图像，确定摄影图像内所包含的商品。
[0089]接着，在步骤S16，更新部105确定由商品确定部103确定的商品的配置位置。此时，更新部105通过分析摄影图像来识别陈列有被确定的商品的架子，并识别被确定的商品配置在架子的第几格，从而确定被确定的商品被配置在店铺内的哪个架子的第几格。另夕卜，在店铺内的陈列商品的架子上记载有架名和格数编号，架名和格数编号可通过图像分析而被识别。
[0090]接着，在步骤S17，更新部105判断所确定的配置位置和从保存在商品布局数据库101的商品配置信息取得的、与由商品确定部103确定的商品对应的配置位置是否相同。
[0091]在此，当判断确定的配置位置和所保存的配置位置不同时(在步骤S17为否)，在步骤S18，更新部105更新商品布局数据库101。S卩，更新部105将保存在商品布局数据库101中的与由商品确定部103确定的商品对应的配置位置更新成确定的配置位置。
[0092]由此，即使有新商品陈列、或商品换到其它的架上陈列，也能够将商品布局数据库101的商品配置信息不断地更新成最新的信息。此外，不需要管理者等来更新商品布局数据库101的商品配置信息，而是可以自动地更新商品布局数据库101的商品配置信息。
[0093]另一方面，当判断确定的配置位置和所保存的配置位置相同时(在步骤S17为是)，在步骤S19，引导信息生成部104判断由商品确定部103确定的商品与保存在兴趣商品数据库102中的兴趣商品是否一致。
[0094]在此，当判断被确定的商品与兴趣商品一致时(在步骤S19为是)，在步骤S20，引导信息生成部104生成表示兴趣商品在摄影图像内的位置的图像作为引导信息。
[0095]另一方面，当判断被确定的商品与兴趣商品不一致时(在步骤S19为否)，在步骤S21，引导信息生成部104从商品布局数据库101取得与被确定的商品对应的配置位置。
[0096]接着，在步骤S22，引导信息生成部104从商品布局数据库101取得与兴趣商品对应的配置位置。
[0097]接着，在步骤S23，引导信息生成部104生成表示兴趣商品的位置的图像作为引导信息。
[0098]接着，在步骤S24，通信部106向引导装置200发送由引导信息生成部104生成的引导信息。
[0099]接着，在步骤S25，引导装置200的通信部204接收由引导服务装置100发送来的引导?目息。
[0100]接着，在步骤S26，显示部302显示由通信部204接收到的引导信息。
[0101]下面，对引导信息的具体的显示例进行说明。图6是用于说明在本发明的实施方式中使用者利用引导装置拍摄店铺内的拍摄方向的图。
[0102]如图6所示，店铺400内配置有多个架子。多个架子分别被分配有架名(Hl?H12)。使用者用引导装置200朝着图6的箭头所示的拍摄方向进行拍摄。此外，商品A被配置于架子“H2”，商品B和商品D被配置于架子“H3”，商品C被配置于架子“H5”。商品A、商品B、商品C及商品D分别为兴趣商品。
[0103]图7是表不在商品布局数据库保存的店内布局图的一个例子的图。图8是表不在商品布局数据库保存的商品布局信息的一个例子的图。
[0104]图7所示的店内布局图500是表示店内陈列架的配置的平面图。另外，店内布局图500是用二维来表示，但也可以是三维表示。图8所示的商品布局信息600将架名610和格数620及商品630对应起来。从商品布局信息600可知，例如，商品A被配置在架名为“H2”的第2格，商品B被配置在架名为“H3”的第I格，商品C被配置在架名为“H5”的第I格，商品D被配置在架名为“H3”的第3格。
[0105]如果被确定的商品与引导服务装置100所管理并存储的兴趣商品数据库102中的兴趣商品一致，则引导服务装置100向引导装置200通知表示兴趣商品被包含在摄影范围内的引导信息。引导装置200输出表示兴趣商品被包含在摄影范围内的引导信息。
[0106]图9是表不在摄影图像内存在兴趣商品时显不的引导彳目息的一个例子的图。商品A为兴趣商品，在从图6所不的位置拍摄时，摄影图像内存在兴趣商品。此时，如图9所不，引导装置200的显不部203提不表不眼如存在兴趣商品的引导彳目息800。引导彳目息800以文本形式来表示。
[0107]图10是表不在摄影图像内存在兴趣商品时显不的引导彳目息的另一个例子的图。图11是表示在生成图10所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0108]引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像811的引导信息810。另外，用户界面部件图像811被预先存储在引导服务装置100内的存储器中。
[0109]另外，在本实施方式中，引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像811的引导信息810，但本发明并不特别限定于此，引导信息生成部104也可以只生成表示兴趣商品的位置的用户界面部件图像811作为引导信息。此时，引导装置200将从引导服务装置100接收到的引导信息(用户界面部件图像811)重叠于摄影部201即时拍摄的图像上进行显示。引导信息与用于确定引导信息在显示部203的显示画面上的显示位置的信息一起被发送。
[0110]此外，在从引导装置200拍摄的图像确定的商品中没有兴趣商品的情况下，引导服务装置100利用商品布局数据库101，生成用于将使用者向兴趣商品引导的引导信息。
[0111]图12是表不在摄影图像内不存在兴趣商品时显不的引导彳目息的一个例子的图。
[0112]在从引导装置200拍摄的图像确定的商品中没有兴趣商品的情况下，引导服务装置100的引导信息生成部104访问商品布局数据库101，取得从拍摄的图像确定的商品在店内的位置。例如，当商品A为确定的商品时，引导信息生成部104通过参照商品布局数据库101，可以确定商品A处在架子H2的第2格上。
[0113]接着，引导信息生成部104访问商品布局数据库101，取得兴趣商品在店内的位置。例如，当商品B为兴趣商品时，引导信息生成部104通过参照商品布局数据库101，可以确定商品B处在架子H3的第I格上。
[0114]接着，引导信息生成部104生成从取得的由拍摄图像确定的商品在店内的位置向取得的兴趣商品在店内的位置引导的引导信息。
[0115]引导服务装置100向引导装置200通知从摄影位置向兴趣商品的位置引导的引导信息。引导装置200输出从摄影位置向兴趣商品的位置引导的引导信息。
[0116]另外，引导服务装置100也可以向引导装置200通知兴趣商品的位置，引导装置200基于由引导服务装置100通知的兴趣商品的位置，可以生成从摄影位置向兴趣商品的位置引导的引导信息并加以输出。
[0117]在兴趣商品清单中有商品B，而商品A为确定的商品的情况下，引导信息生成部104可以确定商品B被陈列在商品A的右方向的第I个架子的第I格上。
[0118]此时，如图12所示，引导装置200的显示部203提示以文本形式表示在右方向的第I个架子的第I格上有商品B的引导信息820。
[0119]图13是表不在摄影图像内不存在兴趣商品时显不的引导彳目息的另一个例子的图。图14是表示在生成图13所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0120]引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像831的引导彳目息830。引导彳目息830不出从确定的商品的位置指向兴趣商品存在的位置的方向。另外，用户界面部件图像831被预先存储在引导服务装置100内的存储器中。
[0121]在兴趣商品清单中有商品B，而商品A为确定的商品的情况下，如图13所不，引导装置200的显不部203提不表不在右方向存在商品B的引导彳目息830。
[0122]如图13所示，引导装置200的显示部203可以将兴趣商品B的相对位置重叠于实际拍摄到的图像加以提示。另外，用户界面部件图像831是在实际拍摄到的图像上被重叠的图像的一个例子。
[0123]另外，在本实施方式中，引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像831的引导信息830，但本发明并不特别限定于此，引导信息生成部104也可以只生成表示兴趣商品的位置的用户界面部件图像831作为引导信息。此时，引导装置200将从引导服务装置100接收到的引导信息(用户界面部件图像831)重叠于摄影部201即时拍摄的图像上进行显示。引导信息与用于确定引导信息在显示部203的显示画面上的显示位置的信息一起被发送。
[0124]此外，在摄影图像内看不见的位置存在感兴趣的商品的情况下，引导装置200可以提示虚拟的兴趣商品的位置。
[0125]图15是表不在摄影图像内看不见的位置存在感兴趣的商品时显不的引导彳目息的一个例子的图。图16是表示在生成图15所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0126]例如，兴趣商品清单中有商品C，而商品C被配置在配置有从拍摄到的图像确定的商品A的架子的背后侧的架子上，商品C被陈列有商品A的架子遮住，虽然直接拍摄不到，但是存在于拍摄到的图像的视野角度内。
[0127]此时，如图15所示，引导装置200的显示部203可以将兴趣商品C在三维空间内的虚拟的位置重叠于实际拍摄到的图像加以提示。另外，用户界面部件图像841是在实际拍摄到的图像上被重叠的图像的一个例子。
[0128]引导信息生成部104生成在摄影图像上重叠了表示兴趣商品在三维空间内的虚拟位置的用户界面部件图像841的引导信息840。引导信息840示出兴趣商品在三维空间内存在的虚拟的位置。另外，用户界面部件图像841被预先存储在引导服务装置100内的存储器中。
[0129]在兴趣商品清单中有商品C，商品A为确定的商品，而商品C被陈列在陈列有商品A的架子的背后侧的架子上的情况下，如图15所示，引导装置200的显示部203提示表示在陈列有商品A的架子的背后侧的架子上有商品C的引导信息840。此时，实际上看不见的陈列架的图像与作为兴趣商品的商品C的位置一起被重叠于摄影图像。
[0130]另外，在本实施方式中，引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的虚拟位置的用户界面部件图像841的引导信息840，但本发明并不特别限定于此，弓丨导信息生成部104也可以只生成表示兴趣商品的虚拟位置的用户界面部件图像841作为引导信息。此时，引导装置200将从引导服务装置100接收到的引导信息(用户界面部件图像841)重叠于摄影部201即时拍摄的图像上进行显示。引导信息与用于确定引导信息在显示部203的显示画面上的显示位置的信息一起被发送。
[0131]图17是表不被确定的商品不是兴趣商品，而在摄影图像内存在兴趣商品时显不的引导信息的一个例子的图。图18是表示在生成图17所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0132]在图17和图18所示的例子中，即使在摄影图像的分辨率低、摄影图像内的兴趣商品无法作为商品而被确定的情况下，引导装置200也能提示摄影图像内的兴趣商品的位置。
[0133]即，当判断确定的商品与兴趣商品不一致时，引导信息生成部104取得确定的商品所对应的配置位置。接着，引导信息生成部104取得兴趣商品所对应的配置位置。然后，引导信息生成部104确定摄影图像内所包含的架子的位置，判断取得的兴趣商品所对应的配置位置是否包含在摄影图像内。另外，摄影图像内所包含的架子的位置可以通过用图像分析识别架子上揭示的架名来确定。
[0134]当兴趣商品所对应的配置位置包含在摄影图像内时，引导信息生成部104生成表示兴趣商品在摄影图像内的位置的图像作为引导信息。另一方面，当兴趣商品所对应的配置位置未包含在摄影图像内时，引导信息生成部104生成表示兴趣商品的位置的图像(表示兴趣商品存在的方向的图像)作为引导信息。
[0135]当兴趣商品所对应的配置位置包含在摄影图像内时，引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像851的引导信息850。引导信息850示出兴趣商品存在的位置。另外，用户界面部件图像851被预先存储在引导服务装置100内的存储器中。
[0136]在兴趣商品清单中有商品B，而商品A为确定的商品的情况下，如图17所不，引导装置200的显不部203提不表不摄影图像内存在商品B的引导彳目息850。
[0137]如图17所示，引导装置200的显示部203可以将兴趣商品B的相对位置重叠于实际拍摄到的图像加以提示。另外，用户界面部件图像851是在实际拍摄到的图像上被重叠的图像的一个例子。
[0138]另外，在本实施方式中，引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像851的引导信息850，但本发明并不特别限定于此，引导信息生成部104也可以只生成表示兴趣商品的位置的用户界面部件图像851作为引导信息。此时，引导装置200将从引导服务装置100接收到的引导信息(用户界面部件图像851)重叠于摄影部201即时拍摄的图像上进行显示。引导信息与用于确定引导信息在显示部203的显示画面上的显示位置的信息一起被发送。
[0139]图19是表不在商品一维配置的摄影图像内不存在兴趣商品时显不的引导彳目息的一个例子的图。图20是表示在生成图19所示的引导信息时所使用的用户界面部件图像的一个例子的图。
[0140]引导信息生成部104生成在商品二维配置的摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像861的引导信息860。引导信息860示出从确定的商品的位置指向兴趣商品存在的位置的方向。另外，用户界面部件图像861被预先存储在引导服务装置100内的存储器中。
[0141]在兴趣商品清单中有商品D，而商品B为确定的商品的情况下，如图19所不，引导装置200的显不部203提不表不在下方向存在商品D的引导彳目息860。
[0142]如图19所示，引导装置200的显示部203可以将兴趣商品D的相对位置重叠于实际拍摄到的图像加以提示。另外，用户界面部件图像861是在实际拍摄到的图像上被重叠的图像的一个例子。
[0143]另外，在本实施方式中，引导信息生成部104生成在摄影图像上重叠了表示兴趣商品的位置的用户界面部件图像861的引导信息860，但本发明并不特别限定于此，引导信息生成部104也可以只生成表示兴趣商品的位置的用户界面部件图像861作为引导信息。此时，引导装置200将从引导服务装置100接收到的引导信息(用户界面部件图像861)重叠于摄影部201即时拍摄的图像上进行显示。引导信息与用于确定引导信息在显示部203的显示画面上的显示位置的信息一起被发送。
[0144]另外，在本实施方式中，登记在兴趣商品数据库102中的兴趣商品并不限于I个，有时会登记有多个兴趣商品。因此，引导信息生成部104在取得了多个兴趣商品的配置位置时，可以生成将使用者向位于离确定的商品最近的位置的兴趣商品引导的引导信息。此夕卜，引导信息生成部104在取得了多个兴趣商品的配置位置时，也可以生成将使用者向最近登记的兴趣商品引导的引导信息。而且，引导信息生成部104在取得了多个兴趣商品的配置位置时，也可以生成将使用者从位于离确定的商品最近的位置的兴趣商品起顺序地向兴趣商品引导的引导信息。进一步，引导信息生成部104在取得了多个兴趣商品的配置位置时，也可以生成将使用者从最近登记的兴趣商品起顺序地向兴趣商品引导的引导信息。
[0145]此外，在本实施方式中，是通过引导装置200所具备的显示部203来显示引导信息，但本发明并不特别限定于此，也可以通过引导装置200所具备的语音输出部将引导信息语音输出。此外，引导装置200还可以具备使引导装置200振动的振动装置，振动装置可以使引导装置200振动，以便让使用者朝向由引导信息表示的兴趣商品的方向。
[0146]此外，在本实施方式中，当摄影图像内的多个商品识别信息通过商品确定部{3而被确定时，引导信息生成部104基于被确定的多个商品识别信息中的一个商品识别信息、保存在商品布局数据库101的商品配置信息以及使用者预先登记的兴趣商品识别信息，可以确定兴趣商品在建筑物内的配置位置。例如，与最接近摄影图像中心的商品对应的商品识别信息可以作为被确定的多个商品识别信息中的一个商品识别信息而被选择。
[0147]另外，上述的具体的实施方式主要包含有具有以下结构的发明。
[0148]本发明的一方面所涉及的引导方法包括:商品配置信息保存步骤，将用于识别配置在建筑物内的多个商品的多个商品识别信息和所述多个商品在所述建筑物内的配置位置相互对应起来的商品配置信息保存在商品配置信息保存部；摄影步骤，拍摄所述建筑物内的使用者的周围；确定步骤，分析在所述摄影步骤中拍摄到的摄影图像，确定所述摄影图像内所包含的商品识别信息；以及引导步骤，基于在所述确定步骤中确定的所述商品识别信息、保存在所述商品配置信息保存部的所述商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定所述登记商品在所述建筑物内的配置位置，提示用于将所述使用者向所确定的所述登记商品的配置位置引导的引导信息。
[0149]根据此结构，将用于识别配置在建筑物内的多个商品的多个商品识别信息和多个商品在建筑物内的配置位置相互对应起来的商品配置信息被保存。摄影图像内所包含的商品识别信息被确定。基于被确定的商品识别信息、商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定登记商品在建筑物内的配置位置，提示用于将使用者向所确定的所述登记商品的配置位置引导的引导信息。
[0150]因此，利用摄影图像内所包含的商品的配置位置和由使用者预先登记的登记商品在建筑物内的配置位置，能够将使用者向建筑物内的感兴趣的商品的位置引导。
[0151]此外，在上述的引导方法中，优选所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息一致时，将表示所述登记商品在所述摄影图像内的位置的图像作为所述引导信息来提示。
[0152]根据此结构，当摄影图像内所包含的商品识别信息和登记商品识别信息一致时，表示登记商品在摄影图像内的位置的图像作为引导信息被提示。因此，在登记商品被包含在摄影图像内的情况下，能够向使用者提示登记商品在摄影图像内的位置。
[0153]此外，在上述的引导方法中，优选所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息不一致时，将表示所述登记商品的位置的图像作为引导信息来提示。
[0154]根据此结构，由于在确定的商品识别信息和登记商品识别信息不一致时，表示登记商品的位置的图像作为引导信息被提示，因此，即使在摄影图像内不包含登记商品的情况下，也可以向使用者提示登记商品的位置。
[0155]此外，在上述的引导方法中，优选所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息不一致时，将表示所述登记商品存在的方向的图像作为所述引导信息来提示。
[0156]根据此结构，由于在确定的商品识别信息和登记商品识别信息不一致时，表示登记商品存在的方向的图像作为引导信息被提示，因此，即使在摄影图像内不包含登记商品的情况下，也可以向使用者提示登记商品存在的方向。
[0157]此外，在上述的引导方法中，优选所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息不一致、所述登记商品存在于所述摄影图像内的隐蔽位置时，将表示所述登记商品的虚拟位置的图像作为所述引导信息来提示。
[0158]根据此结构，由于当确定的商品识别信息和登记商品识别信息不一致、登记商品存在于摄影图像内的隐蔽位置时，表示登记商品的虚拟位置的图像作为引导信息被提示，因此，即使在登记商品存在于摄影图像内的隐蔽位置的情况下，也可以向使用者提示登记商品的虚拟位置。
[0159]此外，在上述的弓I导方法中，优选还包括更新步骤，确定在所述确定步骤中确定的所述商品识别信息在所述建筑物内的配置位置，当确定的配置位置与所述商品配置信息所包含的所述商品识别信息的配置位置不同时，以使所述商品配置信息所包含的所述商品识别信息的配置位置变更为所述确定的配置位置的方式更新所述商品配置信息。
[0160]根据此结构，由于基于摄影图像更新商品配置信息，因此，可以每次取得摄影图像都使商品配置信息处于最新的状态，可以利用最新的商品配置信息，向使用者提示登记商品的位置。
[0161]此外，在上述的引导方法中，优选所述登记商品包含多个登记商品，所述引导步骤提示用于将所述使用者向登记商品的配置位置引导的引导信息，该登记商品是所述多个登记商品中最接近在所述确定步骤中确定的所述商品识别信息的配置位置的登记商品。
[0162]根据此结构，用于将使用者向多个登记商品中最接近确定的商品识别信息的配置位置的登记商品的配置位置引导的引导信息被提示。因此，即使有多个商品被登记，也可以将使用者向位于离使用者的现在位置最近的位置的登记商品引导。
[0163]本发明的另一方面所涉及的引导系统是具备服务器装置和与所述服务器装置能通信连接的引导装置的引导系统，所述服务器装置包括:商品配置信息保存部，保存将用于识别配置在建筑物内的多个商品的多个商品识别信息和所述多个商品在所述建筑物内的配置位置对应起来的商品配置信息；摄影图像取得部，取得拍摄所述建筑物内的使用者的周围所得的摄影图像；确定部，分析由所述摄影图像取得部取得的所述摄影图像，确定所述摄影图像内所包含的商品识别信息；以及引导信息生成部，基于由所述确定部确定的所述商品识别信息、保存在所述商品配置信息保存部的所述商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定所述登记商品在所述建筑物内的配置位置，生成用于将所述使用者向所确定的所述登记商品的配置位置引导的引导信息，所述引导装置包括:摄影部，拍摄所述建筑物内的使用者的周围；以及引导信息提示部，提示由所述引导信息生成部生成的所述引导信息。
[0164]根据此结构，在服务器装置中，保存将用于识别配置在建筑物内的多个商品的多个商品识别信息和多个商品在所述建筑物内的配置位置对应起来的商品配置信息。取得拍摄建筑物内的使用者的周围所得的摄影图像。分析取得的摄影图像，确定摄影图像内所包含的商品识别信息。基于被确定的商品识别信息、所保存的商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定登记商品在建筑物内的配置位置，生成用于将使用者向所确定的登记商品的配置位置引导的引导信息。在引导装置中，拍摄建筑物内的使用者的周围。生成的引导信息被提示。
[0165]因此，利用摄影图像内所包含的商品的配置位置、以及由使用者预先登记的登记商品在建筑物内的配置位置，可以将使用者向建筑物内感兴趣的商品的位置引导。
[0166]另外，在用于实施发明的各项方式中所实施的具体的实施方式或实施例只不过是为了明确本发明的技术内容，不应该只被限定于这种具体例而被狭义地解释，在本发明地精神和权利要求的范围内可以进行种种变更加以实施。
[0167]产业上的可利用性
[0168]本发明所涉及的引导方法及引导系统可以将使用者向建筑物内的感兴趣的商品的位置引导，对于将使用者引导至感兴趣的商品的位置的引导方法及引导系统是有用的。
【权利要求】
1.一种引导方法，其特征在于包括: 商品配置信息保存步骤，将用于识别配置在建筑物内的多个商品的多个商品识别信息和所述多个商品在所述建筑物内的配置位置相互对应起来的商品配置信息保存在商品配置信息保存部； 摄影步骤，拍摄所述建筑物内的使用者的周围； 确定步骤，分析在所述摄影步骤中拍摄到的摄影图像，确定所述摄影图像内所包含的商品识别信息；以及 引导步骤，基于在所述确定步骤中确定的所述商品识别信息、保存在所述商品配置信息保存部的所述商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定所述登记商品在所述建筑物内的配置位置，提示用于将所述使用者向所确定的所述登记商品的配置位置引导的引导信息。
2.根据权利要求1所述的引导方法，其特征在于: 所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息一致时，将表示所述登记商品在所述摄影图像内的位置的图像作为所述引导信息来提不O
3.根据权利要求1或2所述的引导方法，其特征在于: 所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息不一致时，将表示所述登记商品的位置的图像作为引导信息来提示。
4.根据权利要求3所述的引导方法，其特征在于: 所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息不一致时，将表示所述登记商品存在的方向的图像作为所述引导信息来提示。
5.根据权利要求1至4中任一项所述的引导方法，其特征在于: 所述引导步骤，当在所述确定步骤中确定的所述商品识别信息和所述登记商品识别信息不一致、所述登记商品存在于所述摄影图像内的隐蔽位置时，将表示所述登记商品的虚拟位置的图像作为所述引导信息来提示。
6.根据权利要求1至5中任一项所述的引导方法，其特征在于还包括: 更新步骤，确定在所述确定步骤中确定的所述商品识别信息在所述建筑物内的配置位置，当确定的配置位置与所述商品配置信息所包含的所述商品识别信息的配置位置不同时，以使所述商品配置信息所包含的所述商品识别信息的配置位置变更为所述确定的配置位置的方式更新所述商品配置信息。
7.根据权利要求1至6中任一项所述的引导方法，其特征在于: 所述登记商品包含多个登记商品， 所述引导步骤，提示用于将所述使用者向所述多个登记商品中最接近在所述确定步骤中确定的所述商品识别信息的配置位置的登记商品的配置位置引导的引导信息。
8.—种引导系统，具备服务器装置和可与所述服务器装置通信连接的引导装置，其特征在于， 所述服务器装置包括: 商品配置信息保存部，保存将用于识别配置在建筑物内的多个商品的多个商品识别信息和所述多个商品在所述建筑物内的配置位置相互对应起来的商品配置信息； 摄影图像取得部，取得拍摄所述建筑物内的使用者的周围所得的摄影图像； 确定部，分析由所述摄影图像取得部取得的所述摄影图像，确定所述摄影图像内所包含的商品识别信息；以及 引导信息生成部，基于由所述确定部确定的所述商品识别信息、保存在所述商品配置信息保存部的所述商品配置信息、以及用于识别由使用者预先登记的登记商品的登记商品识别信息，确定所述登记商品在所述建筑物内的配置位置，生成用于将所述使用者向所确定的所述登记商品的配置位置引导的引导信息，所述引导装置包括: 摄影部，拍摄所述建筑物内的使用者的周围；以及 引导信息提示部，提示由所述引导信息生成部生成的所述引导信息。
【文档编号】G06Q30/06GK104508695SQ201480001947
【公开日】2015年4月8日 申请日期:2014年5月30日 优先权日:2013年6月4日
【发明者】山口高弘 申请人:松下电器（美国）知识产权公司