专利名称：增强现实提供系统、信息处理终端、信息处理装置、增强现实提供方法、信息处理方法以及程序的制作方法
技术领域：
本发明涉及提供增强现实的增强现实提供系统、信息处理终端、信息处理装置、增强现实提供方法、信息处理方法以及程序。
背景技术：
在销售商品的店铺中，生成表示在何处如何配置商品的手册，店员按照手册来配置商品。此外，最近引入了自动生成这样的手册的机制。
例如，公开了以下技术根据货架的大小的信息、季节性等每种商品的优先顺序、 以顾客的视点看到货架的难易度等，决定货架划分(专利文献1)。
此外，例如还公开了以下技术在对店铺内进行拍摄而得的图像上合成商品的图像，视觉性地显示货架划分的情况(专利文献2)。
现有技术文献
专利文献
专利文献1 日本特许第四62259号公报
专利文献2 日本特开2002-163436号公报发明内容
发明要解决的课题
在此，在商品售完的情况下，陈列该商品的场所成为空闲的空间。但是，在专利文献1以及专利文献2记载的技术中，店员无法掌握在所产生的空闲的空间中能够陈列的其他的商品，产生货架的空闲空间浪费的问题。
本发明是鉴于上述问题而提出的，其目的在于更有效地使用货架的空闲空间。
用于解决课题的手段
因此，本发明的增强现实提供系统，是具有摄影部以及显示部的信息处理终端与信息处理装置能够通信的增强现实提供系统，其特征在于，所述信息处理终端具有请求单元，其向所述信息处理装置发送包含所述摄影部的拍摄内容的图像信息的、用于取得表示在根据所述图像信息能确定的货架中可陈列的商品的商品信息的请求；以及显示控制单元，在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息，所述信息处理装置具有确定单元，其根据所述请求中包含的所述图像信息确定货架，并确定所述货架的空闲空间的大小；选择单元，其从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比通过所述确定单元确定的所述货架的空闲空间的大小小的商品的商品信息；以及回答单元，其向所述信息处理终端发送包含通过所述选择单元选择的商品信息的回答。
在此，“请求单元”例如对应于后述的请求部150。“显示控制单元”例如对应于后述的显示控制部155。“确定单元”例如对应于后述的确定部250。“选择单元”例如对应于后述的选择部255。“回答单元”例如对应于后述的回答部沈5。
本发明的增强现实提供方法是具有摄影部以及显示部的信息处理终端与信息处理装置能够通信的增强现实提供系统中的增强现实提供方法，其特征在于，具有以下步骤 请求步骤，所述信息处理终端向所述信息处理装置发送包含所述摄影部的拍摄内容的图像信息的请求；确定步骤，所述信息处理装置根据所述请求中包含的所述图像信息确定货架， 并确定所述货架的空闲空间的大小；选择步骤，所述信息处理装置从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中选择比通过所述确定步骤确定的所述货架的空闲空间的大小小的商品的商品信息；回答步骤，所述信息处理装置向所述信息处理终端发送包含通过所述选择步骤选择的商品信息的回答；以及显示控制步骤，所述信息处理终端在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息。
发明效果
根据本发明，可以更加有效地使用货架的空闲空间。
图1表示AR提供系统的结构的一例。
图2表示AR提供装置的硬件结构的一例。
图3表示服务器装置的硬件结构的一例。
图4A表示商品DB的数据结构的一例。
图4B表示商品DB的数据结构的一例。
图4C表示货架DB的数据结构的一例。
图4D表示货架DB的数据结构的一例。
图5A表示主信息的一例。
图5B表示交易信息的一例。
图5C表示货架(家具)主信息的一例。
图5D表示货架划分模式主信息的一例。
图6表示AR提供装置以及服务器装置的功能结构的
图7表示AR提供系统的流程的一例。
图8表示显示画面的显示内容的一例。
图9表示显示画面的显示内容的一例。
图10表示显示画面的显示内容的一例。
图11表示AR提供装置的主处理的流程图的一例。
图12表示增强图像显示处理的流程图的一例。
图13表示显示变更处理的流程图的一例。
图14表示服务器装置的主处理的流程图的一例。
图15表示空闲空间尺寸确定处理的流程图的一例。
图16表示主信息选择处理的流程图的一例。
图17表示附加信息生成处理的流程图的一例。
图18表示AR提供系统的流程的一例。
图19表示指摘信息、缺货预告信息生成处理的流程图的一例。
具体实施方式
以下根据
本发明的实施方式。
图1表示本实施方式的AR提供系统的结构的一例。AR提供系统是实时地掌握货架的空闲空间，选择与空闲空间的大小(空闲空间尺寸)相符的商品中的、在当前时刻推荐向货架陈列的商品，向用户提供所选定的商品的信息的增强实现提供系统的一例。AR提供系统具有AR提供装置100以及服务器装置200。将AR提供装置100与服务器装置200构成为可通信。
AR提供装置100是信息处理终端(计算机)的一例，是便携信息终端、移动电话、 HMD (Head Mounted Display 头戴式显示器)、数字照相机等。AR提供装置100在与经由AR 提供装置100能够感知的现实空间相匹配的位置，显示由AR提供装置100生成的图像(计算机图形图像等)，由此提供增强的现实感(AR Augmented Reality)。在本实施方式中，AR 提供装置100具有触摸面板式的显示画面10，在与经由AR提供装置100能够感知的现实空间的陈列商品的货架匹配的位置上，在显示画面10中显示表示与商品有关的各种信息(后述的商品信息等)的图像(增强图像)。
服务器装置200是信息处理装置(计算机)的一例。服务器装置200经由网络 400与POS (Point of sale system)终端300通信，把与商品的销售有关的各种信息(销售信息)存储在商品DB中来进行管理。此外，服务器装置200根据存储与货架有关的各种信息的货架DB、上述的商品DB等，决定推荐在货架的空闲空间陈列的商品的商品信息，并把所决定的商品信息等发送给AR提供装置100。
AR提供系统的结构不限于上述结构。例如，采用了服务器装置200具有货架DB以及商品DB的结构，但还可以采用与服务器装置200不同的装置具有货架DB以及商品DB的结构。
图2表示AR提供装置100的硬件结构的一例。AR提供装置100具有控制装置 105、存储装置110、通信装置115、显示装置120、方位检测装置125、姿势检测装置130以及摄影装置135。
控制装置105例如是CPU (Central Processing Unit)，根据需要从存储装置110 读出程序来执行程序。通过执行程序，实现AR提供装置100中的后述的功能以及后述的流程图的处理。
存储装置 110 是 ROM (Read Only Memory) > RAM (Random Access Memory) >HD (Hard Disk)等，存储各种信息。更详细地说，存储装置IlO(ROM)存储在AR提供装置100的电源接通时最初读入的程序等。此外，存储装置110 (RAM)具有AR提供装置100的主存储器的功能。此外，存储装置IlO(HD)除了程序以外，存储通过控制装置105计算出的数值数据等。 AR提供装置100可以从CD-ROM等记录介质取得在存储装置110中存储的各种信息，还可以经由网络等下载。
通信装置115与外部装置(服务器装置200等)进行通信，接收商品信息等。把通过通信装置115接收到的商品信息等存储在存储装置110中。
显示装置120是显示部的一例，具有显示画面10，在显示画面10中显示各种图像。 在本实施方式中，作为显示装置120，以非透射型的液晶显示器为例进行了说明，但是还可以采用透射型的液晶显示器。
方位检测装置125例如是电子罗盘，检测微弱的地磁(例如前后方向的地磁以及左右方向的地磁)，根据地磁的强度计算北的方向来计算AR提供装置100的方位(方位信息)ο
姿势检测装置130例如是陀螺仪传感器，检测物体的角速度，对角速度进行积分等来计算角度(AR提供装置100的姿势(姿势信息))。
摄影装置135是摄影部的一例，进行现实空间的拍摄。
此外，AR提供装置100的硬件结构不限于此，例如可以采用具有使方位检测装置 125以及姿势检测装置130的功能成为一体的功能的方位姿势检测装置，来取代方位检测装置125以及姿势检测装置130。此外，例如AR提供装置100可以不具有方位检测装置125 以及姿势检测装置130。
图3表示服务器装置200的硬件结构的一例。
服务器装置200具有控制装置205、存储装置210、通信装置215、显示装置220以及输入装置225。
控制装置205例如是CPU (Central Processing Unit)，根据需要从存储装置210 读出程序来执行程序。通过执行程序，实现服务器装置200中的后述的功能以及后述的流程图的处理。
存储装置210 是存储部的一例，是 ROM (Read Only Memory)、RAM (Random Access Memory) ,HD (Hard Disk)等，存储各种信息。更详细地说，存储装置210 (ROM)存储在接通服务器装置200的电源时最初读入的程序等。此外，存储装置210 (RAM)具有服务器装置200 的主存储器的功能。此外，存储装置210 (HD)除了程序以外还存储通过控制装置205计算出的数值数据等。服务器装置200可以从⑶-ROM等记录介质取得在存储装置210中存储的各种信息，还可以通过网络等下载。
通信装置215与外部装置(P0S终端300、AR提供装置100等)进行通信。例如，通信装置215从AR提供装置100接收商品信息的取得请求。此外，例如通信装置215从POS 终端300接收销售信息。把通信装置215接收到的销售消息存储在存储装置210 (商品DB 等)中。
显示装置220是显示器等，显示各种信息。
输入装置225是用户操作的键盘以及鼠标等，向服务器装置200输入各种信息。
图4A 图4D表示商品DB以及货架DB的数据结构的一例。在商品DB中存储了主信息以及交易信息。在货架DB中存储了货架(家具)主信息以及货架划分模式主信息。 图5A 图5D表示在商品DB以及货架DB中存储的信息(主信息、交易信息、货架(家具) 主信息、以及货架划分模式主信息)的一例。即，在图5A中表示主信息的一例，在图5B中表示交易信息的一例，在图5C中表示货架(家具)主信息的一例，在图5D中表示货架划分模式主信息的一例。
主信息包含商品代码、商品类别、商品名、品牌、商品尺寸以及商品图像的项目的信息而构成，在商品DB中存储多个主信息。换句话说，与商品代码相关联地设置了商品类9别、商品名、品牌、商品尺寸以及商品图像。
在商品代码中存储唯一识别商品的符号的信息。在商品类别中存储商品所属的类别的信息(类别信息)，例如“食品”、“医药品”等信息。在商品名中存储商品的名称的信息。在品牌中存储商品的牌子(公司的名称、商标等)的信息(品牌信息)。在商品尺寸中存储商品的纵、横、深的信息(表示商品的大小的尺寸信息)。
在商品图像中存储立体地表示商品的图像的存储目的地的信息。从存储目的地的信息取得的图像是商品的正面、侧面、上表面、下表面的彩色图像(商品图像信息)。更理想的是每个商品的三维信息(例如，用于生成三维对象的信息)，由此可以描绘出从任意方向观看商品的图像。在商品图像中，可以不存储图像的存储目的地的信息，而存储图像的二进制数据。此外，商品图像信息也可以是黑白图像。
在此，在主信息中可以包含售价、原价、销售开始预定年月日(或销售结束预定年月日)的项目的信息。在售价中存储商品的售价的信息。在原价中存储商品的购买价的信息。在销售开始预定年月日中存储开始销售商品的预定的时期(年月日)的信息(开始信息)。在销售结束预定年月日中存储结束商品的销售的预定的年月日的信息(结束信息)。
交易信息是与商品的销售有关的各种信息，根据从POS终端300接收到的销售信息等被适当地更新。交易信息包含商品代码、库存数、周销售数实绩、库存天数(或库存周转天数)的项目的信息而构成。在库存数中存储在仓库等中保管的商品的数量的信息。在周销售数实绩中，存储一周销售商品的数量的信息(表示销售数的实绩信息)。此外，可以代替周销售数实绩或者除此之外，采用日销售数实绩、月销售数实绩、年销售数实绩等表示销售成绩的项目。在库存天数中存储商品作为库存而被保存的天数的信息。
在此，在交易信息中可以包含入库预定年月日以及入库预定数的项目的信息。在入库预定年月日中存储商品入库的预定的年月日的信息。在入库预定数中存储在入库预定年月日入库的商品的数量的信息。
在本实施方式中，假定在多个店铺中的各个店铺中销售商品，针对每种商品把与多个店铺的全部的销售有关的信息作为交易信息存储在商品DB中。但是，本实施方式不限于该结构。例如，可以针对每个店铺、每种商品在商品DB中存储交易信息。此时，交易信息例如包含唯一识别店铺的符号(店铺代码)的项目的信息而构成。
货架(家具)主信息包含货架ID、货架种类、以及货架规格的项目的信息而构成。 在货架ID中存储唯一识别货架的符号的信息。在货架种类中存储表示货架的种类的信息。 在货架规格中存储货架的宽、高、深度、层数以及层高的信息。
货架划分模式主信息包含商品类别、货架数(各货架ID)、每个货架地址(层/列) 的指定商品以及陈列数、以及每个货架地址(层/列)的指定品牌以及陈列数的项目的信息而构成。即，货架划分模式主信息是用于识别允许(换句话说是限制)向货架陈列的商品的规则的信息(陈列规则信息)。
在此，在货架划分模式主信息中可以包含展开开始预定年月日(或者展开结束预定年月日)、货架地址(层/列)以及每个指定商品的陈列方法的项目的信息。在展开开始预定年月日中存储商品为具有季节性的商品等，在针对每个季节改变货架划分的模式时， 开始该货架划分的模式的展开的年月日的信息。在陈列方法中存储与商品的陈列的指示有关的信息(陈列指示信息)。例如，存储以下含义的陈列指示信息在平台上金字塔方式地堆高啤酒箱、用钩子悬挂文具等、从正面看倾斜地放置用于灌装的洗发水等的包装。关于这些货架划分模式，由店铺侧或供货商侧指定，预先作为货架划分模式主信息来存储。
在图4A 图4D中表示了主信息、交易信息、货架(家具)主信息、货架划分模式主信息中的必需的项目，但是本实施方式可以取代这些必需的项目或者除此之外将其他的项目作为必需的项目。
图6表示AR提供装置100以及服务器装置200的功能结构的一例。
AR提供装置100具有请求部150以及显示控制部155。服务器装置200具有确定部250、选择部255、生成部沈0以及回答部沈5。AR提供装置100具有综合控制请求部 150、显示控制部155等的控制部。此外，服务器装置200具有综合控制确定部250、选择部 255、生成部沈0、回答部265等的控制部。
请求部150向服务器装置200发送用于取得与允许在摄影装置135的拍摄内容中能包含的货架中陈列的商品有关的信息(商品信息等)的请求。
显示控制部155在显示画面10中与通过摄影装置135拍摄的货架重叠地显示对请求部150的请求进行应答而从服务器装置200发送的回答中包含的商品信息。
确定部250根据在货架DB中存储的多个货架(家具)主信息和请求部150的请求中包含的图像(图像信息)，确定货架的空闲空间尺寸。
选择部255从在商品DB中存储的多个主信息中，选择比通过确定部250确定的空闲空间尺寸小的尺寸的商品的主信息(广义上的商品信息)。将在后面进行详述，但是选择部255根据商品DB的交易信息、货架DB的货架划分模式主信息，从所选择的主信息中进一步选择推荐的商品的主信息。
生成部沈0参照商品DB的交易信息等，生成与商品的陈列有关的信息(附加信
回答部沈5向AR提供装置100发送包含根据选择部255选择的主信息和生成部 260生成的附加信息所生成的商品信息的回答。
图7表示AR提供系统的流程的一例。在此，在图8中表示进行流程的处理前(AR 提供装置100被货架500遮挡时)的显示画面10的显示内容的一例。另外，在图9中表示进行流程的处理后的显示画面10的显示内容的一例。
在SQ610中，请求部150按照一定的间隔从摄影装置135拍摄到的影像中取得图像(图像取得)。
在SQ620中，请求部150以恰当的定时向服务器装置200发送所取得的图像(图像发送)。
在步骤SQ630中，确定部250对接收到的图像进行分析，根据货架DB的货架(家具)主信息确定货架(货架确定)。在本实施方式中，例如像图8所示，对货架500附加了能够识别货架500的标记510，所以确定部250通过分析接收到的图像，提取标记510的信息，从提取出的标记510的信息中取得能够识别货架500的货架ID。在标记510中可以记述货架ID自身，还可以记述对货架ID进行编码后的二维条形码，还可以记述货架ID唯一对应的模样或商品的宣传。此外，可以对一个货架500附加多个标记，使用多个标记来确定货架500。然后，确定部250将货架ID作为关键字从货架DB中取得货架(家具)主信息 (货架规格等)。
在SQ640中，确定部250分析接收到的图像，根据在SQ630中取得的货架规格，确定在货架500中产生的空闲空间尺寸(空闲空间尺寸确定)。更具体地说，确定部250对图像进行分析，取得在货架500中产生的一定宽度(例如5cm)以上的空闲空间的宽度。此时，确定部250分析接收到的图像，还确定在货架500的哪层/列产生了空闲空间(空闲空间的位置)。在该例子中，确定部250确定在第二层产生了空闲空间。作为确定此处为空闲空间的方法，可以采用各种方法。例如，可以预先拍摄在货架500中配置了全部商品时的图像，通过求出与当前的图像的差分来确定为空闲空间的位置那样进行处理，还可以进行处理，以便在掌握了货架板的颜色或花纹时确定为空闲空间。
然后，确定部250根据货架500的货架规格决定所确定的空闲空间的深度以及层高，由此来确定具有已决定的深度和层高、以及取得的宽度的空闲空间尺寸。例如，通过空闲空间的宽度相对于通过货架规格确定的货架的宽度的比例，能够推定空闲空间的实际尺寸(在判断出在宽度Im的货架中存在15%左右的空闲空间的宽度的情况下，推定实际的空闲空间的宽度为15cm)。此外，可以作为货架(家具)主信息的项目针对每个货架预先设置一定的宽度，也可以不设置。
在SQ650中，服务器装置200经由选择部255以及生成部沈0，生成是收容在空闲空间尺寸中的尺寸的商品，并且推荐向当前时刻的空闲空间配置的商品的商品信息(商品信息生成)。在商品信息中包含商品代码的信息、商品名的信息、商品图像信息等。在商品信息中还包含库存数的信息、配置允许数信息、错误信息等附加信息。
在SQ660中，回答部沈5向AR提供装置100发送针对请求部150的请求的、包含商品信息以及通过确定部250确定的空闲空间与货架500的哪个层/列对应的位置信息的应答(商品信息发送)。
在SQ670中，显示控制部155在显示画面10中显示接收到的商品信息(图像显示)。例如，显示控制部155如图9所示，在货架500的空闲空间的匹配的位置显示推荐向货架500陈列的商品的商品图像信息12，并且以指示商品图像信息12的方式显示与商品图像信息12对应的附加信息16。此外，显示控制部155在判断出存在多个推荐向货架500 陈列的商品信息时，显示切换为下一个候补的切换界面14。
在此，作为显示画面10中的商品图像信息12的位置匹配的方法，可以使用任意的重叠显示技术，但是在本实施方式中，以利用一般的标记的AR的重叠显示技术的情况为例来进行了说明。更详细地说，显示控制部155将摄影装置135拍摄到的标记510的图像作为基准，根据从回答部265接收到的空闲空间的位置信息，确定空闲空间的位置，在该位置显示商品图像信息12。此外，通过标记510还得出货架500和AR提供装置100的相对位置 (方向)，所以可以以正向地放置在货架500上的方式显示商品图像信息12。
图11表示AR提供装置100的主处理的流程图的一例。此外，假定定期地开始主处理。
首先，AR提供装置100的控制部，判断从上次向服务器装置200发送图像开始是否经过了一定时间(S710)。此时，在判断为经过了一定时间时，进行S720的处理，另一方面， 在判断为没有经过一定时间时，进行S730的处理。
在S720中，请求部150从通过摄影装置135拍摄到的影像取得图像，将取得的图像发送给服务器装置200。然后，进行S730的处理。12
在S730中，控制部判断是否接收到包含商品信息的应答。此时，在判断为接收到时，进行S740的处理，另一方面，在判断为没有接收到时，进行S750的处理。
在S740中，显示控制部155进行后述的增强图像显示处理。然后，进行S750的处理。
在S750中，控制部判断是否接受了在AR提供装置100中设置的触摸面板式的显示画面10、输入按钮等输入部的操作(用户操作)。此时，在判断为接受了用户操作时，进行S760的处理，另一方面，在判断为没有接受用户操作时，主处理结束。
在S760中，显示控制部155进行后述的显示变更处理，结束主处理。
图12表示AR提供装置100的增强图像显示处理的流程图的一例。在接收商品信息时、在接受后述的指示下一候补的显示的用户操作时开始增强图像显示处理。
首先，显示控制部155根据接收到的应答中包含的商品信息，生成增强图像。如上所述，显示控制部155以标记510的图像为基准显示商品图像信息12，但是此时，以和在摄像装置135拍摄到的影像中显示的货架的尺寸相对应的方式，放大/缩小在商品信息中包含的最初的商品图像信息(或下一个候补的商品图像信息)，生成表示调整了尺寸后的商品的增强图像(SSlO)0
接着，显示控制部155生成表示附加信息的内容的增强图像，该附加信息与表示商品的增强图像对应(S820)。
接着，显示控制部155将生成的表示商品的增强图像与摄影装置135拍摄的影像重叠，在适当的位置显示表示附加信息的内容的增强图像(S830)，结束增强图像显示处理。 此外，当在一个图像内存在多个空闲空间时，可以在各个空闲空间中显示商品图像信息12。
图13表示AR提供装置100的显示变更处理的流程图的一例。
首先，显示控制部155判断是否接受了用户向触摸面板进行的用于指示变更表示商品的增强图像的方向的用户操作(S910)。此时，显示控制部155在判断为接受了该用户操作时，进行S920的处理，另一方面，在判断为没有接受该用户操作时，进行S930的处理。
在S920中，显示控制部155对用户操作进行应答，变更表示商品的增强图像的方向。如此，通过变更表示虚拟显示的商品的增强图像的方向，能够在研究美观或与其他商品的配色时考虑。
在S930中，显示控制部155判断是否接受了指示允许在货架中陈列的商品的下一个候补的显示的用户操作(按下切换界面14的操作等)。此时，显示控制部115在判断为接受了该用户操作时，进行S940的处理，另一方面，在判断为没有接受该用户操作时，结束显示变更处理。
在S940中，显示控制部155进行增强图像显示处理，结束显示变更处理。
图14表示服务器装置200的主处理的流程图的一例。此外，假定定期地开始主处理。
首先，服务器装置200的控制部判断是否从AR提供装置100接收到图像(S1010)。 此时，在判断为接收到时，进行S1020的处理，另一方面，在判断为没有接收到时，主处理结束ο
在S1020中，控制部判断是否在接收到的图像中包含货架的图像。此时，在判断为包含时，进行S1030到S1070的处理，另一方面，在判断为没有包含时，主处理结束。在此，控制部分析接收到的图像，在识别出包含标记的信息时判断为包含货架的图像。
在S1030中，确定部250进行后述的空闲空间尺寸确定处理。
在S1040中，选择部255进行后述的主信息选择处理。
在S1050中，生成部260进行后述的附加信息生成处理。
在S1060中，生成部260根据通过主信息选择处理选择的主信息和通过附加信息生成处理生成的附加信息，生成商品信息。
在S1070中，回答部沈5向AR提供装置100发送包含由生成部260生成的商品信息的应答。
图15表示服务器装置200的空闲空间尺寸确定处理的流程图的一例。
首先，确定部250从通过控制部提取的标记的信息确定货架ID(SlllO)。在本实施方式中，在标记中记述了货架ID自身，确定部250通过进行图像处理，提取对货架的特定场所附加的标记来取得货架ID。此外，确定货架的方法不限于该结构。例如，确定部250通过确定在货架中陈列的多个商品，即可以将多个商品看作标记来确定货架ID。根据该结构，不需要对货架的特定的场所附加标记。以下，以确定货架ID为“0001”的情况为例来进行说明。
接着，确定部250将货架ID作为关键字，从货架数据库中取得货架(家具)主信息(S1120)。即，确定部250确定货架。在此，确定部250取得货架种类“TO01”以及货架规格“200，200，100，3，60”来作为货架(家具)主信息。
接着，确定部250根据在商品DB的主信息中包含的商品图像的信息和接收到的图像信息，确定在货架中陈列的商品(S1130)。例如，确定部250在判断为在接收到的图像信息中包含商品图像的信息时，从包含该商品图像的信息的主信息中取得商品代码。
接着，确定部250参照商品DB判断在通过S1130确定的商品中是否包含周销售数实绩的信息在既定值(例如1个)以下的商品(S1140)。在此，确定部250取得判断为包含的商品的商品代码，并且确定在货架中陈列该商品的层/列(位置)。此时，确定部250， 当判断为包含时，进行S1150的处理，当判断为不包含时，进行S1160的处理。此外，可以替代该判断，判断在通过S1130确定的商品中是否包含库存天数的信息超过了既定值(例如 60天)的商品，在判断为包含时，进行Sl 150的处理，在判断为没有包含时，进行Sl 160的处理。此外，确定部250可以一并进行上述两个判断，还可以不进行任何判断(以及S1150的处理)。
在S1150中，确定部250将相应的商品占据的空间指定为空闲空间。更具体地说， 确定部250从商品DB中取得通过S1140判断为包含的商品的商品代码所关联的商品尺寸的信息，将取得的商品尺寸的宽、和通过S1120取得的货架规格的深度、层高所构成的空间的大小指定为空闲空间。如此，确定部250确定销售额相对低的商品，将所确定的商品占据的空间指定为空闲空间，由此，可以取代销售额相对低的商品，提示在当前时刻推荐向货架配置的商品。即，具有从货架中排除销售额相对低的商品来产生空间，推荐在此陈列热销的商品的功能。
在S1160中，确定部250确定分析接收到的图像能得到的空闲空间、以及通过 S1150指定的空闲空间的位置、宽度。在此，假定确定部250分析图像来取得一个宽度为 “20”的空闲空间，确定该空闲空间位于货架的第二层。通过在上述SQ640中说明的处理，确定空隙空间的尺寸。
然后，确定部250根据所确定的空闲空间的位置，判断在货架的相同层是否存在多个空闲空间(Si 170)。此时，确定部250在判断为存在时，进行Sl 180的处理，在判断为不存在时，进行Sl 190的处理。
在S1180中，确定部250将相同层的空闲空间的宽度相加，然后进行S1190的处理。
在S1190中，确定部250从通过S1120取得的货架(家具)主信息中读出空闲空间所在的层高、深度，把通过S1160确定的宽度(或通过S1180相加后的宽度)和读出的层高、深度构成的空间的大小作为空闲空间尺寸，结束空闲空间尺寸确定处理。在上述例子中，确定部250确定宽度“20”、高度“60”、深度“100”的空闲空间尺寸。
图16表示服务器装置200的主信息选择处理的流程图的一例。
首先，选择部255对于通过确定部250确定的每个空闲空间尺寸，从商品DB中提取收容在空闲空间尺寸中的商品的主信息(S1210)。在上述例子中，因为空闲空间尺寸为“20，60，100”，所以选择部255从商品DB中提取商品尺寸比空闲空间尺寸小的商品代码 “0123”、商品代码“0124”以及商品代码“0234”的主信息。
然后，选择部255判断针对空闲空间尺寸所提取的各个主信息是否违反货架划分模式主信息，去除判断为违反的主信息(S1220)。在上述的例子中，通过SlllO确定了货架 ID为“0001”，所以首先，选择部255将货架ID“0001”作为关键字，取得图5D所示的从上面开始3个货架划分模式主信息。此外，在上述的例子中，因为空闲空间位于货架的第二层， 所以选择部255参照所取得的货架划分模式主信息中的图5D所示的从上面开始第二个货架划分模式主信息，选择满足商品类别“食品”、指定商品“_”、指定品牌“A品牌”的条件的商品代码“0123”、商品代码“0124”的主信息。即，去除违反货架划分模式主信息的商品代码“0234”的主信息。此外，“_”表示没有指定商品，例如在指定商品不是“_”而是“0123” 时，仅允许向货架陈列与“0123” 一致的商品代码的商品。
接着，选择部255参照商品DB来去除周销售数实绩的信息为既定值以下的商品的主信息(S1230)，并结束主信息选择处理。换句话说，选择部255优先选择商品的销售数相对高的商品的商品信息。根据该结构，店员可以掌握热销的商品。此外，在采用了管理每个店铺的销售数的结构时，店员能够掌握在预先指定的地域(附近的店铺)特有的热销的商PΡΠ O
图17表示服务器装置200的附加信息生成处理的流程图的一例。
首先，生成部260生成针对在主信息选择处理中选择出的每个主信息设定了推荐度的推荐度信息(S1310)。例如，生成部260参照商品DB，周销售数实绩越高将推荐度设定得越高。此外，例如生成部260参照商品DB，库存周转数的信息越高将推荐度设定得越高。 另外，例如生成部260参照商品DB，销售结束预定年月日的信息距离当前越近将推荐度设定得越高。此外，生成部260可以组合这些来设定推荐度。在此，在主信息选择处理中选择多个主信息，生成了推荐度信息时，显示控制部1 可以直接显示推荐度信息，也可以根据推荐度信息按照推荐度从高到低的顺序显示商品信息。
然后，生成部260根据空闲空间尺寸的深度和在该空间中能够陈列的商品的商品尺寸的深度，针对在主信息选择处理中选择的每个主信息计算能够纵深地配置该商品的数量(配置允许数)，生成配置允许数信息(S1320)。在上述的例子中，因为空闲空间尺寸为 “宽度20、高度60、深度100”，关于商品代码“0123”，商品尺寸为“横15、纵10、深10”，所以生成部260计算出60( = 1X6X10)作为配置允许数。
接着，生成部260判断在Sl 130中通过确定部250确定的在货架中陈列的商品中是否包含违反货架划分模式主信息的商品。此时，生成部260在判断为包含时，参照货架DB 的货架划分模式主信息来确定允许陈列相应的商品的货架ID。然后，生成部260生成错误信息(指摘信息)(S1330)，该错误信息包含相应的商品的位置、商品代码、货架ID的信息、 存在不允许陈列的商品的含义的信息。
接着，生成部260针对每个主信息，判断在通过主信息选择处理选择出的主信息中包含的销售结束预定年月日的信息是否在预定的期间内到达，在判断为到达时，生成预告商品销售结束的含义的预告信息(S1340)。例如，在销售结束预定年月日的信息为 “2010/7/1”，预定的期间为一个月时，生成部260在到达“2010/6/1”时生成预告信息。
接着，生成部260生成包含推荐度信息、配置许可数信息、错误信息以及预告信息的附加信息(S1350)。生成部260在判断为在S1220中使用的货架划分模式主信息中包含陈列方法的信息时，对附加信息附加陈列方法的信息。
可以恰当地进行组合来采用上述的处理。
如上所述，根据本实施方式的结构，能够考虑以下要素推荐适合空闲空间的商PΡΠ
·必须查找与空闲空间尺寸相吻合的商品；
·当在多个地方产生空闲空间时，要考虑复合的空闲空间尺寸；
根据商品，存在来自供应商的陈列方法的指定等，要求在按照该指定的状态下选择并陈列商品；
·在交纳了原本缺货的商品时，必须立即返回。
(第二实施方式)
在第一实施方式中，以在AR提供装置中显示针对产生空闲空间的货架推荐的替代商品的信息的结构为中心进行了说明，但是在本实施方式中，详细说明使用与第一实施方式所示的相同的硬件结构，在AR提供装置中显示与商品的陈列有关的其他信息的结构。
更具体地说，在本实施方式中，设想在货架中陈列了不允许的商品，即店员疏忽弄错商品的陈列的情况，顾客把在某个货架取得的商品放置在别的货架中的情况等。该商品的放置错误特别是在产生空闲空间时容易产生的课题，容易阻碍有效使用空闲空间。因此， 在本实施方式中，采用向店员提供用于改正错误的信息的结构。
在本实施方式中，对于与第一实施方式的结构相同的结构，使用相同的符号，并省略其说明。
图19是与第一实施方式的图14、图15对应的流程图，主要说明与第一实施方式的不同的处理。S1510以及S1520与S1010以及S1020相同。此外，S1530 S1550与SlllO S1130相同。
在S1560中，生成部260判断是否在货架中陈列了不允许的商品。判断的方法没有特别的限定。例如，可以预先拍摄在货架500中配置了全部商品时的图像，求出与当前图像的差分，由此判定是否有不同的商品。此外，例如关于摄影装置135拍摄到的在货架500中陈列的各个商品图像，可以根据在商品DB和货架DB中存储的信息，单独地进行图像的匹配处理来进行确定。
此时，生成部沈0当在S1560中判断为没有陈列(否)时，进行S1580的处理。另一方面，生成部260在判断为陈列(是)时，进行S1570的处理。图10表示在AR提供装置 100中显示了存在不允许陈列的商品的含义的指摘信息的例子。在该例子中，除了提示商品编号“0234”的商品的配置错误之外，还提示表示本来的位置即货架“Z5”的信息。
如此，在关于商品向货架的陈列，人难以一个一个查找错误的情况下，根据本实施方式也可以容易地掌握，并且通过表示本来的陈列的位置，能够减轻店员的业务负荷。
此外，因为有时仅是商品的陈列的方向错误，所以关于商品图像，优选使用从多个方向拍摄而得的照片，或者使用三维信息。
接着，在S1580中，生成部260关于当前拍摄的货架的商品，从商品DB中提取表示商品库存数的库存数信息(未图示)，判断库存数是否低于预定数。该预定数可以对于每种商品决定，也可以对于每个商品类别决定。
此时，生成部260在判断为库存数不低于预定数(否)时，进行S1600的处理。另一方面，生成部260在判断为库存数低于预定数(是)时，在S1590生成缺货预告信息。
缺货预告信息，是用于向店员通知“该商品的店内库存不足”、“该商品在后院没有库存”等库存的状况的信息，如第一实施方式中说明的那样，在AR提供装置100中与货架重叠地显示。
通常，通过参照POS等装置或纸质的库存货单等能够确认库存的状况，但是根据本实施方式，由于位于货架前，并且与货架重叠地显示信息，所以店员不必查找货架，就能够一眼掌握库存的状况。
如上所述，根据本实施方式，不仅能够使用货架中的空闲空间，在店员疏忽弄错商品的陈列时，或者在顾客把在某个货架取得的商品放置在别的货架时等，能够指示店员改正错误，能够更有效地使用货架。
关于本实施方式，可以独立地采用，但是例如也能够与第一实施方式组合实施。
(第三实施方式)
在本实施方式中，AR提供装置100具有确定部250的功能，服务器装置200不具有确定部250的功能。以下，参照图18主要说明与第一实施方式不同的结构。
图18表示AR提供系统的流程的一例。SQ1410是与SQ610相同的处理，SQ1420 是与SQ630相同的处理，SQ1430是与SQ640相同的处理，SQ1450是与SQ650相同的处理， SQ1460是与SQ660相同的处理，SQ1470是与SQ670相同的处理，所以省略说明。
在SQ1440中，请求部150向服务器200发送包含确定信息的商品信息的取得请求 (确定信息发送)。在确定信息中包含在SQ1420中确定的货架ID的信息、在SQ1430中确定的空闲空间尺寸的信息等。
根据上述各个实施方式的结构，能够更加有效地使用货架的空闲空间。
以上，对本发明的优选的实施方式进行了说明，但是本发明不限于该特定的实施方式，在权利要求书记载的本发明的主旨的范围内，能够进行各种变形、变更。
例如，作为AR提供装置100，说明了具有触摸面板式的显示画面10的装置，但是也可以采用HMD等眼镜型的装置。17
此外，例如关于商品尺寸，基本上作为与陈列的方向一致的信息存储在商品DB 中，但是也可以是即使是同一商品以想象多个陈列的方向来存储商品的尺寸的结构。即，在图12的S1210中，选择部255在提取收容在空闲空间中的商品时，按照在商品DB中存储的商品尺寸进行提取，但是根据该结构，在以任意方向陈列商品时都可以提取。
此外，例如表示了在图15的SlllO中确定部250将多个商品看作标记来确定货架 ID的结构，但是，还可以把在货架上悬挂的商品价格牌看作标记来确定货架ID。
此外，例如在图15中说明的空闲空间尺寸确定处理中，不需要进行全部的处理， 可以不执行Sl 130 Sl 150的处理，只把实际空闲的空间确定为空闲空间。
此外，例如在图16中表示了对一个空闲空间提示了一个种类的商品，但是在空闲空间大时，也可以选择商品以便排列多个种类的商品来陈列。此时，以多个商品尺寸的合计值小于空闲空间尺寸的方式设定条件，根据需要还设定了货架划分模式主信息。
此外，例如可以根据需要组合使用各实施方式。
本实施方式可以通过由计算机执行程序来实现。此外，记录上述程序的计算机可读取的记录介质以及上述程序等的计算机程序产品也可以作为本发明的实施方式来使用。 作为记录介质，可以使用软盘、硬盘、光盘、CD-ROM、磁带、非易失性的存储卡、ROM等。
上述实施方式都只不过是实施本发明的具体的例子，并非由此来限定性地解释本发明的技术范围。即，本发明在不超出其技术思想、或者其主要特征的情况下，可以通过各种方式来实施。
产业上的可利用性
根据本发明，可以更加有效地使用货架的空闲空间。
权利要求
1.一种增强现实提供系统，其是具有摄影部以及显示部的信息处理终端与信息处理装置能够通信的增强现实提供系统，其特征在于，所述信息处理终端具有请求单元，其向所述信息处理装置发送包含所述摄影部的拍摄内容的图像信息的、用于取得表示在根据所述图像信息能确定的货架中可陈列的商品的商品信息的请求；以及显示控制单元，在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息， 所述信息处理装置具有确定单元，其根据所述请求中包含的所述图像信息确定货架，并确定所述货架的空闲空间的大小；选择单元，其从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比通过所述确定单元确定的所述货架的空闲空间的大小小的商品的商品信息；以及回答单元，其向所述信息处理终端发送包含通过所述选择单元选择的商品信息的回答。
2.根据权利要求1所述的增强现实提供系统，其特征在于，在所述存储部中存储识别允许向所述货架陈列的商品的陈列规则信息， 所述选择单元，选择比所述货架的空闲空间的大小小的商品的商品信息中的、根据所述陈列规则信息识别为允许向所述货架陈列的商品的商品信息。
3.根据权利要求2所述的增强现实提供系统，其特征在于， 在所述陈列规则信息中包含允许向所述货架陈列的商品的类别信息，所述选择单元，选择比所述货架的空闲空间的大小小的商品的商品信息中的、属于所述类别信息的商品的商品信息。
4.根据权利要求2所述的增强现实提供系统，其特征在于， 在所述陈列规则信息中包含允许向所述货架陈列的商品的品牌信息，所述选择单元，选择比所述货架的空闲空间的大小小的商品的商品信息中的、与所述品牌信息对应的品牌的商品的商品信息。
5.根据权利要求2所述的增强现实提供系统，其特征在于， 在所述陈列规则信息中包含允许向所述货架陈列的商品的商品信息，所述选择单元，选择比所述货架的空闲空间的大小小的商品的商品信息中的、与所述陈列规则信息中包含的商品信息一致的商品信息。
6.根据权利要求1所述的增强现实提供系统，其特征在于， 在所述存储部中存储针对每种商品表示销售数的实绩信息，所述选择单元，优先选择比所述货架的空闲空间的大小小的商品的商品信息中的、根据所述实绩信息商品的销售数相对高的商品的商品信息。
7.根据权利要求1所述的增强现实提供系统，其特征在于， 在所述存储部中存储针对每种商品表示销售数的实绩信息，在所述存储部中存储的商品信息中包含表示商品的商品图像信息， 所述确定单元，根据在所述请求中包含的所述图像信息和在所述存储部中存储的商品图像信息识别在所述货架中陈列的商品，根据所述实绩信息从所述货架中陈列的商品中确定销售数相对低的商品，把从所述货架中排除了所确定的商品时产生的空间的大小确定为所述货架的空闲空间的大小。
8.根据权利要求1所述的增强现实提供系统，其特征在于，所述确定单元，在根据所述请求中包含的所述图像信息判断为在所述货架的相同的层中存在多个空闲空间时，将合计所述多个空闲空间后的大小确定为所述货架的空闲空间的大小。
9.根据权利要求1所述的增强现实提供系统，其特征在于， 在所述存储部中针对每种商品存储表示销售结束的时期的结束信息，所述信息处理装置还具有生成单元，其在根据所述结束信息判断为在所述选择单元所选择的商品信息中具有在经过了预定的时间时销售结束的商品的商品信息时，生成表示与相应的商品的销售的结束有关的指示的指示信息，所述回答单元，在所述生成单元生成了指示信息时，向所述信息处理终端发送所述指不信息，所述显示控制单元在所述显示部中显示所述指示信息。
10.根据权利要求1所述的增强现实提供系统，其特征在于，在所述存储部中存储识别允许向所述货架陈列的商品的陈列规则信息和表示所述商品的商品图像信息，所述信息处理装置还具有生成单元，其在根据所述请求中包含的所述图像信息和所述存储部中存储的商品图像信息，识别出存在根据所述陈列规则信息不允许向所述货架陈列的商品时，生成在所述货架中存在不允许陈列的商品的含义的指摘信息，所述回答单元在所述生成单元生成了指摘信息时，向所述信息处理终端发送所述指摘 fn息，所述显示控制单元在所述显示部中显示所述指摘信息。
11.一种信息处理装置，其特征在于， 具有确定单元，其根据从具有摄影部以及显示部的信息处理终端发送的所述摄影部的拍摄内容的图像信息确定货架，并确定所述货架的空闲空间的大小；选择单元，其从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比通过所述确定单元确定的所述货架的空闲空间的大小小的商品的商品信息；以及回答单元，其向所述信息处理终端发送包含通过所述选择单元选择的商品信息的回答。
12.一种信息处理终端，具有摄影部以及显示部，其特征在于，具有确定单元，其根据所述摄影部的拍摄内容的图像信息确定货架，并确定所述货架的空闲空间的大小；请求单元，其向信息处理装置发送包含通过所述确定单元确定的所述货架的空闲空间的大小的信息的、用于取得表示在所述货架中能够陈列的商品的商品信息的请求，所述信息处理装置从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比所述货架的空闲空间的大小小的商品的商品信息；以及显示控制单元，其在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息。
13.一种增强现实提供方法，其是具有摄影部以及显示部的信息处理终端与信息处理装置能够通信的增强现实提供系统中的增强现实提供方法，其特征在于，具有以下步骤请求步骤，所述信息处理终端向所述信息处理装置发送包含所述摄影部的拍摄内容的图像信息的请求；确定步骤，所述信息处理装置根据所述请求中包含的所述图像信息确定货架，并确定所述货架的空闲空间的大小；选择步骤，所述信息处理装置从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中选择比通过所述确定步骤确定的所述货架的空闲空间的大小小的商品的商品信息；回答步骤，所述信息处理装置向所述信息处理终端发送包含通过所述选择步骤选择的商品信息的回答；以及显示控制步骤，所述信息处理终端在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息。
14.一种信息处理方法，其特征在于，具有以下步骤确定步骤，根据具有摄影部和显示部的信息处理终端发送的所述摄影部的拍摄内容的图像信息确定货架，并确定所述货架的空闲空间的大小；选择步骤，从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比通过所述确定步骤确定的所述货架的空闲空间的大小小的商品的商品信息；以及回答步骤，向所述信息处理终端发送包含通过所述选择步骤选择的商品信息的回答。
15.一种信息处理方法，其是具有摄影部以及显示部的信息处理终端执行的信息处理方法，其特征在于，具有以下步骤确定步骤，根据所述摄影部的拍摄内容的图像信息确定货架，并确定所述货架的空闲空间的大小；请求步骤，向信息处理装置发送包含通过所述确定步骤确定的所述货架的空闲空间的大小的信息的、用于取得表示在所述货架中能够陈列的商品的商品信息的请求，所述信息处理装置从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比所述货架的空闲空间的大小小的商品的商品信息；以及显示控制步骤，在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息。
16.一种程序，其特征在于，使计算机作为以下各部来工作确定单元，其根据从具有摄影部和显示部的信息处理终端发送的所述摄影部的拍摄内容的图像信息确定货架，并确定所述货架的空闲空间的大小；选择单元，其从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比通过所述确定单元确定的所述货架的空闲空间的大小小的商品的商品信息；以及回答单元，其向所述信息处理终端发送包含通过所述选择单元选择的商品信息的回答。
17. 一种程序，其特征在于，使具有摄影部和显示部的计算机作为以下各部来工作确定单元，其根据所述摄影部的拍摄内容的图像信息确定货架，并确定所述货架的空闲空间的大小；请求单元，其向信息处理装置发送包含通过所述确定单元确定的所述货架的空闲空间的大小的信息的、用于取得表示在所述货架中能够陈列的商品的商品信息的请求，所述信息处理装置从相关联地存储了多个表示商品的商品信息和表示所述商品的大小的尺寸信息的存储部中，选择比所述货架的空闲空间的大小小的商品的商品信息；以及显示控制单元，其在所述显示部中与所述摄影部拍摄到的图像信息重叠地显示对所述请求进行应答而从所述信息处理装置发送的回答中包含的商品信息。
全文摘要
AR提供装置(100)向服务器装置(200)发送包含摄影装置(135)的拍摄内容的图像信息的、用于取得表示在根据图像信息能够确定的货架中能够陈列的商品的商品信息的请求，在显示装置(120)中与通过摄影装置(135)拍摄到的图像信息重叠地显示对请求进行应答而从服务器装置(200)发送的回答中包含的商品信息。服务器装置(200)根据在请求中包含的图像信息确定货架，并确定货架的空闲空间的大小，从关联地存储了多个表示商品的商品信息和表示商品的大小的尺寸信息的存储装置(210)中选择比所确定的货架的空闲空间的大小小的商品的商品信息，向AR提供装置(100)发送包含所选择的商品信息的回答。
文档编号G06Q10/08GK102523758SQ201180003821
公开日2012年6月27日 申请日期2011年8月18日 优先权日2010年8月31日
发明者庵原升, 桑原重雄, 横井聪, 福岛彻二 申请人:新日铁系统集成株式会社