货架监视装置、货架监视方法及货架监视程序与流程

文档序号:21108489发布日期:2020-06-16 21:32阅读:213来源:国知局
本发明涉及货架监视装置、货架监视方法及货架监视程序。
背景技术
::在零售行业中,例如通过使对商品的库存和/或营业额的管理系统化,推进了业务的效率化。对于库存管理,例如有时利用以下系统,即基于用监视摄像机对商品的陈列区域(例如,陈列架)拍摄到的影像,来监视商品的库存的系统。现有技术文献专利文献专利文献1:日本特开2015-103153号公报专利文献2:日本专利第6112436号公报技术实现要素:发明要解决的问题但是,例如,若未针对包含陈列架的影像,适当地设定监视对象包含的货架层(换言之,监视区域或监视范围),则有时难以确切地监视商品的库存数(例如,商品的不足或缺货)。因此,有时最终不得不通过人的目视来确认各个商品的库存。若是通过人的目视进行的确认,则有时陈列区域中实际陈列的各个商品的数量(实际库存数)与例如由库存管理系统管理的各个商品的库存数(理论库存数)不一致。在实际库存数与理论库存数不一致的情况下,例如,需进行根据通过目视所确认的实际库存数来修正理论库存数之类的、对库存管理数据的人工的修正操作,因而在修正上花费时间。每天和/或每小时进行这样的修正操作,对于库存管理员来说是负担,所以例如会出现在特定的商品缺货的状态下置之不顾的情况。若对缺货的状态置之不顾,则会失去商品出售的机会,在一些情况下,会败坏在顾客心中的形象。本发明的非限定性的实施例有助于提供能够通过针对包含陈列架的影像适当地设定监视区域,来确切地监视物品的陈列状况的货架监视装置、货架监视方法及货架监视程序。解决问题的方案本发明的一个方式的货架监视装置具备:检测部,通过对包含陈列架的影像数据的影像识别,来检测与陈列在所述陈列架上的物品对应地附设于所述陈列架的货架标签;设定部,基于检测出的所述货架标签的位置,针对所述影像数据中的所述陈列架,设定所述物品应被陈列的监视区域;监视部,基于与所述监视区域中的所述物品的有无对应的影像变化,监视所述陈列架上的所述物品的陈列状况;以及输出部,将所述监视部的监视结果输出。另外,本发明的一个方式的货架监视方法包括以下步骤:通过对包含陈列架的影像数据的影像识别,来检测与陈列在所述陈列架上的物品对应地附设于所述陈列架的货架标签;基于检测出的所述货架标签的位置,针对所述影像数据中的所述陈列架,设定所述物品应被陈列的监视区域;基于与所述监视区域中的所述物品的有无对应的影像变化,监视所述陈列架上的所述物品的陈列状况;以及将所述监视的结果输出。另外,本发明的一个方式的货架监视程序使计算机执行以下处理:通过对包含陈列架的影像数据的影像识别,来检测与陈列在所述陈列架上的物品对应地附设于所述陈列架的货架标签;基于检测出的所述货架标签的位置,针对所述影像数据中的所述陈列架,设定所述物品应被陈列的监视区域;基于与所述监视区域中的所述物品的有无对应的影像变化,监视所述陈列架上的所述物品的陈列状况;以及将所述监视的结果输出。此外,这些涵盖性的或具体的方式可以通过系统、方法、集成电路、计算机程序或记录介质来实现,也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。发明效果根据本发明的一个方式,能够针对包含陈列架的影像适当地设定监视区域,因而能够确切地监视物品的陈列状况。根据说明书及附图可以明确本发明的一个方式的进一步的优点及效果。上述优点和/或效果通过若干个实施方式与说明书及附图中公开的特征分别提供,不必为了获得一个或一个以上的同一特征的优点和/或效果而提供全部特征。附图说明图1是表示一实施方式的库存管理系统的结构例的框图。图2是一实施方式的、附设有货架标签的陈列架的示意性的主视图。图3是局部放大地表示图2所示的陈列架的主视图的图。图4是表示一实施方式的货架分配信息的一例的图。图5是表示图1所例示的计算机的结构例的框图。图6是表示图1及图5所例示的计算机(库存监视装置)的动作例的流程图。图7是表示图1及图5所例示的库存监视装置中通过影像识别来检测货架标签的例子的图。图8是表示通过图1及图5所例示的库存监视装置设定监视区域的例子的图。图9是表示由图1及图5所例示的库存监视装置进行的货架标签关联建立处理的流程的一例的图。图10是表示由图1及图5所例示的库存监视装置进行的货架标签关联建立处理的流程的一例的图。图11是表示由图1及图5所例示的库存监视装置进行的货架标签关联建立处理的流程的一例的图。图12是表示由图1及图5所例示的库存监视装置进行的货架标签关联建立处理的流程的一例的图。图13是表示由图1及图5所例示的库存监视装置进行的货架标签关联建立处理的流程的一例的图。图14是表示由图1及图5所例示的库存监视装置设定监视区域的例子的图。图15a是表示由图1及图5所例示的库存监视装置进行的货架标签检测处理中的搜索顺序的一例的图。图15b是表示由图1及图5所例示的库存监视装置进行的货架标签检测处理中的搜索顺序的一例的图。图16是表示由图1及图5所例示的库存监视装置使用货架分配信息设定监视区域的例子的图。图17是表示修正由图1及图5所例示的库存监视装置进行的货架标签检测的结果的例子的图。图18是表示修正由图1及图5所例示的库存监视装置进行的货架标签检测的结果的例子的图。图19是表示修正由图1及图5所例示的库存监视装置进行的货架标签检测的结果的例子的图。图20是对采用ptz(pan-tilt-zoom,摇摄-倾斜-变焦)摄像机作为图1所例示的摄像机的例子进行说明的图。图21是表示在图20中的影像识别的模式匹配(patternmatching)中使用的识别模型按拍摄方向而不同的例子的图。图22a是表示由图1及图5所例示的库存监视装置设定的阶段性的库存级别的例子的图。图22b是表示由图1及图5所例示的库存监视装置设定的阶段性的库存级别的例子的图。图22c是表示由图1及图5所例示的库存监视装置设定的阶段性的库存级别的例子的图。图23是表示图1及图5所例示的库存监视装置中检测货架层的深度方向上的库存级别的例子的图。图24是表示图1及图5所例示的库存监视装置中检测货架层的深度方向上的库存级别的例子的图。图25a是表示由图1及图5所例示的库存监视装置进行的运动体去除处理的一例的图。图25b是表示由图1及图5所例示的库存监视装置进行的运动体去除处理的一例的图。具体实施方式下面,适当参照附图,对本发明的实施方式进行详细说明。但是,有时省略不必要的详细说明。例如,有时省略已知事项的详细说明或对实质上相同的结构的重复说明。这是为了避免以下的说明不必要地冗长,以使本领域技术人员容易理解。此外,附图及以下的说明是为了使本领域技术人员充分地理解本发明而提供的,并非意图限定权利要求书所述的主题。(系统结构例)图1是表示一实施方式的库存管理系统的结构例的框图。图1所示的库存管理系统1例如可以具备摄像机10、计算机20。此外,“库存管理系统”也可称为“库存监视系统”。摄像机10例如设置于出售商品的店铺内并拍摄包含陈列商品的区域,例如,设置有商品的陈列架50的区域的影像。对于设置陈列架50的店铺的行业或业务种类、以及店铺所经营的商品的种类,不进行限定。例如,陈列架50可以设置于超市、便利店、百货商店、量贩店、折扣店、或者在各种设施内设置的商亭或出售摊位(或出售专柜)。另外,陈列架50不限于室内,也可以设置于室外。摄像机10既可以是对包含陈列架50的区域进行拍摄的专用的摄像机,也可以兼用作如防盗摄像机那样用于其他目的或用途的摄像机。另外,也可以在库存管理系统1中设置多台摄像机10。既可以是摄像机10的拍摄对象(也可称为“监视对象”)与陈列架50一对一地建立对应关系,也可以是一对多或者多对一地建立对应关系。例如,既可以是一个摄像机10将一个陈列架50作为拍摄对象,也可以是一个摄像机10将多个陈列架50作为拍摄对象。例如,通过使用如ptz摄像机那样的、拍摄方向和/或视角可变的摄像机作为摄像机10,从而能够由一台ptz摄像机10将不同的多个陈列架50包含在拍摄对象内。或者,能够由一台ptz摄像机10将一个陈列架50的不同的区域或空间包含在拍摄对象内。例如,在难以由一台摄像机10将一个陈列架50的宽度方向或高度方向摄入摄像机影像内的情况下,通过对一台以上的ptz摄像机10的拍摄方向进行可变控制,能够将宽度方向或高度方向上的不同的多个区域或空间摄入摄像机影像。这样,通过使用ptz摄像机作为摄像机10,可以不用针对每个陈列架50或陈列架50的每个不同区域或空间来设置摄像机10,因此能够削减库存管理系统1中的摄像机10的设置台数。图1所例示的计算机20是信息处理装置的一例,计算机20既可以是个人计算机(pc:personalcomputer),也可以是服务器。服务器也可以包含云服务器。计算机20与摄像机10例如以有线或无线的方式连接,并相互通信。另外,也可以是计算机20与摄像机10通过网络连接。“网络”既可以是有线网络,也可以是无线网络。作为有线网络的一例,可列举内部网、因特网、以及有线lan(localareanetwork,局域网)。作为无线网络的一例,可举出无线lan。计算机20例如接收由摄像机10拍摄到的影像数据(以下有时简称为“摄像机影像”),并对接收到的摄像机影像进行分析。例如,计算机20通过对陈列架50的摄像机影像进行影像识别,来对陈列架50上的商品的库存进行监视,以检测商品的不足或者缺货。此外,“影像识别”也可称为“图像识别”。另外,有时也将检测出商品的不足或者缺货的情况,为了方便统称为“检出缺货”。“检出”也可称为“检测”。另外,摄像机影像的接收源既可以是摄像机10,也可以是例如对由摄像机10拍摄到的影像数据进行录像的录像装置。对于商品的库存的监视可以包含对附设于陈列架50的货架标签的位置的检测。可以是,货架标签示出例如商品名和/或价格之类的、与商品有关的信息(以下称为“商品信息”)。货架标签既可以是纸质货架标签,也可以是电子货架标签。电子货架标签既可以由液晶显示器等构成,也可以由电子纸等构成。另外,电子货架标签也可以是具备无线通信功能等,可远程改写提示的信息的电子货架标签。此外,“货架标签”也可以称作“货架标记”、“货架卡片”或“货架签条”之类的其他的称呼。可以是,计算机20例如通过对摄像机影像的影像识别,检测附设于陈列架50的货架标签的位置,并基于检测到的货架标签位置,设定陈列架50中,对库存进行监视的监视对象的区域或空间。以下,有时将对商品的库存进行监视的监视对象的区域或空间统称为“监视区域”或“监视范围”。关于基于通过影像识别检测到的货架标签51的位置,设定陈列架50上的监视区域的例子,将在后面进行说明。图2中示出附设有货架标签51的陈列架50的示意性的主视图。图3中局部放大地示出图2所示的陈列架50的主视图。作为非限定性的一例,在图2及图3中,示出了通过三个货架搁板52将陈列架50的陈列空间在陈列架50的高度方向上划分为四个空间的形态。另外,在图2及图3中,由虚线框围成的区域表示发生了商品70的缺货的状况。另外,图3中一并记载了以下的例子:将由摄像机10拍摄陈列架50而得到的影像数据在计算机20进行影像识别,当在基于检测出的货架标签51的位置而设定的监视区域中,检测出商品的不足或缺货的情况下,将该信息输出。陈列架50中在高度方向上划分出的陈列空间也可以称作“货架层”。图2中示出了着眼于两个货架层的例子。此外,一个陈列架50上的陈列空间的划分方式不受限定。不限于陈列架50的高度方向,也可以在陈列架50的宽度方向上划分陈列空间。可以是,货架标签51附设于能够目视确认与所陈列的商品70的对应关系的、陈列架50的某个位置。例如,可以是,货架标签51附设于货架搁板52。例如,在各个陈列空间中,商品70陈列在与对应的货架标签51的位置对应的区域或空间(图2及图3的例子中,是货架标签51的上方的空间)。可以是,在监视区域的设定和/或库存的监视中,除了检测到的货架标签51的位置信息以外,还使用与货架分配有关的信息(以下称为“货架分配信息”)。“货架分配”例如表示计划在陈列架50的哪个陈列空间中,将哪种商品陈列(或分配)多少个。图4中示出货架分配信息400的一例。如图4所示,在货架分配信息400中例如可以包括:表示陈列商品70的位置的信息、以及与在该位置陈列的商品70有关的信息。此外,以下,有时将表示陈列商品70的位置的信息称为“陈列位置信息”,有时将与商品70有关的信息称为“商品信息”。作为非限定性的一例,陈列位置信息中可以包括表示以下事项中任意一种以上的事项的信息:店铺编号、楼层数、通路编号、货架编号、货架层编号、以及货架层中的陈列位置。商品信息中例如可以包括商品70的种类或内容之类的、能够确定或辨别各商品70的信息。作为能够确定或辨别商品70的信息的非限定性的一例,可列举“xxx意大利面”或“yyy咖喱”之类的商品名或商品代码。此外,例如,在商品信息中可以包括表示商品70的尺寸(宽度、高度、以及深度中的至少一种)的信息,也可以包括表示陈列的商品70的个数的信息、换句话说是表示陈列数的信息。另外,在商品信息中也可以包含表示商品70的价格的信息。可以是,“陈列数”表示例如货架层的宽度方向、高度方向、以及深度方向中的一种以上的方向上的、商品70的陈列数。基于表示商品70的尺寸的信息和表示商品70的陈列数的信息中的一者或两者,例如能够提高对货架层中多个商品70所占的空间或区域进行确定的精度。因此,计算机20能够通过参照货架分配信息400,来提高基于货架标签位置而设定的监视区域的设定精度,其结果,能够提高商品70的缺货检测的精度。另外,也可以是计算机20基于货架分配信息400,来修正附设于陈列架50的货架标签51的、基于影像识别的检测结果(例如,货架标签位置)。对货架标签位置的修正例如可以包括:基于货架分配信息400,对通过影像识别进行的货架标签51的检测中的漏检进行更正。关于使用货架分配信息400,对监视区域进行设定的例子以及对货架标签位置进行修正的例子,将在后面进行说明。此外,在未使用货架分配信息400的情况下,虽然无法确定监视区域中不足或缺货的商品70是怎样的商品70之类的具体信息,但是根据对基于货架标签位置而设定的监视区域进行图像识别的结果(例如,在监视区域中显现的背景图像的比例),能够检测出在哪个货架层的哪个位置发生了商品70的不足或缺货。通过在这样的检测处理中组合使用货架分配信息400,能够确定检出缺货的商品70是怎样的商品70这种具体信息。例如,能够进行“xxx意大利面缺货”或者“〇层△列的xxx意大利面缺货”之类的信息的提示。(计算机20的结构例)接下来,参照图5,对计算机20的结构例进行说明。如图5所示,计算机20可以示例性地具备:处理器201、输入装置202、输出装置203、内存204、存储器205、以及通信部206。处理器201控制计算机20的动作。处理器201是具备运算能力的电路或设备的一例。作为处理器201,例如可以使用cpu(centralprocessingunit,中央处理器)、mpu(microprocessingunit,微处理器)、以及gpu(graphicsprocessingunit,图形处理器)中的至少一者。输入装置202例如可以包括键盘、鼠标、操作按钮、以及麦克风中的至少一者。可以是,通过输入装置202向处理器201输入数据或信息。输出装置203例如可以包括显示器(或监视器)、打印机、以及扬声器中的至少一者。示例性地,显示器也可以是触摸面板式的显示器。可以将触摸面板式的显示器视为相当于输入装置202及输出装置203这两者。内存204例如存储由处理器201执行的程序、以及对应于程序的执行而被处理的数据或信息。内存204中可以包括ram(randomaccessmemory,随机存取存储器)及rom(readonlymemory,只读存储器)。可以是,将ram用作处理器201的工作内存。“程序”也可以称为“软件”或者“应用程序”。存储器205存储由处理器201执行的程序、以及对应于程序的执行而被处理的数据或信息。可以是,前文已述的货架分配信息400存储于存储器205。此外,既可以是货架分配信息400预先存储于存储器205,也可以是货架分配信息400例如由管理货架分配信息400的货架分配系统(未图示)提供并存储于存储器205。存储器205可以包括硬盘驱动器(hdd:harddiskdrive)或固态驱动器(ssd:solid-statedrive)之类的半导体驱动装置。存储器205也可以作为半导体驱动装置的增补或替代而包括闪存这样的非易失性内存。程序可以包括如上述那样通过影像识别来监视商品70的库存的库存监视程序。既可以是构成库存监视程序的程序代码的全部或一部分存储于内存204和/或存储器205,也可以是构成库存监视程序的程序代码的全部或一部分装入到操作系统(os)的一部分中。可以是程序和/或数据以记录于计算机20能够读取的记录介质中的形态被提供。作为记录介质的一例,可列举:软盘、cd-rom(compactdiscread-onlymemory,光盘只读存储器)、cd-r(compactdisc-recordable,可录光盘)、cd-rw(compactdisc-rewritable,可重复录写光盘)、mo(magneto-opticaldrive,光磁盘)、dvd(digitalversatiledisc,数字通用光盘)、蓝光光盘、移动硬盘等。另外,usb(universalserialbus,通用串行总线)内存等半导体内存也是记录介质的一例。另外,也可以是程序和/或数据例如从服务器(未图示)经由通信线路提供(下载)至计算机20。例如,可以是通过通信部206将程序和/或数据提供至计算机20,并存储于内存204和/或存储器205。另外,也可以是程序和/或数据通过输入装置202提供至计算机20,并存储于内存204和/或存储器205。通信部206例如具备用于与摄像机10通信的通信接口(if:interface)261。通信if261可以是有线接口和无线接口中的任意一者。例如,通信if261接收由摄像机10拍摄到的影像数据。接收到的影像数据例如经由处理器201而存储于内存204和/或存储器205。在摄像机10是ptz摄像机的情况下,可以是,通信部206例如根据来自处理器201的指示与ptz摄像机10通信,来控制ptz摄像机10的拍摄方向和/或视角。另外,通信部206也可以具备用于和与计算机20不同的“其他的计算机”(未图示)通信的通信if262。“其他的计算机”例如既可以是连接于有线或无线的网络的服务器,也可以是连接于有线或无线的网络的用户终端。“其他的计算机”也可以是前文已述的货架分配系统中的计算机。用户终端例如可以由商品70的库存管理员持有。用户终端的非限定性的一例包括:pc、便携式电话(包括智能手机)、以及平板终端。可以是,向用户终端提供与商品的库存管理或库存监视有关的信息。处理器201例如能够通过将存储于内存204和/或存储器205的库存监视程序读出并执行,使计算机20作为通过影像识别来对商品70的库存进行监视的库存监视装置而发挥功能。例如,通过由处理器201执行库存监视程序,从而实现图5中例示的、包括货架标签检测部211、监视区域设定部212、缺货检测部213、以及输出部214的库存监视装置20。可选地,在库存监视装置20中,也可以是,对应于库存监视程序的执行而实现货架标签关联建立部215和检测货架标签修正部216中的一者或两者。货架标签检测部211例如通过对包含陈列架50的全部或一部分的摄像机影像的影像识别,来检测摄像机影像中包含的货架标签51。例如,可以是,货架标签检测部211使用与货架标签51的形状和/或颜色对应的模板图像对摄像机影像进行模式匹配,由此对货架标签51进行检测。监视区域设定部212例如基于由货架标签检测部211检测出的货架标签51的位置,设定陈列架50上的监视区域。缺货检测部213是监视部的一例,例如基于与由监视区域设定部212所设定的监视区域中的商品的有无对应的影像变化,来对陈列架50上的商品70的库存(或也可以称为“陈列状况”)进行监视。例如,可以是,缺货检测部213将在商品70不足或缺货的情况下显现于监视区域中的背景影像用作模板图像,并对监视区域的摄像机影像进行模式匹配,由此检测商品70的不足或缺货。此外,在摄像机影像中,货架标签51的形状会因摄像机10的设置位置和/或拍摄方向的不同而变化。例如,从正面拍摄到的陈列架50的摄像机影像中的货架标签51的形状,与从偏离于正面的倾斜方向拍摄到的陈列架50的摄像机影像中的货架标签51的形状不同。另外,在商品70不足或缺货的情况下显现于摄像机影像中的背景影像也会因摄像机10的设置位置和/或拍摄方向(以下,有时便于理解地统称为“摄像机位置”)的不同而变化。例如,在从正面拍摄到的陈列架50的摄像机影像中,可认为位于陈列架50的背面的背板的正面方向的图像相当于背景影像。另外,在从斜上方拍摄到的陈列架50的摄像机影像中,例如,可认为货架搁板52的陈列商品70的面相当于背景影像。在从斜侧方拍摄到的陈列架50的摄像机影像中,例如,可认为将货架层在左右方向上间隔开的间隔板(未图示)的表面相当于背景影像。这样,货架标签51的形状和/或背景影像会因摄像机位置的不同而变化,因此,可以是,与摄像机位置对应地准备在影像识别的模式匹配中使用的模板图像(也可称为“识别模型”)。此外,在本实施方式中,对识别模型是模板图像,且通过模式匹配来识别货架标签的形状和/或背景影像的情况进行说明,但也可以是其他的实现方法。例如,也可以是,将针对各个货架标签和/或背景影像进行机器学习而生成的预训练模型作为识别模型使用,来对货架标签和/或背景影像进行识别。例如,可以是,在将摄像机10设置于多个地点的情况下和/或如ptz摄像机10那样拍摄方向可变的情况下,准备多个模板图像。模板图像例如存储于存储器205,由处理器201适时地读出。输出部214是生成并输出例如向库存管理员提示(例如,通知)的信息的通知信息生成部的一例。输出部214生成例如包含缺货检测部213的检测结果和/或基于检测结果的信息的通知信息,并向输出装置203和/或通信部206输出。作为非限定性的一例,也可以是,向作为输出装置203的一例的显示器和/或打印机输出对商品70的检出缺货进行通知的信息(也可称为“通知信息”、“缺货信息”或“警告信息”)。此外,也可以是,输出部214基于将缺货检测部213的检测结果和货架标签检测部211的检测结果中的任意一者或两者与货架分配信息400建立了关联的信息,来生成通知信息。例如,基于将缺货检测部213的检测结果与货架分配信息400建立了关联的信息,输出部214能够生成包含商品70的检出缺货的地点(缺货区域)和/或检出缺货的商品70的商品名的通知信息。此外,例如,也可以是,经由通信部206向“其他的计算机”发送通知信息。也可以利用电子邮件进行经由通信部206的通知信息的发送。货架标签关联建立部215例如针对每一个由货架标签检测部211检测出的货架标签51,建立其与货架分配信息400(例如,商品信息)的关联。例如,可以是,检测货架标签修正部216当在货架分配信息400中包含作为商品信息的一例的、与商品70的尺寸和陈列数有关的信息的情况下,基于商品信息,对由货架标签检测部211检测出的货架标签位置进行修正。此外,图5所例示的计算机(库存监视装置)20的结构只不过是例示。可以适当地进行对库存监视装置20的硬件和/或功能块的增减。例如,可以适当地进行对库存监视装置20的硬件和/或功能块的追加、删除、分割或合并。(动作例)接下来,对库存监视装置20的动作例进行说明。如图6所示,库存监视装置20例如获取摄像机影像(s11),并将所获取的摄像机影像,例如在货架标签检测部211中进行分析,来检测摄像机影像中包含的货架标签51(s12)。例如,如图7中附以粗框500来表示的那样,通过影像识别检测出八个货架标签51。在图7的例子中,在从下方数的第m层的货架搁板52上检测出两个货架标签51,在位于其上一层的(从下方数的第m+1层的)货架搁板52、以及位于更上一层的(从下方数的第m+2层)的货架搁板52上,分别检测出三个货架标签51。其中,m是1以上的整数。在从下方数的第m层的货架搁板52上检测出的两个货架标签51的位置,例如从左方数依次是第n个及第n+1个(n是1以上的整数)的位置。同样地,在从下方数的第m+1个的货架搁板52上检测出的三个货架标签51的位置,例如从左方数依次是第n个、第n+1个、以及第n+2个的位置。在从下方数的第m+2个的货架搁板52上检测出的三个货架标签51的位置,例如从左方数依次是第n个、第n+1个、以及第n+2个的位置。应予说明,有时将“第m层且第n个”的位置标记为“m层n号”或“m层n列”的位置。在库存管理系统1中具备多台摄像机10的情况下,或者在使用ptz摄像机作为摄像机10的情况下,例如,可以是,库存监视装置20获取表示摄像机位置的信息并将其提供给货架标签检测部211(图6的s11a)。例如,可以是,表示摄像机位置的信息与货架分配信息400预先建立关联。例如,可以是,货架标签检测部211基于表示摄像机位置的信息和货架分配信息400,辨别是哪个摄像机10的哪个拍摄方向的摄像机影像,由此设定适于基于影像识别的货架标签51检测的识别模型。此外,关于表示摄像机位置的信息与货架分配信息400建立关联的一例,将在后面进行说明。对应于检测出的货架标签51(图6的s12),库存监视装置20例如通过监视区域设定部212,设定对商品70的库存进行监视的监视区域(图6的s13)。例如,监视区域设定部212将检测出的货架标签51中的一个设定为基准货架标签51。作为非限定性的一例,在图7中示出了将左下(1层1号)的货架标签51设定为基准货架标签51的形态。基准货架标签51既可以是由库存监视装置20(例如,监视区域设定部212)自主地设定的,也可以由库存监视装置20的用户(例如,库存管理员)来指定(手动指定)。例如,预先将基准货架标签51的颜色(例如,边框颜色)和/或形状之类的外观设为与其他的货架标签51的外观不同,从而能够通过影像识别来自主地设定基准货架标签51。或者,也可以将“○层△号”的货架标签51之类的信息作为对基准货架标签51进行指定的信息,通过输入装置202输入至监视区域设定部212。另外,手动指定也可以作为对自主的设定的补充来使用。例如,可以是,对应于所设定的基准货架标签51,监视区域设定部212基于图4所例示的货架分配信息400(例如,陈列位置信息),来检测相对于基准货架标签51,在上下方向和/或左右方向上相邻的货架标签51。此外,有时将在上下方向和/或左右方向上相邻的货架标签51便于理解地称为“邻接货架标签51”。邻接货架标签51的“检测”也可称为邻接货架标签51的“检索”或“搜索”。可以是,监视区域设定部212基于检测出的货架标签51间的距离,设定监视区域。设定监视区域的例子如图8所示。在图8中,例如,在将m(=1)层n(=1)号的货架标签51设定为基准货架标签的情况下,监视区域设定部213求出基准货架标签51与邻接货架标签51之间的距离。例如,检测m层n号的基准货架标签51与右方的m层n+1号的货架标签51之间的距离rx,另外,检测基准货架标签51、与上方的m+1层n号的货架标签51之间的距离ry。例如,监视区域设定部212将尺寸及形状根据距离rx及rx决定的监视区域ma(参照虚线框),设定为与1层1号的货架标签51对应的监视区域。监视区域设定部212对其他的货架标签51也检测与邻接货架标签51之间的距离rx及ry,由此,针对每一个通过影像识别检测出的货架标签51,设定监视区域ma。如以上那样,监视区域设定部212针对每一个通过影像识别检测出的货架标签51,计算该货架标签51和与该货架标签51相邻的货架标签即邻接货架标签之间的距离,并基于计算出的距离设定与各个货架标签51分别对应的监视区域ma。因此,能够确切地设定与对应于货架标签51而陈列的商品70对应的监视区域ma。此外,监视区域ma的形状既可以是矩形也可以是椭圆形那样的圆形。另外,可以是,按照规定的规则(rule),针对陈列商品70的各个空间,分别配置货架标签51。例如,可以是,按照“在商品70的左下设置货架标签51”之类的一定的规则来设置货架标签51。若制定一定的规则,则能够基于各货架标签51的位置或货架标签51间的距离、以及一定的规则,设定准确的监视区域ma。例如,若在商品70的左下配置货架标签51,则可知监视区域存在于该货架标签51的右侧。另外,可以是,当存在未设置货架标签51的货架层(例如,最上层的货架层)的情况下,通过设置虚设的货架标签51,来求出包含虚设的货架标签51的货架标签51间的距离。此外,在使用虚设的货架标签51来求出最上层的货架层上方的距离ry的情况下,例如,可以是,在设置于货架的“pop”(point-of-purchaseadversting,售卖场所广告)上设置虚设的货架层51等。“pop”是将商品名、商品的价格、广告词、说明文和/或插图例如记录在纸上的广告介质。或者,也可以是,对于未设置货架标签51的货架层中的距离ry,基于与其他的货架层(例如,下面一层的货架层)之间的距离,来求出货架标签51间的距离。例如,也可以是,对于邻接货架标签51不存在的货架标签51,再次利用针对其他的货架标签51计算出的距离ry。例如,也可以是,再次利用透视形变较少的正下方的货架层的ry,或者,也可以是,依据摄像机的参数将其他的货架层的ry转换来推定ry等。或者,也可以是,针对未设置货架标签51的货架层,手动地设定货架标签51间的距离。另外,可以是,对于位于货架层的右端的货架标签51,若存在相邻的另一陈列架50,则将与在该陈列架50上附设的货架标签51之间的距离作为货架标签51间的距离求出。或者,也可以是,对于位于货架层的右端的货架标签51,将与摄像机影像的图像端部之间的距离作为货架标签51间的距离设定。此外,货架分配信息400例如可以包含关于作为监视对象的商品70的宽度、高度、深度、以及陈列数中的一种以上的信息。在该情况下,可以基于该信息,在检测货架标签修正部216中,对由货架标签检测部211检测出的货架标签位置进行修正(图6的s12a)。换言之,可以是,将货架分配信息400用于基于影像识别的货架标签51的检测结果的精度确认和/或修正。通过货架标签位置的修正,能够提高作为监视对象的商品70的缺货检测的精度。关于修正货架标签位置的例子,将在后面使用图17~图19进行说明。在设定监视区域ma后,库存监视装置20中,由缺货检测部213,例如通过各个监视区域ma的摄像机影像和背景影像的模式匹配,来检测监视区域ma中商品70不足或缺货的区域(图6的s14)。例如,在图8中,针对m层n列的货架标签51,在能够陈列三个商品70的空间内,仅陈列了两个商品70。因此,在监视区域ma的摄像机影像中,显现出相当于一个商品70的量的背景影像。缺货检测部213基于在监视区域ma中显现的背景影像与模板图像在模式匹配中一致的情况,检测出在背景影像所显现的区域中未陈列商品70。换言之,检测出与货架标签51对应的商品70的不足或缺货。对应于检测出的商品70的不足或缺货,库存监视装置20例如通过输出部214,生成对商品70的检出缺货进行通知的信息,并将其输出(图6的s15)。在对商品70的检出缺货进行通知的信息中,既可以包括文字信息和/或音频信息,也可以包括例如用于在显示摄像机影像的显示器中强调显示检出缺货的区域的信息。作为强调显示的非限定性的形态的一例,可列举以下的强调显示形态。也可以将以下的强调显示形态适当地组合。·在摄像机影像中,将检出缺货的区域(以下,有时便于理解地统称为“缺货区域”)的颜色改变为比其他区域的颜色更显眼的颜色(强调色)。·将缺货区域闪烁显示。·将缺货区域附以实线框或虚线框来显示。也可以对实线框或虚线框附以颜色(强调色)。·将缺货区域上所附的实线框或虚线框闪烁显示。如以上那样,根据上述的库存监视装置20,基于通过对包含陈列架50的摄像机影像的影像识别而检测出的货架标签51的位置,针对摄像机影像中的陈列架50设定监视区域,因此,例如能够无需手动操作,而针对包含陈列架50的摄像机影像适当地设定监视区域。此外,在手动指定基准货架标签的情况下,虽然无法在监视区域的设定中完全排除手动操作,但能够使监视区域设定的大部分自动化,另外,能够设定准确的基准货架标签,所以与以往相比,能够精度良好且快速地设定监视区域。换言之,能够使陈列架50中作为监视对象的陈列空间的设定自动化。因此,例如,即使陈列架50与摄像机10之间的相对位置关系因振动等外因而变动,也能够通过基于影像识别的对货架标签51的检测,来重新设定适当的监视区域。而且,库存监视装置20基于与所设定的监视区域中的商品70的有无对应的影像变化,对陈列架50上的商品70的库存进行监视,将监视结果例如通知给库存管理员,因此能够抑制在特定的商品缺货的状态下置之不顾的情况。因此,能够抑制失去商品出售的机会的情况,从而也可改善在顾客心中的形象。(货架标签关联建立处理)此外,也可以是,如图6中虚线所示那样,在缺货检测(s14)与信息输出(s15)之间,由货架标签关联建立部215进行货架标签关联建立处理(s14a)。图6中s14a所示的货架标签关联建立处理例如可以按如下方式进行。首先,货架标签关联建立部215例如如图9所示,将通过影像识别检测出的货架标签51中的一个(例如,左上的“3层1号”)设定为基准货架标签。接下来,货架标签关联建立部215基于货架分配信息400,针对基准货架标签51,例如如图10所示,将“y坐标较近的货架标签51之中x坐标最近的货架标签51”作为邻接货架标签51来检测。在图10的例子中,检测出“3层2号”的货架标签51。货架标签关联建立部215重复图10所例示的邻接货架标签51的检测处理,直至检测出位于基准货架标签51所属的货架层的最后位置的货架标签51、例如“3层3号”的货架标签51为止。在检测出位于基准货架标签51所属的货架层的最后位置的货架标签51的情况下,货架标签关联建立部215针对位于基准货架标签51所属的货架层的最后位置的货架标签51,检测“y坐标最近的”货架标签51。例如如图11所示,检测出“2层3号”的货架标签51。此外,也可以是,在检测出位于基准货架标签51所属的货架层的最后位置的货架标签51的情况下,如图12所示,货架标签关联建立部215使搜索基准返回到基准货架标签51并检测“y坐标最近的”货架标签51。在该情况下,检测出“2层1号”的货架标签51。货架标签关联建立部215重复图10及图11、或图10及图12所例示的货架标签检测处理,直至检测出所有货架标签51为止。图15a表示图10及图11所例示的货架标签检测处理中的搜索顺序的一例,图15b表示图10及图12所例示的货架标签检测处理中的搜索顺序的一例。此外,货架标签51的搜索顺序不限于图15a及图15b所例示的顺序。在所有货架标签51的检测结束的情况下,货架标签关联建立部215将“m层n号”的货架标签51(参照图13)与货架分配信息400(例如,商品信息)建立关联。通过货架标签关联建立处理,针对每一个通过影像识别检测出的货架标签51,建立其与包含商品信息的货架分配信息400的关联。因此,即使如前文已述的那样基于货架标签51间的距离设定监视区域ma(参照图14),也能够确定每一个监视区域ma内的监视对象的商品信息。此外,例如,可以是,基于下面一层的货架层的高度来设定最上层的监视区域ma的高度。此外,例如,可以是,基准货架标签51的设定存储于存储器205。在第二次以后的货架标签关联建立处理中,只要遵循所存储的基准货架标签51的设定即可。因此,也可以是,不需要重新设定基准货架标签51。另外,货架标签关联建立部215例如也可以将表示由缺货检测部213检测出的缺货区域的信息、以及通过影像识别检测出的货架标签51的信息中的一者或两者,与货架分配信息400建立关联。(基于货架分配信息的通知信息的生成)可以是,在图6的s15中,输出部214基于货架分配信息400生成通知信息。例如,可以是,输出部214基于将表示缺货区域的信息与检测出的货架标签51的信息建立关联的信息,生成包含商品70的检出缺货的地点(缺货区域)、和/或检出缺货的商品70的商品名和/或商品代码的通知信息。所生成的通知信息例如向输出装置203和/或通信部206输出。这样,库存监视装置20通过使用货架分配信息400,能够将包含检出缺货的各个商品70的商品名和/或商品代码的信息例如向库存管理员通知。因此,即使在通过摄像机影像的影像分析难以确定各个商品名等的情况下,也能够使库存管理员确切地掌握例如是哪个货架层上的哪种商品70缺货。由此,库存管理员能够确切且顺利地进行例如对各个货架层的商品70的补充。(使用货架分配信息设定监视区域的例子)接下来,对在货架分配信息400中例如包含表示商品70的尺寸的信息及表示商品70的陈列数的信息的情况下,使用这些信息设定监视区域ma的例子进行说明。例如,“针对m层n号的货架标签51陈列三个宽度x且高度y的商品70”这样的信息包含在货架分配信息400中。在该情况下,可以是,监视区域设定部212如图16所示那样,设定包含三个商品70的尺寸(宽度x及高度y)的监视区域ma。此外,在图16的例子中,商品70的深度方向的尺寸可以是任意的。图16中设定的监视区域ma与图8中设定的监视区域从结果来看是相同尺寸,但若图16的例子中,商品70的尺寸和/或陈列数不同,则设定的监视区域ma的尺寸也会成为与图8的例子不同的结果。例如,当在图16的例子中,商品70的尺寸比图8的例子小的情况下,或者,商品70的陈列数比图8的例子少的情况下,图16的例子中设定的监视区域ma的尺寸会比图8的例子小。此外,在设定监视区域ma时,不需要使商品70的宽度、高度、以及陈列数的信息的全部齐全。在设定监视区域ma时,如前文已述的那样通过影像识别来检测货架标签51间的距离,因此即使商品70的宽度、高度、以及陈列数的信息中的一部分信息不足,监视区域设定部202也能够根据检测出的距离进行补充。另外,也可以是,基于通过影像识别而检测出的货架标签51的尺寸,来对商品70的宽度和/或高度进行补充。货架标签51的尺寸既可以是已知的,也可以是通过货架标签51的影像识别而检测出的。另外,即使在如位于陈列架的最上层的货架层那样,作为求出y轴方向上的货架标签51间的距离的基准的货架标签51未设置的情况下,监视区域设定部212也能够基于表示商品70的高度的信息,适当地设定y轴方向上的监视区域ma的尺寸。另外,由于能够掌握监视区域ma中的监视对象的商品70的个数,所以例如能够在缺货检测部213中提高阶段性的缺货检测的精度。关于阶段性的缺货检测的例子,将在后面进行说明。(使用货架分配信息来修正货架标签检测结果的例子)接下来,对在货架分配信息400中例如包含表示商品70的种类的信息及表示商品70的陈列数的信息的情况下,使用货架分配信息400来修正货架标签检测结果的例子进行说明。例如,当在货架分配信息400中包含“在m+1层的货架搁板52上陈列宽度(x)不同的三种商品70。”这样的信息的情况下,检测货架标签修正部216(参照图5)能够基于该信息,检测出通过影像识别进行的货架标签51的检测中的漏检并进行更正。图17中示出有可能发生货架标签51的漏检的情况。在图17的例子中,针对m+1(=2)层的货架搁板52,按理说应当检测出三个货架标签51。另外,在货架分配信息400中包含以下信息:针对三个货架标签51中的每一个,陈列图18中由c1、c2及c3表示的、不同宽度(x1、x2及x3)的商品70。但是,在2层2号的货架标签51上,例如,局部地重叠有“减价!”(“sale!”)这样的其他标签(障碍物),所以对于2层2号的货架标签51,有时通过影像识别进行的检测会失败。在检测失败的情况下,检测货架标签修正部216例如如图19所示,将各商品70的宽度(x1、x2及x3)及陈列数套用于m+1(=2)层的货架搁板52,由此能够推测出在2层2号的位置存在货架标签51。可以是,检测货架标签修正部216通过将推测出的货架标签51包含在通过影像识别检测出的货架标签51中,来对漏检进行更正。这样,即使存在例如因障碍物而引起的、通过影像识别进行的检测失败的货架标签51,也能够基于货架分配信息400来更正图像识别中的漏检,因此能够提高基于货架标签51的位置的、对监视区域ma的设定的精度。(ptz摄像机的采用)采用例如ptz摄像机作为摄像机10,并对ptz摄像机10的拍摄方向进行改向控制,由此能够将多个陈列架50或者一个陈列架50的不同的多个陈列空间纳入监视对象中。图20中示出采用ptz摄像机10的例子。图20中示出了在深度方向上相邻的两个陈列架50中的一者的例如顶棚部分上,设置有两台ptz摄像机10的例子。因此,例如,各个ptz摄像机10分别从斜上方拍摄两个陈列架50中的另一者的正面。此外,例如,也可以是,ptz摄像机10在设置有陈列架50的店铺的顶棚部分设置,并从斜上方拍摄陈列架50的正面。例如,可以是,各个ptz摄像机10分别在陈列架50的宽度方向上,在多个方向(例如,n=3个方向)间改变拍摄方向。此外,“n”是表示拍摄方向的数量的、2以上的整数。例如,可以是,拍摄方向的改变由库存监视装置20通过通信if261(参照图5)与ptz摄像机10通信来控制。对于拍摄方向的改向控制,既可以是按事先设定的周期定期地进行,也可以是在特定的时机不定期地进行。另外,也可以是,根据用户的指示来改变拍摄方向。例如,可以是,在能够事先掌握一天、一周、或者一个月之类的规定的单位期间内的、特定的商品70容易缺货的时间段的情况下,以至少在该时间段内将易于缺货的商品70包含在监视对象中的方式,控制拍摄方向。作为特定的商品70易于缺货的时间段的非限定性的一例,可列举:针对特定的商品70定期或不定期地举办的促销时间段(减价时间段)。可以是,表示ptz摄像机10的拍摄方向的信息(例如,角度信息)与前文已述的货架分配信息400建立关联。例如,可以是,对ptz摄像机10及n个(n为2以上的整数)角度信息分配id(identifier,标识符),并将该id与货架分配信息400中的id(参照图4)建立关联。通过建立这样的id的关联,例如,能够辨别哪个陈列架50的哪个货架层由哪个ptz摄像机10的哪个拍摄方向监视。此外,例如,可以是,id的关联建立由货架标签关联建立部215(参照图5)进行。另外,如前文已述的那样,适于影像识别的识别模型会因拍摄方向的不同而变化,因此,可以是,按不同的拍摄方向来事先准备识别模型。另外,根据在陈列架50的正面例如是否安装了玻璃门,适于影像识别的识别模型也会变化。因此,例如,也可以是,按拍摄方向和/或玻璃门的有无,来事先准备适于影像识别的识别模型。图21中示出了针对三个拍摄方向#a、#b及#c,分别设定识别模型#1、#2及#3的例子。或者,例如,也可以是,对多个识别模型进行切换,来选择检测出的货架标签51的数量最符合货架分配信息的识别模型。如以上那样,通过采用ptz摄像机10作为摄像机10,能够由一台ptz摄像机10对多个地点的库存进行监视及掌握,所以能够削减库存管理系统1中合计的摄像机设置台数。因此,能够削减库存管理系统1的合计成本。(阶段性的缺货检测)有时在检测出商品70的缺货区域后即使将缺货信息输出,也来不及进行商品70的补充。因此,例如,可以是,库存监视装置20对应于在由监视区域设定部212所设定的监视区域中显现的背景影像的面积比例,将商品70的库存级别(也可称为“缺货级别”)阶段性地向库存管理员提示。图22a~图22c中示出阶段性的缺货级别的一例。图22a中示出了在“m层n号”至“m层n+2号”的位置陈列了三个商品70的状况(缺货级别0)。图22b中示出了三个商品70中的一个缺货的状况(缺货级别1),图22c中示出了三个商品70缺货的状况(缺货级别3)。库存监视装置20(例如,缺货检测部213)例如预先将缺货级别与在缺货级别下在监视区域中显现的背景影像的面积比例建立关联而设定,由此确定在监视区域中显现的背景影像的面积比例所对应的缺货级别。表示所确定的缺货级别的信息例如被输出至输出部214。输出部214生成包含表示缺货级别的信息的通知信息,并向输出装置203和/或通信部206输出。由此,将表示阶段性的缺货级别的信息例如向库存管理员提示。此外,对于在阶段性的缺货级别中的哪种缺货级别下进行通知(换言之,通知的阈值级别),既可以事先设定为规定的级别,也可以例如由库存管理员恰当地设定。在图22a~图22c的例子中,例如可以将“缺货级别1”设定为通知的阈值级别。此外,也可以是,设定为在所有缺货级别下进行通知。这样,当在监视区域中陈列多个商品70的情况下,库存监视装置20能够向库存管理员提示阶段性的缺货级别。因此,能够在商品70完全缺货之前的阶段,提醒库存管理员注意,从而能够进行适时的商品补充。此外,在将摄像机10设置于从斜上方对货架层进行拍摄的位置的情况下,可以是,库存监视装置20例如如图23及图24所示,将货架层的深度方向(z轴方向)上的缺货级别向库存管理员提示。例如,可以是,对仅最前列的商品70缺货的情况进行提示等。可以是,当在货架分配信息400中包含表示从货架层正面朝向深度方向的商品70的陈列数的信息的情况下,例如在缺货检测部213,基于监视区域的影像识别结果和货架分配信息400,设定货架层的深度方向的缺货级别。(运动体去除处理)有时由于人(例如,顾客)在陈列架50的正面走过,或人暂时地止步于陈列架50的正面,从而例如如图25a所示,在摄像机影像中,货架标签51的一部分或全部被人遮住。在这样的情况下,对于基于影像识别的货架标签检测及缺货检测而言,摄像机影像中映出的人成为暂时性的障碍物。暂时性的障碍物的存在会使货架标签检测及缺货检测的精度降低。因此,可以是,作为影像识别的预处理的一例,库存监视装置20(例如,货架标签检测部211和/或缺货检测部213)如图25b所示那样,从摄像机影像中将人那样的运动体去除。在摄像机10支持运动体去除模式的情况下,可以是,库存监视装置20例如通过通信if261(参照图5)与摄像机10通信,从而将运动体去除模式设定为“开启”。此外,关于运动体去除的具体的步骤,已知有上述的非专利文献2等,因此省略说明。通过对包含运动体的数帧的摄像机影像实施运动体去除处理,能够提高基于影像识别的货架标签检测及缺货检测的精度。(实施方式的效果)如以上说明的那样,根据上述的实施方式,基于通过对包含陈列架50的摄像机影像的影像识别而检测出的货架标签51的位置,针对摄像机影像中的陈列架50设定监视区域,因此,例如能够无需手动操作,而针对包含陈列架50的摄像机影像适当地设定监视区域。换言之,能够使陈列架50中作为监视对象的陈列空间的设定自动化。因此,例如,即使陈列架50与摄像机10之间的相对位置关系因振动等外因而变动,也能够通过基于影像识别的对货架标签51的检测,来重新设定适当的监视区域。此外,上述的实施方式的效果不限于能够使作为监视对象的陈列空间的设定完全自动化。还能够通过使一部分手动化,即手动地指定基准货架标签的情况等,来提高精度。而且,库存监视装置20基于与所设定的监视区域中的商品70的有无对应的影像变化,对陈列架50上的商品70的库存进行监视,将监视结果例如通知给库存管理员,因此能够抑制在特定的商品缺货的状态下置之不顾的情况。因此,能够抑制失去商品出售的机会的情况,从而也可改善在顾客心中的形象。另外,库存监视装置20通过使用货架分配信息400,能够将检出缺货的各个商品70的商品信息例如向库存管理员通知,所以能够使库存管理员确切地掌握例如是哪个货架层中哪个商品70缺货。因此,即使在通过摄像机影像的影像分析难以确定各个商品名等的情况下,库存管理员也能够确切且顺利地进行例如对各个货架层的商品70的补充。另外,库存监视装置20中,即使存在例如因障碍物而引起的、通过影像识别进行的检测失败的货架标签51,也能够基于货架分配信息400来更正图像识别中的漏检,因此能够提高基于货架标签51的位置的、对监视区域ma的设定的精度。另外,库存监视装置20能够基于货架分配信息400,例如提高对货架层中多个商品70所占的空间或区域进行确定的精度,所以能够提高基于货架标签位置的、对监视区域的设定的精度,其结果,能够提高商品70的缺货检测的精度。另外,通过使用例如ptz摄像机作为摄像机10,可以不用针对每个陈列架50或陈列架50的每个不同区域或空间来设置摄像机10,因此能够削减库存管理系统1中的摄像机10的设置台数。此外,在本实施方式中,对将ptz摄像机作为摄像机10的例子进行了说明,但只要是能够改变拍摄方向的摄像机即可,也可以使用没有变焦功能的摄像机。另外,在陈列架50的配置方向受到制约的情况下,摄像机10不需要同时具备摇摄功能和倾斜功能这两者。例如,若陈列架50仅在大致水平方向上配置,则仅具备倾斜功能的摄像机10也能够对多个陈列架50进行拍摄。另外,摄像机10也可以是全方位摄像机。在使用全方位摄像机作为摄像机10的情况下,拍摄到的图像是包含了存在于摄像机10周围的多个陈列架50的影像的全方位图像。在该情况下,拍摄方向的改向控制相当于进行如下控制的处理:改变从拍摄到的全方位图像中裁出的部分的控制。库存监视装置20通过使用与从全方位图像中裁出的部分对应的虚拟的拍摄方向各自所适合的识别模型,来实施货架标签检测和/或缺货检测,能够实现与使用了ptz摄像机的情况相同的控制。此外,由于全方位图像中能够包含多个陈列架50的影像,所以通过将分别与多个陈列架中的各个陈列架50对应的部分同时裁出,并使用各自所适合的识别模型来实施货架标签检测和/或缺货检测,还能够对多个陈列架50同时进行监视。另外,例如,库存监视装置20能够通过按陈列架50的拍摄方向和/或玻璃门的有无,使用适于影像识别的识别模型,来提高货架标签检测和/或缺货检测的精度。另外,当在监视区域中陈列多个商品70的情况下,库存监视装置20能够向库存管理员提示阶段性的缺货级别。因此,能够在商品70完全缺货之前的阶段,提醒库存管理员注意,从而能够进行适时的商品补充。另外,通过对包含运动体的数帧的摄像机影像实施运动体去除处理,能够在库存监视装置20中,提高基于影像识别的货架标签检测及缺货检测的精度。(其他)在上述的实施方式中,对由计算机20监视的对象是陈列架50中陈列的商品70的例子进行了说明,但由计算机20监视的对象不限于商业交易所涉及的商品70。例如,由计算机20监视的对象也可以是在陈列橱中陈列的展示品等“物品”。在该情况下,例如,能够通过计算机20检测陈列橱中的“物品”的失去,并通知给管理员等。对“物品”的库存或陈列状况进行监视的计算机20例如可以称为“货架监视装置”、“物品监视装置”或“物品陈列状况监视装置”等。另外,使计算机20作为对“物品”的库存或陈列状况进行监视的装置而发挥功能的程序可以称为“货架监视程序”、“物品监视程序”或“物品陈列状况监视程序”等。另外,上述实施方式的说明中的各功能块典型地作为集成电路即lsi(largescaleintegration,大规模集成电路)来实现。这些功能块既可以各自构成为一个芯片,也可以以一个芯片包含一部分或全部功能块的方式构成。在此,虽设为lsi,但根据集成度的不同,有时也称为ic(integratedcircuit)、系统lsi(systemlsi)、超大lsi(superlsi)、特大lsi(ultralsi)。另外,集成电路化的方法不限于lsi,也可通过专用电路或通用处理器实现。也可利用lsi制造后能够编程的fpga(fieldprogrammablegatearray,现场可编程门阵列)或可对lsi内部的电路块的连接或设定进行重构的可重构处理器。并且,如果随着半导体技术的进步或其他技术的派生,出现了代替lsi的集成电路化的技术,当然也可使用该技术来实现功能块的集成化。例如,还存在应用生物技术等的可能性。(本发明的概括)本发明中的货架监视装置可以是,具备:检测部,通过对包含陈列架的影像数据的影像识别,来检测与陈列在所述陈列架上的物品对应地附设于所述陈列架的货架标签;设定部,基于检测出的所述货架标签的位置,针对所述影像数据中的所述陈列架,设定所述物品应被陈列的监视区域;监视部,基于与所述监视区域中的所述物品的有无对应的影像变化,监视所述陈列架上的所述物品的陈列状况;以及输出部,将所述监视部的监视结果输出。另外,本发明中的货架监视装置可以是,具备:通信部,接收货架分配信息,该货架分配信息至少包含与各个所述监视区域中分别应陈列的物品有关的信息;以及关联建立部,将所述货架分配信息中包含的与所述物品有关的信息与由所述检测部检测出的货架标签建立关联,并且可以是,在所述监视区域的所述监视结果表示所述物品的不足或缺货的情况下,所述输出部输出所述监视结果、以及与所述监视区域所对应的所述货架标签建立了关联的所述物品所相关的信息。另外,本发明中的货架监视装置可以是,具备:通信部,接收货架分配信息,该货架分配信息包含各个所述监视区域中分别应陈列的物品的尺寸和陈列数中的至少一者;以及修正部,基于所述货架分配信息中包含的所述物品的尺寸和陈列数中的至少一者,修正由所述检测部检测出的所述货架标签的位置。另外,本发明中的货架监视装置中,可以是,具备通信部,该通信部接收货架分配信息,该货架分配信息包含各个所述监视区域中分别应陈列的物品的尺寸和陈列数中的至少一者,并且可以是,所述设定部基于所述货架分配信息中包含的所述物品的尺寸和陈列数中的至少一者,决定所述监视区域的尺寸。另外,在本发明中的货架监视装置中,可以是,所述影像数据至少包括由拍摄方向可变的摄像机在不同的多个拍摄方向上拍摄到的多个影像数据,并且可以是,所述检测部通过采用了与所述拍摄方向对应的识别模型的影像识别,来检测所述货架标签。另外,在本发明中的货架监视装置中,可以是,所述监视部基于在所述监视区域中显现的背景影像的面积比例,阶段性地检测所述物品的库存级别,所述输出部在所述物品缺货之前的阶段,输出表示所述库存级别的信息。另外,本发明中的货架监视装置可以是,具备通信部,该通信部接收货架分配信息,该货架分配信息包含各个所述监视区域中分别应陈列的物品的陈列数的信息,并且可以是,所述监视部基于在所述监视区域中显现的背景影像的面积比例、以及所述货架分配信息中包含的物品的陈列数,来阶段性地检测所述物品的库存级别。另外,在本发明中的货架监视装置中,可以是,所述设定部针对检测出的各个货架标签,分别计算该货架标签与相邻的货架标签即邻接货架标签之间的距离,并基于所述距离设定与各个所述货架标签分别对应的监视区域。另外,在本发明中的货架监视装置中,可以是,所述货架标签是按照规定的规则,针对各个陈列所述物品的区域分别配置的,并且可以是,所述设定部基于所述货架标签各自与所述邻接货架标签之间的距离、以及所述规定的规则,设定所述监视区域。另外,在本发明中的货架监视装置中,可以是,针对所述邻接货架标签不存在的货架标签,所述设定部基于针对其他的货架标签计算出的距离,设定与所述邻接货架标签不存在的货架标签对应的监视区域。另外,本发明中的货架监视方法中,包括以下步骤:通过对包含陈列架的影像数据的影像识别,来检测与陈列在所述陈列架上的物品对应地附设于所述陈列架的货架标签;基于检测出的所述货架标签的位置,针对所述影像数据中的所述陈列架,设定所述物品应被陈列的监视区域;基于与所述监视区域中的所述物品的有无对应的影像变化,监视所述陈列架上的所述物品的陈列状况;以及将所述监视的结果输出。另外,本发明中的货架监视程序使计算机执行以下处理:通过对包含陈列架的影像数据的影像识别,来检测与陈列在所述陈列架上的物品对应地附设于所述陈列架的货架标签;基于检测出的所述货架标签的位置,针对所述影像数据中的所述陈列架,设定所述物品应被陈列的监视区域;基于与所述监视区域中的所述物品的有无对应的影像变化,监视所述陈列架上的所述物品的陈列状况;以及将所述监视的结果输出。在2017年10月30日提交的日本专利申请特愿2017-209440中包含的说明书、附图及摘要的公开内容全部引用于本申请。工业实用性本发明适于对物品的陈列状况进行监视或管理的系统。附图标记说明1库存管理系统10摄像机20计算机(库存监视装置)50陈列架51货架标签52货架搁板70商品201处理器202输入装置203输出装置204内存205存储器206通信部211货架标签检测部212监视区域设定部213缺货检测部214输出部215货架标签关联建立部216检测货架标签修正部261、262通信接口(if)400货架分配信息ma监视区域当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1