本发明涉及库存管理技术领域，尤其涉及一种基于策略模块的库存管理系统。
背景技术：
库存管理是对制造业或服务业生产、经营全过程的各种物品，产成品以及其他资源进行管理和控制，使其储备保持在经济合理的水平上。在库存中，货品的流动速度、流动量和流动周期大不相同。因此，不同货品应采取与其相应特点的库存管理模式，这利于资源共享、节约库存管理成本以及库存优化。根据目前的调研发现，现有的库存管理存在资源浪费、管理成本高等诸多技术问题。
CN107833363A公开的基于图像识别的自助售货机自动库存管理系统和方法。该系统包括设有自动升降台的自助售货机，自动升降台设有能拍到补货位或收获位货到最外端货位上商品的摄像装置。每个售卖位置的自助售货机、摄像装置和自动升降台设有一本地控制系统，各本地控制系统可通过因特网连接云端服务系统；当摄像装置抓拍一自助售货机补货位或售货为的最外端货品的图像后，该图像被识别后更新自助售货机的在售商品数据库，即作为自助售货机的最新库存。
CN106295165A公开的一种基于图像识别的防发药差错系统和方法。系统包括图像采集单元，用于获取药品的即时图像信息；数据库单元，用于存储药品图像信息，所述数据库单元包括即时图像数据库和存储预存图像数据可；图像识别对比单元，用于识别并对比所述即时图像信息和所述预存数据库中的预存图像信息；HIS接口，用于与医院HIS系统连接，获取药品处方信息，报警与确认单元，用于根据即时图像与预存图像的对比结果，发送报警信号或验证通过信号；控制单元，连接所述图像识别对比单元，HIS接口和报警与确认单元。本系统可有效降低发药差错率，客观准确，不影响发发药工作效率。
CN105531715A的中国专利文献公开了检测物品交互和移动，其中，通过比对拿取货品之前与拿取货品之后的图像来确定库存的更新和购物清单。该方法存在的问题在于，一旦用户取走了物品，但又送回到不恰当的位置时，那么购物清单与库存更新是不准确的。另外，当用户在类型相近似且摆放位置相近似的区域做反复对比时，会对拍照和计算带来挑战，倘若用户以双手同时拿取物品，又放回一件物品至错误位置时，购物清单与库存更新经常都会出现差错。其省略了结算环节，但由此也引发了其他问题。因此，这种自动购物方式存在改进空间。
CN107077659A提供了一种智能库存管理系统、服务器、方法、终端和程序产品，用于降低库存管理的复杂程度；其包括：智能机器终端拍摄物品，并将拍摄到的图像发送到智能库存管理服务器；所述智能库存管理服务器根据所述智能机器终端拍摄到的图像识别确定所述图像中的物品及存量；并将所述物体识别模块识别出的物品及存量信息入库。其虽然利用物体识别技术，减少了人工录入的工作量，提高了物品信息入库的准确性，降低了库存管理的复杂程度；但是不能实时地准确评估库存变化。除非有人工介入统计与盘点，否则库存数量仍然是混乱不堪的。
CN104361039A提供了一种基于Qt开发的嵌入式智能冰箱的辅助方法，其包括以下步骤：步骤1、显示过期提醒预览和留言信息；步骤2、食材库存管理，以数据和用户操作为基础，查看当前库存中的所有食材详细信息，并且对食材信息进行编辑和删除的统一管理；并对所有食材进行分类管理，根据生产日期、剩余保质期和过期日期进行排序，以查看各个食材信息；步骤3、过期提醒，通过对库存上的食材信息的剩余保质期进行统计，对剩余保质期少于5天的食材给予直观的信息预览，具体显示食材过期日期和剩余保质期，并实时显示和更新；步骤4、食谱的查询和食谱的推荐，提供海量食谱数据，以及提供各式美味佳肴的制作方法，并根据现有食材或自定义食材进行搜索，获取特定的食谱；根据库存食材或者当前时令季节和健康营养信息，推荐不同口味和功效的食谱；步骤5、购物清单，将现有食材或者将自定义食材信息添加至购物清单，对该购物清单中的食材进行的统计和管理，并且在数据挖掘的基础上提供缺货提醒列表，提供购物的选择；步骤6、食材识别和存取，对食材进行识别并存储。该技术方案不能实时统计库存消耗，在频繁取用食品的厨房及厨房库房内不能起到有效管理库存的效果。
此外，为了准确管理厨房库存，大型酒店和餐厅一般有专人来管理库存(即库存管理员)，仅当餐厅提供订单(相当于本发明下文所述的取食信息)之时，库存管理员才会根据订单(取食信息)向相关人员提供相关食品。此后，由库存管理员以手动方式检查订单与食品之间的对应关系。这种方式不仅效率低下，而且由于食品种类极其庞杂，经常出现大量丢失情况。
公开号为CN104637198A的中国专利文献公开了一种具有自主跟踪功能的智能结算购物车系统，由MCU微控制器，可控直流电机，压力称重传感器，RFID阅读器，摄像头，无线收发器，触摸显示屏，条码扫描器，银联刷卡器构成自主跟踪和自助结算两大子系统，其特征在于：MCU微控制器1通过压力称重传感器感应的车体重量控制可控直流电机的驱动力大小，以适当速度移动购物车；通过条码扫描器自行扫描物品，触摸显示屏实时显示物品信息和当前所购物品总价，无线收发器实现MCU微控制器与超市后台服务器关于物品信息的实时交互，消费者通过银联刷卡器自行刷卡结算。在该系统中，RFID射频卡作为购物车跟踪的信号源，与购物车建立点到点的单线联系；摄像头随时拍摄购物车周围环境，通过路径识别算法自主规避障碍物，选择跟踪路径；由驱动电机驱动的驱动轮可以左右偏转，根据路径识别算法提供的路径信息，由MCU微控制器控制驱动轮的转向。
公告号为CN202904765U的中国专利文献提供一种商场自助智能购物车，包括车架，安装在车架下方的车轮，安装在车架上方的车篮、推杆，推杆下端连接车篮底部的外侧面，其之间的夹角为40-60度，车篮上端和推杆之间安装触摸显示屏，触摸显示屏左侧安装扫描仪、右侧安装刷卡槽，车篮上端安装自动开合感应门。其有益效果是，车篮上端安装自动开合感应门，自动开合感应门上安装感应仪可以感应到所放入的物品，避免在购物过程中错买或多买的麻烦。
通过研究以上技术方案，本领域技术人员即使将其结合，也无法得到令人满意的针对如何实现资源共享和节约库存管理成本的库存管理方案。
技术实现要素：
有鉴于前述技术问题，本发明致力于提供一种基于策略模块的库存管理系统。因为目前绝大多数仓储式超市已经配备了视频监控管理系统，而且监控系统的精度越来越好，能够达到毫米级别的图像精度，而这种低成本图像识别解决方案仍然在高速发展。
有鉴于此，本发明提供一种基于图像识别的库存管理系统，包括：图像采集单元，用于采集库存区内存取机构的动态图像和/或静态图像；图像识别单元，基于所述动态和/或静态图像比较来确定所述存取机构持有物品的状态；计算设备，基于所述特征参数生成库存信息；策略单元，基于所述库存信息生成库存管理策略；所述图像识别单元响应于所述存取机构持有货品的状态而识别在所述存取机构的所述绝对位置周围的和/或处于预定相对位置的货架的至少一个库存位置的变化，所述计算设备判断所述货品与所述库存位置的变化之间的对应关系，生成所述库存信息；所述计算设备在一定周期内将每种货品的库存信息记录在每种货品的历史信息中，并且基于所述历史信息和所述库存信息进行分析后得出每种货品的库存状态信息，所述策略单元基于所述库存状态信息触发调整所述图像采集单元的采集方案和/或调整所述图像识别单元的识别方案。
根据一种优选的实施方式，所述策略单元能够将所述相对位置和/或绝对位置对所述库存位置的变化与所述存取机构进行归类分析，并且将所述存取机构和与所述存取机构互动的货架关联起来，以使得随时随地依据所述货品与所述库存位置的变化动态地调整所述图像采集单元对所述存取机构的图像采集方案和/或调整所述图像识别单元的识别方案。
根据一种优选的实施方式，所述系统还包括RFID单元，用于标记和/或扫描所述货品；所述计算设备能够将经RFID标记的货品的图像属性与所述RFID标记的货品的基础信息关联存储于存储单元中；所述图像采集单元能够在所述RFID扫描所述货品之前，记录所述货品的图像信息；所述计算设备能够基于所述图像识别单元识别的所述图像信息的特征参数与经RFID标记的货品的图像属性进行信息匹配；当匹配成功时，所述存储单元自动注册所述货品的相关信息和/或RFID自动扫描所述货品的标签；当匹配失败时，报警单元提示用户注册所述货品的相关信息。
根据一种优选的实施方式，所述图像采集单元包括第一图像采集装置，用于采集第一图像，并由所述图像识别单元基于所述第一图像来确定至少一个存取机构在货架所在区域内的绝对位置以及所述存取机构相对于至少一个载有至少一种物品的货架的相对位置；第二图像采集装置，用于探测至少一个存取机构的手部的第二图像，所述第二图像是在该存取机构的手进入货架的至少一个库存位置之前拍摄的；第三图像采集装置，用于探测至少一个存取机构的手部的第三图像，所述第三图像是在该存取机构的手从该货架的至少一个库存位置移出之后拍摄的；所述图像识别单元基于第二图像与第三图像的比较来确定相应存取机构持有物品的状态，响应于所述存取机构持有物品的状态而识别在所述存取机构的所述绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。
绝对位置是指针对应用该库存管理系统的超市或仓库所建立的坐标系内的位置，其坐标原点例如可以是超市或仓库占地面的一个角落例如东南角，也可以是某结算柜台所在的位置。相对位置是指超市内的货架之间的彼此相对位置，也可以是存取机构或人员与货架之间的相对位置。
考虑到人员或存取机构在绝大多数情况下都仅能操作其可存取的处于近旁的货架(典型情况下是2米左右范围内的货架)。在本发明中，同时采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，使得超市随时随地依据“变化发生地”来动态划分需要进行分析与计算的区域，能够准确地将货架与当前与其互动的人员或存取机构彼此关联起来，解决大量动态人员与动态存取机构同时进行购物或库存整理时的困难。换而言之，通过本发明先根据位置将库存变化与人员或存取机构进行对应，这对大型超市库存管理的实时性有着决定性的作用。对于拥有成千上万库存位置的超市而言，由于把“库存变化”与“绝对位置”和“相对位置”率先进行了关联，从而大大降低了图像识别的运算量，由此能够在不增设大量计算设备的情况下完成实时库存分析。也由此很大程度上避免了库存数据的混乱无序。
通过该方式，不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置。在这里，存取机构可以是人，也可以是机器设备。对于人而言，图像识别的对象是人的手臂；对于机器设备而言，图像识别的对象是机械手或类似物；从而使得本发明能够灵活应对机器与人并存的超市环境。
根据一个优选实施方式，方法还包括：使用至少一个第四图像采集装置，其布置于货物暂存单元，用于探测物品进入该货物暂存单元的动作，其中，响应于物品进入该货物暂存单元的动作，由此确认进入该货物暂存单元的所述物品与所述库存位置的变化之间的对应关系。通过该方式，本发明可以在物品放入到货物暂存单元后，确认进入该货物暂存单元的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性。货物暂存单元对于人员而言是购物框，对于机器而言是货物存放框。
根据一个优选实施方式，所述第四图像采集装置还被配置用于：响应于存取机构的手部进入该货物暂存单元的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该存取机构的手进入该货物暂存单元之前拍摄的，所述第五图像是在该存取机构的手从该货物暂存单元移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应存取机构移出物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。这里的物品的移出对应于将已经放入到货物暂存单元中的相应物品从货物暂存单元中拿出，即，在存取机构从外部收到了撤销提取某物品的指示之时，更改货物提取的行动；或者，存取机构响应于自身的光学或RFID识别机构对于错误货物提取的拒绝，而更改货物提取的行动；当然在人员情况下，可以是人员在评估商品之后，退还货物的行为。通过该方式，本发明可以在从货物暂存单元的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新。
根据一个优选实施方式，所述方法还包括：使用至少一个第五图像采集装置，其布置于存取机构进出通道中，用以采集用于支付和/或注册的识别标识。通过该方式，将第五图像采集装置布置于存取机构进出通道中采集用于支付和/或注册的识别标识，可以快速地进行价款的结算，极大地提升了货物周转效率、结算效率和用户体验，特别是在客流量大、库存数量大的情况下有显著的优势。此处采取图像识别的方式，使得现有超市在应对智能化时代来临的情况，不必大规模改造基础设施，而是一视同仁地将机器与人都视为某种意义上的客户，统一地借用货物暂存单元完成库存整理与结算。
根据一个优选实施方式，所述第五图像采集装置仅响应于第四图像采集装置提供图像的事件而启动。通过该方式，本发明的第五图像采集装置可以在需要的情况下才启动，空闲的情况下可以进行休眠或者待机状态，节约能源。
根据一个优选实施方式，响应于第四图像采集装置提供图像的事件并根据配备该第四图像采集装置的货物暂存单元相对于进出通道的位置，第五图像采集装置调整其光学采集方向和焦距。通过该方式，本发明的第五图像采集装置可以根据货物暂存单元相对于进出通道的位置，采取镜头跟随以及焦距调节地方式清楚、便捷地采集用于支付和/或注册的识别标识，增大了价款结算的范围区间和灵活性，提高用户体验度。
根据一个优选实施方式，所述第一图像是在所述第二图像采集装置拍摄到该存取机构的手部的第二图像之后才由所述第一图像采集装置拍摄的，其中，所述第二图像是在该存取机构的手进入货架的至少一个库存位置之前拍摄的。通过该方式，使得超市可以同时应对多人和/或多设备同时进店采购的场景，仅当存在第一图像的存取机构再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于存取机构的追踪始于其尝试触及货架上的物品之时。这样不仅可以减少计算开销，还能降低存储开销，降低系统的构建成本和提升系统中各部件的使用效率和系统的流畅度。
根据一个优选实施方式，从基于第一图像确定绝对位置的最初时间点开始，该货物暂存单元响应于存取机构持有物品的状态而设定介绍定时周期，在经过该特定的介绍定时周期之后，若第四图像采集装置未能采集到物品进入该货物暂存单元的动作，则通过该货物暂存单元向持有物品的存取机构发出有关商品属性的提示，其中，所述提示可以呈电子信号、语音、图像或视频的形式。由于现在物品包装上的文字都设置得很小、很密集，就算具备高清分辨率摄像头的存取机构在短时间内都不可能快速找到所需要的信息，对于存在视力障碍、近视或者远视的人群，就更加地困难。而在经历介绍定时周期后，相应存取机构还未将物品放入货物暂存单元，则说明该存取机构还未找到所需要的信息。由此，通过该方式，本发明可以在相应人员或存取机构经历一定时间后还未决定是否购买物品时，辅助性地向持有物品的人员或存取机构发出有关商品属性的提示，以便该人员或存取机构根据提示作出决定。
本发明提供了针对人员与智能搬运设备共存的仓储式超市内的库存管理系统，其至少具有如下优势：
(1)本发明依据库存信息动态地调整图像采集单元和图像识别单元，以求达到设备的资源共享，避免布置较多的装置，节约成本。
(2)本发明不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置；
(3)本发明可以在物品放入到货物暂存单元后，确认进入该货物暂存单元的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性；
(4)本发明可以在从货物暂存单元的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新。
附图说明
图1是本发明的系统的模块示意图；和
图2是本发明一个优选实施方式的模块示意图。
附图标记列表
1：图像采集单元 2：图像识别单元
5：策略单元 6：存储单元
7：报警单元 11：第一图像采集装置
12：第二第图像采集装置 13：第三图像采集装置
14：第四图像采集装置 15：第五图像采集装置
16：第六图像采集装置 17：第七图像采集装置
18：第八图像采集装置 21：指示标记
22：位置错误标记 30：计算设备
40：货物暂存单元
具体实施方式
下面结合附图进行详细说明。
为了便于理解，在可能的情况下，使用相同附图标记来表示各附图中共同的相似元件。
实施例1
本发明公开了一种基于策略模块的库存管理系统，在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
如图1所示，该系统包括：图像采集单元1、图像识别单元2、计算设备30和策略单元5。其中，图像采集单元1用于采集库存区内存取机构的动态图像和/或静态图像。图像识别单元2基于动态和/或静态图像比较来确定存取机构持有物品的状态。计算设备30基于特征参数生成库存信息。策略单元5基于库存信息生成库存管理策略。图像识别单元2响应于存取机构持有货品的状态而识别在存取机构的绝对位置周围的和/或处于预定相对位置的货架的至少一个库存位置的变化。计算设备30判断货品与库存位置的变化之间的对应关系，生成库存信息。计算设备30在一定周期内将每种货品的库存信息记录在每种货品的历史信息中，并且基于历史信息和库存信息进行分析后得出每种货品的库存状态信息。策略单元5基于库存状态信息触发调整图像采集单元1的采集方案和/或调整图像识别单元2的识别方案。例如，根据库存状态信息决策出图像采集单元的预期对焦位置、图像采集单元对于一种货品的监控时长和数量以及图像识别单元的识别次数和识别精确度。本发明依据库存信息动态地调整图像采集单元和图像识别单元，以求达到设备的资源共享，避免布置较多的装置，节约成本。
优选的，策略单元5能够将相对位置和/或绝对位置对库存位置的变化与存取机构进行归类分析，并且将存取机构和与存取机构互动的货架关联起来，以使得随时随地依据货品与库存位置的变化动态地调整图像采集单元1对存取机构的图像采集方案和/或调整图像识别单元2的识别方案。优选的，策略单元5包括前置模块、处理模块和选择模块。前置模块存储策略条件，例如商品A在1小时内流动量为100件时，图像采集单元将会从2台图像采集装置更新至4台图像采集装置。选择模块存取有至少一条策略方案，例如，图像采集单元将会从2台图像采集装置更新至4台图像采集装置。例如，计算设备30根据库存状态信息分析商品A的流动状态并导入前置模块，处理模块对商品A的流动状态进行分析和处理，反馈至选择模块，选择策略方案。
该系统还包括RFID单元6，用于标记和/或扫描货品；计算设备30能够将经RFID标记的货品的图像属性与RFID标记的货品的基础信息关联存储于存储单元6中。图像采集单元1能够在RFID扫描货品之前，记录货品的图像信息。计算设备30能够基于图像识别单元识别的图像信息的特征参数与经RFID标记的货品的图像属性进行信息匹配。当匹配成功时，存储单元自动注册货品的相关信息和/或RFID自动扫描货品的标签。当匹配失败时，报警单元7提示用户注册货品的相关信息。
根据一种优选实施方式，图像采集识别单元具备针对所输入的图像而进行支持向量机(SVM)运算的SVM运算部、和对在图像识别处理的途中生成的数据进行暂时保存的数据保存部，SVM运算部具备：特征值计算部，其计算表示在所输入的图像中拍到的对象物即识别对象物与要进行识别的对象物即比较对象物相似的程度的特征值；以及累积相加部，其对与在示教数据组中被归类为同种比较对象物的示教数据对应的特征值进行累积相加，在SVM运算处理中，特征值计算部将与示教数据对应的特征值全部计算出并保存在数据保存部中，累积相加部对同种比较对象物的特征值进行累积相加，作为在图像识别处理中对识别对象物进行识别的结果而输出。
根据一个优选实施方式，参见图2，该系统可以包括：第一图像采集装置11，其用于采集第一图像，并由图像识别单元2基于所述第一图像来确定至少一个存取机构在货架所在区域内的绝对位置以及该存取机构相对于至少一个载有至少一种物品的货架的相对位置。优选地，地面上可以设有相应的用于识别的基准点和/或基准线辅助系统确定绝对位置和相对位置。
根据一个优选实施方式，该系统还可以包括：第二图像采集装置12，其用于探测至少一个存取机构的手部的第二图像，所述第二图像是在该存取机构的手进入货架的至少一个库存位置之前拍摄的。优选地，对于一个货架，其可以具有至少一个库存位置。一个货架可以分为多层。每层可以是一个库存位置。或者，一层在水平方向上可以分为多个区域，每个区域可以是一个库存位置。应当注意地是，这些区域之间的分隔线可以是可图像识别的分隔装置和/或不可图像识别的虚拟分隔线。分隔装置例如是间壁和/或喷涂的基准线。不可图像识别的虚拟分割线可以是在货架、与该货架对应的第二图像采集装置12和/或第三图像采集装置13固定好后，摆放相应的物品，然后由系统采集该货架的图像信息对货架进行分割，以得到至少包含一类物品的至少一个库存位置。
根据一个优选实施方式，该系统还可以包括：第三图像采集装置13，其用于探测至少一个存取机构的手部的第三图像，所述第三图像是在该存取机构的手从该货架的至少一个库存位置移出之后拍摄的。
根据一个优选实施方式，图像识别单元2基于第二图像与第三图像的比较来确定相应存取机构持有物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。随后采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，准确地将货架与当前与其互动的人员或存取机构彼此关联起来，使得能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。由于把“库存变化”与“绝对位置”和“相对位置”率先进行了关联，从而大大降低了图像识别的运算量，由此能够在不增设大量计算设备的情况下完成实时库存分析。
比如，绝对位置周围有多个货架，但是通过绝对位置不能准确地确定实际发生变化的库存位置，而相对位置可以涉及到两者之间的距离，只有在相应存取机构在与一个货架的距离小于等于预设距离之时，才有可能出现该存取机构与处于相对位置的货架发生物品转移关系的情况。在该存取机构与存放该物品的对应的库存位置距离近的情况下，该存取机构将该物品放回到对应的库存位置时，则该库存位置的变化只包括数量的增加，而不包括品类的增加。在该存取机构与存放该物品的对应的库存位置距离远的情况下，该存取机构有可能因为其自身操作错误而未将物品放回到该物品的对应的库存位置。因此，在将物品放回到货架上且未放回到其对应的库存位置的情况下，则处于预定相对位置的货架的至少一个库存位置的变化可以包括：该库存位置存放物品的品类增加和存放物品的数量增加。优选地，持有物品的状态可以包括物品的种类和/或数量。优选地，在判断所述物品与所述库存位置的变化之间的对应关系之前，可以基于从各种输入装置接收到的数据来识别从货架的库存位置移除和/或放入货架的库存位置中的物品的身份。例如，通过图像采集装置可以采集在相应存取机构的手经过平面进入库存位置中之前所述手的一连串图像并且还采集在该手离开库存位置后该手的一连串图像。基于所述图像的比较，可以确定相应存取机构是否从库存位置移除物体或将物体放入库存位置中。例如，基于对图像的分析，可以确定相应存取机构在手进入库存位置时没有拿着物体，但是在手从库存位置移出时拿着物体(相应存取机构从库存位置移除物体)。同样地，可以使用图像分析来识别是否在手进入库存位置之前相应存取机构在他们的手上拿有物体但在手从库存位置移出时没有拿有物体(相应存取机构将物体放入库存位置中)。也就是说，本发明用于比较的第二图像和第三图像不仅仅只是包括单张图像的情况，还可能是一连串的第二图像和一连串的第三图像的综合比对。
优选地，本发明的管理系统还公开了第四图像采集装置14，其布置于货物暂存单元40，用于探测物品进入该货物暂存单元40的动作，其中，响应于物品进入该货物暂存单元40的动作，由此确认进入该货物暂存单元40的所述物品与所述库存位置的变化之间的对应关系。优选地，当且仅当所述确认步骤之后，将代表所述物品的物品标识符添加至提货清单，所述提货清单与至少一个存取机构相关联。通过将物品标识符添加到提货清单，在用户逛超市的过程中根据放入到货物暂存单元40中的物品实时地进行提货清单地核算，最后可以直接根据提货清单进行费用的结算，避免了再次将物品依次移出扫描条码进行结算造成耗时长的问题。优选地，货物暂存单元40例如是存取机构专用存货框、购物车、购物筐和购物袋中的至少一种。
优选地，所述第四图像采集装置14还可以被配置用于：响应于存取机构的手部进入该货物暂存单元40的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该存取机构的手进入该货物暂存单元40之前拍摄的，所述第五图像是在该存取机构的手从该货物暂存单元40移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应存取机构移出物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。在此，通过物品的移出以及库存位置的变化两者来确定某物品从货物暂存单元返回至库存位置。由此可首先基于第一图像所确定的绝对位置和相对位置来确认发生变化的库存位置，同时基于第二图像、第三图像、第四与第五图像来分析确定所返回的物品。此时可相应更新库存位置或者启动货物清理程序，例如招唤人工介入清除不符合货架货物的物品，或者以自动进给方式将错误的物品送入回收通道。例如，通过在天花板安装可移动的机械手臂或者带机械手臂的自动清理车将不符合货架货物的物品或者错误的物品进行归位整理或者放入回收通道。优选地，当基于第二、第三、第四与第五图像确定返回的物品之后，将代表所述物品的物品标识符从提货清单移除，所述提货清单与至少一个存取机构相关联。优选地，第四图像是该存取机构的手在未持有物品的情况下该手进入该货物暂存单元40之前拍摄的。第五图像是在该存取机构的手从该货物暂存单元40将物品移出之后拍摄的。
根据一个优选实施方式，所述第四图像采集装置14还可以被配置用于：响应于存取机构抵达结算区域而启动，采集货物暂存单元40内的物品占用货物暂存单元40的空间大小，由该系统根据空间大小指示结算区域的提供设备为该存取机构提供匹配大小的袋。通过该方式，可以为该存取机构提供适宜大小的袋，避免在结算区域因为判断所需的袋的大小而浪费过多的时间，提高结算效率。
根据一个优选实施方式，本发明还公开了第五图像采集装置15，其布置于存取机构进出通道中，用以采集用于支付和/或注册的识别标识。优选地，所述识别标识可以是RFID、二维码、指纹、人体轮廓、人脸轮廓、虹膜图像和典型的热特性图像中的至少一种。比如，在一个存取机构被检测到持有一个货物暂存单元40后，则系统将该货物暂存单元40与该存取机构关联。在费用结算之时，在该存取机构是未注册用户的情况下，则可以在结算之时或之前提醒该存取机构的拥有方注册或者以远程方式直接完成支付。在存取机构的拥有方或作为自然人的用户注册之时，可以要求拥有方或用户选定一种识别标志作为以后费用结算之时的凭证，并根据用户选定的识别标识要求用户录入对应的信息。假设用户选择通过虹膜图像、图形二维码或RFID进行支付，则该存取机构在费用结算之时，将图形二维码(张贴于存取机构)或相应的眼部朝向第五图像采集装置15的采集区域，在通过系统的验证之后，使用绑定的支付账号完成费用结算；或者使得存取机构的RFID或其图形二维码录入系统用以结算。
根据一个优选实施方式，第五图像采集装置15仅响应于第四图像采集装置14提供图像的事件而启动。优选地，响应于第四图像采集装置14提供图像的事件并根据配备该第四图像采集装置14的货物暂存单元40相对于进出通道的位置，第五图像采集装置15调整其光学采集方向和焦距。
根据一个优选实施方式，所述第一图像是在所述第二图像采集装置12拍摄到该存取机构的手部的第二图像之后才由所述第一图像采集装置11拍摄的，其中，所述第二图像是在该存取机构的手进入货架的至少一个库存位置之前拍摄的。由此，使得无人超市可以同时应对多人进店采购的场景，仅当存在第一图像的存取机构再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于存取机构的追踪始于其尝试触及货架上的物品之时。
优选地，从基于第一图像确定绝对位置的最初时间点开始，该货物暂存单元40响应于存取机构持有物品的状态而设定介绍定时周期(例如5秒)，在经过该特定的定时周期之后，若第四图像采集装置14未能采集到物品进入该货物暂存单元40的动作，则通过该货物暂存单元40向持有物品的存取机构发出有关商品属性的提示，其中，所述提示可以呈电子信号、语音、图像或视频的形式。在该货物暂存单元判断其持有方为人员而非呈搬运设备形式的存取机构时，该货物暂存单元40可以提示该存取机构从货架上取下但未装入该货物暂存单元40的商品售价为20元，据其保质期截止时间还有十个月。优选地，该货物暂存单元40响应于介绍定时周期之设定，还设定提醒定时周期(例如30秒)，在经过了提醒定时周期之后，若第四图像采集装置14未能采集到物品进入该货物暂存单元40的动作，则通过该货物暂存单元40向持有物品的存取机构发出提示将当前物品正确装入该货物暂存单元40内的提示，其中，该提示可采取指向容纳口的箭头这样的图形方式。优选地，在经过了该提醒定时周期之后，在第四图像采集装置14未能采集到物品进入该货物暂存单元40的动作的情况下，则该系统还通过指示标记21指示将当前物品放回到货架上的正确位置。其中，该指示标记21可以采取指向当前物品的同类物品所在区域的箭头这样的图形方式。更具体地，比如，指示标记21为绿色荧光箭头且能按照预设频率闪烁。在该货物暂存单元判断其持有方为呈搬运设备形式的存取机构而非作为自然人的人员时，由该货物暂存单元40将相关商品介绍信息以电子信号方式传送至该存取机构，由其向远程用户发出提示，以尽快完成采购决定。
优选地，该系统还包括第六图像采集装置16，第六图像采集装置16在经过了该提醒定时周期之后，在第四图像采集装置14未能采集到物品进入该货物暂存单元40的动作的情况下启动，用于采集与物品关联的货架的第六图像和货架的第七图像，其中，所述第六图像是在该存取机构持有物品的手进入货架之前拍摄的，所述第七图像是在该存取机构持有物品的手从货架移出之后拍摄的，基于第六图像和第七图像比较来二次判断所述物品与所述库存位置的变化之间的对应关系。第六图像采集装置16只在在经过了该提醒定时周期之后，在第四图像采集装置14未能采集到物品进入该货物暂存单元40的动作的情况下启动，是因为物品回放到货架上所需的环境信息更多且分析难度相比从货架上取出物品更大。优选地，在通过第二、第三图像进行一次判断的情况下，还通过第六与第七图像进行二次判断，得到的所述物品与所述库存位置的变化之间的对应关系更加准确可靠。优选地，在两次判断的结果不一致之时，可以安排人工核对或者由智能机器人现场核对。优选地，第六图像和第七图像与第二图像和第三图像的主要区别在于，第六图像和第七图像的对象是货架。而第二图像和第三图像的对象是手。设置第六图像采集装置16的意义在于识别相应存取机构将从货架上的物品拿出后再放置到其他货架上时也能相应地进行跟踪。比如，一个存取机构在一个库存位置拿取相应的物品后，在另一个库存位置看到了同类型的另一个物品，其更具有吸引力，然后，用户则希望将相应的物品移出，更换另一个物品，但是，此时该存取机构很可能已经不在拿取相应的物品的对应货架附近，导致其将物品送还到对应库存位置的意愿低，可能直接将相应的物品放置在当前位置的货架上，这会导致相应的物品可能会放置在非对应的货架上的非对应库存位置。由此，优选地，在持有物品的存取机构未按照指示标记21将该物品放回到货架上的正确位置之时，所述系统通过语音方式向其播放劝导提醒。例如，尊敬的客户，您未将某商品放回到其正确位置，为了维护良好的购物环境，避免给他人造成误导，请您根据指示标记21将某商品放回到正确位置，谢谢您的配合。优选地，在播放劝导提醒之后且相应的物品仍未被放回到正确位置的情况下，在该物品的错误位置下显示位置错误标记22，其中，位置错误标记22可以采取感叹号、叉号或者文字形式中的至少一种。优选地，在未被放回到正确位置的物品从显示位置错误标记22的货架上取下之后，通过语音和/或图形方式指示该物品的正确位置和/或正确售价。比如，通过在闪烁的指示标记21以及语音：尊敬的顾客，您好，您手上的物品被放置在了错误的位置上，其正确位置为闪烁的指示标记21所在位置，请参考正确位置处的对应价签进行购买，谢谢！通过该方式，可以让员工快速找到错放的物品，以及快速将其放回到正确位置，提高工作效率。同时，还可以避免因价签和实际物品不对应给购物者造成错误的购物导向，提高用户体验。而且，通过该方式，由于能够快速知道物品的正确位置，在用户步行到正确位置的所需移动的距离不远的情况下，即使看了实际价签和/或正确售价之后用户选择不购买该物品，一些用户会辅助地将该物品放回到其正确位置，降低了员工的工作量。优选地，该系统还可以包括指示显示器，指示显示器可以用于在错放的物品的正确位置不在其错放的货架上时，通过指示显示器为拿起错放的物品的存取机构播放其正确的售价。
根据一个优选实施方式，位置错误标记22可以通过至少两种不同的视觉状态以分级显示方式区分错误的偏差程度。偏差程度例如是距离偏差、价格偏差和效用偏差中的至少一种。以此直观地给员工或者购物者进行提示。比如，在位置错误标记22可以通过分级显示方式区分距离偏差时，通过第一颜色、不同于第一颜色的第二颜色以及不同于第一和第二颜色的第三颜色以分三档方式区分距离偏差的偏差程度。在将该物品从当前的错误位置放回到其正确位置的所需路程小于等于第一路程阈值之时，将位置错误标记22配置为第一颜色，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第一路程阈值且小于等于第二路程阈值之时，将位置错误标记22配置为第二颜色，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第三路程阈值之时，将位置错误标记22配置为第三颜色。优选地，第一颜色、第二颜色和第三颜色可以分别为蓝色、黄色和红色。第一路程阈值例如是5米。第二路程阈值例如是20米。第三路程阈值例如是40米。优选地，效用偏差例如是增肥与减肥、通便与止泻一类的偏差。应当注意的是，本发明还可以通过其他方式或者多种方式的组合来实现不同的视觉状态，而不是仅仅只能以不同的颜色来实现。比如，本发明还可以通过数字和颜色的组合来实现。具体地，这里还是以距离偏差为例，在将该物品从当前的错误位置放回到其正确位置的所需路程小于等于第一路程阈值之时，将位置错误标记22配置为第一颜色并显示第一数字，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第一路程阈值且小于等于第二路程阈值之时，将位置错误标记22配置为第二颜色并显示第二数字，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第三路程阈值之时，将位置错误标记22配置为第三颜色并显示第三数字。第一数字例如是1，第二数字例如是2，第三数字例如是3。
根据一个优选实施方式，该系统还包括第七图像采集装置17，第七图像采集装置17用于在该系统通过货架上的指示标记21指示将当前物品放回到货架上的正确位置之前采集第八图像，由该系统根据第八图像分析该正确位置对应的指示标记21的可视情况，仅在该指示标记21位于拿起当前物品的存取机构的可视范围内的情况下才显示该指示标记21。优选地，在该指示标记21不位于拿起当前物品的存取机构的可视范围内的情况下，或者说，在拿起当前物品的存取机构与该对应的指示标记21之间有阻碍视线的固定障碍物的情况下，通过语音方式指示该物品的正确位置和/或正确售价。通过该方式，可以在物品的正确位置不在可视范围内的情况下不给他人造成误导。优选地，该系统还根据第八图像分析拿起当前物品的存取机构的身份情况，仅在该指示标记21位于拿起当前物品的存取机构的可视范围内且该存取机构的身份是整理存取机构的情况下才显示该指示标记21。比如，分析人员的身份情况可以通过人脸识别、穿特定的工作装和携带电子标签中的至少一种。
根据一个优选实施方式，在显示该指示标记21之前，该系统还根据第八图像分析拿起当前物品的存取机构的可视范围内需要同时显示的指示标记21的第一显示数量，在第一显示数量大于等于两个之时，通过将相应的位置错误标记22和指示标记21以分组的方式进行关联，并在同一组位置错误标记22和指示标记21之间采用视觉上关联且不同组之间采用视觉上区分地方式进行设置。比如，同一组中，位置错误标记22至少部分地与指示标记21发出相同颜色标记，不同组之间的颜色标记不同。又比如，同一组中，位置错误标记22与指示标记21显示相同数字标记，不同组之间的数字标记不同。再比如，同一组中，位置错误标记22与指示标记21显示相同图形标记，不同组之间的图形标记不同。图形标记例如是圆圈、三角形或者四边形。
根据一个优选实施方式，该系统还可以包括：第八图像采集装置18，其用于采集货架设置位置错误标记22的至少部分区域的第九图像，并由该系统根据第九图像分析实际的位置错误标记22的显示和该系统中位置错误标记22的设定的匹配情况，其中，在两者不匹配之时，定位不匹配的位置错误标记22所在的货架并通知维护人员。通过该方式，可以快速地识别和定位到位置错误标记22发生故障的货架，并快速地进行维护，减少漏标或者错标的情况。
优选地，第二图像采集装置12在探测到一个存取机构的手部的第二图像之时，其还会对以下两者进行分析：“基于第二图像与第三图像的比较而确定的该存取机构持有物品的情况”和“该存取机构所携带的货物暂存单元40的第四图像采集装置14探测到的物品进入该货物暂存单元40的动作”，当分析结果表明该存取机构没有持有物品或仅持有一件物品时，该系统才准予该存取机构存取位于该存取机构的绝对位置近旁的、处于预定相对位置的货架的至少一个库存位置中的物品。
根据一个优选实施方式，本发明中提到的各图像采集装置可以使用任何类型的相机及其他可替代的成像设备。例如，所述相机中的一者或多者可以是RGB相机。相机中的一者或多者可以是深度感测相机。
优选地，为了采集到所需的图像，各图像采集装置可以是一个或者多个，在某图像采集装置是多个之时，其可以分散地设于多个位置中。比如，一些图像采集装置可以位于头顶上，例如在天花板上以采集存取机构和/或场所内相应位置的图像。又比如，一些图像采集装置可以位于库存位置上或内部。例如，可以位于库存位置的外部部分上并且被定位成采集存取机构和/或库存位置周围的位置的图像。再比如，一些图像采集装置可以设置在价签所在区域，朝向对侧货架以采集对侧货架上的图像信息。
根据一个优选实施方式，本发明的系统还包括计算设备30。计算设备30可以是在本地、远程或其任何组合。同样地，计算设备30可以被配置以通过网络与输入组件、输出组件和/或直接地与第一、第二、第三、第四、第五、第六、第七、第八图像采集装置和货物暂存单元40中的至少一个通信。本领域的人员可以想到的是，通信可以是通过有线的和/或无线的方式。优选地，计算设备30例如是一个或者多个服务器。服务器中可以包括处理器和存储器。该系统可以包括或提供图像处理(例如，用于用户识别、表情识别和/或物品识别)、库存追踪和/或位置确定。
实施例2
本实施例是对实施例1的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
本发明还公开了一种库存管理方法，该方法可以由本发明的系统以及其他可替代的实现。比如，通过使用系统中的各个零部件实现本发明的方法。
根据一个优选实施方式，该方法可以包括：使用至少一个第一图像采集装置11，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个存取机构在货架所在区域内的绝对位置以及该存取机构相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置12，其用于探测至少一个存取机构的手部的第二图像，所述第二图像是在该存取机构的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三图像采集装置13，其用于探测至少一个存取机构的手部的第三图像，所述第三图像是在该存取机构的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应存取机构持有物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。
根据一个优选实施方式，所述方法还可以包括：使用至少一个第四图像采集装置14，其布置于货物暂存单元40，用于探测物品进入该货物暂存单元40的动作，其中，响应于物品进入该货物暂存单元40的动作，由此确认进入该货物暂存单元40的所述物品与所述库存位置的变化之间的对应关系。
实施例3
本实施例是对实施例1、2或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，在条码扫描器前，应安装一道屏蔽门，屏蔽门以人员使用的个人的各类可供支付的二维码为开关，一次仅供一人进入，扫码后，门随即关闭。该人员以适当速度移动购物车，通过条码扫描器，自行扫描物品，触摸显示屏显示待付款物品信息和当前所购物品总价，该人员确认无误后，系统自动在之前扫描的二维码账户上结算。确认结算无误后，条码扫描器后的屏蔽门打开，同时，条码扫描器前的屏蔽门开始扫描下一人员的二维码。通过该方式，避免了人员偷拿商品或结算有误的问题，可以降低超市的亏损额。
实施例4
本实施例是对实施例1、2、3或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，货架上设有至少一个重量采集装置，用于采集相应人员的手进入货架的至少一个库存位置之前和该手从该货架的至少一个库存位置移出之后的重量差，并在该系统基于第二图像与第三图像的比较来确定相应人员持有物品的状态之后，通过系统中记录的该确定的物品的重量和该重量差来核对物品的状态。
此外，本发明还可以通过在货架上直接安装重量采集装置，通过采集装置采集到的重量差来初步判断物品的状态。本领域的人员可以想到的是，这种情况下，一个货架上的多个物品的重量应该有一定区别，以便实现识别的物品的状态的目的。
实施例5
本实施例是对实施例1、2、3、4或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
本实施例还公开了一种无人超市系统，该系统的技术特征和一种库存管理系统全部或者部分相同，以达到相应的技术效果。
本实施例还公开了一种无人超市的库存管理系统，该系统的技术特征和一种库存管理系统全部或者部分相同，以达到相应的技术效果。
本实施例还公开了一种无人超市的库存管理方法，该方法的技术特征和一种库存管理方法全部或者部分相同，以达到相应的技术效果。
虽然已经详细描述了本发明，但是在本发明的精神和范围内的修改对于本领域技术人员将是显而易见的。这样的修改也被认为是本公开的一部分。鉴于前面的讨论、本领域的相关知识以及上面结合背景讨论的参考或信息(均通过引用并入本文)，进一步的描述被认为是不必要的。此外，应该理解，本发明的各个方面和各个实施例的各部分均可以整体或部分地组合或互换。而且，本领域的普通技术人员将会理解，前面的描述及其附图仅仅是作为示例，并不意图限制本发明。
已经出于示例和描述的目的给出了本公开的前述讨论。这并不意图将本公开限制于本文公开的形式。在前述的具体实施方式中，例如，为了简化本公开的目的，本公开的各种特征在一个或多个实施例、配置或方面中被组合在一起。实施例、配置或方面的特征可以以除上面讨论的那些之外的替代实施例、配置或方面组合。本公开的该方法不应被解释为反映本公开需要比每个权利要求中明确记载的更多特征的意图。相反，如以下权利要求所反映的，创造性方面在于少于单个前述公开的实施例、配置或方面的所有特征。因此，以下权利要求由此被并入本具体实施方式中，其中每个权利要求其自身作为本公开的单独实施例。