一种基于深度视觉的智能货柜设备及其使用方法与流程

本发明涉及机器视觉技术领域，尤其是一种基于深度视觉的智能货柜设备及其使用方法。

背景技术：

在物料管理、店铺零售等场合，货柜是必备的物品陈列装置。九十年代，自动贩卖机从欧美、日本地区传入中国，传统自动售货机主要是硬件驱动，用户使用纸币、硬币支付，货柜通过弹簧弹出商品，但传统的自动售货机企业未能有效解决成本、质量、运营等诸多问题，所以导致国内市场上的自动售货机不仅数量少，且品种非常单一，主要以瓶罐装饮料售货机为主。

近几年，在新零售趋势加持下，无人货架迎来风口。无人货架大部分由互联网公司进行运营，以几百元的成本在办公室等较封闭场景快速搭建货架，用户通过微信、支付宝扫码支付，从无人货架拿取商品。但因为没有构建消费闭环场景，导致商品货损率极高，所以在运营一年后，大部分无人货架项目都已暂停运营。

市场一直在驱动企业创新，无人货架风口过后，以rfid为核心技术的智能货柜时代正式走上历史舞台，与无人货架相比，智能货柜形成了消费闭环，用户扫码开门拿取商品，关门即扣费。但基于rfid的智能货柜运营成本十分高，一方面需要人工对所有商品贴上rfid标签，人力成本较高，rfid标签本身的成本也相当昂贵，成为供应商和消费者不得不承受的额外支出。另一方面，传统的智能货柜的智能化程度偏低，其内部可以供应的货品类型数量通常受限于货柜的区域划分数量，每个硬性分区只能放置一个或一类物品，物品存放的灵活性极低。

技术实现要素：

本发明人针对上述问题及技术需求，提出了一种基于深度视觉的智能货柜设备及其使用方法，通过深度视觉视频图像分析技术对用户的操作行为进行智能检测识别，结合边缘计算、智能门控技术，对用户拿起的物品进行实时智能视觉分析，提高了物品识别精度的同时，降低了智能货柜的运维成本。

本发明的技术方案如下：

一种基于深度视觉的智能货柜设备，包括带有柜门的柜体、智能门控组件、电子锁和置于柜体内的摄像头和边缘计算工控机，边缘计算工控机分别连接智能门控组件、电子锁和摄像头；智能门控组件安装在柜门外侧面上，智能门控组件用于采集用户身份信息，智能门控组件包括扫码解锁显示屏、人脸识别摄像头、密码解锁数字键盘、指纹解锁控件和刷卡解锁控件；电子锁分别对应设置在柜体和柜门内侧面上，用于接收边缘计算工控机的解锁指令；摄像头用于实时采集用户操作图像；边缘计算工控机用于接收用户身份信息和用户操作图像，当用户身份信息匹配时发出解锁指令，边缘计算工控机通过深度视觉算法对用户操作图像进行智能识别确定物品分类结果，物品分类结果包括领取物品的类型和数量。

其进一步的技术方案为，智能货柜设备包括四个摄像头，四个摄像头分别设置在靠近柜门的柜体的四个角点处；

当电子锁解锁、柜门打开时，四个摄像头启动并且360°实时采集用户操作图像。

其进一步的技术方案为，智能货柜设备还包括云端服务器，云端服务器连接边缘计算工控机，云端服务器接收各个用户操作图像和对应的物品分类结果并进行综合分析，云端服务器输出用户消费结果并进行操作备案。

其进一步的技术方案为，智能货柜设备还包括报警装置，报警装置连接边缘计算工控机；

当用户超时未关闭柜门时，报警装置启动，云端服务器记录用户失信行为并对用户的智能货柜启用权限进行限制。

其进一步的技术方案为，智能货柜设备还包括补光灯带，补光灯带分别设置在靠近柜门的柜体的两侧，补光灯带连接边缘计算工控机；

当电子锁解锁、柜门打开时，补光灯带开启。

一种基于深度视觉的智能货柜设备的使用方法，该使用方法适用于上述的智能货柜设备，使用方法包括：

通过智能门控组件进行用户身份信息验证；

若用户身份信息匹配，则电子锁接收解锁指令，开启柜门；

摄像头启动并且360°实时采集用户操作图像；

边缘计算工控机接收用户操作图像，通过深度视觉算法对用户操作图像进行智能识别确定物品分类结果，物品分类结果包括领取物品的类型和数量；

边缘计算工控机对摄像机采集的用户操作动作分别进行目标跟踪；

当用户完成操作、关闭柜门时，云端服务器接收各个目标跟踪结果和对应的物品分类结果并进行综合分析，输出用户消费结果，云端服务器根据用户消费结果进行扣费操作和操作备案。

其进一步的技术方案为，通过深度视觉算法对用户操作图像进行智能识别确定用户操作结果，包括：

使用手持区域目标检测算法检测用户操作图像得到手持物品区域截图，使用物品目标分割算法对手持物品区域截图进行目标分割，得到物品分割切图组，使用物品目标分类算法对物品分割切图组进行目标分类，得到物品分类结果；

手持区域目标检测算法、物品目标分割算法和物品目标分类算法均基于卷积神经网络实现。

其进一步的技术方案为，通过智能门控组件进行用户身份信息验证，包括：

通过智能门控组件进行用户身份信息验证，智能门控组件支持扫码解锁、人脸识别解锁、密码解锁、指纹解锁和刷卡解锁。

其进一步的技术方案为，使用方法还包括：

若用户身份信息不匹配，则重新执行通过智能门控组件进行用户身份信息验证的步骤，当重新执行次数超过预定次数时，则将智能门控组件锁定预定时间。

其进一步的技术方案为，使用方法还包括：

当用户超时未关闭柜门时，报警装置启动，云端服务器记录用户失信行为并对用户的智能货柜启用权限进行限制。

本发明的有益技术效果是：

本申请的智能货柜通过设置集成五种解锁方式的智能门控组件，可以高效应用于企业物料管理、新零售等多种场合；通过在智能货柜的四个点位上设置摄像头，可以实现360°全面覆盖监控智能货柜、实时采集用户操作图像，通过边缘计算工控机对各个用户操作图像进行智能识别分析，并将物品分类结果上传至云端进行综合分析得到用户操作行为以及领取物品的类型和数量，最终输出用户消费结果并进行操作备案，因此与传统的智能货柜相比，一方面对物品在智能货柜内的陈列位置、摆放方式无任何限制，所有物品可以任意摆放在货柜内的任意一层，允许堆叠、混合摆放，极大地开放了智能货柜内部空间的使用自由度，使货柜管理者可以根据实际需求，对陈列的物品类型和数量进行任意调整，提高了智能货柜的利用率，突破了现有货柜技术对内部空间硬性划分隔离的技术壁垒；另一方面，由于本申请完全基于视频图像检测进行操作分析，因此货柜管理者无需对柜内物品贴附电子标签等辅助识别标志，从而极大地降低了货柜的人工维护成本以及附加的标签费用。

附图说明

图1是本申请提供的智能货柜设备柜门半关的结构示意图。

图2是本申请提供的智能货柜设备柜门全开的结构示意图。

图3是本申请提供的智能货柜设备的原理框图。

图4是本申请提供的智能门控组件的结构示意图。

图5是本申请提供的智能货柜设备的使用方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于深度视觉的智能货柜设备，结合图1-图4所示，智能货柜设备包括带有柜门1的柜体2、智能门控组件3、电子锁4和置于柜体2内的摄像头5、边缘计算工控机6、云端服务器、报警装置和补光灯带7，边缘计算工控机6分别连接智能门控组件3、电子锁4、摄像头5、云端服务器、报警装置和补光灯带7。可选的，柜门1采用透明玻璃材质，柜体2内用多个隔板对柜内空间进行划分，与传统的智能货柜相比，对物品在智能货柜内的陈列位置、摆放方式无任何限制，所有物品可以任意摆放在货柜内的任意一层，允许堆叠、混合摆放，极大地开放了智能货柜内部空间的使用自由度，使货柜管理者可以根据实际需求，对陈列的物品类型和数量进行任意调整，提高了智能货柜的利用率，突破了现有货柜技术对内部空间硬性划分隔离的技术壁垒。需要说明的是，本申请的智能门控组件3、电子锁4、摄像头5、边缘计算工控机6、云端服务器、报警装置和补光灯带7均采用现有技术实现。

如图4所示，智能门控组件3安装在柜门1外侧面上，智能门控组件3用于采集用户身份信息，智能门控组件3包括扫码解锁显示屏301、人脸识别摄像头302及摄像头指示灯303、密码解锁数字键盘304、指纹解锁控件305和刷卡解锁控件306。本申请采用五种解锁方式，可以高效应用于企业物料管理、新零售等多种场合。

电子锁4分别对应设置在柜体2和柜门1内侧面上，用于接收边缘计算工控机6的解锁指令。

摄像头5用于实时采集用户操作图像，具体的，本申请的智能货柜设备包括四个摄像头5，四个摄像头5分别设置在靠近柜门1的柜体2的四个角点处。四个摄像头5可以对智能货柜的取货面进行全覆盖，无论用户以任何角度从智能货柜中取出物品，都至少有一个摄像头5可以清晰拍摄到用户的所持物品，实现监控无死角。

边缘计算工控机6用于接收用户身份信息和用户操作图像，当用户身份信息匹配时发出解锁指令，边缘计算工控机6通过深度视觉算法对用户操作图像进行智能识别确定物品分类结果，物品分类结果包括领取物品的类型和数量。因此货柜管理者无需对柜内物品贴附电子标签等辅助识别标志，从而极大地降低了货柜的人工维护成本以及附加的标签费用。

云端服务器接收各个用户操作图像和对应的物品分类结果并进行综合分析，云端服务器输出用户消费结果并进行操作备案。

当用户超时未关闭柜门时，报警装置启动，云端服务器记录用户失信行为并对用户的智能货柜启用权限进行限制。

补光灯带7分别设置在靠近柜门的柜体的两侧。当电子锁4解锁、柜门1打开时，补光灯带7开启，四个摄像头5启动并且360°实时采集用户操作图像。

本申请还公开了一种适用于上述基于深度视觉的智能货柜设备的使用方法，其方法流程图如图5所示，使用方法包括如下步骤：

步骤1：通过智能门控组件3进行用户身份信息验证。

本申请的智能门控组件3支持扫码解锁、人脸识别解锁、密码解锁、指纹解锁和刷卡解锁。

步骤2：若用户身份信息匹配，则电子锁4接收解锁指令，开启柜门，进入步骤3。若用户身份信息不匹配，则重新执行通过智能门控组件3进行用户身份信息验证的步骤，也即重新执行步骤1，当重新执行次数超过预定次数时，则将智能门控组件3锁定预定时间。比如，当用户通过智能门控组件3进行用户身份信息验证时，解锁失败超过三次，则智能门控组件3登陆锁定一分钟。

用户身份信息是提前预存在边缘计算工控机6中的，边缘计算工控机6接收并判断输入至智能门控组件3的解锁信息是否正确，解锁信息包括五种解锁方式对应的用户身份信息。

步骤3：摄像头5启动并且360°实时采集用户操作图像。

当电子锁4解锁、柜门1打开时，补光灯带7开启，四个摄像头5启动并且360°实时采集用户操作图像。

步骤4：边缘计算工控机6接收用户操作图像，通过深度视觉算法对用户操作图像进行智能识别确定物品分类结果，物品分类结果包括领取物品的类型和数量。

使用手持区域目标检测算法检测用户操作图像得到手持物品区域截图，使用物品目标分割算法对手持物品区域截图进行目标分割，得到物品分割切图组，使用物品目标分类算法对物品分割切图组进行目标分类，得到物品分类结果；

其中，手持区域目标检测算法、物品目标分割算法和物品目标分类算法均基于卷积神经网络实现。

步骤5：边缘计算工控机6对摄像机5采集的用户操作动作分别进行目标跟踪。

步骤6：当用户完成操作、关闭柜门1时，云端服务器接收各个目标跟踪结果和对应的物品分类结果并进行综合分析，输出用户消费结果，云端服务器根据用户消费结果进行扣费操作和操作备案。

当用户超时未关闭柜门1时，报警装置启动，云端服务器记录用户失信行为并对用户的智能货柜启用权限进行限制。

边缘计算工控机6还向云端服务器上传用户操作录像，作为操作备案的溯源。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。