一种基于动态视觉识别的AI智能售货柜的制作方法

本发明涉及智能售货柜技术领域，具体涉及一种基于动态视觉识别的ai智能售货柜。

背景技术：

目前，智能售货柜主要有两种识别方式，一种是基于传统的rfid技术，另一种是基于视觉识别技术。传统的rfid技术的缺点是设备和运营成本高，且rfid技术受液体和金属的影响大，有无法逾越的技术瓶颈。视觉识别技术又包括静态识别和动态识别，静态识别通过拍照来对比识别商品，动态识别通过视频来对比识别商品。其中，静态识别需要在售货柜内每层货架旁都安装1-2个摄像头，并且其摄像头需要距离下层隔板有较高高度，否则难以拍到全貌，因此，静态识别的空间利用率低。另外，静态识别的售货柜对商品的摆放位置要求较高，商品不能叠放，且难以识别具有相同外观的商品等。

而动态识别技术没有这些限制，商品可随意放置、叠放，可识别具有相同外观的商品，且动态识别只需1-2个摄像头，对摄像头的安装高度也没有限定，能节省售货柜空间，提高空间利用率。因此，动态视觉识别技术在智能售货柜上具有很好的应用前景。

现有技术中，利用动态识别技术进行物品识别的如：公开号cn106196811a的中国专利“具有动态识别功能的制冷设备”(2016年12月7日公开)利用rfid天线以及物品上的电子标签，通过动态识别技术动态的清点统计制冷设备内物品的存取。公开号cn109114877a的中国专利“一种基于冰箱动态识别的食品管理系统”(2019年1月1日公开)通过红外感应方式对人存放和取出食材动作进行拍照来进行图像识别，具体是通过动作采集装置采集存放或者取出食材的动作，触发图像采集装置进行动态拍照，将照片信息传递给智能控制系统，智能控制系统中的云数据库进行图像识别，将物品信息存入数据库并通过显示装置显示食品信息。

技术实现要素：

本发明的目的是针对现有技术存在的问题，提供一种基于动态视觉识别的ai智能售货柜，实现多商品的叠加摆放，提升售货柜的空间利用率，降低整机成本和人工成本。

为实现上述目的，本发明采用的技术方案是：

一种基于动态视觉识别的ai智能售货柜，所述售货柜与云服务器通信连接，所述售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头和智能锁，与所述摄像头、智能锁连接的控制模块和无线传输模块；所述云服务器包括动态视觉识别算法处理模块和存储空间；所述摄像头将物品离开柜体的整个过程拍摄成视频，通过所述无线传输模块上传至云服务器，由所述云服务器中的动态视觉识别算法处理模块进行视频识别判断，识别后的结果通过网络发送给用户支付终端进行扣费，识别后的视频存放在存储空间中。

优选地，所述柜体上设置有面向用户的二维码和刷卡机，用于通过手机支付终端扫描二维码来开锁开门，或者通过nfc、ic支付卡刷卡的方式来感应开锁开门。所述刷卡机与控制模块连接。

优选地，所述柜体上方设有灯箱罩，所述摄像头设置在灯箱罩上。所述摄像头设置在柜体外的灯箱罩上，有利于完整的拍摄柜门打开、取出物品、柜门关闭的整个过程，并将拍摄的整个过程的视频上传到云服务器中进行动态识别。另外，设置在灯箱罩上的摄像头还具有防盗警示功能。一方面，通过外置的摄像头对怀有不轨心思的人员起到警示威慑作用，另一方面，在可疑人员对售货柜进行了可疑操作时，能拍摄到可疑的操作过程及可疑人员的影像，便于后续的追查问责。

优选地，所述摄像头包括第一摄像头和第二摄像头，其中，所述第一摄像头设置在灯箱罩前表面的左下角位置，所述第二摄像头设置在灯箱罩前表面靠近柜体一侧的中心位置。

进一步地，第一摄像头作为主摄像头录制视频，并将录制的视频上传至云服务器中，进行动态识别；第二摄像头作为副摄像头录制视频，并将录制的视频保存在本地存储器中。在对主摄像头录制的视频进行动态识别后，如果判断识别结果为异常，则调用本地存储的副摄像头录制的视频进行确认，从而更准确的识别用户的购物过程。

进一步地，所述无线传输模块为4g通信模块。所述售货柜的柜体顶部设置4g天线，以增强无线网络的信号强度。

优选地，所述柜体内设有至少两个灯条，用于为所述柜体内的物品提供照明。所述两个灯条分别设置在柜体两侧的侧壁上。

优选地，所述搁架放置在搁架支撑条上，所述搁架支撑条设置在柜体两侧的侧壁上。所述柜体两侧的侧壁上设有至少一组搁架支撑条用于放置搁架。

进一步地，所述柜体两侧的侧壁上设有多组均匀间隔开的搁架支撑条用于放置搁架，在放置物品时，可根据物品数量、物品高度选择将搁架放置在某个搁架支撑条上，且不同高度的物品可随意放置，多个物品可任意叠放。在理想情况下，可仅用一个搁架来放置物品，所有需放置的物品以堆叠方式放置在柜体内。

优选地，所述柜体正面设有玻璃门，所述玻璃门通过铰接件安装在柜体上。设置玻璃门能够让用户直观地观察到柜体内摆放的物品，吸引用户的注意，提高用户的购买欲望。

进一步地，所述柜体底部设有底角。所述底角设有至少两个。

进一步地，所述柜体下部设有下前罩。

进一步地，所述柜体上设有语音播放装置，所述语音播放装置与控制模块连接。所述语音播放装置包括扬声器，在玻璃门打开时，控制模块控制其播放购物欢迎语，在摄像头录制视频结束时，播放购物结束语，以及在玻璃门异常超过一定时间时，播放提醒语音。

一种基于动态视觉识别的ai智能售货柜的应用方法，采用所述的ai智能售货柜实现，包括：

s1，控制模块接收开门指令，控制ai智能售货柜的门打开，同时播放购物欢迎语；

s2，控制模块判断门是否拉开，如果门拉开，则控制摄像头开始录制视频；

s3，控制模块接收到门已关闭的指令，控制摄像头停止录制视频，同时播放购物结束语；

s4，控制模块通过无线传输模块上传摄像头录制的视频至云服务器，同时将摄像头录制的视频保存在本地；

s5，云服务器中的动态视觉识别算法处理模块识别摄像头录制的视频，通过网络将识别结果返回至手机支付终端，动态视觉识别算法采用fasterrcnn目标检测算法来对视频中的每一帧进行目标检测，若某一帧中出现商品，该算法可以用检测框对其进行定位检测，然后提取出检测框中的商品特征，从而识别出该商品的种类，由于每一帧中商品的呈现形式不同，所以识别的商品类别会出现不一致，因此基于每段视频中所有帧的检测结果，设定一个概率阈值，过滤掉置信度不高的视频帧结果，在剩余结果中统计出概率最高的检测结果，并把该结果作为最后的商品的识别结果；

s6，判断识别结果是否异常，若动态视觉识别算法处理模块无法在视频中检测出照片，即超过1/3面积为黑影，判定为摄像头被遮挡，则本次识别结果为异常，需要调用本地存储的视频进行确认，如果确认异常，即按照异常扣款；

s7，如果确认本次识别结果正常，则判断摄像头录制的视频是否为购物过程，如果是，则发送扣款请求给用户，如果动态视觉识别算法处理模块无法在视频中检测出商品，即最后检测结果如果为空，则判断非购物过程。

一种基于动态视觉识别的ai智能售货柜的上货方法，采用所述的ai智能售货柜实现，包括：

s1，控制模块接收开门指令，控制ai智能售货柜的门打开，同时播放欢迎语；

s2，控制模块判断门是否在第一预定时间内拉开；

s3，如果门在第一预定时间内拉开，则监测门拉开的时间是否超过第二预定时间，转s5；

s4，如果门在第一预定时间内未拉开，则控制模块控制门关闭；

s5，如果门拉开的时间超过第二预定时间，则播放提醒语音；

s6，如果在第二预定时间内，门被关闭，则播放结束语。

与现有技术相比，本发明的有益效果是：

(1)本发明通过设置在柜体上的两个摄像头拍摄购物的整个过程，将第一摄像头拍摄的购物视频上传至云服务器中进行动态识别，得到识别结果，根据识别结果通过网络向用户发送扣款请求，并在识别结果异常时通过调用第二摄像头拍摄的购物视频确认该识别结果是否正确，提高了动态识别的准确性。

(2)本发明将两个摄像头设置在柜体上部的灯箱罩上，由灯箱罩提供拍摄时的照明需求，降低了对柜体内照明强度的要求，从而大大减少了柜体内设置的照明灯条的数量，降低了整机成本。

(3)本发明无需拍摄柜体内物品的照片或视频，即无需在每层搁架上方安装摄像头，通过设置在柜体外的两个摄像头即可完成售货柜内被售出物品的识别，减少了现有技术中用于识别被售出物品的摄像头数量，降低了整机成本。

(4)本发明通过对两个摄像头拍摄的购物过程的整个视频进行动态识别来识别被售出的物品，其不需要将搁架进行固定，也不需要严格要求物品在搁架上的摆放位置，装配更简单快捷，装配效率高，人工成本低。

(5)本发明对柜体内物品的摆放要求较低，物品可以堆叠的方式放置在搁架上，在理想情况下，可仅需一个搁架用于摆放物品，商品可任意叠放，大大提高了同容量柜体的存货能力。

附图说明

图1为根据实施例的本发明ai智能售货柜的结构示意图；

图2为根据实施例的本发明ai智能售货柜的侧视图；

图3为根据实施例的本发明ai智能售货柜的结构示意图；

图4为根据实施例的本发明ai智能售货柜的硬件连接示意图；

图5为根据实施例的本发明ai智能售货柜的应用方法的流程示意图；

图6为根据实施例的本发明ai智能售货柜的上货方法的流程示意图。

图中：1、柜体；2、摄像头a；3、摄像头b；4、灯条a；5、灯条b；6、搁架支撑条；7、搁架；8、灯箱罩；9、4g天线；10、下前罩；11、底角；12、智能锁；13、玻璃门；14、控制模块。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

本发明涉及一种基于动态视觉识别的ai智能售货柜，所述ai智能售货柜可放置于商场、医院、火车站等地方，便于用户随时购买物品。所述ai智能售货柜与云服务器通信连接，所述售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头和智能锁，与所述摄像头、智能锁连接的控制模块和无线传输模块。所述柜体上设置有面向用户的二维码和刷卡机，用于通过手机支付终端扫描二维码来开锁开门，或者通过nfc、ic支付卡刷卡的方式来感应开锁开门，其中，所述刷卡机与控制模块连接。所述云服务器包括动态视觉识别算法处理模块和存储空间。所述摄像头将物品离开柜体的整个过程拍摄成视频，通过所述无线传输模块上传至云服务器，由所述云服务器中的动态视觉识别算法处理模块进行视频识别判断，识别后的结果通过网络发送给用户支付终端进行扣费，识别后的视频存放在存储空间中，如图1所示。

作为一种实施方式，如图2至图3所示，所述售货柜的柜体顶部设置灯箱罩，所述灯箱罩上设置摄像头a和摄像头b。所述柜体的正面设置玻璃门，玻璃门上方设置智能锁。所述柜体内两侧的侧壁上分别设置灯条a和灯条b。所述柜体内设置多个搁架，所述多个搁架放置在搁架支撑条上。所述柜体下部设置下前罩。所述柜体底部设置多个底角。所述柜体顶部设置4g天线。

具体地，所述柜体顶部设置灯箱罩，所述灯箱罩内设置照明装置。由于本实施中的售货柜是无人售货，因此通过灯箱罩散发的光来吸引用户的注意，提高商品被售出的概率。其次，灯箱罩也为摄像头a和摄像头b提供拍摄时的照明需求。另外，摄像头设置在灯箱罩上十分显眼，具有防盗警示功能，表现为：一方面，通过外置的摄像头对怀有不轨心思的人员起到警示威慑作用，另一方面，在可疑人员对售货柜进行了可疑操作时，能拍摄到可疑的操作过程及可疑人员的影像，便于后续的追查问责。

进一步地，摄像头a作为主摄像头，设置在灯箱罩前表面的左下角位置，摄像头b作为副摄像头，设置在灯箱罩前表面靠近柜体一侧的中心位置。摄像头a录制视频，并将录制的视频上传至云服务器中，进行动态识别；摄像头b录制视频，并将录制的视频保存在本地存储器中。在对摄像头a录制的视频进行动态识别时，如果判断识别结果为异常，则调用本地存储的摄像头b录制的视频进行确认，从而更准确的识别用户的购物过程。调用摄像头b录制的视频进行确认的过程可以通过嵌入的计算机程序执行，或者由人工进行判确认。将摄像头a和摄像头b设置在柜体外的灯箱罩上，有利于完整的拍摄柜门打开、取出物品、柜门关闭的整个过程，并将拍摄的整个过程的视频上传到云服务器中进行动态识别以及存储在本地用于识别结果确认。

具体地，所述无线传输模块为4g通信模块。所述售货柜的柜体顶部设置4g天线，以增强无线网络的信号强度。

由于本发明是通过摄像头拍摄从柜体内拿走物品的整个过程的视频，然后通过动态识别该视频进而识别出被拿出的物品，因此对物品在柜体内部的摆放状态不作要求。故，作为一种实施方式，所述柜体内两侧的侧壁上设置一组搁架支撑条，所述搁架支撑条上放置搁架，待售的物品以堆叠的方式放置在搁架上。

作为另一种实施方式，所述柜体内两侧的侧壁上设置多组均匀间隔开的搁架支撑条，搁架支撑条上放置搁架，多个物品可任意叠放，对物品的高度、外观、属性没有限制。

进一步地，由于本发明不对柜体内部进行拍摄，因而对柜体内部的照明强度要求不高。作为一种实施方式，所述柜体内设置两个照明灯条，分别设置在柜体内两侧壁上。该照明灯条用于为柜体内物品提供照明，便于用户通过透明柜门直观地看到可以选购的商品。

为了便于用户直观看到柜体内的待售物品，将柜体门设置为玻璃门，所述玻璃门通过铰接件安装在柜体上。同时，由于该售货柜设置在公共场所，为了避免玻璃易碎可能造成的损失和伤害，本实施例选用钢化玻璃门，强度更高，提高了安全性。

在具体实施中，所述柜体下部设置下前罩，所述下前罩内设置供电装置。所述供电装置包括外部电源接头、电源适配器。所述供电装置用于为整个售货柜及其内部装置提供电源。

为了便于移动售货柜，在所述柜体底部设有多个底角，将柜体底部与地面间隔开，在移动柜体时，通过间隔开的高度可方便插入固定架体或保护套，以移动整个售货柜。同时，设置底角使柜体底部离开地面，也可以减缓柜体底部的热量聚集，提高散热能力。

在具体实施中，为了提升用户的购物体验，在柜体上设置语音播放装置，所述语音播放装置与控制模块连接。在玻璃门打开时，控制模块控制其播放购物欢迎语，在摄像头录制视频结束时，播放购物结束语，以及在玻璃门异常超过一定时间时，播放提醒语音。

如图4所示，所述控制模块由核心板、电源板和外设板构成。所述核心板采用安卓系统，内嵌入有实现购物过程的控制方法。所述核心板上还设有4g通信模块，如全网通的4g卡。所述外设板用于将摄像头、灯条、智能锁、刷卡机分别与电源板及核心板连接。

作为一种实施方式，一种基于动态视觉识别的ai智能售货柜的应用方法，采用所述的ai智能售货柜实现，如图5所示，所述柜体上设置有面向用户的二维码和刷卡机，用户通过手机支付终端扫描二维码来开锁开门，或者通过nfc、ic支付卡刷卡的方式来感应开锁开门，所述方法具体为：

s1，控制模块接收开门指令，控制ai智能售货柜的门打开，同时播放购物欢迎语；

s2，控制模块判断门是否拉开，如果门拉开，则控制摄像头开始录制视频；

s3，控制模块接收到门已关闭的指令，控制摄像头停止录制视频，同时播放购物结束语；

s4，控制模块通过无线传输模块上传摄像头录制的视频至云服务器，同时将摄像头录制的视频保存在本地；

s5，云服务器中的动态视觉识别算法处理模块识别摄像头录制的视频，通过网络将识别结果返回至手机支付终端，动态视觉识别算法采用fasterrcnn目标检测算法来对视频中的每一帧进行目标检测，若某一帧中出现商品，该算法可以用检测框对其进行定位检测，然后提取出检测框中的商品特征，从而识别出该商品的种类，由于每一帧中商品的呈现形式不同，所以识别的商品类别会出现不一致，因此基于每段视频中所有帧的检测结果，设定一个概率阈值，过滤掉置信度不高的视频帧结果，在剩余结果中统计出概率最高的检测结果，并把该结果作为最后的商品的识别结果；

s6，判断识别结果是否异常，若动态视觉识别算法处理模块无法在视频中检测出照片，即超过1/3面积为黑影，判定为摄像头被遮挡，则本次识别结果为异常，需要调用本地存储的视频进行确认，如果确认异常，即按照异常扣款；

s7，如果确认本次识别结果正常，则判断摄像头录制的视频是否为购物过程，如果是，则发送扣款请求给用户，如果动态视觉识别算法处理模块无法在视频中检测出商品，即最后检测结果如果为空，则判断非购物过程。

具体地，在控制模块发送开门指令后，判断玻璃门是否拉开时，如果得到玻璃门在一预定时间内未拉开，则控制装置控制智能锁自动关门且不向用户发送扣款请求。

具体地，如果控制模块在控制摄像头a、b开始录制视频后，超过一预定时间(如1min)未接收到玻璃门已关闭的指令，则控制语音播放装置播放提醒语音。

具体地，在判断摄像头录制的视频为非购物过程时，不向用户发送扣款请求。

如图6所示，一种基于动态视觉识别的ai智能售货柜的上货方法，采用所述的ai智能售货柜实现，包括：

s1，控制模块接收开门指令，控制ai智能售货柜的门打开，同时播放欢迎语；

s2，控制模块判断门是否在第一预定时间内拉开；

s3，如果门在第一预定时间内拉开，则监测门拉开的时间是否超过第二预定时间，转s5；

s4，如果门在第一预定时间内未拉开，则控制模块控制门关闭；

s5，如果门拉开的时间超过第二预定时间，则播放提醒语音；

s6，如果在第二预定时间内，门被关闭，则播放结束语。

具体地，所述第二预定时间可限定为10min。

具体地，由于本实施中的ai智能售货柜依靠视频识别物品，在上货时，多个物品的同时堆叠状态下的进出可能会影响识别精度，因此，在对该ai智能售货柜进行上货时，对上货的物品采用手动输入的形式进行。上货员扫描柜门二维码——进入上货页面——点击开门上货——柜门打开——上货员可以摆放商品进入货柜——上货员输入每个商品的上下货数量——上货员关闭柜门，点击“上货完成”完成上货。系统将上货后的库存数据和上货数量同步到后台。

具体地，所述ai智能售货柜的上货和购物应用中的语音提示如表1所示。

本发明公开一种基于动态视觉识别的ai智能售货柜，售货柜与云服务器通信连接，售货柜包括：设置有至少一个搁架的柜体，设置在柜体上的摄像头，与摄像头连接的控制模块和无线传输模块；云服务器包括动态视觉识别算法处理模块和存储空间；摄像头将物品离开柜体的整个过程拍摄成视频，通过无线传输模块上传到云服务器中，由动态视觉识别算法进行视频处理计算识别，识别后的结果通过网络发送给用户支付终端进行扣费。本发明能够减少硬件部件数量简化硬件的装配，实现多商品的叠加摆放，实现无人零售，降低整机成本，提升售货柜的空间利用率，极大的降低零售人工成本和场租成本。

本发明的有益效果是：

(1)本发明通过设置在柜体上的两个摄像头拍摄购物的整个过程，将第一摄像头拍摄的购物视频上传至云服务器中进行动态识别，得到识别结果，根据识别结果通过网络向用户发送扣款请求，并在识别结果异常时通过调用第二摄像头拍摄的购物视频确认该识别结果是否正确，提高了动态识别的准确性。

(2)本发明将两个摄像头设置在柜体上部的灯箱罩上，由灯箱罩提供拍摄时的照明需求，降低了对柜体内照明强度的要求，从而大大减少了柜体内设置的照明灯条的数量，降低了整机成本。

(3)本发明无需拍摄柜体内物品的照片或视频，即无需在每层搁架上方安装摄像头，通过设置在柜体外的两个摄像头即可完成售货柜内被售出物品的识别，减少了现有技术中用于识别被售出物品的摄像头数量，降低了整机成本。

(4)本发明通过对两个摄像头拍摄的购物过程的整个视频进行动态识别来识别被售出的物品，其不需要将搁架进行固定，也不需要严格要求物品在搁架上的摆放位置，装配更简单快捷，装配效率高，人工成本低。

(5)本发明对柜体内物品的摆放要求较低，物品可以堆叠的方式放置在搁架上，在理想情况下，可仅需一个搁架用于摆放物品，商品可任意叠放，大大提高了同容量柜体的存货能力。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。