一种柱状商品识别系统和智能货柜的制作方法

本实用新型涉及一种识别技术领域，特别地涉及一种基于摄像装置的柱状商品识别系统和智能货柜。

背景技术：

自动贩售机在销售饮料等柱状商品时，过程比较繁琐，而且故障率比较高。现有的智能货柜往往通过在饮料外包装上增加RFID标签来对饮料等柱状商品进行识别。但是，RFID标签本身是一次性的而且在饮料外包装上增加RFID标签也费时费力，这些都增加了成本。

技术实现要素：

针对现有技术中存在的技术问题，本实用新型提出了一种柱状商品识别系统和方法，节省了识别柱状物体的时间和成本，提高了识别的准确度。

本实用新型的一个方面提供了一种柱状商品识别系统，包括：第一摄像头；以及第一组托盘，其包括错开排列的多层托盘；其中，第一摄像头能够摄取第一组托盘中每个托盘的至少一部分。

如上所述的系统，其中第一组托盘的所述多层托盘包括第一托盘和第二托盘，第一托盘的位置低于第二托盘的位置，其中第一托盘相比第二托盘朝向第一摄像头方向至少突出40-140mm。

如上所述的系统，其中第一托盘和第二托盘的角度符合以下情况中任意一种：第二托盘相对于水平的夹角等于第一托盘相对于水平的夹角；第二托盘相对于水平的夹角大于第一托盘相对于水平的夹角5-10°；以及第二托盘相对于水平的夹角是第一托盘相对于水平的夹角的2倍。

如上所述的系统，其中第一组托盘的所述多层托盘最下层托盘与水平的夹角为0-30°，优选为5-10°。

如上所述的系统，其中第一组托盘的所述多层托盘包括第三托盘，第三托盘的位置在第二托盘的上方，第二托盘相比第三托盘朝向第一摄像头方向至少突出40-140mm。

如上所述的系统，其中第三托盘和第二托盘的角度符合以下情况中任意一种：第二托盘相对于水平的夹角等于第一托盘相对于水平的夹角；第三托盘相对于水平的夹角大于第二托盘相对于水平的夹角5-10°；和第三托盘相对于水平的夹角是第二托盘相对于水平的夹角的2倍。

如上所述的系统，其中第一组托盘的所述多层托盘包括一个或多个第一长度托盘和一个或多个第二长度托盘，其中所述第一长度托盘的长度大于所述第二长度托盘，并且所述一个或多个第二长度托盘位于所述一个或多个第一长度托盘上方。

如上所述的系统，进一步包括：处理器，其与第一摄像头相连，经配置以识别来自第一摄像头的图像中的柱状商品；以及通信接口，其与处理器相连，经配置以将来自处理器的柱状商品识别结果发送至服务器。

如上所述的系统，进一步包括：处理器，其与第一摄像头相连，经配置以接收来自第一摄像头的图像；和通信接口，其与处理器相连，经配置以进一步将来自第一摄像头的图像发送至服务器。

如上所述的系统，进一步包括：多个重力传感器，其设置在所述第一组托盘中各个托盘的下方。

如上所述的系统，进一步包括：第二摄像头；以及第二组托盘，其包括错开排列的多层托盘；其中，所述第二摄像头能够摄取所述第二组托盘中每个托盘的至少一部分。

根据本实用新型的另一个方面，提出一种智能货柜，包括如上任一所述的柱状商品识别系统。

如上所述的智能货柜，进一步包括内壁上设置的多组托架，所述多组托架具有不同的高度。

如上所述的智能货柜，其中多组托架中至少一组托架的角度是可调整的。

如上所述的智能货柜，其中至少一个托盘的侧面包括与至少一组托架相对应的多组角度不同的连接件。

如上所述的智能货柜，其中至少一组托架包括针对第一长度托盘的托架和针对第二长度托盘的托架。

如上所述的智能货柜，其中至少一组托架中的一个或多个托架既可以用于第一长度托盘也可以用于第二长度的托盘。

根据本实用新型的另一个方面，提出一种柱状商品识别方法，包括：获取柱状商品的图像，其中柱状商品放置在错开排列的多层托盘上；根据柱状商品的图像，识别柱状商品；以及至少部分基于柱状商品的识别结果，获得的柱状商品的种类和数量。

如上所述的方法，进一步包括：获得柱状商品的重量。

根据本实用新型的另一个方面，提出一种利用智能货柜生成订单的方法，包括：获取柜门解锁的信息；获取柜门锁闭的信息；获得柜内柱状商品的种类和数量；其中，柜内柱状商品的种类和数量至少部分是根据柜内柱状商品的图像而获得的；获得用户拿取的柱状商品的种类和数量；以及生成订单；其中，柜内柱状商品的图像中包括多层柱状商品，所述多层柱状商品放置在错开排列的多层托盘上。

本实用新型所涉及的一种新的商品识别系统和识别方法，通过将摄像头和托盘的配合使用，基于图像识别技术对多个柱状商品进行识别。本实用新型的对柱状商品的识别率高，可以保证识别的准确性，安全可靠。

附图说明

下面，将结合附图对本实用新型的优选实施方式进行进一步详细的说明，其中：

图1是根据本实用新型的一个实施例的柱状商品识别系统的结构示意图；

图2是根据本实用新型的一个实施例的柱状商品识别系统的结构框图；

图3是根据本实用新型的一个实施例的柱状商品识别系统的结构示意图；

图4是本实用新型的一个实施例的包括柱状商品识别系统的货柜的结构示意图；

图5是根据本实用新型一个实施例的柱状商品识别方法的流程图；以及

图6是根据本实用新型一个实施例的利用智能货柜生成订单的方法的流程图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

本实用新型通过以下一些实施例，提出了一种新的商品识别系统和识别方法，基于图像识别技术而非RFID技术，针对多个柱状商品进行识别。本实用新型的方法识别率高，可以保证识别的准确性，安全可靠。

所谓“柱状商品”在本文中其含义为外形大体成柱状的商品，包括但不限于铝罐装、胶瓶装、玻璃瓶装、纸包装的饮料、食品、日用品等，例如听装啤酒、听装可乐、胶瓶脉动、玻璃瓶北冰洋汽水、纸壳装品客薯片等等。“柱状商品”可以为圆柱体，也可以为长方体，锥形体，甚至可以是横截面为圆形、正方形、菱形、三角形或多边形的长条状包装盒。在一些实施例中，柱状商品按长度可以分为第一长度柱状商品，其长度范围在12-30厘米；和第二长度柱状商品，其长度范围在2-12厘米。

本领域技术人员应当理解，第一长度柱状商品和第二长度柱状商品可以由不同的划分方式，例如以8-14厘米之间寻找合适的划分点，而这些分类方式也都在本实用新型的范围之中。

本领域技术人员还应当理解，虽然背景技术中提及现有技术中针对识别饮料产品的需求；然而从柱状商品的定义就可以看出，本实用新型的应用范围并不限于饮料，而是可以扩展到所有外形大体成柱状的商品。

所谓“识别”在本文中其含义为确定柱状商品数量、种类中一者或两者的变化。举例而言，如果使用者从智能货柜中取出了柱状商品，那么通过“识别”能够确认柱状商品从智能货柜中取出前后的数量、种类中一者或两者的变化。

图1是根据本实用新型的一个实施例的柱状商品识别系统的结构示意图。如图1所示，识别系统100包括摄像头101和一组托盘102。该组托盘102包括错开排列的多层托盘103-107。从摄像头101可以观察到托盘103-107中每个托盘的至少一部分。也就是说，虽然该组托盘102中的各个托盘中处于上层的托盘遮挡处于下层的托盘的一部分，但是当各个托盘排放柱状商品后，摄像头101还是能够观察到各个托盘上的柱状商品的至少一部分。在本实用新型的一些具体的实例中，摄像头101可以是任何能够摄取图像或者视频的设备。摄像头101的摄取角度大于90°；优选地，摄像头101的摄取角度大于120°。托盘102可以是任何形式能够盛放柱状商品的物品，包括但不限于，货架、托架、塑料盒等。

图2是根据本实用新型的一个实施例的柱状商品识别系统的结构框图，如图所示，如图所示，识别系统100还包括处理器108，其与摄像头101相连，用于处理来自摄像头101的图像。例如，处理器108可以通过处理来自摄像头101的图像识别图像中柱状商品的数量和种类。现有技术中已有的任意的图像识别技术都可以应用于处理器108而用于识别图像中的柱状商品。

在一些实施例中，处理器108仅识别柱状商品的数量和位置，而根据柱状商品的位置来确定柱状商品的种类。在其他一些实施例中，处理器108识别柱状商品的数量的同时还通过柱状商品外包装上的形状、图案、颜色或其组合来识别柱状商品的种类。以上仅仅是图像识别的两个具体实例。本领域技术人员应当了解，对于柱状商品的种类还存在其他可以采用的图像识别方式，而这些方式也都包括在本实用新型的范围之中。

在一些实施例中，处理器108包括存储器，用于存储图像识别的结果。通过将对于来自摄像头101图像的识别结果与之前存储的图像识别结果进行比较就可以了解摄像头101所摄取区域中柱状商品的变化。

如图2所示，识别系统101还包括通信接口109。通信接口109可以通过通信网络与服务器通信。通信接口109能够向服务器发送识别的柱状商品的变化。服务器可以根据柱状商品的变化生成订单。

在一些实施例中，识别图像中的柱状商品可以在服务器端进行。处理器108从摄像头101获得柱状商品的图像。处理器108可以对图像进行一些处理，包括但不限于：调整对比度，调整像素大小，调整色彩，归一化，图像压缩等；然后在将处理后的图像转发到通信接口109。在一些情况下，处理器108也可以不进行任何处理，直接将来自摄像头101的图像转发给通信接口109。通信接口109可以利用通信网络将图像发送到服务器。服务器利用图像识别技术对图像中柱状商品进行识别。这些技术包括但不限于：基于深度学习模型、基于于图形比较技术、基于三维点阵技术等图形识别技术。现有技术中已有的任意的图像识别技术都可以应用于服务器而用于识别图像中的柱状商品。处理器108能够包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或它们的组合。处理器108能够执行存储在存储器205中的软件或计算机可读指令以执行本文描述的方法或操作。处理器108能够以若干不同的方式来实施。例如，处理器108能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。

通信接口109能够包括一个或多个有线或无线通信接口。例如，通信接口网络接口卡、无线调制解调器或有线调制解调器。在一种应用中，通信接口109能够是WiFi调制解调器。在另一些应用中，通信接口109能够是3G调制解调器、4G调制解调器、LTE调制解调器、蓝牙组件、射频接收器、天线或它们的组合。

如图2所示，识别系统100还包括重力传感器110。重力传感器110安装在托盘103-107下方，检测各个托盘上柱状商品的重量变化。重力传感器110也与处理器108相连。重力传感器110的检测结果可以辅助基于摄像头101的识别结果，从而提高识别的准确性。

图3是根据本实用新型的一个实施例的柱状商品识别系统的结构示意图，如图3所示，在一些实施例中，识别系统100还包括摄像头111和一组托盘112。该组托盘112包括多层错开排列的托盘113-116。从摄像头111可以观察到托盘113-116中每个托盘的至少一部分。摄像头111与处理器108相连。在一些实施例中，如图2所示，托盘113-116下方可以包括重力传感器117。重力传感器117与处理器108相连。其他与摄像头101和托盘103-107之间的类似之处，这里不再赘述。

根据本实用新型的一个实施例，识别系统100可以应用于智能货柜中。当用户希望购买智能货柜中的商品时，首先需要解锁智能货柜的柜门。例如，用户可以使用移动终端扫描智能货柜上的识别码，然后利用移动终端登录服务器。登录成功后，如果用户符合条件，服务器指示智能货柜解锁柜门。本领域技术人员应当理解，以上仅是解锁柜门的一种方式。其他的方式，例如扫描用户移动终端的识别码、扫描用户的指纹、扫描用户的掌纹、扫描用户的虹膜、扫描用户的面部等其他方式也可以用户解锁智能货柜的柜门。智能货柜的柜门解锁后，用户可以打开柜门，拿取智能货柜中的柱状商品。当用户关闭柜门后，智能货柜中的识别系统100识别智能货柜中剩余的柱状商品。由此，通过与用户打开柜门之前的柱状商品比较就可以确定用户拿取的柱状商品。利用通信接口109将用户拿取的柱状商品信息发送到服务器。服务器根据用户拿取的商品生成订单。用户支付了订单的金额后，完成一次利用智能货柜的购物。

由于摄像头对于柱状商品的识别率非常高，因此即使多层托盘之间有所遮挡，摄像头仍可以非常准确地识别出柱状商品。为了提高智能货柜内空间的使用效率，在不影响识别准确性的前提下，尽可能多地存放柱状商品，本实用新型的以下一些实施例中给出了多层托盘排布的实例。

参考图1中的一组托盘102，即多层托盘103-107，位置处于下层的托盘和位置处于上层的托盘相比，其中下层托盘比上层托盘向柜门方向突出一定的距离。在一些实施例中，这个突出的距离是40-140mm,优选为60-120mm，更优选为80-100mm。这样既保证了摄像头101视野范围内托盘上柱状商品未被遮挡部分的大小，也使得用户观察柱状商品和打开柜门后拿取柱状商品更为方便。根据本实用新型的一个实施例，摄像头101位于该组托盘102上方靠近柜门的中间位置。进一步地，摄像头的摄取角度朝向该组托盘102。这样摄像头101可以拥有最好的视野范围。

从空间角度方面，下层托盘可以与上层托盘具有相同的倾斜角度。或者在多层托盘中，处于下方的托盘具有相同的倾斜角度。在一些实施例中，参考图1中一组托盘102，即多层托盘103-107，位置处于下层的托盘和位置处于上层的托盘相比，其中下层托盘比上层托盘与水平所成的夹角越来越小。换言之，多层托盘103-107从下到上越来越向上倾斜。在本实用新型的一个实例中，最下层托盘与水平的夹角为0-30°，优选为5-10°。从最下层开始，每一层托盘相比于其下一层托盘，角度增加5-10°。以多层托盘103-107为例，它们与水平的夹角可以为10°、20°、30°、40°和50°。在本实用新型的另一个实例中，最下层托盘与水平的夹角为5-10°。从最下层开始，每一层托盘相比于其下一层托盘，角度都翻倍。以多层托盘113-116为例，它们与水平的夹角可以以此为5°、10°、20°和40°。

参考图1中的一组托盘102，即多层托盘103-107，针对所盛放的柱状商品长度的不同，多层托盘103-107可以分为第一长度托盘103-105；和第二长度托盘106和107；其中，第一长度托盘103-105用于盛放第一长度柱状商品，其长度范围在2-14厘米；第二长度托盘106和107用于盛放第二长度柱状商品，其长度范围在12-40厘米。

本领域技术人员应当理解，第一长度托盘和第二长度托盘可以有不同的划分方式，例如以10-15厘米之间寻找合适的划分点，而这些分类方式也都在本实用新型的范围之中。

本实用新型中将柱状商品或者托盘按长度分类的好处在于，越接近于摄像头，柱状商品有着更为倾斜的角度便于摄像头进行识别。然而，柱状商品偏离水平的角度越大意味着其在智能货柜中占用的垂直空间的距离也就越大，这样能够摆放的托盘的层数就越少，从而摆放商品的数量也就越少。为了摆放更多的商品，将长度更小的第二长度托盘置于靠近摄像头的位置，也就是多层托盘中的更为靠上的位置，也就可以摆放更多的商品。

根据本实用新型的一个实施例，一个摄像头所能覆盖的第一长度托盘的数量为3-6层；优选为4-5层。根据本实用新型的另一个实施例，一个摄像头可以覆盖2-5层第一长度托盘和1-4层第二长度托盘；优选为3-4层第一长度托盘和2-3层第二长度托盘。

图4是本实用新型的一个实施例的包括柱状商品识别系统的货柜的结构示意图。从图4可以看出，在摆放了柱状商品以后，即使从正面观察，还是使用者可以很容易地分辨出这些柱状商品，并不会因此影响使用的方便性。进一步地，从图2也可以看出，智能货柜内的空间利用率非常高。相比于传统的自动贩售机，智能货柜可以存放的柱状商品数量可以多出一倍以上；而且，智能货柜的购物方式使得使用者可以更直接地接触商品，从而带来更好的购物体验。这种变革可以类似于从传统的柜台购物到开架超市购物的变化。

参考图4，智能货柜200包括两个内胆201和202。在第一内胆201中，摄像头101覆盖了多层托盘103-107；其中托盘103-105为第一长度托盘而托盘106-107为第二长度托盘。在内胆202中，摄像头101覆盖了第一长度托盘113-116。在第一内胆201中包括安装在其内壁上的多组托架。多组托架具有不同的高度。托盘可以设置在一组托架上从而被定位在不同的高度。在一些实施例中，至少部分组托架的角度是可以调整的。在其他一些实施例中，托架的角度不能调整，但是在托盘的侧面与托架对应的位置包括多组角度不同的连接件，从而将托盘定位在不同的角度。在一个更为具体的实例中，一组托架是内胆上的一组对应的突起，而托盘的侧面包括角度不同的滑槽。通过将内胆上的突起放入不同的滑槽中可以实现托盘不同的角度。在另一个更为具体的实施例中，托盘通过螺钉穿过托盘上的固定孔固定到托架上。

在一些实施例中，在靠近摄像头101或者102的一组或多组托架包括针对第一长度托盘的托架，还可以包括针对第二长度托盘的托架。或者，一组或多组托架中的某些托架既可以用于第一长度托盘也可以用于第二长度的托盘。根据本实用新型的一个实施例，一组托架的承重在5-10千克。通过多组托架的设置，在智能货柜200中，可以灵活放置第一长度的托盘和/或第二长度的托盘，从而为智能货柜的使用带来很多的灵活性。

利用本实用新型的柱状商品识别系统，参考智能货柜的实施例，可以实现一种更为灵活成本更低的柱状商品识别方式；而且，本实用新型的识别方式识别准确率高，基本可以实现零差错。配合重力传感器，还可以具有防止空瓶混淆的功能。

图5是根据本实用新型一个实施例的柱状商品识别方法的流程图。本实用新型的柱状商品识别方法既可以在服务器上执行，也可以在智能货柜本地的处理器上执行。

如图所示，柱状商品识别方法300包括：在步骤310，获取柱状商品的图像，其中柱状商品放置在错开排列的多层托盘上。也就是说，摄像头可以观察到多层托盘中每个托盘的至少一部分。如前所示，多层托盘可以具有错开一定的距离，可以具有不同的倾斜角度。多层托盘可以包括第一长度托盘和第二长度托盘，其中，第二长度托盘在第一长度托盘的上方。

在步骤320，根据柱状商品的图像，识别柱状商品。本领域技术人员应当理解，现有的图像识别方式，包括但不限于，基于深度学习模型、基于图形比较技术、基于三维点阵技术等图形识别技术都可以应用于本实用新型中以获得来自摄像头的柱状商品图像中包括的柱状商品。

在步骤330，获得柱状商品的重量。步骤330是可选的。在包括重力传感器的情况下，可以获取重力传感器的数据，以用于辅助识别，特别是识别托盘上的空瓶。

在步骤340，根据步骤320识别结果，获得的柱状商品的种类和数量。在一些实施例中，图像识别仅识别柱状商品的数量和位置，而根据柱状商品的位置来确定柱状商品的种类。在其他一些实施例中，图像识别在获得柱状商品的数量的同时还通过柱状商品外包装上的形状、图案、颜色或其组合来识别柱状商品的种类。在包括步骤330的情况下，还可以利用重力传感器的重量数据来辅助柱状商品的种类和数量的识别。

图6是根据本实用新型一个实施例的利用智能货柜生成订单的方法的流程图。如图所示，利用智能货柜生成订单的方法400包括如下步骤：

在步骤410，获取柜门解锁的信息。使用者解锁柜门意味着一次购物的开始。在步骤420，获取柜门锁闭的信息。使用者锁闭柜门意味着一次购物的结束。在步骤430，在柜门锁闭后，获得柜内柱状商品的种类和数量；其中，柜内柱状商品的种类和数量至少部分是根据柜内柱状商品的图像，通过图像识别而获得的。在步骤440，将柜门锁闭后柱状商品的种类和数量与柜内解锁前柱状商品的种类和数量进行比较，获得用户拿取的柱状商品的种类和数量。在步骤450，根据用户拿取的柱状商品的种类和数量生成订单。在用户支付了订单的金额之后，即完成了本次智能货柜购物。在一些实施例中，智能货柜生成订单的方法400是服务器上进行的。在其他一些实施例中，智能货柜生成订单的方法400也可以在智能货柜上进行。

上述实施例仅供说明本实用新型之用，而并非是对本实用新型的限制，有关技术领域的普通技术人员，在不脱离本实用新型范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本实用新型公开的范畴。