一种仓库货物数量实时监测方法与系统与流程

本发明涉及计算机视觉，具体为一种仓库货物数量实时监测方法与系统。

背景技术：

1、仓库货物的数量实时监测是智能化仓储管理的重要一环，对企业经营具有重要意义，直接影响到仓库的使用效率和企业经营计划。仓库货物的实时数据可以说是仓储管理中最重要的数据。

2、目前行业中广泛使用的仓库货物数量监测方法主要有：

3、通过人工定期清点来进行仓库货物计量，该方法消耗人力且无法实现实时监测，再加上人工清点无法避免人工失误及人为数据造假；

4、通过目标检测模型动态监测仓库进出口的货物数量，通过维护的仓库货物总量及动态增减的货物数量，可以实现仓库货物总量的实时监测。该方法虽然可以实时监测仓库货物总量，却无法监测到具体仓位的货物数量及不同种类货物的仓储量，针对现有技术的不足，本发明提供了一种仓库货物数量实时监测方法与系统，以解决上述问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种仓库货物数量实时监测方法与系统，能够实时自动监测具体仓位的货物数量及不同种类货物的仓储量，为仓库精细化管理提供数据支持，采用摄像透射原理判断两个货物检测框是否位于同一列，采用相机成像原理构建货物像素面积衰减模式，通过测试数据标定货物像素面积衰减公式的参数，并结合检测框数据估计出货物所在行数，结合了目标检测模型及相机成像原理，实时自动监测具体仓位的货物数量及不同种类货物的仓储量。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：一种仓库货物数量实时监测系统，包括仓位货物目标检测模块和仓位货物统计模块，所述仓位货物目标检测模块包括两个阶段，离线训练阶段及在线推理阶段；

5、离线训练阶段：收集并标注各仓位货物图像数据，训练目标检测模型，用于检测货物正面框；

6、在线推理阶段：获取仓位图像数据，经预处理后输入到训练好的离线货物检测模型，输出货物检测框数据；

7、所述仓位货物统计模块结合相机成像原理及仓位货物检测框的数据，估计每个货物检测框的三维坐标位置，从而估计出每个仓位的货物数量明细。

8、优选的，所述仓位货物统计模块基于摄像透射原理，结合仓位边界数据及货物检测框数据，估计出货物所在列数及所在层数；

9、所述仓位货物统计模块基于相机成像原理，构造面积衰减模式，根据测试数据标定不同货物不同位置的面积衰减公式，结合货物检测框数据，估计货物所在行数。

10、优选的，所述仓位货物统计模块标定各仓位不同货物满仓时的总数，结合货物检测框的三维坐标，计算出各仓位的货物数量明细。

11、一种仓库货物数量实时监测方法，所述仓库货物数量实时监测方法包括构建仓位货物目标检测模块和构建仓位货物统计模块。

12、优选的，构建仓位货物目标检测模块时，收集不同时间段的仓位图像数据，标注不同光照条件下的货物正面轮廓，产生目标检测矩形标记框，其中不同种类的货物标记成不同的类别。

13、优选的，构建仓位货物目标检测模块时，采用实时目标检测算法训练一个实时目标检测模型，用于检测仓位的不同货物的正面检测框。

14、优选的，构建仓位货物目标检测模块时，获取仓位图像数据，经预处理后输入到训练好的离线货物检测模型，输出货物检测框数据。

15、优选的，仓位货物统计模块构建基于摄像透射原理，结合仓位边界数据及货物检测框数据，估计出货物所在列数及所在层数，具体实现步骤如下：

16、步骤s1：根据仓位图像数据确定仓位前方、左侧、右侧的边界的像素坐标(如图2所示)，每个仓位监控只负责监测落在本仓位有效区域内的货物检测框，

17、步骤s2：寻找仓位图像中与拍摄方向一致的纵深平行线即货物摆放的多条列平行线(如图3所示)，并通过平行线确定纵深方向的消失点坐标；

18、步骤s3：摄像通常遵循透射规律，也就是近大远小，实际场景中与拍摄方向一致的平行线会在照片中相交于一点，即透射消失点；将多条平行线组成2条一组，每组计算出一个交点，得到多个消失点；

19、步骤s4：对计算得到的多个消失点取平均值，得到消失点坐标(x0，y0)，消失点坐标主要用于后续判断两个货物检测框是否位于同一列；

20、步骤s5：计算每个货物检测框的中心点坐标{xi，yi}，并将待分组货物检测框按照中心点坐标x值大小从小到大排序；

21、步骤s6：设定x轴阈值t1，余弦相似度阈值t2，记有序检测框列表的第一个框为box0，令临时列组tmp_group＝[]；

22、步骤s7：将box0加入临时列组tmp_group，判断box0的下一个框是否为none，若为none，跳转到步骤s12，否则进入步骤s8；

23、步骤s8：访问box0的下一个框，记为box1，计算box1与box0的x轴距离d，判断d是否小于阈值t1，若为是则进入步骤s9，否则跳转至步骤s10；

24、步骤s9：令box0＝box1，跳转到步骤s7；

25、步骤s10：计算box0、box1连线与box0、消失点连线的余弦相似度degree，判断|degree|是否大于阈值t2，若为是，说明box0、box1为同一层、同一列，对box0、box1做出同一层特殊标记，跳转到步骤s7，否则进入步骤s11；

26、步骤s11：得到完整的列组tmp_group，标记为gi(i＝1,2,...)，令box0＝box1,tmp_group＝[]，跳转到步骤s7；

27、步骤s12：得到完整的列组tmp_group，标记为gi(i＝1,2,...)，输出所有完整的列组{gi}(i＝1,2,...)，其中每个gi代表位于第i列的检测框；

28、步骤s13：根据每个gi中检测框y值数据，及检测框同层标记，估计每个gi中的检测框层数分布，得到每一列检测框的层数坐标；

29、步骤s14：输出列组{gi}及每个检测框的列数坐标及层数坐标。

30、优选的，仓位货物统计模块构建根据相机成像原理(参考图5)，物像之间大小关系满足以下式子：

31、

32、其中f为相机焦距，d为相机与物体表面之间的距离，h为物体真实大小，h为像的大小，物体的像的大小与拍摄距离成反比，即近大远小，根据这一原理，根据检测框面积大小估算检测框的深度。

33、优选的，根据检测框面积大小估算检测框的深度，即货物所在行数具体实现方式如下：

34、由图6，e1f1g1h1、e2f2g2h2分别为同类货物不同深度下的正面，o点为摄像头，a、b分别为e1h1、e2h2的中点，从o点出发向平面e1f1g1h1、平面e2f2g2h2作垂线，垂足分别记为c、d，则可以推出四边形acdb是个矩形(因为ab、cd都是两个货物正面所在平面之间的垂线段)，则由勾股定理得

35、oa2＝oc2+ac2

36、ob2＝od2+bd2＝(oc+cd)2+ac2

37、设e1h1为第一行货物，成像尺寸为w0，e2h2为第k+1行货物，成像尺寸为wk，则根据成像原理得到

38、

39、其中oc、ac均为常量，cd为与货物行数成比例的变量，设e1h1为第一行货物，e2h2为第k+1行货物，则化简得到

40、

41、同理，可得到货物高度的比例公式

42、

43、则货物检测框面积的比例公式为

44、

45、其中a1、a2、b1、b2都是与货物尺寸、位置相关的常量，通过获取不同货物在不同位置上的2组图像数据，便可标定常量a1、a2、b1、b2，从而得到货物检测框面积比例公式，有了各货物检测框面积比例公式，以各货物位于第一行不同位置的像素面积作为参考，进行货物检测框行数坐标的估计，从而得到各检测框的行数坐标。

46、本发明公开了一种仓库货物数量实时监测方法与系统，其具备的有益效果如下：

47、该仓库货物数量实时监测系统，能够实时自动监测具体仓位的货物数量及不同种类货物的仓储量，为仓库精细化管理提供数据支持，采用摄像透射原理判断两个货物检测框是否位于同一列，采用相机成像原理构建货物像素面积衰减模式，通过测试数据标定货物像素面积衰减公式的参数，并结合检测框数据估计出货物所在行数，结合了目标检测模型及相机成像原理，实时自动监测具体仓位的货物数量及不同种类货物的仓储量。