一种基于图像识别技术的入库任务流程获取方法与流程

本发明涉及人工智能安全管控，特别涉及了一种基于图像识别技术的入库任务流程获取方法。

背景技术：

1、对于各种仓库，对入库任务的流程把控对于仓库管理起着至关重要的地位。目前对于入库把控部分，通常依赖于人工工单，这样取得任务数据往往是不准确的，时间上有较大的差异，对于后续的监控查询等带来了极大的困难。

2、随着计算机信息技术的不断发展，图像识别这一技术在各个领域中的应用也越发的广泛和普及，甚至已经逐渐开始渗入到我们日常生活中。具有极大提高生产效率、降低人工成本等有益前景。而仓储管理方面的发展愈益成熟，在仓储管理系统中融合图像识别及智能信息技术可以更好的满足使用者的需求。现在图像识别技术通常依赖于深度学习技术，通过卷积层的堆叠来获取图像的特征。yolov7是一个新颖的目标检测算法，它相较于yolov 6等其他目标检测算法具有较快的速度和精度，但由于无预选框的设计思想，在相机固定视角和点位的情况下，其精度还有近一步提升的空间。

技术实现思路

1、本发明的目的是克服现有技术中存在的仓库入库流程采用yolov7算法检测大目标，无预选框的设计思想，精度较低的问题，提供了一种基于图像识别技术的入库任务流程获取方法，通过改进的yolov7自动记录了仓库的入库时间节点，从而获取了入库流程，增强了yolov7的大目标检测精度，通过车牌绑定了涉及到的相关运输车辆，为后续审查和追责留下可靠信息。

2、为了实现上述目的，本发明采用以下技术方案：

3、s1：划分入库任务流程，获取入库任务信息并划分装卸区域；

4、s2：利用辅助函数增强yolov7模型，利用增强后的yolov7模型对车辆进行识别；

5、s3：对识别结果进行筛选，判断识别结果是否正确；

6、s4：获取任务开始时间，进行装卸货并将货物入库；

7、s5：识别车辆车牌信息，将车牌信息记录到已经绑定的入库任务中；

8、s6：判断入库任务是否完成，并在任务完成后记录任务结束时间。

9、识别的车辆为货车以及叉车，本发明利用辅助函数增强传统yolov7算法对货车和叉车的识别能力，并能够对识别结果进行筛选，进一步提高识别的精确度；能够自动记录仓库的入库时间节点与任务结束时间节点，获取入库流程，能够利用绑定涉及到的相关运输车辆，为后续审查和追责留下可靠信息。

10、作为优选，所述步骤s1进一步包括：

11、s1.1：将入库任务划分为任务开始节点与任务结束节点，两个节点之间的时间为任务持续时间；获取需要入库的物资，绑定任务名称与物资列表。

12、s1.2：划分矩形装卸区域，并在装卸区中划分车辆停靠位置，在装卸区域安装相机，对车辆进行拍摄。

13、将入库任务划分出两个关键节点，分别为任务开始节点，任务结束节点。由于实际场景中，通过工单系统至少提前一天获取到的第二天任务需要入库的物资，绑定任务名称和物资列表。便于后续统计任务是否完成。

14、作为优选，所述步骤s1.2进一步包括：

15、s1.2.1：根据仓库特点与车辆停靠位置，在车辆长度方向安装第一监控相机，使第一监控相机覆盖整个装卸区域；

16、s1.2.2：在车辆宽度方向安装第二监控相机；

17、s1.2.3：利用视觉系统在第一监控相机拍摄图像中的装卸区确定四个边缘点，获取四个边缘点的图像坐标，确定电子装卸区域。

18、第一监控相机拍摄车辆侧面；第二监控相机采用可变焦相机，拍摄车辆正面，电子装卸区域中电子围栏横向占的像素个数约1920。

19、作为优选，所述步骤s2中，所述辅助函数为：

20、

21、其中p是预测结果，gt是真实结果，是yolov7模型的损失函数，τ是超参数用来避免高的不确定性，x是不确定性，定义如下：

22、x＝relu(w*x+b)

23、其中，x是特征映射，p是yolov7模型的预测预测结果，w，b是可学习的参数，relu用于使α≥0。

24、yolov7通过fpn模块，能够提升小目标和中目标的ap，但是经过测试，反而在大目标上的ap有所下降。本发明中需要识别的叉车和货车均属于大型目标。通过辅助损耗可以帮助拥有看到所有对象的能力，从而增强大型目标的检测能力。

25、作为优选，所述步骤s2还包括对增强的yolov7模型进行训练：

26、a1：从网络获取车辆与对应的车牌数据，对增强的yolov7算法进行粗训练；

27、a2：自行收集并标记车辆与对应的车牌数据，对增强的yolov7算法进行精细训练，精细训练时采用翻转、平移、放射以及mix up进行数据增强。

28、mix up是一种运用在计算机视觉中的对图像进行混类增强的算法,它可以将不同类之间的图像进行混合,从而扩充训练数据集。精细训练后获取了具有叉车、卡车、车牌检测能力的yolov7模型。

29、作为优选，所述步骤s3进一步表示为：

30、s3.1：根据车辆比例关系，筛除模型预测框内长宽比例不满足车辆比例的结果；

31、s3.2：根据视频帧与模型预测框的宽度比例关系，进一步筛除不满足条件的预测框。

32、使用车辆相关的数据集训练得到加入辅助损失函数的yolov7模型，但是获取的yolov7模型实际使用仍然会存在误检，即将非货车/叉车单位识别为货车/叉车单位，从而错位的触发任务开始。因此需要对识别得到的结果进行筛选，确定是否识别到货车/叉车。模型预测框即图片上车辆所在的矩形的框。

33、作为优选，所述步骤s4进一步表示为：

34、在某一时间同时检测到货车目标和叉车目标，检测目标的下边框中点在装卸区域中，则触发装卸货状态，记录为任务开始时间。

35、任务开始，则开始装卸货，即进行货物入库流程。

36、作为优选，所述获取任务开始时间还包括：

37、仓库利用rfid系统，在装卸货状态触发后，使用rfid系统获取仓库新增的货物，并将新增的货物与入库任务信息中所有货物进行对比，如果货物属于某条任务，且该任务没有触发过开始，则该任务的开始时间为最近的任务开始时间。精确任务开始时间。

38、作为优选，所述步骤s5进一步表示为：

39、s5.1：拍摄车辆车牌图像，利用增强后的yolov7模型获取车牌矩形区域r左上角坐标(x1,y1)，宽和高(w,h)，计算中心坐标(cx,cy)；

40、s5.2：聚焦以(cx,cy)为中心的区域r，重新拍摄车牌图像，并通过hyperlpr网络识别出车牌，将车牌信息记录到已经绑定的任务,并保留第一次拍摄和第二次拍摄的图片。

41、将任务与车牌绑定，即绑定了涉及到的相关运输车辆，为后续审查和追责留下可靠信息。

42、作为优选，所述步骤s6进一步表示为：

43、利用rfid系统判断所属任务中的所有货物是否都在仓库rfid系统，若是，则触发任务结束时间，记录精确的入库结束时间。到此，完成整个入库任务流程。

44、因此，本发明具有如下有益效果：1、利用辅助函数增强传统yolov7算法对货车和叉车的识别能力，并能够对识别结果进行筛选，进一步提高识别的精确度；2、能够自动记录仓库的入库时间节点与任务结束时间节点，获取入库流程；3、能够利用绑定涉及到的相关运输车辆，为后续审查和追责留下可靠信息。