一种基于图像的叉车违规监测方法、介质及设备与流程

本发明涉及叉车监控，尤其涉及一种基于图像的叉车违规监测方法、介质及设备。

背景技术：

1、叉车是一种工业搬运车辆，是指对成件托盘货物进行装卸、堆垛和短距离运输作业的轮式搬运车辆。在分拨快递时，由于货物比较重，叉车工一般用电动小型叉车在场地内进行装卸货物的移动作业。按照规定，叉车工人每次只能移动一个托盘，移动多个托盘容易导致货物掉落、撞货，所以叉车工人推一个托盘以上是违规行为。

2、为了避免出现上述违规行为，通常采取的措施包括以下两种：

3、其中一种是安排安全监测人员对工人进行现场监督，会导致人力成本提高，当快递量暴增，叉车工人数量增多，安全监测人员无法保证能够监测到每一位工人，违规行为仍然会发生，不仅给工厂带来损失，还会对工人的生命安全带来隐患；

4、另外一种是利用监控对工人作业过程进行拍摄并存储，由检测人员抽样下载其中的若干片段进行检查，在工人作业的低峰期，几分钟内的监控图片几乎一模一样，下载视频对于带宽和网络资源的占用都比较高，如果直接截取视频片段进行检查，不仅浪费人力、占用资源，而且监测效率低下。

技术实现思路

1、为了解决背景技术中提到的至少一个技术问题，本发明的目的在于提供一种基于图像的叉车违规检测方法、介质及设备，可以监测叉车的违规使用行为，减少人力成本，减少网络资源的消耗。

2、为实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明实施例提供了一种基于图像的叉车违规监测方法，包括：

4、s101，获取摄像头拍摄的间隔第一预设时长的两张图像；

5、s102，对所述两张图像进行帧差二值化处理，得到帧差图像；

6、s103，针对所述帧差图像的连通区域，确定目标最小外接矩形，其中，所述连通区域为所述帧差图像中具有相同像素值且位置相邻的像素点组成的图像区域；

7、s104，针对每个所述目标最小外接矩形，判断所述目标最小外接矩形的宽长比值是否小于第一预设阈值；

8、s105，若宽长比值小于第一预设阈值，则确定所述目标最小外接矩形对应的叉车违规。

9、进一步的，所述对两张图像进行帧差二值化处理，得到帧差图像，包括：

10、对所述两张图像进行帧差二值化处理，得到第一黑白图像；

11、对所述第一黑白图像进行形态学的腐蚀操作，得到第二黑白图像；

12、对所述第二黑白图像进行形态学的膨胀操作，得到帧差图像。

13、进一步的，所述针对帧差图像的连通区域，确定目标最小外接矩形，包括：

14、针对所述帧差图像的连通区域，得到若干个最小外接矩形的集合；

15、判断每个所述最小外接矩形的面积是否小于第二预设阈值；

16、若面积小于第二预设阈值，则将小于第二预设阈值的最小外接矩形从所述集合中删除；

17、将删除后的若干个最小外接矩形的集合中的每个最小外接矩形，确定为目标最小外接矩形。

18、进一步的，所述若宽长比值小于第一预设阈值，则确定所述目标最小外接矩形对应的叉车违规的步骤，包括：

19、若所述目标最小外接矩形的宽长比值小于第一预设阈值，从所述目标最小外接矩形所属的帧差图像对应的两张图像中，将所述目标最小外接矩形区域裁剪下来，得到两张子图；

20、将所述两张子图输入到分类模型中进行分类，得到包含叉车的第一子图；

21、将所述第一子图中的叉车确定为违规叉车。

22、进一步的，所述将第一子图中的叉车确定为违规叉车的步骤之前，还包括：

23、根据所述第一子图所属的图像中的监控时刻，调取所述监控时刻前后第二预设时长的视频片段；

24、获取所述视频片段中的任意相邻帧的两张图像，重复步骤s101至s104，对宽长比值小于第一预设阈值的目标最小外接矩形，判断所述目标最小外接矩形的中心点在所述两张图像中的距离是否大于第三预设阈值；

25、若距离大于第三预设阈值，则将所述第一子图中的叉车确定为违规叉车。

26、进一步的，所述分类模型为深度学习模型efficient net。

27、第二方面，本发明实施例还提供了一种基于图像的叉车违规监测方法，在所述将第一子图中的叉车确定为违规叉车的步骤之后，还包括：

28、获取所述第一子图中的违规人像；

29、根据员工数据库信息，将所述违规人像输入到人脸识别模型中进行比对，得到对应的违规员工信息，其中，所述员工数据库信息是预先获取的；

30、根据所述违规员工信息，在所述员工数据库信息中对所述违规员工添加违规标签。

31、第三方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的任一基于图像的叉车违规监测方法。

32、第四方面，本发明实施例还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的任一基于图像的叉车违规监测方法。

33、与现有技术相比，本发明的有益效果是：对摄像头拍摄的间隔第一预设时长的两张图像进行帧差二值化处理得到帧差图像，针对帧差图像中的连通区域，确定目标最小外接矩形，根据目标最小外接矩形的宽长比值是否小于第一预设阈值，来判定是否存在叉车违规使用的行为，可以减少网络资源的消耗，降低人力成本。

技术特征：

1.一种基于图像的叉车违规监测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图像的叉车违规监测方法，其特征在于，所述对两张图像进行帧差二值化处理，得到帧差图像，包括：

3.根据权利要求1所述的一种基于图像的叉车违规监测方法，其特征在于，所述针对帧差图像的连通区域，确定目标最小外接矩形，包括：

4.根据权利要求1所述的一种基于图像的叉车违规监测方法，其特征在于，所述若宽长比值小于第一预设阈值，则确定所述目标最小外接矩形对应的叉车违规的步骤，包括：

5.根据权利要求4所述的一种基于图像的叉车违规监测方法，其特征在于，所述将第一子图中的叉车确定为违规叉车的步骤之前，还包括：

6.根据权利要求4所述的一种基于图像的叉车违规监测方法，其特征在于，所述分类模型为深度学习模型efficient net。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6任意一项所述的方法。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的方法。

技术总结
本发明公开了一种基于图像的叉车违规监测方法、介质及设备，涉及叉车监控技术领域。获取摄像头拍摄的间隔第一预设时长的两张图像；对两张图像进行帧差二值化处理，得到帧差图像；针对帧差图像的连通区域，确定目标最小外接矩形；针对每个目标最小外接矩形，判断目标最小外接矩形的宽长比值是否小于第一预设阈值；若宽长比值小于第一预设阈值，则确定目标最小外接矩形对应的叉车违规。对摄像头拍摄的间隔第一预设时长的两张图像进行帧差二值化处理得到帧差图像，针对帧差图像中的连通区域，确定目标最小外接矩形，根据目标最小外接矩形的宽长比值是否小于第一预设阈值，来判定是否存在叉车违规使用的行为，可以减少网络资源的消耗，降低人力成本。

技术研发人员：赖玥聪,龚鑫
受保护的技术使用者：浙江百世技术有限公司
技术研发日：
技术公布日：2024/1/13