一种基于AI视频识别技术的物流安全监控系统方法与流程

一种基于ai视频识别技术的物流安全监控系统方法
技术领域
1.本发明涉及钢铁物流监控系统方法技术领域，尤其是涉及一种基于ai视频识别技术的物流安全监控系统方法。


背景技术：

2.目前,钢铁企业物流运输点多、线长、面广，涉及的安全风险点多，特别是公路安全、库房吊装安全、铁路检修安全等方面，仅靠人管是管不住的，必须依靠现代信息技术来进行管控。
3.物流生产过程中作业不规范、监管不透明、依靠大量人员人为主观判断等管理难题，每次抽查录像检查违章事件，都需要通过慢放或快进一帧一帧地反复看，费时费力管控效率低，且影响员工视力，且最终影响整个物流运行效率。


技术实现要素：

4.本发明的目的就是针对上述情况，提供一种基于ai视频识别技术的物流安全监控系统方法，该物流安全监控系统方法能够有效提高物流安全管控效率，减少事故发生，改善后台人员劳动强度，满足钢铁生产企业的智慧制造的发展要求。
5.本发明的具体方案是：一种基于ai视频识别技术的物流安全监控系统方法，具体包括有以下步骤：s1：对于公路、库房、铁路移动检修三个场景，建立ai模型识别需求清单，该ai模型识别需求清单包括有厂区路口场景、库房吊装场景和铁路移动检修场景，其中库房吊装场景包括有吊装货物时货车或火车车厢内是否有人、吊装货物时吊钩及货物是否从现场作业人员上方经过、现场作业人员是否佩戴安全帽、综合库吊装货物时现场作业人员与货物是否在2m以内；铁路移动检修场景包括有检修铁路的两端30m外是否插红旗和现场作业人员是否佩戴安全帽；s2：首先使用yolov4模型对物体进行检测,通过deepsort模型对物体进行轨迹跟踪，将第一帧检测到的结果创建其对应的tracks；将卡尔曼滤波的运动变量初始化，通过卡尔曼滤波预测其对应的框框，再将该帧目标检测的框框和上一帧通过tracks预测的框框一一进行iou匹配，再通过iou匹配的结果计算其代价矩阵：s3：将步骤s2中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候得到的结果有三种：第一种是tracks失配，系统直接将失配的tracks删除；第二种是detections失配，系统将这样的detections初始化为一个新的tracks；第三种是检测框和预测的框框配对成功，系统将其对应的detections通过卡尔曼滤波更新其对应的tracks变量。
6.s4：反复循环步骤s2～s3，直到视频帧结束；s5：进行识别逻辑判断，公路安全模块：对每一路中视频流的画面进行物体检测，当检测出货车后通过轨迹追踪判断车辆id，同一个id判定为一辆车，当对应id的货车进入
电子围栏内开始计时，每个id的纪录时间戳相互独立，当车辆离开电子围栏时再纪录时间戳，两次时间戳相减则为计时，判断计时未超过3秒，则判断为货车未按要求在指定位置停车让行，系统自动报警；库房安全模块：进行物体检测，对每一路中视频流的画面进行物体检测，对货车、人、安全帽、吊钩头、火车车厢进行物体检测，当吊钩头移动时作为开始吊装的触发条件，对货车的坐标扩大一定像素，吊钩头下方一定像素,火车车厢及默认电子围栏作为检测范围，当人员站位不当闯入动态电子围栏和固定电子围栏时，判定作业不规范自动报警；库房区域划定电子围栏，当人员未戴安全帽则报警；铁路移动检修模块：对每一路中视频流的画面进行物体检测，当未识别到标志物则报警，同时人员未戴安全帽也报警；s6：用户登录平台软件，通过筛选条件快速查询违章数据，人工辅助验证违章事件，自动导出相关统计报表。
7.进一步的，本发明中步骤s6中的筛选条件为违章类型、违章时间以及违章车牌信息。
8.本发明应用带来的有益效果：1.本发明系统应用后，可实现现场出现违章时后台自动进行声光报警，实时违章监测，为安全监管提供可靠技术手段，将物流安全管理由事后分析变成事前预警和监督，具有预防和积极干预功能，减少事故发生；系统还将解决物流生产过程中作业不规范、监管不透明、依靠大量人员人为主观判断等管理难题，提高安全管控质量，同时提供大数据分析、ai智能感知报警、违章证据图片及视频调取查看功能，减少后台监控人员工作量，降低成本，具有很高的推广应用价值。
9.2.本发明系统方法具有很好的经济效益：一是系统提前预警和监督，减少物流安全事故损失，每年为企业节省大量的事故损失费用。二是系统上线运行后不需要管理人员三班在监控室值守抽查录像，后台只需1名管理人员复核处置即可，按原来至少需要4名管理人员三班值守计算，每年为企业节省人力资源成本3*16=48万元。
10.3.本发明系统方法具有很好的社会效益：通过系统自动生成的报警数据，每周对违章事件进行通报考核，有效地抑制了人的不安全行为发生，公路安全、库房吊装安全、铁路移动检修安全违章事件分别同比降低了90%、85%、80%，杜绝了安全事故发生，使得厂内物流运输更加安全高效。
附图说明
11.图1是本发明中的ai模型识别需求清单；图2是本发明的系统硬件结构图。
12.图中：1—三角支撑架，2—钢板搁置圆环板。
具体实施方式
13.本发明是一种基于ai视频识别技术的物流安全监控系统方法，具体包括有以下步骤：s1：对于公路、库房、铁路移动检修三个场景，建立ai模型识别需求清单，该ai模型识别需求清单包括有厂区路口场景、库房吊装场景和铁路移动检修场景，其中库房吊装场景包括有吊装货物时货车或火车车厢内是否有人、吊装货物时吊钩及货物是否从现场作业
人员上方经过、现场作业人员是否佩戴安全帽、综合库吊装货物时现场作业人员与货物是否在2m以内；铁路移动检修场景包括有检修铁路的两端30m外是否插红旗和现场作业人员是否佩戴安全帽；s2：首先使用yolov4模型对物体进行检测,通过deepsort模型对物体进行轨迹跟踪，将第一帧检测到的结果创建其对应的tracks；将卡尔曼滤波的运动变量初始化，通过卡尔曼滤波预测其对应的框框，再将该帧目标检测的框框和上一帧通过tracks预测的框框一一进行iou匹配，再通过iou匹配的结果计算其代价矩阵；s3：将步骤s2中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候得到的结果有三种：第一种是tracks失配，系统直接将失配的tracks删除；第二种是detections失配，系统将这样的detections初始化为一个新的tracks；第三种是检测框和预测的框框配对成功，系统将其对应的detections通过卡尔曼滤波更新其对应的tracks变量；s4：反复循环步骤s2～s3，直到视频帧结束；s5：进行识别逻辑判断，公路安全模块：对每一路中视频流的画面进行物体检测，当检测出货车后通过轨迹追踪判断车辆id，同一个id判定为一辆车，当对应id的货车进入电子围栏内开始计时，每个id的纪录时间戳相互独立，当车辆离开电子围栏时再纪录时间戳，两次时间戳相减则为计时，判断计时未超过3秒，则判断为货车未按要求在指定位置停车让行，系统自动报警；库房安全模块：进行物体检测，对每一路中视频流的画面进行物体检测，对货车、人、安全帽、吊钩头、火车车厢进行物体检测，当吊钩头移动时作为开始吊装的触发条件，对货车的坐标扩大一定像素，吊钩头下方一定像素,火车车厢及默认电子围栏作为检测范围，当人员站位不当闯入动态电子围栏和固定电子围栏时，判定作业不规范自动报警；库房区域划定电子围栏，当人员未戴安全帽则报警；铁路移动检修模块：对每一路中视频流的画面进行物体检测，当未识别到标志物则报警，同时人员未戴安全帽也报警；s6：用户登录平台软件，通过筛选条件快速查询违章数据，人工辅助验证违章事件，自动导出相关统计报表。
14.进一步的，本实施例中步骤s6中的筛选条件为违章类型、违章时间以及违章车牌信息。
15.下面结合具体实施方式对本发明的方案进一步阐述。
16.s1：对于公路、库房、铁路移动检修三个场景，提出ai模型识别需求清单（参见附图1）；s2：首先使用yolov4模型对物体（车辆、吊钩等）进行检测，通过deepsort模型对物体进行轨迹跟踪，将第一帧检测到的结果创建其对应的tracks，将卡尔曼滤波的运动变量初始化，通过卡尔曼滤波预测其对应的框框，再将该帧目标检测的框框和上一帧通过tracks预测的框框一一进行iou匹配，再通过iou匹配的结果计算其代价矩阵（cost matrix，其计算方式是1-iou）。
17.s3：将步骤s2中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种，第一种是tracks失配（unmatched tracks），我们直接将失配的tracks删除；第二种是detections失配（unmatched detections），我们将这样的detections初始化为一个新的tracks（new tracks）；第三种是检测框和预测的框框配对
成功，这说明前一帧和后一帧追踪成功，将其对应的detections通过卡尔曼滤波更新其对应的tracks变量。
18.s4：反复循环步骤s2-步骤s3，直到视频帧结束。
19.s5：最后进行识别逻辑判断，公路安全模块：对每一路中视频流的画面进行物体检测，当检测出货车后通过轨迹追踪判断车辆id，同一个id判定为一辆车，当对应id的货车进入电子围栏内开始计时，每个id的纪录时间戳相互独立，当车辆离开电子围栏时在纪录时间戳，两次时间戳相减则为计时，判断计时未超过3秒，则判断为货车未按要求在指定位置停车让行，系统自动报警。库房安全模块：进行物体检测，对每一路中视频流的画面进行物体检测，对货车、人、安全帽、吊钩头、火车车厢进行物体检测，当吊钩头移动时作为开始吊装的触发条件，对货车的坐标扩大一定像素,吊钩头下方一定像素,火车车厢及默认电子围栏，作为检测范围，当人站位不当闯入动态电子围栏和固定电子围栏时，判定作业不规范自动报警。库房区域划定电子围栏，当人员未戴安全帽则报警。铁路移动检修模块：对每一路中视频流的画面进行物体检测，当未识别到标志物（线路两头插红旗）则报警，同理人员未戴安全帽也报警。
20.s6：用户登录平台软件，能通过筛选条件（违章类型、违章时间、违章车牌信息等）快速查询违章数据，人工辅助验证违章事件，自动导出相关统计报表。
21.本发明对应的硬件本系统主要由数据接入层、数据处理及应用服务层、业务应用层三大部分组成（参见附图2）并配合相关的软件进行整个系统的实施。其中底层数据接入层包括视频接入服务和iot接入服务，数据处理及应用服务层涵盖ai模型视频分析、关系库mysql和缓存数据库、报警服务等，业务应用层有综合信息展示、设备管理、实时报警、实时监控、历史视频、历史监控、统计分析等，而权限管理涉及三个层级都有。用户也可通过手机app实时查看相关的报警信息及统计分析表，同时系统也考虑到扩展性及兼容性，与企业智慧制造iplat视频平台进行对接，所有接入内网的电脑经过授权审批后，都可以使用该系统实时查看报警信息，实现数据共享，提升企业整体安全管控效率和水平。
22.可视化综合信息展示：在视频软件首页中间接入生产厂区总图二维数据，叠加铁路、道路、道口等物流信息、视频监控点信息，实现实时状态报警，发现异常实时报警（摄像头闪烁及语音提示），支持按区域分布或报警类别进行组合查询。在屏幕上展示公路安全、库房吊装安全、铁路检修安全三个模块识别的报警数据，同时在盘屏幕上绘制趋势图分析，可按日/周/月/年时间段予以展示；在屏幕上还设计一块区域展示ai服务器、应用服务器和服务器硬件运行状态，同时在下侧轮转显示接入的视频监控点实时画面。
23.智能感知报警：当ai模型视频分析识别出违章情况时，系统依照违章的定义进行分类、分级别报警，各类报警，用户可对报警信息进行处置，实现ai智能感知识别—实时报警—违章情况处置的闭环管理。
24.智能分析：以日、周、月、年为统计周期，对历史数据进行分析，包括监控点在线情况、违章事件趋势、违章类别、违章时间、违章地点、违章车牌号、违章照片及录像等信息，自动生成报表，且可以下载导出。
25.系统管理：实时监控点设备信息、人员权限维护和管理，为系统运行提供基础信息数据，实现模块定义、权限分配、关联配置管理，满足用户在不同场景下的定制化需求。
26.本发明的系统建立了厂区道路车辆违章ai识别模型、库房作业人员违章ai识别模
型、移动式检修作业人员违章ai识别模型。将ai能力赋能给边侧视频，让它“聪明”起来成为系统智慧大脑，让每一路视频智能提供完整的应用管理、自动识别违章和报警功能。真正实现平台化设计、数字化管理、智能化分析与决策、网络化协同、个性化定制，属于钢铁行业首创；系统构建了报警处置闭环管理机制：实现违章事件后台自动报警和实时推送，形成违章事件“识别—报警—推送—处置—反馈—统计”的管理闭环，对违章事件可精准推送、有效快速处置，构建违章可检、问题可追、责任可溯的企业安全管理机制；辅助安全管理智慧决策：运用大数据分析技术自动抽取有价值的关键信息，从多角度分析违章数据，对安全风险状态进行分析，为优化企业安全管控过程提供决策支持。
27.本发明系统应用后，可实现现场出现违章时后台自动进行声光报警，实时违章监测，为安全监管提供可靠技术手段，将物流安全管理由事后分析变成事前预警和监督，具有预防和积极干预功能，减少事故发生；系统还将解决物流生产过程中作业不规范、监管不透明、依靠大量人员人为主观判断等管理难题，提高安全管控质量，同时提供大数据分析、ai智能感知报警、违章证据图片及视频调取查看功能，减少后台监控人员工作量，降低成本，具有很高的推广应用价值。
28.本发明系统方法具有很好的经济效益：一是系统提前预警和监督，减少物流安全事故损失，每年为企业节省大量的事故损失费用。二是系统上线运行后不需要管理人员三班在监控室值守抽查录像，后台只需1名管理人员复核处置即可，按原来至少需要4名管理人员三班值守计算，每年为企业节省人力资源成本3*16=48万元。
29.本发明系统方法具有很好的社会效益：通过系统自动生成的报警数据，每周对违章事件进行通报考核，有效地抑制了人的不安全行为。