一种基于事件相机的煤矿井下人员状态监测方法

本发明属于煤矿井下人员监测领域，涉及煤矿井下人员状态监测方法，具体是一种基于事件相机的煤矿井下人员状态监测方法。

背景技术：

1、煤矿井下人员的异常状况的视觉识别技术是近年来国内研究的热点。煤矿井下环境的煤尘和水雾使视频图像噪声严重，导致采集到的图片质量差，难以满足井下人员异常状态监测的需求，因此，井下人员的图像采集和视觉异常检测方法研究具有重要意义和工程价值。现有技术中，视觉算法的应用存在如下问题：传统帧相机检测煤矿井下人员状态效果不理想；数据量太大，对算力要求特别高，以至于不能做出快速响应；受井下光线明暗突变、杂光、曝光等影响较大；对前方矿工或障碍物阻挡视线的视野盲区突然出现的人员来不及做出响应。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于，提供一种基于事件相机的煤矿井下人员状态监测方法，以解决现有煤矿井下状态监测方法无法准确且及时判断人员的状态的技术问题。

2、为了解决上述技术问题，本发明采用如下技术方案予以实现：

3、一种基于事件相机的煤矿井下人员状态监测方法，包括以下步骤：

4、步骤一，通过事件相机采集得到综采工作面图像；

5、步骤二，将综采工作面图像输入至yolov8检测模型进行预处理，得到井下人员的初步图像，并将其作为训练集；

6、所述的井下人员的初步图像分为异常图像和正常图像，所述的异常图像显示异常行为，所述的正常图像显示正常行为；

7、所述的异常行为包括四种类型：跌倒、睡觉、越界和异常坐着；

8、所述的正常行为包括六种类型：倚靠、站立、走路、正常坐着、操作设备和清理；

9、步骤三，构建基于yolov8的人员入侵异常检测特征提取模型，采用训练集对该模型进行训练，得到训练好的基于yolov8的人员入侵异常检测特征提取模型；

10、所述的训练好的基于yolov8的人员入侵异常检测特征提取模型包括人体骨架关键点提取模块和st-gcn网络模型；

11、所述的人体骨架关键点提取模块包括vgg19，用于提取井下人员的初步图像的18个关节点以及各个关节点在人体的位置；

12、所述的st-gcn网络模型包括依次设置的骨架时空图和时空图卷积，所述的骨架时空图用于提取井下人员的初步图像上18个关节点组成的行为，所述的时空图卷积用于判断所述的骨架时空图提取的行为所属的类型；

13、步骤四，将事件相机实时拍摄的综采工作面图像输入至训练好的基于yolov8的人员入侵异常检测特征提取模型，得到当前井下人员行的行为类型；

14、步骤五，根据当前井下人员的行为类型判断该井下人员的行为是否为异常行为或者是否处于危险区域范围，若是，则进行紧急预警警示；若否，则进入步骤六；

15、所述的危险区域范围为规定的井下人员工作范围外的区域；

16、步骤六，对该井下人员的行为类型进行特征追踪，并将当前井下人员的行为类型自动更新为下一时刻该井下人员的行为类型，并返回执行步骤五。

17、本发明还包括以下技术特征：

18、步骤一中，所述的事件相机包括dv可视化软件平台、相机、镜头、三脚架和usb数据线；所述的相机安装在所述的三脚架上，所述的镜头安装在所述的相机上，所述的相机与外部电脑通过所述的usb数据线相连；

19、所述的镜头上设置有3个调节环，分别用于调节焦距、对焦与光圈；

20、所述的dv可视化软件平台安装于外部电脑中，用于显示所连接的相机采集到的综采工作面图像。

21、所述的相机外部套设有一个阳极氧化铝的箱体。

22、步骤二中，所述的将综采工作面图像输入至yolov8检测模型进行预处理，得到井下人员的初步图像具体包括以下步骤：

23、步骤2.1，对采集得到的综采工作面图像进行高斯滤波处理，得到原始特征图；

24、步骤2.2，采用canny算子计算原始特征图中每个像素的梯度大小和梯度方向；

25、步骤2.3，根据每个像素的梯度大小和梯度方向，依次对原始特征图进行非极大值抑制处理和双阈值筛选处理，确定井下人员的初步图像。

26、本发明与现有技术相比，有益的技术效果是：

27、本发明通过事件相机对煤矿井下人员状态进行监测，同时使用基于yolov8的人员入侵异常检测特征提取模型，利用人体骨架关键点提取模块和st-gcn网络模型来完成动作识别，能够自动检测出煤矿井下人员状态的异常行为，此外，通过判断当前井下人员的行为类型是否处于危险行为或者危险区域范围，可对其进行紧急预警警示，实现对井下人员状态的精准监测，为煤矿井下人员作业过程的安全性提供了必要的技术支持，解决了现有煤矿井下状态监测方法无法准确且及时判断人员的状态的技术问题。

技术特征：

1.一种基于事件相机的煤矿井下人员状态监测方法，包括以下步骤：

2.如权利要求1所述的基于事件相机的煤矿井下人员状态监测方法，其特征在于，步骤一中，所述的事件相机包括dv可视化软件平台、相机、镜头、三脚架和usb数据线；所述的相机安装在所述的三脚架上，所述的镜头安装在所述的相机上，所述的相机与外部电脑通过所述的usb数据线相连；

3.如权利要求2所述的基于事件相机的煤矿井下人员状态监测方法，其特征在于，所述的相机外部套设有一个阳极氧化铝的箱体。

4.如权利要求1所述的基于事件相机的煤矿井下人员状态监测方法，其特征在于，步骤二中，所述的将综采工作面图像输入至yolov8检测模型进行预处理，得到井下人员的初步图像具体包括以下步骤：

技术总结
本发明公开了一种基于事件相机的煤矿井下人员状态监测方法，通过事件相机采集得到综采工作面图像；将综采工作面图像输入至YOLOv8检测模型进行预处理，得到井下人员的初步图像，通过事件相机对煤矿井下人员状态进行监测，同时使用基于YOLOv8的人员入侵异常检测特征提取模型，利用人体骨架关键点提取模块和ST‑GCN网络模型来完成动作识别，能够自动检测出煤矿井下人员状态的异常行为，此外，通过判断当前井下人员的行为类型是否处于危险行为或者危险区域范围，可对其进行紧急预警警示，实现对井下人员状态的精准监测，为煤矿井下人员作业过程的安全性提供了必要的技术支持，解决了现有煤矿井下状态监测方法无法准确且及时判断人员的状态的技术问题。

技术研发人员：张旭辉,杨文娟,赵典,黄梦瑶,朱乐,余恒翰
受保护的技术使用者：西安科技大学
技术研发日：
技术公布日：2024/1/25