一种用于登杆作业的多特征融合的疲劳监测识别方法与流程

1.本发明涉及疲劳监测识别技术领域，尤其是涉及一种用于登杆作业的多特征融合的疲劳监测识别方法。


背景技术：

2.在电力系统的运维当中，为了保证输电网络的可靠稳定运行，需要维护人员定期进行登杆作业对输电线路进行检修。
3.传统的人力登杆作业，其作业强度非常大，且作业地点离散，时点随机，导致位于登杆机上的作业人员极易疲劳工作，一旦在登杆上出现疲劳作业，就会引发一系列生命危险。由于作业地点离散，时点随机，也没法临场来监督确保作业人员的工作状态，否则人力物力成本很高。所以，目前的登杆作业人员的工作状态存在缺乏监控和维护的情况。
4.户外登杆空中作业，操作环境复杂，执行工序多变，如果采用传统方法中基于单一传感器来监测，是无法有效监测该种作业环境和识别特征事件的，但是采用多种传感器的话，又存在多种传感器之间由于信息维度、时序相互独立，难以有效整合为结构化信息。
5.目前并没有针对登杆作业来开设一系列健全的监测举措，那么工作人员在登杆作业中就没法保证生命安全，这样就会在每年都会出现一定的登杆作业事故率。


技术实现要素：

6.本发明所要解决的技术问题是提供一种能够实时监测登杆工作人员的工作状态、保障登杆作业安全，从而降低事故发生率的用于登杆作业的多特征融合的疲劳监测识别方法。
7.本发明所采用的技术方案是，一种用于登杆作业的多特征融合的疲劳监测识别方法，该方法包括下列步骤：
8.(1)、在登杆机上布置深度摄像机、基于uwb雷达的生命体征监测模块以及安装在深度摄像机下方且与深度摄像机电连接的热成像红外传感模块；
9.(2)、通过热成像红外传感模块检测深度摄像机的镜头下的人体红外视频，并将人体红外视频数据实时发送给后台服务器；
10.(3)、后台服务器将人体红外视频数据进行解析，将解析后的人体红外视频数据切分成单帧图片，将单帧图片输入训练后的深度学习模型中，输出动作预测结果；
11.(4)、通过基于uwb雷达的生命体征监测模块对作业人员的呼吸指数和心率指数进行探测，将探测的数据发送给后台服务器，得到呼吸指数和心率指数结果；
12.(5)、将动作预测结果、呼吸指数和心率指数结果输入进作业监测模块中，所述作业监测模块采用lvq
‑
bp人工神经网络进行特征指标融合，通过lvq神经网络对对各特征指标进行分类，然后将分类后的指标基于bp神经网络进行多特征融合形成最后的综合指标，根据综合疲劳指标来判断人体是否处于疲劳状态，如果综合疲劳指标超出疲劳阈值，那么判断人体处于疲劳状态，发出预警。
13.本发明的有益效果是：本发明通过实施采集人体红外视频，将人体红外视频输入进训练后的深度学习模型中获取动作预测结果，同时采用基于uwb雷达的生命体征监测模块对工作人员的呼吸指数和心率指数进行探测，得到呼吸指数和心率指数结果，最后通过人工神经网络进行特征指标融合，得到综合疲劳指标来判断工作人员是否处于疲劳状态，该方法能够实时监测工作人员身体状态，其精准度极高，能够保障电力作业安全和员工生命安全，从而降低事故发生率。
14.在步骤(3)中，获取训练后的深度学习模型的具体方法包括下列步骤：
15.(3
‑
1)、收集人体各种疲劳状态下的肢体动作视频流数据，将人体各种疲劳状态下的肢体动作视频流数据进行解析，将解析后的视频流数据切分成单帧图片，每张图片作为待训练样本，组成待训练样本集，对待训练样本集中的待训练样本进行标注，生成标注矢量文件，标注的具体过程为：在每个待训练样本标注出人体骨骼关键点位置，并连结各关键点描绘出肢体的形状；
16.(3
‑
2)、将待训练样本集中的待训练样本裁剪为n块高为h、宽为w的小图，形成训练样本集；
17.(3
‑
3)、将步骤(3
‑
1)中的标注矢量文件转换为二值图，再将得到二值图裁切为n块高为h、宽为w的标签，所述标签与小图一一对应；
18.(3
‑
4)、构建深度学习模型，所述深度学习模型包括vgg
‑
19网络结构；
19.(3
‑
5)、对步骤(3
‑
4)中的深度学习模型进行训练，得到训练后的深度学习模型。
20.在步骤(3
‑
5)中，对深度学习模型进行训练的具体过程为：将训练样本集输入到vgg
‑
19网络中进行处理，得到初步输出结果，然后将初步输出结果再次输入到vgg
‑
19网络中进行处理，得到下一阶段的输出结果，依次循环，通过多重阶段循环来得到一个扩大的卷积网络感受野，得到最终输出结果；将最终输出结果与步骤(3
‑
3)中的标签输入到损失函数中计算出损失值，再通过反向传播算法以损失值等于0为目标来更新网络权重，不断迭代，实现深度学习模型的训练。
21.在步骤(3
‑
5)中，损失函数为：其中t代表不同的阶段，n代表图中的人，j代表关键点，p代表热力图。
22.采用上述方法来获取训练后的深度学习模型，其精度高，效率高，并且成本低。
23.在步骤(4)中，获得呼吸指数和心率指数结果的具体方法包括下列步骤：
24.(4
‑
1)、基于uwb雷达的生命体征监测模块发射电磁波信号探测人体；
25.(4
‑
2)、基于uwb雷达的生命体征监测模块接收回波信号；
26.(4
‑
3)、对接收的回波信号首先进行去直流分量和数字滤波处理，然后再做特征点提取和短时间傅里叶变换处理得到呼吸指数和心率指数，再将得到的呼吸指数和心率指数做平滑处理，得到最终的呼吸指数和心率指数结果。
27.基于uwb雷达的非接触式探测对于待测人体对象的直接影响较小，并且对探测目标的运动非常敏感，探测精度高，运算速度快。
附图说明
28.图1为本发明一种用于登杆作业的多特征融合的疲劳监测识别方法的流程图；
29.图2为本发明中vgg
‑
19网络结构的结构示意图；
30.图3为本发明中获取呼吸指数和心率指数的流程图；
具体实施方式
31.以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
32.本发明涉及一种用于登杆作业的多特征融合的疲劳监测识别方法，如图1所示，该方法包括下列步骤：
33.(1)、在登杆机上布置深度摄像机、基于uwb雷达的生命体征监测模块以及安装在深度摄像机下方且与深度摄像机电连接的热成像红外传感模块；
34.(2)、通过热成像红外传感模块检测深度摄像机的镜头下的人体红外视频，并将人体红外视频数据实时发送给后台服务器；
35.(3)、后台服务器将人体红外视频数据进行解析，将解析后的人体红外视频数据切分成单帧图片，将单帧图片输入训练后的深度学习模型中，输出动作预测结果；
36.(4)、通过基于uwb雷达的生命体征监测模块对作业人员的呼吸指数和心率指数进行探测，将探测的数据发送给后台服务器，得到呼吸指数和心率指数结果；
37.(5)、将动作预测结果、呼吸指数和心率指数结果输入进作业监测模块中，所述作业监测模块采用lvq
‑
bp人工神经网络进行特征指标融合，通过lvq神经网络对对各特征指标进行分类，然后将分类后的指标基于bp神经网络进行多特征融合形成最后的综合疲劳指标，根据综合疲劳指标来判断人体是否处于疲劳状态，如果综合疲劳指标超出疲劳阈值，那么判断人体处于疲劳状态，发出预警。
38.本发明采用通过实施采集人体红外视频，将人体红外视频输入进训练后的深度学习模型中获取动作预测结果，同时采用基于uwb雷达的生命体征监测模块对工作人员的呼吸指数和心率指数进行探测，得到呼吸指数和心率指数结果，最后通过人工神经网络进行特征指标融合，得到综合疲劳指标来判断工作人员是否处于疲劳状态，该方法能够实时监测工作人员身体状态，其精准度极高，能够保障电力作业安全和员工生命安全，从而降低事故发生率。采用基于uwb雷达的生命体征监测模块探测呼吸指数和心率指数，是一种非接触式生命体征探测方式，不接触生物体，隔一定的距离，穿透一定的介质，在对生物体无约束的情况下，借助于外来能量(探测媒介)探测或感应生理信号，该种探测方法快捷，且适用性广。
39.在步骤(3)中，获取训练后的深度学习模型的具体方法包括下列步骤：
40.(3
‑
1)、收集人体各种疲劳状态下的肢体动作视频流数据，将人体各种疲劳状态下的肢体动作视频流数据进行解析，将解析后的视频流数据切分成单帧图片，每张图片作为待训练样本，组成待训练样本集，对待训练样本集中的待训练样本进行标注，生成标注矢量文件，标注的具体过程为：在每个待训练样本标注出人体骨骼关键点位置，并连结各关键点描绘出肢体的形状；
41.(3
‑
2)、将待训练样本集中的待训练样本裁剪为n块高为h、宽为w的小图，形成训练样本集；
42.(3
‑
3)、将步骤(3
‑
1)中的标注矢量文件转换为二值图，再将得到二值图裁切为n块
高为h、宽为w的标签，所述标签与小图一一对应；
43.(3
‑
4)、构建深度学习模型，所述深度学习模型包括vgg
‑
19网络结构；
44.(3
‑
5)、对步骤(3
‑
4)中的深度学习模型进行训练，得到训练后的深度学习模型。
45.在步骤(3
‑
5)中，对深度学习模型进行训练的具体过程为：如图2所示，将训练样本集输入到vgg
‑
19网络中进行处理，得到初步输出结果，然后将初步输出结果再次输入到vgg
‑
19网络中进行处理，得到下一阶段的输出结果，依次循环，通过多重阶段循环来得到一个扩大的卷积网络感受野，得到最终输出结果；将最终输出结果与步骤(3
‑
3)中的标签输入到损失函数中计算出损失值，再通过反向传播算法以损失值等于0为目标来更新网络权重，不断迭代，实现深度学习模型的训练。
46.在步骤(3
‑
5)中，损失函数为：其中t代表不同的阶段，n代表图中的人，j代表关键点，p代表热力图。
47.采用上述方法来获取训练后的深度学习模型，其精度高，效率高，并且成本低。
48.在步骤(4)中，如图3所示，获得呼吸指数和心率指数结果的具体方法包括下列步骤：
49.(4
‑
1)、基于uwb雷达的生命体征监测模块发射电磁波信号探测人体；
50.(4
‑
2)、基于uwb雷达的生命体征监测模块接收回波信号；
51.(4
‑
3)、对接收的回波信号首先进行去直流分量和数字滤波处理，然后再做特征点提取和短时间傅里叶变换处理得到呼吸指数和心率指数，再将得到的呼吸指数和心率指数做平滑处理，得到最终的呼吸指数和心率指数结果。
52.基于uwb雷达的非接触式探测对于待测人体对象的直接影响较小，并且对探测目标的运动非常敏感，探测精度高，运算速度快。通过采集超宽带雷达输出的信号，采用对信号的频域信息进行分析得出体动指数，采用特征点提取和频域分析，从信号中提取有用的体征信息，并且在进行体征信息提取时采用窗函数进行频域分析，提高了运算速度。