一种基于多模数据的电力作业人员可穿戴远程实时监测系统与方法与流程

本发明涉及一种基于多模数据的电力作业人员可穿戴远程实时监测系统与方法，属于人工智能。

背景技术：

1、最早在上世纪中期提出了通过使用佩戴在用户身上的具有特定功能的产品和电子设备，来记录人体日常行为或监测用户身体健康状况的技术。随着传感器技术的发展，各类重量较轻、体积较小的可穿戴传感器层出不穷，比如惯性测量单元(inertialmeasurement unit，imu)传感器，可以同时采集加速度数据和角加速度数据，光电容积脉搏波(photo plethysmo graphy，ppg)传感器可以测量人体心率和血氧饱和度生理参数。

2、依靠物联网与云平台技术，可穿戴设备可以进行实时的信号传输与信息交流。通过建立可穿戴设备和云平台之间的连接，使得可穿戴设备收集到的数据能够迅速的传输到云端，在云端搭建人体监测模型可以方便地对数据进行分析和报警。

3、目前，基于可穿戴设备的人体行为监测工作主要包括以下内容：采集多种有效的人体活动数据，提取有效的特征值，研究人体行为识别和分类方法，建立基于可穿戴设备的人体行为监测系统等。绝大多数基于可穿戴设备的人体行为监测方法研究围绕其中的一个或者多个问题进行。

4、关于处理多模态生理信号的策略方法主要是：利用不同类别的信号相互支持，对互补信息进行融合处理，最终有效地提高了识别效果。根据目前已有的研究，模态融合的方式大致可分为4种，分别是数据级融合(传感层融合)、特征级融合、决策级融合和模型级融合。

5、在特殊电力作业场景下，需要考虑更多因素，比如可穿戴设备便携性，收集数据种类的多样化，检测算法的识别场景等。为了提高复杂的环境下面向电力作业人员的可穿戴远程实时监测系统的适用性，可穿戴设备需要尽可能的广泛收集多模态信息，如定位数据、近电感应和生理信息等。此外，为了提高采集设备的便携性，将尽可能集成多种功能从而缩小设备体积，同时降低功耗以延长使用时间。通过网络将数据传送至云平台，在保证数据传输可靠性的同时，对数据进行分析和报警。搭建具备管理能力的云平台，对工作人员进行实时监控，提供有用的信息，帮助电力公司改善作业流程，提高工作效率。

技术实现思路

1、针对电力场景的特殊监测需求，以及此场景下特征提取不完整、利用率低的问题，本发明提出了一种基于多模态的特征提取与编码的行为识别方法，作用于电力作业人员可穿戴远程实时监测系统。

2、本发明所使用的多模态传感器数据，是由佩戴于人体不同位置的可穿戴传感器采集而得，是指多个可穿戴传感器同时采集，多模态是指可穿戴传感器包含加速度计传感器、陀螺仪传感器、环境电场传感器、环境气体传感器、定位传感器，可以同时采集加速度、角速度、环境电场、环境气体、定位信息五个模态的数据，并可拓展到多个模态。

3、本发明采用卷积网络模型，基于挤压激励(squeeze and excitation，se)模块与转置编码模块，实现多通道特征提取与异常监测模块，充分捕捉生理信息，获得更高的识别率，本发明提出了一种基于转置编码的特征提取的实时行为识别方法。

4、本发明搭建了一套完善的远程监测系统，具体包括：可穿戴设备、云平台、网页端。

5、本发明的可穿戴设备具有数据收集、数据传输、指令接收的功能。通过接收来自云端的命令，使用多种传感器采集数据，并传输到云平台。

6、本发明的云平台接收来自可穿戴设备的数据，然后通过数据预处理、数据分析对多模态数据进行处理，完成监测与报警，将可视化结果送至网页端。

7、本发明的网页端具有数据展示和管理员操作的功能。可穿戴设备收集到的数据经处理后得到的可视化结果、用户的报警信息在此展示，管理员通过网页端操作来对数据进行修正和向可穿戴设备下发命令。

8、本发明针对电力人员的工作特点设定了各种收集的信息，如近电感应、危险气体、基于位置的服务(location-based service，lbs)定位等，并对收集到的各种数据提出了对应的处理算法。

9、发明概述：

10、对于本发明提出的基于转置编码的特征提取的实时行为识别方法，及其所作用的电力作业人员可穿戴远程实时监测系统，包括依次连接的作业人员实时信息采集模块、多模态数据预处理模块、基于转置编码的特征提取与预警模块、数据展示与修正模块。首先，在接收命令后，由实时信息采集模块中的传感器设备对各种信息进行采集；多模态数据实时传输模块通过无线传输方式实现实时数据传输，通过tcp/ip协议将数据传送到云端数据库；通过云端服务器程序判断数据类型，分别对环境信息、行为数据、定位数据进行处理；环境信息超过报警值进行预警，定位数据判断定位数据类型，如果是lbs数据，进行数据解码，然后传入多源数据融合定位模块中；对于行为数据，首先进行行为数据预处理，分为去噪、归一化、数据融合、基于时间序列的截取，最后构建并训练行为识别模型，随后进行行为实时识别；最后将上述步骤得到的所有预警信息进行实时信息展示，提供给管理者。

11、本发明为基于可穿戴设备的电力工作人员监测系统提供了一种可行的方案，可实时监测用户的行为类别，弥补了单一的传感器数据和简单的深度学习网络在自适应性、特殊行为分类方面的不足，进一步提取了全面有效的特征，提高了特征利用率，可用于对于电力系统作业人员的监控与管理，并提出了完整的流程，弥补了针对特殊行业的监测系统的空白。

12、本发明的技术方案为：

13、一种基于多模数据的电力作业人员可穿戴远程实时监测系统，包括依次连接的作业人员实时信息采集模块、多模态数据预处理模块、基于转置编码的特征提取与预警模块、数据展示与修正模块；

14、所述作业人员实时信息采集模块用于：通过可穿戴设备采集实时信息，实时信息包括环境信息、生理信息、定位信息；

15、所述多模态数据预处理模块用于：接收来自可穿戴设备的实时信息并对其进行预处理；

16、所述基于转置编码的特征提取与预警模块用于：处理环境、生理和定位信息数据，并通过基于转置编码的特征提取算法进行人体行为识别；

17、所述数据展示与修正模块用于：接收来自数据识别与预警模块的数据，综合各种数据，在网页端进行可视化展示和报警；同时，在网页端提供管理员操作接口，供管理员发送指令和修正数据。

18、根据本发明优选的，所述作业人员实时信息采集模块包括并行连接的环境信息采集单元、生理信息采集单元、定位信息采集单元以及与其串行连接的数据传输单元；

19、环境信息采集单元用于：获取环境信息；生理信息采集单元用于：获取生理信息；定位信息采集单元用于：获取定位信息；数据传输单元用于：将采集的用户的行为数据通过tcp/ip协议远程实时传输至云服务器的数据库。

20、进一步优选的，所述环境信息采集单元包括空气质量检测单元和近电感应单元；

21、所述空气质量检测单元用于：读取空气中的环境数据，包括若干有毒有害气体的浓度；

22、所述近电感应单元用于：读取人体附近电场强度，实现电厂监测和报警；

23、进一步优选的，生理信息采集单元包括加速度传感器、角速度传感器、温度传感器、ppg传感器；

24、加速度传感器用于获取x、y、z三轴的加速度数据；角速度传感器用于获取角速度传感器的x、y、z三轴角速度数据；温度传感器用于获取体温数据；ppg传感器用于测量心率、血氧饱和度；

25、进一步优选的，定位信息采集单元包括全球定位系统(global positioningsystem，gps)及wi-fi基站信息接收系统；

26、全球定位系统用于获取gps信号、服务信号lbs；wi-fi基站信息接收系统用于获取媒体访问控制地址(media access control address，mac)和信号强度。

27、进一步优选的，预处理包括：依次进行去噪滤波、归一化、数据融合、基于时间序列的截取。

28、根据本发明优选的，所述多模态数据预处理模块包括依次连接的数据接收单元、数据预处理单元、数据归一化单元；

29、所述数据接收单元将接收来自可穿戴设备的各种数据并打包送至所述数据预处理单元，所述数据预处理单元针对不同的数据进行预处理，最后传输至所述数据归一化单元，统一进行归一化后传输至基于转置编码的特征提取与预警模块。

30、根据本发明优选的，基于转置编码的特征提取与预警模块包括并行连接的环境信息处理单元、生理信息处理单元、定位信息处理单元；环境信息处理单元串行连接环境信息预警单元；生理信息处理单元进一步串行连接并行的生理信息预警单元和生理信息识别单元；定位信息处理单元进一步串行连接定位信息解码单元、定位信息融合单元、超出安全区预警单元；

31、所述环境信息处理单元用于处理环境气体信息、环境电压信息，调整环境气体浓度预警值和环境电场电压预警值；

32、所述环境信息预警单元用于对比环境信息与预设预警值，超出预警值时进行报警；

33、所述生理信息处理单元用于处理体温、心率、血氧饱和度、x、y、z三轴的加速度数据、x、y、z三轴角速度数据，根据不同个体情况进行个性化的数据预警阈值设置；

34、所述生理信息预警单元用于根据不同个体进行合理数值范围的判断，并输出预警信息；生理信息预警指的是对收到的生理信号进行处理后得到的结果进行分析，识别出异常后立即报警；异常指的是通过分析佩戴者的心率、血氧、体温的信息，结合佩戴者的体征，发现了在生理医学正常范围之外的数据；

35、所述生理信息识别单元通过基于挤压激励模块与转置编码模块的多通道注意力网络模型实现行为分类和异常行为的预警；其中，行为分类指的是人类行为识别(humanactivity recognition，har)；

36、所述定位信息处理单元针对收集到的lbs、gps定位信号进行分析处理，实现lbs原始基站数据解析，并综合gps和lbs的数据信息，得到数据定位；

37、所述定位信息解码单元进行lbs数据解码，得到可见的数据信息；所述定位信息融合单元对收集到的不同来源的数据进行融合；

38、所述超出安全区预警单元在确认定位后，与预先划定的安全区进行比对，超出安全区范围进行预警。

39、根据本发明优选的，所述基于挤压激励模块与转置编码模块的多通道注意力网络模型包括串行连接的多通道特征与异常监测模块、转置编码模块、输出模块；

40、所述多通道特征与异常监测模块包括串行连接的噪声叠加模块、数据重构模块、异常监测模块、特征向量与异常信息输出模块；所述噪声叠加模块对多通道数据随机选择通道进行叠加高斯噪声，输入数据重构模块，含有噪声的数据随后被输入数据重构模块；

41、所述数据重构模块用于提取输入信号的更高层表达；数据重构模块包括输入层、隐藏层和输出层，输入层到隐藏层为解码，隐藏层到输出层为编码；以隐藏层的输出作为原始输入数据的特征表达，将隐藏层的特征向量输入至特征向量与异常信息输出模块，以输出层作为输入的重建数据，重建数据输出至异常监测模块；

42、所述异常监测模块进行输入数据的异常监测；将筛选出的异常数据输入特征向量与异常信息输出模块；

43、所述特征向量与异常信息输出模块从数据重构模块获取特征向量、从异常监测模块获取异常数据，综合两者数据，剔除输入被检测为异常的特征向量，最终将所有数据分三通道输出到转置编码模块；

44、根据本发明优选的，所述转置编码模块包括串行连接的转置模块、se模块、层归一化模块及输出模块；

45、所述转置模块对输入数据的不通轴进行转置，从而重新分配不同的通道权重，读取三个维度的不同信息，随后将转置后的三种通道信息输入se模块；

46、所述se模块为挤压和激励网络模块；

47、所述层归一化模块将所述se模块的输出进行批量层归一化，将输出的数据输入输出模块；

48、所述输出模块将se模块的输出输入至全连接层，随后输入softmax分类器，进行行为信息的分类识别，求出各个行为的概率，得到最大概率所对应的行为，即为基于挤压激励模块与转置编码模块的多通道注意力网络模型最终的行为识别结果。

49、根据本发明优选的，所述数据展示与修正模块包括信息综合单元，信息综合单元串行连接并行的生理信息展示单元、预警信息报警单元，随后串行连接数据实时展示单元、用户操作单元，随后串行连接并行的错误信息修正单元和指令下发单元；

50、所述信息综合单元用于综合所有的环境信息、定位信息、生理信息及其预警信息；

51、所述生理信息展示单元用于通过网页实时展示生理信息；

52、所述预警信息报警单元用于云服务器将预警信息告知管理员和电力作业人员；

53、所述数据实时展示单元用于通过网页端实时展示所有环境报警信息、定位超越安全区预警信息、人体行为识别信息；

54、所述用户操作单元用于接收用户和管理员的操作，包括数据库调用、数据库修改、数据报警阈值修改；

55、所述指令信息下发单元用于对于管理员的指令，通过网络传输至并控制可穿戴设备。

56、一种基于多模数据的电力作业人员可穿戴远程实时监测方法，通过上述基于多模数据的电力作业人员可穿戴远程实时监测系统实现，包括步骤如下：

57、步骤s1：管理人员选择监控场景

58、管理员通过网页端向可穿戴设备发送命令，对可穿戴设备进行控制，对不同的使用场景下选择不同的收集信息和频率；

59、步骤s2：传感器采集多模态信息

60、在可穿戴设备上接收来自步骤s1的管理员命令，控制传感器选择性地采集用户的生理信息、环境信息以及位置信息，生理信息包括加速度传感器获取的x、y、z三轴的加速度数据和角速度传感器获取的x、y、z三轴角速度数据以及心率、体温，环境信息包括近电数据和危险气体数据，位置信息包括gps、lbs数据和媒体访问控制地址和信号强度；

61、步骤s3：上传云端服务器

62、通过tcp/ip协议，将可穿戴设备收集到的多模态信息实时传输到云端服务器；

63、步骤s4：判断数据类型

64、对云端服务器存储的多模态信息进行分类，环境气体浓度、电场电压为环境数据，gps、lbs、媒体访问控制地址和信号强度数据为定位数据，加速度、角速度、温度、心率数据为行为数据；

65、步骤s5：生理信息预处理

66、对生理信息进行预处理，具体是指：依次进行滤波、归一化、融合与基于时间序列的截取；

67、步骤s6：环境信息预警

68、根据预先用户设定的预警值，与当前的环境气体传感器采集到的环境气体浓度值进行比对，判断是否越界；当收到值大于预先设定的预警值时，进行报警处理；

69、步骤s7：构建并训练行为识别模型

70、行为识别模型即基于转置编码的多通道注意力模型网络，包括多通道特征提取与异常监测模块、转置编码模块；

71、用户设置的参数包括：输入数据的形状、数据重塑后的形状、叠加的噪声参数，通过迭代训练，不断优化行为识别模型的参数，最终得到训练后的行为识别模型，如式(i)所示：

72、

73、式(i)中，a为样本个数，m为类别数，yij为符号函数，如果样本i的真实类别等于j，则取1，否则，取0，pij为观测样本i属于类别j的预测概率；

74、步骤s8：行为实时识别

75、将实时采集并经过预处理的生理信息输入到训练后的基于转置编码的多通道注意力模型网络行为识别模型中进行当前行为的实时识别，输出与生理信息相对应的分类结果；

76、步骤s9：定位数据分析

77、对gps信号和lbs信号分别进行处理，步骤s9包括如下子步骤：

78、步骤s91：数据解码

79、lbs信号进行解码，lbs信号包括通信基站代码，在开源数据仓库中查询代码对应的位置信息，得到解码后的基站位置信息；

80、步骤s93：多模数据融合定位

81、根据解析后的lbs数据与gps数据进行融合定位；获取精确的定位信息；

82、步骤s10：实时信息显示

83、通过数据展示与修正模块内的行为展示单元，将基于转置编码的多通道注意力模型网络输出的行为识别结果进行展示。

84、根据本发明优选的，步骤s7，设置输入数据的参数x，y，z，分别为原始输入数据的长、宽、通道数；

85、设置噪声叠加模块噪声参数l，l为随机0值或取高斯噪声进行叠加；

86、设置数据重构模块初始参数w、b，其中w为网络权重，b为偏置系数；

87、设置参数x′，y′，z′，分别为原始输入数据经过数据重构模块实现特征提取后的长、宽、通道数；

88、设置好batch_size与window_size，batch_size是指多通道特征提取与异常监测模块每一批次行为样本的个数，window_size是指样本数据的长度；

89、设置多通道特征提取与异常监测模块中数据重构模块的输入层有c1个神经元，隐藏层有c2个神经元，输出层有c3个神经元；

90、设置异常监测模块中输入输出的对比函数为f，判断阈值为α；

91、设置se模块的输入形状为x′，y′，z′，分别为数据重构模块的输出形状参数，其excitation部分的缩放参数为seradio；

92、步骤s71：原始数据输入

93、假设输入数据是由n个三轴加速度传感器、三轴角速度传感器的测量输入数据融合构成，大小为batch_size×window_size×6n的生理信息，window_size为数据长度，6n是数据通道数；

94、步骤s72：数据输入多通道特征提取与异常监测模块

95、将大小为batch_size×window_size×6n的生理信息送入多通道特征提取与异常监测模块，将其拆分成x,y,…,z通道数据，输入噪声叠加模块，噪声叠加模块将多通道数据随机选择通道进行叠加高斯噪声，输入数据重构模块；

96、数据重构模块为一个三层网络模型，包括输入层、隐藏层、输出层，其中，输入层神经元数量为c1，隐藏层神经元数量为c2，输出层有c3个神经元，c1、c2与c3的关系为式(ii)：

97、c1>c2≥c3  (ii)

98、最后输出大小为的特征信息，输入异常监测模块；异常监测模块复用数据重构模块的网络结构，通过对比输出层数据与噪声叠加模块输出的数据，获得重建误差，计算通过重建误差得到的异常分数，与判断阈值α进行对比，超过判断阈值α即为异常行为；重建误差的损失函数为式(iii)：

99、l(x,z)＝‖x-z‖2  (iii)

100、式(iii)中，x为叠加噪声前的原始输入层数据，z为输出层数据；

101、步骤s73：数据输入转置编码模块

102、将大小为的特征向量输入行为识别模块；设置原始输入形状为x×y×z，分别表示宽、高、通道数，将原始输入分别沿不同的轴进行转置，获取y×z×x、z×x×y的数据；从而重新分配不同的通道权重，读取三个不同维度的信息，随后将转置后和为转置的三种通道信息输入se模块；

103、步骤s74：数据输入se模块

104、se模块为挤压和激励网络模块，首先利用全局平均集合特征，以有效的方式计算信道注意力，包括依次链接的池化层、全连接层、卷积层、全连接层和卷积层；

105、其中，结合平均池化操作和最大池化操作的注意力机制描述为式(iv)：

106、wc＝σ(f{w1,2}(ap(χ))+f{w1,w2}(mp(χ)))  (iv)

107、式(iv)中，χ为输入三个se模块的张量数据，分别表示平均池化和最大池化操作；σ是sigmod函数，w1,w2为网络参数，用来调整比例因子；式(iv)描述为式(v)：

108、wc＝σ(w2relu(w1ap(χ))+w2relu(w1mp(χ)))(v)

109、步骤s75：加法聚合

110、将se模块输出的三注意力通道通过加法聚合，随后使用z_pooling来保留特征表示，同时压缩深度，被连接和汇聚的特征信息表示为式(vi):

111、z_pooling(χ)＝[maxpool0d(χ),avgpool0d(χ)](vi)

112、式(vi)中，0d是发生最大池化和平均池化的第0个维度的数据；

113、步骤s76：层归一化

114、将上述聚合后的输出进行批量层归一化，得到了1×y×z的输出；

115、步骤s77：输出单元识别结果

116、通过展开层，将生理信息由矢量转换成标量，经过全连接层后输出的信息大小为batch_size×output_length；通过softmax分类器对生理信息的分类识别；将信息大小为的生理信息特征输入softmax分类器，求解各个行为的概率，而最大概率所对应的行为，即为基于转置编码的多通道注意力模型网络最终的行为识别结果。

117、根据本发明优选的，步骤s5，包括以下步骤：

118、步骤s51：生理信息去噪

119、通过小波阈值法对生理信息进行去噪处理；

120、步骤s52：生理信息归一化

121、通过均值归一化方法进行均值归一化处理，使不同量纲的特征处于同一数值量级；

122、步骤s53：多模态数据融合

123、将采集的多种生理信息按照时间戳对齐；

124、步骤s54：基于时间序列的截取

125、参照用户预设的参数，包括滑动窗口的大小、切割频率和滑动窗口的步长，对步骤s53处理后的生理信息进行滑动窗口处理，使生理信息以信息块的形式输入基于转置编码的多通道注意力模型网络。

126、本发明的有益效果为：

127、1、本发明提出了一种基于多模数据的电力作业人员可穿戴远程实时监测系统，通过可穿戴设备收集到的各类数据进行处理和分析，实现对电力工人的监测。

128、2、本发明提出可穿戴设备—云平台—网页端的层次结构，各层分工明确，配合密切，能够清晰明了地掌握工人的各种实时信息并对其异常做出处理。

129、3、本发明在电力作业的特殊应用场景中，收集了特殊数据，设计了特殊的算法。针对电力工人常遇到的问题，收集了近电感应信息、有害气体信息，设计了特殊的室内室外定位算法、人体活动识别算法。本监测系统在电力行业更具有针对性，能够适应行业需求，具有更高的准确性和使用价值。