一种电力物联终端特征的自动化提取方法与流程

本发明涉及电力物联终端设备特征提取，具体涉及一种电力物联终端特征的自动化提取方法。

背景技术：

1、随着电网基建蓬勃发展，为了进一步贯彻落实国家“新基建”的目标，电力物联网的建设被作为重要的渠道和手段。在当前形势下，电力物联网正面临海量的数据采集、高性能的设备接入等需求，对系统平台的数据汇聚与接入能力提出了更高的要求。

2、在电力物联网中，物联管理平台、边缘物联终端的功能及配置原则各异，对于电网设备及客户侧感知、采集和监控等要求日益紧迫，如何及时感知并获取各类设备及客户侧的海量运行信息，统一物联管理和终端标准化接入，形成数据共享共用的生态、充分发挥数据资产价值，实现设备能力扩展的可扩展性和一致性，能够较大幅度的提升工作效率。

3、当前的物联管理平台技术，可实现对边缘设备的部分有效管理，但在感知终端层面，终端辨识相关的体系、标准和基础技术比较缺乏，终端的自动注册和运行状态感知难以实现。由于感知终端类型多样、缺乏统一的终端识别机制等原因，需要人工手动配置接入终端类型、传输协议和信息数据类别，不能做到终端设备特征的自动获取，终端接入效率较低，无法实现对端设备的运行状态等信息的自动感知，难以实现电力系统对边缘终端设备的高效的精益化管控需求。

4、专利公开号为cn1 15801411a的发明中公开了一种电力物联网络攻击行为的高阶数据特征提取和识别方法，该发明主要是基于对电力物联网终端设备的边信道信息进行二次数据构建，重点是实现对攻击行为特征的程序化提取，基于简化的电力物联网络异常行为初级数据特征分析和提取模型，进行了面向实用的高阶数据特征分析和提取，该发明的重点是在于高阶数据特征分析和提取。专利公开号为cn114492613a的发明中公开了一种物联网和非物联网设备识别方法、系统、终端及可读存储介质，该发明涉及了物联网终端的特征提取，它的做法是，从网络流量中提取流量特征和协议特征进而建立初始的随机森林模型；再对新加入设备进行特征提取以及从中选择代表性设备进行标记验证，并用于模型更新，在模型更新过程中基于特征约简判断模型重要性，再删除不重要的特征，提升模型识别精度。这两个专利都不能实现对物联终端特征的自动化提取。

技术实现思路

1、本发明公开了一种电力物联终端特征的自动化提取方法，在对报文实现解析的基础上，对设备上传的流量进行检测和分级，根据业务实际情况，在边缘终端和云端按需执行不同的特征信息提取，并且将特征提取的流程自动化，能够提升计算效率，降低网络时延影响，减少云端计算和存储成本。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种电力物联终端特征的自动化提取方法，所述自动化提取方法包括以下步骤：

4、s1，采用深度检测技术对电力物联终端的流量信息进行识别，并通过哈希映射将识别得到的设备签名保存至对应的签名数据库；

5、s2，设定特征分级规则，对设备特征信息进行分类并打标签，分为浅层特征和深度特征；针对电力物联终端的流量信息，在边缘节点提取设备的浅层特征，在云端提取设备的深度特征；

6、s3，分析各个标签的异常特性，对步骤s2提取的特征进行相关度分析，筛选出相关度高于相关度阈值的特征值；对筛选出的特征值进行降维处理，再对降维处理后的特征值进行聚类或者分类，构建多种模式的特征提取模型；

7、s4，结合工作流自动化编排步骤s3构建得到的多种模式的特征提取模型，完成对流量特征的自动化提取。

8、进一步地，步骤s1中，采用深度检测技术对电力物联终端的流量信息进行识别，并通过哈希映射将识别得到的设备签名保存至对应的签名数据库的过程包括以下步骤：

9、对捕获的电力物联终端的流量信息进行解析，提取出包括源ip地址、目标ip地址、端口号、协议类型在内的关键信息；

10、对解析得到的电力物联终端的流量信息进行局部分段，对所有片段进行哈希计算，生成一个固定长度的哈希值摘要，将生成的哈希值摘要存储在签名数据库中；通过比较两个摘要的相似度来评估电力物联终端的流量信息的相似程度；

11、当新的电力物联终端加入网络时，根据网络流量计算设备的nilsima哈希，并将其与签名数据库中存储的哈希值摘要进行比较，为新的电力物联终端设置具有最高平均哈希相似性分数的设备类型标签。

12、进一步地，对于每个电力物联终端，对电力物联终端的网络通信流生成nilsima哈希，将生成的nilsima哈希存储在签名数据库中。

13、进一步地，步骤s2中，设定特征分级规则，对设备特征信息进行分类并打标签，分为浅层特征和深度特征；针对电力物联终端的流量信息，在边缘节点提取设备的浅层特征，在云端提取设备的深度特征包括以下步骤：

14、s21，选择代表性的电力物联终端设备，收集一定时间段内所有选择的设备的特征数据，构建得到特征数据集；

15、s22，根据特征本质属性信息，设计特征表示方式；

16、s23，采用深度学习算法对特征数据集进行无监督学习，自动学习特征空间结构；

17、s24，基于步骤s23的学习结果，构建初步静态分级规则，得到规则模型；

18、s25，边缘节点实时上报提取的新特征及评估结果，作为一组样本；

19、s26，云端定期收集样本，与历史样本数据一起重新训练规则模型，根据训练结果动态调整规则模型，修改其中部分特征的分类结果。

20、进一步地，步骤s2中，步骤s26中，结合设备运行状态、云端运行状态和训练结果，动态调整规则模型。

21、进一步地，步骤s3中，分析各个标签的异常特性，通过方差分析的统计算法或特征选择算法对步骤s2提取的特征进行相关度分析，筛选出相关度高于相关度阈值的特征值；再采用主成分分析，对筛选出的特征值进行降维处理。

22、进一步地，步骤s3中，使用knn聚类算法，基于数据点之间的距离进行聚类，将相似的数据点分组在一起；使用bp神经网络或决策树算法对新数据进行分类。

23、进一步地，步骤s4中，结合工作流自动化编排步骤s3构建得到的多种模式的特征提取模型，完成对流量特征的自动化提取的过程包括以下步骤：

24、s41，将训练和优化完成的特征提取模型序列化为模型对象，将特征提取模型从训练环境中独立出来；

25、s42，将导出的特征提取模型整合成独立服务，集成到自动化系统中，提供api接口供其它应用程序调用；

26、s43，在电力物联终端设备上安装代理或传感器，使用网络协议将数据流传输到自动化系统；

27、s44，使用自动化流程管理工具，定义特征提取应用的工作流程和任务依赖关系，根据业务实际情况，自动触发特征提取任务，采用特征提取模型提取特征，并实时管理提取任务的执行状态；

28、s45，将提取的特征结果输出到指定数据库进行存储；

29、s46，通过监控特征提取任务的执行状态、性能指标和日志，判断是否出现异常情况，如果出现异常情况，触发报警通知。

30、进一步地，所述自动化提取方法还包括：对指定数据库中的特征结果进行分析，将分析结果实时反馈给对应的电力物联终端，使电力物联终端根据特征结果进行自适应调制；具体包括以下子步骤：

31、实时提取电力物联终端的各类运行特征；

32、将提取出的特征结果通过通信网路或消息队列等实时发送给设备管理系统；其中，在提取结果时，对每条特征记录附加一个类型标记，类型标记包括：性能类特征、错误类特征、使用模式类特征、部署类特征和环境类特征；

33、设备管理系统接收特征结果后，通过反序列化解析消息体，获取特征结果和其类型标记，将特征结果进行路由，根据不同特征类型分发给对应设备的子系统接口，由各子系统根据特征结果自行执行调整行为，令电力物联终端采用自动配置模式，实时应用调整结果进行自我优化；

34、日志系统重新收集后期数据，观测调整效果，循环特征提取和优化过程。

35、进一步地，日志系统重新收集后期数据，观测调整效果，循环特征提取和优化过程的过程包括以下步骤：

36、日志收集系统根据一定时序重新采集设备运行日志，将采集的设备运行日志与原始日志对比，提取出新增日志与修改日志；

37、提取系统根据新增数据，实时更新原有模型，提取新增特征指标；将新增特征指标与历史特征对比，评估调整后的新增特征指标是否趋于期望效果；通过特征效果监控、日志分析，获得关键指标的优化程度，将监测结果反馈给设备管理系统；

38、设备管理系统根据监测结果，评估上一轮调整策略的效果是否达到预期目的；如果没有达到，则通过机器学习提升模型，产生新的优化方案，由设备管理系统下发新一轮调整策略到电力物联终端实施。

39、与现有技术相比，本发明的有益效果如下：

40、本发明的电力物联终端特征的自动化提取方法，在对报文实现解析的基础上，对设备上传的流量进行检测和分级，根据业务实际情况，在边缘终端和云端按需执行不同的特征信息提取，并且将特征提取的流程自动化，能够提升计算效率，降低网络时延影响，减少云端计算和存储成本。