一种基于分布式日志分析的电力系统运行状态监视方法
【技术领域】
[0001]本发明涉及一种电力系统运行状态监视方法，尤其涉及一种基于分布式日志分析的电力系统运行状态监视方法，属于电力系统调度技术领域。
【背景技术】
[0002]随着电网规模的日趋扩大和复杂程度的不断增加，特高压互联大电网对电网的一体化运行和统一协调控制提出了新的要求，国家对电网安全、稳定、经济、环保运行的要求也越来越高。电力大数据应运而生，它是大数据理念、技术和方法在电力行业的实践，电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，综合了跨单位、跨专业、跨业务的数据分析、挖掘与数据可视化的功能。
[0003]在电力系统调度环节中，随着智能电网调度技术支持系统的投运，电网数据采集范围和类型不断扩展，在满足对互联大电网全方位的实时监控等方面起到了重要作用。目前，各级调控中心已建成以智能电网调度技术支持系统为核心的一系列调度生产管理运行系统，主要有SCADA/EMS、WAMS、水电及新能源、二次设备在线监视与分析、调度计划、安全校核、调度管理等系统，系统已投入运行，基本满足调度生产需要，在调度生产管理中发挥重要作用。
[0004]电力系统的安全稳定运行需要继电保护和自动装置等就地装置的保护，但仅仅依靠这些就地装置还不能完全保证电力系统的安全运行，因为这些装置往往都是根据局部的信息来处理电力系统的故障，而不能以全局的信息来预测、分析系统的运行情况和处理系统中出现的各种复杂问题，为此，用于系统运行状态监视的日志分析技术亟待开发。
[0005]目前，国内电力企业的系统日志分析技术尚不成熟，大多数系统故障的发现还依赖于故障报警及人力核查，而很多情况下，当故障报警或人力核查发现故障时，系统已经发生了很长时间的异常运行，不能及时发现系统的运行异常，并在第一时间进行处理，大大延长了系统的运维时间，不能满足电网系统及时、高效的运行要求。除此之外，电力企业每天可能会有很多不同的数据分析需求，提供的日志数据也是多样化的，如何对多样化的日志数据进行统一分析处理，也是一个急需解决的问题。
【发明内容】
[0006]本发明所要解决的技术问题在于提供一种基于分布式日志分析的电力系统运行状态监视方法。
[0007]为实现上述发明目的，本发明采用下述的技术方案:
[0008]一种基于分布式日志分析的电力系统运行状态监视方法，包括如下步骤:
[0009]SI，获取电力系统的日志信息，并将其合并成日志文件；
[0010]S2，将日志文件进行分割，对其进行处理得到统一格式的日志信息，使日志文件中的日志信息逐条序列化输出到分布式存储系统中；
[0011]S3，从分布式存储系统中提取日志信息，结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理，并通过对分类后的日志信息进行分析来监视电力系统运行状态。
[0012]其中较优地，在步骤SI中，获取所述日志信息时采用基于syslog方式的日志扫描抓取方法。
[0013]其中较优地，所述日志扫描抓取方法包括如下步骤:
[0014]S11，将位于电力系统各节点上的各个种子模块抓取的日志信息进行选取合并，得到本节点的各类日志信息；
[0015]S12，在电力系统的各个区域中，对各节点的各类日志信息进行抓取合并，得到各区域的整合数据，并发送到本区数据处理节点对数据进行处理，将其存储到日志文件中；
[0016]S13，获得选取合并的各类日志信息，从抓取日志信息的节点获得抓取记录数据，经过分析得到日志信息的合并抓取策略，根据需要对合并抓取策略进行调整。
[0017]其中较优地，结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法监视系统运行状态，具体包括如下步骤:
[0018]S31，从分布式存储系统中提取日志信息，将其根据抓取日志信息的节点所在位置，按照日志信息类别进行粗分类，在各类别中构建其相似度矩阵，并在分类集中挑选一点作为中心点；
[0019]S32，使用k最邻近分类算法将各类别的相似度矩阵稀疏化，以稀疏后的相似度矩阵构建包含全部日志类别的共享最临近图；
[0020]S33，采用Map机制，对于共享最临近图中的每个点，汇总该点距其他点的距离长度；
[0021]S34，采用Reduce机制，将Map机制汇总的距离长度求和，生成新的键值对；
[0022]S35，选择距离长度和最大的点作为相似度矩阵中心点，覆盖原中心点，对于离长度和小于长度阈值的点，将其标记为噪点，不再作为类簇中心点；
[0023]S36，在所有点与点的链接中，移除权重比阈值小的链接，选取彼此链接的点作为一个类簇，使每一个类簇代表一个类别日志信息；
[0024]S37，根据不同类别日志信息采取进一步分析，得到反映电力系统运行状态的信息，通过观察这些信息的变化实现对电网运行状态的监视。
[0025]其中较优地，在步骤S31中，所述日志信息类别包括:系统日志、访问日志和用户行为日志三类。
[0026]其中较优地，在步骤S32中，构建全部日志类别的共享最临近图包括如下步骤:
[0027]首先以k最邻近算法确定日志信息A和B的邻近点列表，当A与B都在对方的临近点列表中时，两点间建立一条链接；然后将相似度矩阵中与某点无链接的点所对应的相似度设为零，实现相似度矩阵的稀疏化；最后将建立链接的两点及其权重边绘制出来，完成构建全部日志类别的共享最临近图；
[0028]两点之间的链接的权重即两点的相似度str (i，j)，相似度计算公式为:str (i，j)=Σ (k+l-m) * (k+l-n)；
[0029]其中，k为A与B邻近点列表的大小，m和η为A与B的临近区间在其各自临近列表中的序号。
[0030]其中较优地，基于分布式日志分析的电力系统运行状态监视方法，还包括如下步骤:
[0031]S4，根据电力系统运行状况，确定需要特别关注的指标及其所属日志信息类别，通过在相应的日志信息类别中单独对所述指标进行监视实现对电力系统运行状态的监视。
[0032]其中较优地，在步骤S4中进一步包括如下步骤:
[0033]S41，解析日志信息，确定需要特别关注的指标所属的日志信息类别；
[0034]S42，在解析日志结果中抽取需要特别关注的关键字，将其拼接为字段名，其value值设为I ;
[0035]S43，采用Reduce机制，在所述日志信息类别中，计算汇总所述字段名在该类别中出现的次数，生成并输出新的键值对；
[0036]S44，提取键值对中的信息，对其进行分析，实现电力系统运行状态的监视。
[0037]本发明所提供的电力系统运行状态监视方法，从电力系统中获取日志信息，结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理，并通过对分类后的日志信息进行分析来监视电力系统运行状态，从而在系统发生异常时，能及时发现并在第一时间进行处理，有效满足电力系统及时、高效的运行要求。