可以单独对需要特别关注的指标进行监视。通过对其进行特别关注，可以及时发现电力系统运行状态的异常。如图5所示，具体包括如下步骤:
[0085]S41，解析日志信息，确定需要特别关注的指标所属的日志信息类别，即所关心的问题是属于系统日志或访问日志或用户行为日志。
[0086]S42，在解析日志结果中抽取需要特别关注的关键字，“调度作业”、“ERROR”等，将其拼接为字段名，其value值设为I。
[0087]S43，采用Reduce机制，在该日志信息类别中，计算汇总value值，即该字段名在该类别中出现的次数，生成并输出新的键值对。
[0088]S44，提取键值对中的信息，对其进行分析，实现电力系统运行状态的监视。
[0089]综上所述，本发明所提供的电力系统运行状态监视方法，通过基于syslog方式的日志扫描抓取技术获取电力系统的日志信息，然后组合报文前后缀内容，使每条日志信息都具有定制的前后缀信息，使日志信息逐条序列化输出到分布式存储系统(HDFS/HBase)中，结合Hadoop中的Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法监视系统运行状态，从而能及时发现电力系统运行状态的异常，并在第一时间进行处理，有效满足电力系统及时、高效的运行要求。除此之外，应用于系统日志扫描抓取的网络爬虫技术能够从电力系统中抓取多样化的日志数据，并通过Flume工具对其进行统一分析处理，提高了多样化日志数据的处理效率。
[0090]以上对本发明所提供的基于分布式日志分析的电网运行状态监视方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
【主权项】
1.一种基于分布式日志分析的电力系统运行状态监视方法，其特征在于包括如下步骤: Si，获取电力系统的日志信息，并将其合并成日志文件； S2，将日志文件进行分割，对其进行处理得到统一格式的日志信息，使日志文件中的日志信息逐条序列化输出到分布式存储系统中； S3，从分布式存储系统中提取日志信息，结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理，并通过对分类后的日志信息进行分析来监视电力系统运行状态。
2.如权利要求1所述的电力系统运行状态监视方法，其特征在于: 在步骤SI中，获取所述日志信息时采用基于syslog方式的日志扫描抓取方法。
3.如权利要求2所述的电力系统运行状态监视方法，其特征在于所述日志扫描抓取方法包括如下步骤: S11，将位于电力系统各节点上的各个种子模块抓取的日志信息进行选取合并，得到本节点的各类日志信息； S12，在电力系统的各个区域中，对各节点的各类日志信息进行抓取合并，得到各区域的整合数据，并发送到本区数据处理节点对数据进行处理，将其存储到日志文件中； S13，获得选取合并的各类日志信息，从抓取日志信息的节点获得抓取记录数据，经过分析得到日志信息的合并抓取策略，根据需要对合并抓取策略进行调整。
4.如权利要求1所述的电力系统运行状态监视方法，其特征在于结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法监视系统运行状态，具体包括如下步骤: S31，从分布式存储系统中提取日志信息，将其根据抓取日志信息的节点所在位置，按照日志信息类别进行粗分类，在各类别中构建其相似度矩阵，并在分类集中挑选一点作为中心点； S32，使用k最邻近分类算法将各类别的相似度矩阵稀疏化，以稀疏后的相似度矩阵构建包含全部日志类别的共享最临近图； S33，采用Map机制，对于共享最临近图中的每个点，汇总该点距其他点的距离长度； S34，采用Reduce机制，将Map机制汇总的距离长度求和，生成新的键值对； S35，选择距离长度和最大的点作为相似度矩阵中心点，覆盖原中心点，对于离长度和小于长度阈值的点，将其标记为噪点，不再作为类簇中心点； S36，在所有点与点的链接中，移除权重比阈值小的链接，选取彼此链接的点作为一个类簇，使每一个类簇代表一个类别日志信息； S37，根据不同类别日志信息采取进一步分析，得到反映电力系统运行状态的信息，通过观察这些信息的变化实现对电网运行状态的监视。
5.如权利要求4所述的电力系统运行状态监视方法，其特征在于: 在步骤S31中，所述日志信息类别包括:系统日志、访问日志和用户行为日志三类。
6.如权利要求4所述的电力系统运行状态监视方法，其特征在于在步骤S32中，构建全部日志类别的共享最临近图包括如下步骤: 首先以k最邻近算法确定日志信息A和B的邻近点列表，当A与B都在对方的临近点列表中时，两点间建立一条链接；然后将相似度矩阵中与某点无链接的点所对应的相似度设为零，实现相似度矩阵的稀疏化；最后将建立链接的两点及其权重边绘制出来，完成构建全部日志类别的共享最临近图； 两点之间的链接的权重即两点的相似度str(i，j)，相似度计算公式为:str(i, j)=Σ (k+l-m)*(k+l-n)； 其中，k为A与B邻近点列表的大小，m和η为A与B的临近区间在其各自临近列表中的序号。
7.如权利要求1所述的电力系统运行状态监视方法，其特征在于还包括如下步骤: S4，根据电力系统运行状况，确定需要特别关注的指标及其所属日志信息类别，通过在相应的日志信息类别中单独对所述指标进行监视实现对电力系统运行状态的监视。
8.如权利要求7所述的电力系统运行状态监视方法，其特征在于在步骤S4中进一步包括如下步骤: S41，解析日志信息，确定需要特别关注的指标所属的日志信息类别； S42，在解析日志结果中抽取需要特别关注的关键字，将其拼接为字段名； S43，采用Reduce机制，在所述日志信息类别中，计算汇总所述字段名在该类别中出现的次数，生成并输出新的键值对； S44，提取键值对中的信息，对其进行分析，实现电力系统运行状态的监视。
【专利摘要】本发明公开了一种基于分布式日志分析的电力系统运行状态监视方法，包括如下步骤：S1，获取电力系统的日志信息，并将其合并成日志文件；S2，将日志文件进行分割，对其进行处理得到统一格式的日志信息，使日志文件中的日志信息逐条序列化输出到分布式存储系统中；S3，从分布式存储系统中提取日志信息，结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理，并通过对分类后的日志信息进行分析来监视系统运行状态。本发明在系统发生异常时，能及时发现电力系统运行状态的异常，并在第一时间进行处理，有效满足电力系统及时、高效的运行要求。
【IPC分类】G06F17-30, H02J3-00, G06Q50-06
【公开号】CN104616205
【申请号】CN201410681737
【发明人】曹宇, 王梓, 张岩, 孟伶智, 郄洪涛, 舒力, 李华, 阎博, 王桂茹, 张 浩
【申请人】北京科东电力控制系统有限责任公司, 国网天津市电力公司, 国网冀北电力有限公司
【公开日】2015年5月13日
【申请日】2014年11月24日