一种基于关联规则挖掘的信息系统运行规则库的构造方法
【专利摘要】本发明公开了一种基于关联规则挖掘的信息系统运行规则库的构造方法，其特征在于，包括如下步骤：S01：获得信息系统的网络拓扑架构和所有设备的动态监控指标和静态监控指标；S02：通过网络拓扑架构和设备的动、静态监控指标生成网络故障树，并通过网络故障树生成基本规则库；S03：对信息系统的历史数据执行关联规则挖掘算法，得到关联规则库；S04：结合基本规则库和关联规则库进行推理生成扩展规则库；其中，各规则库的检索优先级是：基本规则库＞关联规则库＞扩展规则库。利用故障树技术和关联规则挖掘技术来智能生成信息系统运行规则库，并采用机器学习技术来对规则进行优化。进一步的，设计了规则的三域结构，实现了规则的自动排序和自动调整。
【专利说明】一种基于关联规则挖掘的信息系统运行规则库的构造方法
【技术领域】
[0001] 本发明涉及一种基于关联规则挖掘的信息系统运行规则库的构造方法。
【背景技术】
[0002] 为保证信息系统安全、稳定、有效运行，国家电网公司在2008年启动了覆盖"综合 网管、桌面管理、安全管理、运维服务"的信息运维综合监管系统（以下简称"頂S"）的建设， 于2011年完成系统全网推广，并在2012年完成了以"深化采集、设备管理、一单两票、告警 中心、展示中心、绿色机房"六大模块为核心的IMS系统的深化应用建设工作，全面覆盖了网 络、网络设备、主机、数据库、中间件、桌面终端、安全设备等IT基础设备以及业务系统的实 时监控，为全网的信息系统运行维护工作提供了技术支撑手段。
[0003] 但是在运行监控规则设定与判断方面还存在着以下不足：
[0004] 一、IT基础设施与业务系统的运行性能监控还是需要运维人员根据历史运维经验 和专业方向知识来设定监控阈值规则，不能自适应IT基础设施与业务系统的运行规律，在 某些时间段内固化的监控阈值规则不符合实际运行情况，容易产生误报、漏报；
[0005] 二、设定的运行监控规则不能进行合理性的判断，无法验证设定的运行监控规则 是否贴合IT基础设施与业务系统的实际运行情况；
[0006] 三、运行监控规则的设定没有自学习功能，不能根据IT基础设施与业务系统的历 史运行情况自行调整优化。
【发明内容】
[0007] 针对上述问题，本发明提供一种基于关联规则挖掘的信息系统运行规则库的构造 方法，利用故障树技术和关联规则挖掘技术来智能生成信息系统运行规则库，并采用机器 学习技术来对规则进行优化。进一步的，设计了规则的三域结构，实现了规则的自动排序和 自动调整。
[0008] 为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
[0009] -种基于关联规则挖掘的信息系统运行规则库的构造方法，其特征在于，包括如 下步骤：
[0010] SOl :获得信息系统的网络拓扑架构和所有设备的动态监控指标和静态监控指 标；
[0011] S02 :通过网络拓扑架构和设备的动、静态监控指标生成网络故障树，并通过网络 故障树生成基本规则库；
[0012] S03 :对信息系统的历史数据执行关联规则挖掘算法，得到关联规则库；
[0013] S04 :结合基本规则库和关联规则库进行推理生成扩展规则库；
[0014] 其中，各规则库的检索优先级是：基本规则库〉关联规则库〉扩展规则库。
[0015] 优选，基本规则库的每个规则为三域结构，即包括，
[0016] 规则序列域：规则在实际的运行过程中执行成功的次数，执行失败的次数，规则最 终计数及规则排序；
[0017] 规则标识域：用来标识该规则的从属对象；
[0018] 规则主体域：用于对规则的详细说明。
[0019] 优选，系统实时执行规则排序算法和规则流动算法对规则进行优先级确定和规则 刷新。
[0020] 其中，在每个规则库中，通过规则序列域中的规则最终计数指标来确定规则被检 索的优先级，其中，规则最终计数的公式为：
[0021] F = R-0. 5W
[0022] 式中，F为最终计数，R为在实际运行过程中规则执行成功的次数，W为规则执行失 败的次数；如果对执行失败的场景进行机器学习，对相关规则经过优化并解决相关问题，则 相应的执行失败的次数W减一。
[0023] 优选，关联规则库的规则流动算法是：在系统实际运行过程中，规则只要有一次被 证明是正确的，直接移动到基本规则库；如果该规则有两次被证明错误，则删除该规则。 [0024] 优选，扩展规则库的规则流动算法是：使用历史数据来验证所有规则，
[0025] 对于成功率在80%?100%的规则，使用历史数据进行机器学习后直接移动到基 本规则库；
[0026] 对于成功率在60%?80%的规则，使用历史数据进行机器学习后，如果成功率大 于80%则移动到基本规则库，否则继续留在扩展规则库，并接受运行数据的机器学习，直到 其成功率大于80% ;
[0027] 对于成功率在50%?60%的规则，使用历史数据和运行数据进行机器学习，直到 其成功率大于80%，移动到基本规则库，否则继续留在扩展规则库；
[0028] 对于成功率小于50%的规则，直接删除。
[0029] 本发明实现信息系统运行规则库动态构建和优化，可应用于公司信息运维综合监 管平台，使监控告警规则的建立与维护更容易，规则匹配效率更高，从而迅速适应信息系统 对象、运行环境、运行状态数据源的各种变化，同时满足大规模信息系统规则集匹配处理实 时性要求，大大提高规则系统的实用性，提升信息系统监控报警、安全管理、行为审计和合 规管理质量。
[0030] 本发明的有益效果是：
[0031] 一、规则库的区域化构造：本发明方法设计的规则库共有三个分区，分别存储基本 规则、关联规则和扩展规则，其中基本规则的优先级最高，关联规则次之，扩展规则的优先 级最低。通过规则库的分区，可以通过规则的优先级管理确定规则检索的优先级顺序，并且 低区域规则可以通过不断的实时机器学习进行升级，实现规则由低向高的流动。
[0032] 二、规则的三域结构：规则的三域结构包括规则序列域，规则标识域和规则主体 域：规则序列域通过量化的手段实现规则的优先级排序；规则标识域用来标识该规则的从 属对象，以便于网络拓扑架构改变时的规则库自适应调整；规则主体域存储了规则的主体 部分，这是对规则的详细说明。
[0033] 三、实时的自适应阈值调整：系统利用性能历史数据和运行数据，分析计算出适合 业务运行告警要求的告警阈值，提高针对信息系统的告警自学习能力，采用阈值规划算法 动态调整告警阈值，做到从事件的源头减少事件量，提高了监控告警的质量。
[0034] 四、新增规则入库的自动化合理性分析：新增规则可以由系统自动生成，也可以人 工添加。对于新增规则，采用历史数据和实时运行数据对规则进行合理化分析，确定规则的 可用性。
[0035] 五、规则的自动调整优化：通过实时执行规则排序算法和规则流动算法，来对规则 进行优先级确定和优先级的刷新或升级，确保规则库处于最优状态，提高规则的检索效率 和规则的正确率，从而提高系统性能。
【专利附图】
【附图说明】
[0036] 图1是本发明一种基于关联规则挖掘的信息系统运行规则库的构造方法的流程 图；
[0037] 图2是本发明基本规则库的规则的三域结构图；
[0038] 图3是本发明规则库三区扩展规则流动算法流程图。
【具体实施方式】
[0039] 下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领 域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限 定。
[0040] 一种基于关联规则挖掘的信息系统运行规则库的构造方法，如图1所示，包括如 下步骤：
[0041] SOl :获得信息系统的网络拓扑架构和所有设备的动态监控指标和静态监控指标。
[0042] 首先通过拓扑发现技术得到网络拓扑架构，然后对拓扑架构中的每个网络设备， 米集相应的动态监控指标和静态监控指标，包括网络指标、安全指标、王机指标、数据库指 标、中间件指标和业务系统指标TK大类。
[0043] 网络指标包括链路时延、网络设备健康运行时长、网络设备状态、网络设备CPU使 用率、网络设备内存使用率、接受丢包率、发送丢包率、接收错包率、发送错包率、接口接收 流量、接口发送流量、接口总流量和接口带宽利用率；安全指标包括安全事件、安全设备的 状态（CPU、内存等）以及合规性；主机指标包括主机状态、健康运行时长、CPU使用率、内存 使用率、磁盘空间使用率、关键进程数和主机配置信息。
[0044] 数据库指标有SqlServer指标、Oracle指标和DB2指标。其中SqlServer指标 包括SGA的命中率、可用缓存大小、字典缓冲区的命中率、共享缓存区的命中率、Redo日志 缓存区的命中率、会话数量、可用会话数量、事务响应时间、表空间可用率、表空间增长率和 MTS性能；Oracle指标包括会话数量、可用会话数量、事务响应时间、表空间可用率、表空 间增长率、共享内存使用率、共享内存命中率和回滚段使用率；DB2指标包括Process可用 率、缓冲池（Bufferpool)可用率、缓冲池命中率、表空间可用率、表空间增长率、排序指数 (SortsPerTransaction)、会话数量以及可用会话数量。
[0045] 中间件指标有Weblogic指标和Websphere指标。其中Weblogic指标包括JVM内 存堆空闲量、JVM内存堆总量、JVM内存堆使用率、Servlet所有调用的执行时长、Servlet 单个调用的最长执行时长、Servlet平均执行时长、Servlet执行次数、JDBC pool最大容 量、JDBC Pool活动连接数的高水位线、JDBC Pool等待连接数的高水位线、JDBC Pool实例 化以来累计的连接数、JDBC Pool平均活动连接数、JDBC Pool平均连接时延、JDBC Pool泄 漏的连接数、JDBC pool的当前容量、JDBC Pool重新连接的失败数、JDBC Pool最大可用连 接数、JDBC Pool最大不可用连接数、JDBC Pool LEAKED连接数、JDBC Pool中的可用连接 数、JDBC POOL中的不可用连接数、JDBC Pool利用率、当前会话数、最大会话数以及会话占 用率；Websphere指标包括JVM内存空闲量、JVM内存总量、JVM内存使用率、平均会话生存 期、当前访问的会话总数、当前存活的会话总数、JDBC pool最大容量、JDBC Pool平均活动 连接数、JDBC Pool平均连接时延、JDBC Pool泄漏的连接数、JDBC pool的当前容量、JDBC Pool重新连接的失败数、JDBC Pool最大可用连接数、JDBC Pool最大不可用连接数、JDBC Pool LEAKED连接数、JDBC Pool中的可用连接数、JDBC POOL中的不可用连接数以及JDBC Pool利用率。
[0046] 业务系统指标包括在线用户数、日登录用户数、业务系统运行状态、业务系统接口 状态和业务系统健康运行时长。
[0047] S02 :通过网络拓扑架构和设备的动、静态监控指标生成网络故障树，并通过网络 故障树生成基本规则库。通过故障树的构建可以简洁明了的表示各个监控指标以及各个网 络设备之间的关系。其中，基本规则库中的相关阈值通过对历史数据的机器学习和执行阈 值规划算法来确定。
[0048] 针对基本规则，设计了规则的三域结构，如图2所示，包括规则序列域、规则标识 域和规则主体域。
[0049] 规则序列域用来存储规则在实际的运行过程中执行成功的次数、执行失败的次 数、规则最终计数及规则排序。规则序列域存在的目的是为了便于对规则的优先级进行排 序，提1?规则的检索效率。
[0050] 规则标识域用来标识该规则的从属对象，例如规则是某个网络设备的专属规则， 或者规则从属于某个子网或整个网络。规则标识域存在的目的是为了对每条规则进行标 识，在网络拓扑结构发生改变的时候，可以通过规则的标识域识别需要删除和修改的规则， 并且通过对变动部分的拓扑结构重新生成相应的基本规则来实现规则的增删改，智能构造 适应新网络架构的规则库。
[0051] 规则主体域存储了规则的主体部分，这是对规则的详细说明。规则就是产生式规 贝U，是指人们思维判断中的一种固定逻辑结构关系。一般产生式的结构可表示为自然语言 形式，事实上，在自然语言表达中，人们广泛使用的各种"原因一-结果"，"条件一结论"，"前 提一操作"，"事实一进展"，"情况一行为"等结构，都可归结为产生式的知识表达形式。规则 的基本形式：A -B或者IF A THENB，A是产生式的前提（前件），用于指出该产生式是否可 用的条件。B是一组结论或操作（后件），用于指出当前提A所指示的条件满足时，应该得 出的结论或应该执行的操作。产生式规则推理的推理方式有正向推理、逆向推理和双向推 理三种。三种推理方式在不同情境下都有相应的优势，在规则推理方式选择时综合考虑。
[0052] S03 :对信息系统的历史数据执行关联规则挖掘算法，得到关联规则库，关联规则 是通过关联规则挖掘生成，并通过历史数据检验的规则。
[0053] 优选，采用基于分支筛选优化策略和数据库单次扫描技术的改进的Apriori算法 来进行历史数据关联规则的挖掘。Apriori算法是一种挖掘关联规则的频繁项集算法，算法 分为两个阶段：寻找频繁项集和由频繁项集挖掘关联规则。算法原理是从数据集中寻找满 足最小支持度的频繁项集，进而根据频繁项集产生关联规则。Apriori算法是一个很经典 的关联规则挖掘算法，但是存在两个弊端，在寻找频繁项集会产生很多候选集，浪费大量计 算效率和时间，且需要多次扫描数据库，严重影响算法效率。针对第一个问题，采用哈希表 和位容器对候选集进行过滤，减少算法在产生候选集上的消耗。因为经典算法的主要消耗 在(：1，11，02，12的产生上，在02的生成中过滤更多的分支，可以大大提高算法效率。针对 第二个问题，经典算法每次计算支持度均需扫描整个数据库，而算法中计算支持度的频率 非常高，这就需要频繁扫描数据库，导致算法效率不高。所以通过维护一个布尔矩阵来记录 数据库中所有的事务信息，只需扫描一次数据库就可以构建布尔矩阵，这个布尔矩阵包含 了计算支持度需要的所有数据，以后就不需要再次扫描数据库了，大大提高了算法效率。
[0054] 通过改进的Apriori算法，可以对历史数据进行关联规则挖掘，得到的结果在阈 值规划算法的配合下，可以智能生成关联规则库。关联规则是从历史数据中挖掘出来的，通 过了历史数据的检验，可信度比较高，但是关联规则仍存在一些不确定性，必须通过运行数 据的检验才能升级为基本规则。
[0055] 关联规则库中的相关阈值通过对历史数据的机器学习和执行阈值规划算法来确 定。
[0056] 基本规则库和关联规则库在阈值的确定上，利用性能历史数据，分析计算出适合 业务运行告警要求的告警阈值，提高针对信息系统的告警自学习能力，优化告警逻辑，动态 调整告警阈值，做到从事件的源头减少事件量，提高监控告警的质量。
[0057] 优选，某个指标的阈值规划算法为：
[0058] 对指标在网络正常运行状况下的历史数据进行统计分析，确定其最大值，最小值 和中位数，然后按以下公式来确定阈值：
[0059]
【权利要求】
1. 一种基于关联规则挖掘的信息系统运行规则库的构造方法，其特征在于，包括如下 步骤： 501 :获得信息系统的网络拓扑架构和所有设备的动态监控指标和静态监控指标； 502 :通过网络拓扑架构和设备的动、静态监控指标生成网络故障树，并通过网络故障 树生成基本规则库； 503 :对信息系统的历史数据执行关联规则挖掘算法，得到关联规则库； 504 :结合基本规则库和关联规则库进行推理生成扩展规则库； 其中，各规则库的检索优先级是：基本规则库〉关联规则库〉扩展规则库。
2. 根据权利要求1所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，基本规则库的每个规则为三域结构，即包括，规则序列域：规则在实际的运行 过程中执行成功的次数,执行失败的次数,规则最终计数及规则排序； 规则标识域：用来标识该规则的从属对象； 规则主体域：用于对规则的详细说明。
3. 根据权利要求1所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，基本规则库和关联规则库中的相关阈值通过对历史数据的机器学习和执行阈 值规划算法来确定。
4. 根据权利要求3所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，所述阈值规划算法为： 对指标在网络正常运行状况下的历史数据进行统计分析，确定其最大值，最小值和中 位数，然后按以下公式来确定阈值：
式中，Ti为阈值,Di为网络正常运行状况下的指标最大值，Xi为网络正常运行状况下的 指标最小值，Mi为指标设计的最大值，Zi为网络正常运行状况下的指标中位数。
5. 根据权利要求1所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，系统实时执行规则排序算法和规则流动算法对规则进行优先级确定和规则刷 新。
6. 根据权利要求5所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，在每个规则库中，通过规则序列域中的规则最终计数指标来确定规则被检索 的优先级，其中，规则最终计数的公式为： F = R-0. 5W 式中，F为最终计数，R为在实际运行过程中规则执行成功的次数，W为规则执行失败的 次数；如果对执行失败的场景进行机器学习，对相关规则经过优化并解决相关问题，则相应 的执行失败的次数W减一。
7. 根据权利要求5所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，关联规则库的规则流动算法是： 在系统实际运行过程中，规则只要有一次被证明是正确的，直接移动到基本规则库；如 果该规则有两次被证明错误，则删除该规则。
8. 根据权利要求5所述的一种基于关联规则挖掘的信息系统运行规则库的构造方法， 其特征在于，扩展规则库的规则流动算法是： 使用历史数据来验证所有规则，对于成功率在80%?100%的规则，使用历史数据进 行机器学习后直接移动到基本规则库；对于成功率在60%?80%的规则，使用历史数据进 行机器学习后，如果成功率大于80%则移动到基本规则库，否则继续留在扩展规则库，并接 受运行数据的机器学习，直到其成功率大于80 % ;对于成功率在50 %?60 %的规则，使用 历史数据和运行数据进行机器学习，直到其成功率大于80%，移动到基本规则库，否则继续 留在扩展规则库；对于成功率小于50%的规则，直接删除。
9. 根据权利要求1所述的一种基于关联规则挖掘的信息系统运行规则库的构造方 法，其特征在于，步骤S03中，采用基于分支筛选优化策略和数据库单次扫描技术的改进的 Apriori算法来进行历史数据关联规则的挖掘；其中，所述改进的Apriori算法采用哈希表 和位容器对候选集进行过滤，减少算法在产生候选集上的消耗，且通过维护一个布尔矩阵 来记录数据库中所有的事务信息。
10. 根据权利要求1所述的一种基于关联规则挖掘的信息系统运行规则库的构造方 法，其特征在于，系统运维人员可以直接增加和删除规则，并对已有规则的相关属性进行修 改。
【文档编号】G06N5/02GK104376365SQ201410708182
【公开日】2015年2月25日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】陈龙, 刘嘉华, 何金陵, 康睿, 王琪, 周锁, 盛华 申请人:国家电网公司, 南京南瑞集团公司, 南京南瑞信息通信科技有限公司, 江苏省电力公司, 江苏省电力公司信息通信分公司