专利名称：基于最大频繁项集的通信告警关联规则挖掘方法
技术领域：
本发明涉及一种基于最大频繁项集的通信告警关联规则挖掘方法，具体地说是一 种。本发明属于通信网络告警监控领域，特别是涉及基于数据挖掘技术的通信告警关联分 析方面。
背景技术：
网络告警数据库中存储了大量历史告警信息，其中蕴含了许多反映网络运行状态 和故障根源的有用信息，利用这些信息可以完善网络故障管理。基于数据挖掘技术的通信 告警关联规则分析，可通过分析告警事务数据，挖掘告警关联规则，揭示出隐含在海量原始 告警数据中的有意义的知识和告警关联性，更加全面和系统的解释网络故障及性能问题， 使得网管人员能快速的进行故障定位并进一步做出故障决策和预测。但是通信网络网元设 备种类繁多，关系复杂，告警数据量巨大，通用型的数据挖掘算法理论上能够挖掘出所有的 频繁项集，进而获得其中的关联规则。但是对于硬件系统的要求很高，需要长时间的计算和 占用大量的存储空间。并且得到的挖掘结果对于实际应用来说，很多是无效的结果，甚至部 分结果是冗余的，无法实现关联规则的高效挖掘，不适于后期告警关联规则的梳理工作与 实际的告警监控和故障定位。
发明内容
为了克服现有技术存在的问题，本发明设计并实现了一种通信告警最大频繁项集 挖掘系统。本发明的目的是提供一种基于最大频繁项集的通信告警关联规则挖掘方法。本发 明的目的是按以下方式实现的，本发明提供了一种创造性的、高效的基于最大频繁项集数 据挖掘的通信告警关联分析系统。通过对实际通信网络进行告警数据分析、网元设备分类、 拓扑结构整理、告警监控系统需求分析等，设计并实现了一套完整的告警关联分析系统，其 中由告警数据预处理、网元设备挖掘分类、告警最大频繁项集数据挖掘、数据挖掘结果处理 及展示四大子系统组成。方法包含以下步骤1)首先从告警监控平台获取一段时间内连续的原始告警数据，根据实际数据挖掘 工作，通过数据清洗，数据提取获取所需要的告警数据，并抽取其中的关键属性，建立待挖 掘的告警数据表；2)根据单一网元、同类设备网元、互连设备的不同挖掘方式，通过设置告警关联时 间窗及滑动步长，遍历告警数据表建立所需要的数据挖掘的事务型数据集合；3)设置数据挖掘支持度参数和置信度参数，利用最大频繁项集的数据挖掘算法， 来挖掘告警中的最大频繁项集，获得所有最大频繁项集结果；4)根据单一网元、同类设备网元及互联设备不同的数据挖掘方式获取的频繁项 集，采取不同的方法进行结果处理，获取告警关联规则，以使数据挖掘对不同的挖掘方式具有更好的针对性；5)对数据挖掘处理后的告警关联规则，通过告警监控平台已经成立的关联规则进 行核对，验证数据挖掘的准确率及覆盖率，证明数据挖掘的有效性和实用性；6)将数据挖掘得到的告警关联规则结合已有的用于告警监控和故障定位的专家系统，进行网络管理平台的告警关联性分析，服务于通信网络监控领域。本发明的优异效果(1)针对不同的挖掘方式，对告警数据进行不同的唯一性标记，使得可以在数据挖 掘中，准确的辨别出任何一条告警数据，提高数据挖掘的准确性。(2)针对实际应用，开发出新的基于最大频繁项集的数据挖掘算法，在确保数据挖 掘结果正确的前提下，极大的提高了数据挖掘的数据处理数量及挖掘效率，该方法能够处 理百万数量级的告警数据，并取得了比较好的挖掘效果，使得告警关联规则数据挖掘具有 更好的工程应用性。(3)在互联设备的挖掘中，根据实际电信网络拓扑关系，对不同拓扑关系下的拓扑 网元组合进行数据获取阶段及结果处理阶段的约束，提高了互联设备的挖掘效率。(4)在结果处理中，结合实际需要，采取多重结果处理机制，最大程度的压缩数据 挖掘的挖掘结果，并结合实际的告警关联规则，给出适当的结果展示方式，极大的方便了告 警关联规则核对工作。
附图1为基于最大频繁项集的通信告警关联规则挖掘方法的结构示意图；
具体实施例方式参照说明书附图对本发明的基于最大频繁项集的通信告警关联规则挖掘方法做 以下详细的说明。本发明的基于最大频繁项集的通信告警关联规则挖掘方法，其步骤如下1)首先从告警监控平台获取一段时间内连续的原始告警数据，根据实际数据挖掘 工作，通过数据清洗，数据提取等获取所需要的告警数据，并抽取其中的关键属性，建立待 挖掘的告警数据表。2)根据单一网元、同类设备网元、互连设备等不同挖掘方式，通过设置告警关联时 间窗及滑动步长，遍历告警数据表建立所需要的数据挖掘的事务型数据集合。3)设置数据挖掘支持度参数和置信度参数，利用基于最大频繁项集的数据挖掘算 法，来挖掘告警中的最大频繁项集，获得所有最大频繁项集结果。4)不同的数据挖掘方式获取的频繁项集结果也不同，因此需要采取不同的方法进 行结果处理，获取告警关联规则，可以使数据挖掘对不同的挖掘方式具有更好的针对性。5)对数据挖掘处理后的告警关联规则，通过告警监控平台已经成立的关联规则进 行核对，验证数据挖掘的准确率及覆盖率，证明数据挖掘的有效性和实用性。6)将数据挖掘得到的告警关联规则结合已有的用于告警监控和故障定位的专家系统，进行网络管理平台的告警关联性分析，服务于通信网络监控领域。本发明基于最大频繁项集数据挖掘的告警关联分析系统，该系统能够挖掘出海量告警中最大频繁项集，不仅能够包含所有的频繁项目子集，还能够节省大量的时间和存储 空间，并在系统实施的过程中根据通信设备类型进行分类挖掘，最后对挖掘结果进行多重 处理，以最完整和简洁的形式给出告警关联规则，真正实现了通信告警海量数据的关联规 则挖掘。在海量电信告警数据下具有很好的应用性，可以根据不同的数据挖掘需求，按照 不同的挖掘方式进行告警关联规则数据挖掘，挖掘出用户感兴趣的最大频繁项集并去除掉 无用的频繁项子集，在提高了挖掘效率的同时，很大程度的压缩了挖掘结果，真正实现了海 量告警数据下的告警关联规则挖掘的准确性和应用效率。本发明的挖掘结果可以直接应用 于告警监控及故障定位方面，因此本发明具有广泛的应用前景和良好的实用价值。实施例基于本发明的数据挖掘告警关联性分析系统，可以采用基于主机的软件实现。具 体实现时的方法和注意事项如下1.事务型告警数据集合获取(1)根据不同的挖掘方式，对告警数据进行清洗、提取、建立适当的告警唯一标记。(2)根据用户设置的告警关联时间窗口及滑动步长，遍历数据库，获取需要的告警 关联事务型数据集合，其中挖掘互联设备需要引入相应的网络拓扑关系约束，获取约束后 的告警关联事务型数据集合。2.最大频繁项集挖掘算法实现(1)利用开发的基于最大频繁项集的数据挖掘算法的接口，传入用户自定义的最 小支持度，进行数据挖掘。(2)在挖掘过程中，在挖掘进行的同时，显示已经挖掘出的结果，进行挖掘过程监 控及参数输入，将数据挖掘的一些相关信息记录在日志文件中。(3)预留与数据挖掘结果处理部分的接口，以便进行相应的结果处理。3.挖掘结果处理及显示(1)根据不同的挖掘方式，采用不同的方法进行结果处理，其中包括子集结果的去 除，相同结果的合并等，最大程度的压缩挖掘结果，提高挖掘结果的实用性。(2)根据用户需求，结合实际应用，采用适当的形式显示并记录挖掘出的告警关联 规则，以便下一步应用于告警监控和故障定位。除说明书所述的技术特征外，均为本专业技术人员的已知技术。
权利要求
1.基于最大频繁项集的通信告警关联规则挖掘方法，其特征在于，包含以下步骤(1)首先从告警监控平台获取一段时间内连续的原始告警数据，根据实际数据挖掘工 作，通过数据清洗，数据提取获取所需要的告警数据，并抽取其中的关键属性，建立待挖掘 的告警数据表；(2)根据单一网元、同类设备网元、互连设备的不同挖掘方式，通过设置告警关联时间 窗及滑动步长，遍历告警数据表建立所需要的数据挖掘的事务型数据集合；(3)设置数据挖掘支持度参数和置信度参数，利用最大频繁项集的数据挖掘算法，来挖 掘告警中的最大频繁项集，获得所有最大频繁项集结果；(4)根据单一网元、同类设备网元及互联设备不同的数据挖掘方式获取的频繁项集，采 取不同的方法进行结果处理，获取告警关联规则，以使数据挖掘对不同的挖掘方式具有更 好的针对性；(5)对数据挖掘处理后的告警关联规则，通过告警监控平台已经成立的关联规则进行 核对，验证数据挖掘的准确率及覆盖率，证明数据挖掘的有效性和实用性；(6)将数据挖掘得到的告警关联规则结合已有的用于告警监控和故障定位的专家系 统，进行网络管理平台的告警关联性分析，服务于通信网络监控领域。
全文摘要
本发明提供了基于最大频繁项集数据挖掘的告警关联规则挖掘系统的构建方法及其实现，针对通信网络中设备的不同类型，设计了单一设备、同类设备及互联设备三种不同的挖掘方式，而按照挖掘范围，又可以将数据挖掘的范围定位到具体的地市级或者通信设备厂商级。确定挖掘方式后，选择告警关联时间窗口，滑动步长等获取告警事务项集合。用户输入最小支持度后，利用最大频繁项集挖掘算法进行告警关联结果挖掘，并根据不同的挖掘方式进行挖掘结果处理及显示。通过一系列过程，实现了从海量告警数据中找出用户所需要的告警关联规则，具有广泛的应用前景和良好的实用价值。
文档编号H04L12/24GK102111296SQ20111000341
公开日2011年6月29日 申请日期2011年1月10日 优先权日2011年1月10日
发明者李洋, 苗再良, 马小波 申请人:浪潮通信信息系统有限公司