一种运维数据挖掘及合规检查方法与系统与流程

本发明涉及数据管理，尤指代一种运维数据挖掘及合规检查方法与系统。

背景技术：

在当前数据管理领域中，随着业务范围的不断扩充以及新增应用系统陆续投产，维护部面临人力资源紧张，生产合规压力加重的问题。其中数据管理领域中，生产运维活动会产生大量告警、事件等运维数据。其以结构化或半结构化的形式存在。即使相似的报警，由于内容的差别无法直接合并统计；同时，对使用自然语言描述的事件内容，无法通过简单提炼语义规则进行识别。这都给运维行为分析带来困扰；由于海量运维行为数据的存在，安全合规检查多采用抽查方式进行，难以做到全量覆盖。而即使选择抽查，往往还会被形式各异的同类型告警或事件所困扰，人力成本和时间成本消耗较大。同时现有传统的数据维护方法也存在如下问题：1.现有问题因人工处理效率较低，无法及时曝光；2.原始数据不够直观，一线人员乃至管理人员无法直接从原始明细记录把握关键信息和趋势，无法得到参照和关联分析，形式不够动态，因此数据可利用率低；3.系统隐患未提前知悉；4.合规检查工作压力繁重，随着社会各行各业对生产安全合规工作的高度重视，监控和事件作为重点关注项目，也纳入生产合规检查范畴中，由于每天每个团队都会产生大量监控告警及事件，合规检查工作及其耗费人力成本，而且资源有限，合规检查工作不能覆盖100％的监控告警及事件记录，存在检查遗漏现象；同时，人工简单统计和走查，也不能形成全面和系统性关联分析，准确率也不能完全保证。因此如果能全覆盖、更精准的分析现有监控及事件，将有效扼制隐患风险，保障系统稳定，减少自查缺陷率，减轻运维及安全管理人员压力。

经研究发现，现有技术在解决以上问题时，存在如下缺点：

一、监控信息千差万别，采用精确匹配合并无法实现有效聚类，无法发现规律，无法从更大范围对生产运维数据进行挖掘。

二、若直接使用无监督机器学习的k均值算法，面临对聚簇个数k的调整。由于无法事先得知k的个数，对k调参耗费大量的工作。

三、自定义语义规则无法适应所有场景。若试图穷举分析事件描述中的特征，提炼语义规则，当新语义描述案例出现时，将面临系统实现上的调整。

技术实现要素：

为解决上述问题，本发明目的在于对无监督机器学习的二分-k均值算法进行自主优化，结合朴素贝叶斯算法，实现对非结构化的告警和事件信息的聚类合并、关键词识别。进而暴露系统在监控、事件中蕴含的潜在问题。在对生产系统“冒烟”“治未病”的同时，极大提升了生产安全检查的效率和覆盖度，大幅度减少人力和时间的投入，起到减本增效的作用。

为达上述目的，本发明所提供的运维数据挖掘及合规检查方法，具体包含：获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。

在上述运维数据挖掘及合规检查方法中，优选的，对所述非结构化数据进行分词处理包含：通过jieba分词系统对所述非结构化数据进行分词。

在上述运维数据挖掘及合规检查方法中，优选的，根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型包含：获取所述数字向量模型中的告警信息，根据所述告警信息和预设的期望相似度，通过二分k均值算法获得告警信息的聚类，根据所述告警信息的聚类获得运维数据处理模型。

在上述运维数据挖掘及合规检查方法中，优选的，根据所述告警信息和预设的期望相似度，通过二分k均值算法获得告警信息的聚类包含：对低于所述预设的期望相似度的所述数字向量模型进行拆分，当所述数字向量模型大于或等于所述预设的期望相似度时，获得所述数字向量模型的归类信息；根据所述数字向量模型的归类信息获得告警信息的聚类。

在上述运维数据挖掘及合规检查方法中，优选的，根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型包含：获取所述数字向量模型的事件描述信息，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记，获得所述事件描述信息的类别；根据所述事件描述信息的类别获得所述事件描述信息中的关键要素点，根据所述关键要素点获得运维数据处理模型。

在上述运维数据挖掘及合规检查方法中，优选的，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记还包含：通过tf-idf权重方法对所述事件描述信息进行分类。

本发明还提供一种运维数据挖掘及合规检查系统，所述系统包含数据解析模块、分词模块、机器学习模块和处理模块；所述数据解析模块用于获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；所述分词模块对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；所述机器学习模块用于根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；以及根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；所述处理模块用于根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。

上述运维数据挖掘及合规检查系统中，优选的，所述机器学习模块还包含：获取所述数字向量模型中的告警信息，根据所述告警信息和预设的期望相似度，通过二分k均值算法获得告警信息的聚类，根据所述告警信息的聚类获得运维数据处理模型。

上述运维数据挖掘及合规检查系统中，优选的，所述机器学习模块还包含比较单元，所述比较单元用于对低于所述预设的期望相似度的所述数字向量模型进行拆分，当所述数字向量模型大于或等于所述预设的期望相似度时，获得所述数字向量模型的归类信息；根据所述数字向量模型的归类信息获得告警信息的聚类。

上述运维数据挖掘及合规检查系统中，优选的，所述机器学习模块还包含：获取所述数字向量模型的事件描述信息，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记，获得所述事件描述信息的类别；根据所述事件描述信息的类别获得所述事件描述信息中的关键要素点，根据所述关键要素点获得运维数据处理模型。

本发明所提供的运维数据挖掘及合规检查方法及系统不仅对无监督机器学习的二分-k均值算法进行自主优化，结合朴素贝叶斯算法，实现对非结构化的告警和事件信息的聚类合并、关键词识别；进而暴露系统在监控、事件中蕴含的潜在问题；在对生产系统“冒烟”“治未病”的同时，极大提升了生产安全检查的效率和覆盖度，大幅度减少人力和时间的投入，起到减本增效的作用。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的运维数据挖掘及合规检查方法的流程示意图；

图2为本发明所提供的运维数据挖掘及合规检查系统的结构示意图；

图3为本发明所提供的运维数据挖掘及合规检查系统的一实施例的结构示意图。

具体实施方式

为了使本申请的技术特点及效果更加明显，下面结合附图对本申请的技术方案做进一步说明，本申请也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本申请的保护范畴。

在本说明书的描述中，参考术语“一实施例”、“一具体实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

请参考图1所示，在本实施例中，本发明所提供的本发明所提供的运维数据挖掘及合规检查方法，具体包含：s101获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；s102对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；s103根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；s104根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；s105根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。在该实施例中，所述数字向量模型包含告警信息和事件描述两种，本发明主要是通过jieba分词系统对所述非结构化数据进行分词，在将文本模型转换为数字向量模型，为后续机器学习算法提供基础，其后所述及其学习算法在分别对所述告警信息和事件描述两种数据分别进行分析和提取，将上述非结构化数据转化为结构化数据的格式后，再统一分析处理；具体流程，本发明将在后续详细说明，在此就不再详述。

在本发明一实施例中，根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型包含：获取所述数字向量模型中的告警信息，根据所述告警信息和预设的期望相似度，通过二分k均值算法获得告警信息的聚类，根据所述告警信息的聚类获得运维数据处理模型。进一步的，根据所述告警信息和预设的期望相似度，通过二分k均值算法获得告警信息的聚类包含：对低于所述预设的期望相似度的所述数字向量模型进行拆分，当所述数字向量模型大于或等于所述预设的期望相似度时，获得所述数字向量模型的归类信息；根据所述数字向量模型的归类信息获得告警信息的聚类。

在上述实施例中，当所述非结构化数据为告警信息时，则可通过本发明所提供的二分k均值算法对其进行聚类，具体的可通过对运维数据的无监督机器学习，自动聚簇归类。例如：首先对告警信息分词，根据分词将告警或事件描述映射到数字化向量空间；然后对向量空间中的告警计算到最初始质心点的距离；在每轮迭代中，对不满足预设相似度的簇进一步拆分为新簇；最后，经过若干轮迭代，告警信息被分为若干个簇，且簇内各点到质心点的距离满足预设要求，选取每个簇中距离各点平均距离最小的点作为代表，将其内容作为该簇的归类信息亦即所述运维数据处理模型。该二分-k均值算法主要通过输入分词后的告警内容、期望的相似度(例如65％)；从2个质心点开始迭代形成聚簇，每轮拆分平均举例最大的聚簇类，直到所有聚簇满足期望相似度，此时的聚簇数就是最优k值。每个簇中与各告警举例最短的信息，即为该簇的代表告警，予以返回；从而实现对告警信息的聚类。以此，采用该方式可有效克服现有技术中，k阶算法的无监督机器学习中面临k值选取问题，例如k值选取的过小，不同类的信息会聚在同一簇中；k值选取过大，同一类信息会散落在多个簇中，k值选取需要耗费一定调参成本的问题。

当所述非结构化数据为事件描述信息时，本发明则通过朴素贝叶斯分类方法进行处理；具体的，在本发明一实施例中，根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型包含：获取所述数字向量模型的事件描述信息，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记，获得所述事件描述信息的类别；根据所述事件描述信息的类别获得所述事件描述信息中的关键要素点，根据所述关键要素点获得运维数据处理模型。其中，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记还包含：通过tf-idf权重方法对所述事件描述信息进行分类。以此，在分词的基础上，使用朴素贝叶斯分类器对非结构化的事件描述进行类别标记，基于积累的训练样本，采用tf-idf权重对每个待分类项计算后验概率；取后验概率最高的的类别作为事件描述的关键信息点亦即所述运维数据处理模型；例如应用系统名称、作业步骤名称、作业异常类型、疑似不合规问题项。实际工作中，所述朴素贝叶斯分类器处理事件描述主要是将事件描述分词后，对每一个待分类项，利用已有的训练集，计算其后验概率p(c|x)，选择后验概率最大的类别标记作为其类别，类别标记共有4类：系统名称、作业步骤名称、事件类别、疑似合规问题；从而实现从非结构化描述信息中提取事件的关键要素点。

在上述实施例中，tf-idf(termfrequency-inversedocumentfrequency)为现有的统计方法，用以评估某一字词对于一个文件集或一个语料库中的其中一份文件的重要程度；字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

在本发明一实施例中，根据所述结构化的运维数据获得运维数据检查结果还可包含通过jfreechart可视化技术将上述运维数据信息转化的结构化数据根据预设统计逻辑，生成饼图、柱状图、热力图等可视化文件，以便于用户更为直观的查看了解，其后还可通过jxl报表生成方法将所述结构化数据和上述图表为指定应用场景生成excel报表文件；当然所述jfreechart可视化技术及所述jxl报表生成方法均为现有技术，本发明在此就不再过多介绍。

综上所述，本发明所提供的运维数据挖掘及合规检查方法将二分k均值算法、朴素贝叶斯分类作用于告警和事件描述两个非结构化场景中；减少了对语义逻辑的分析提炼，避免了在语义发生改变时对程序逻辑的修改；其中，二分-k均值算法中无需对k值进行预设，而仅指定簇内相似度目标，当簇划分满足相似度目标后，算法自动停止，节省人工成本。

请参考图2所示，本发明还提供一种运维数据挖掘及合规检查系统，所述系统包含数据解析模块201、分词模块202、机器学习模块203和处理模块204；所述数据解析模块用于获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；所述分词模块对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；所述机器学习模块用于根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；以及根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；所述处理模块用于根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。

在本发明一优选的实施例中，所述机器学习模块还包含：获取所述数字向量模型中的告警信息，根据所述告警信息和预设的期望相似度，通过二分k均值算法获得告警信息的聚类，根据所述告警信息的聚类获得运维数据处理模型。

在上述实施例中，所述机器学习模块还包含比较单元，所述比较单元用于对低于所述预设的期望相似度的所述数字向量模型进行拆分，当所述数字向量模型大于或等于所述预设的期望相似度时，获得所述数字向量模型的归类信息；根据所述数字向量模型的归类信息获得告警信息的聚类。

在本发明一实施例中，所述机器学习模块还包含：获取所述数字向量模型的事件描述信息，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记，获得所述事件描述信息的类别；根据所述事件描述信息的类别获得所述事件描述信息中的关键要素点，根据所述关键要素点获得运维数据处理模型。

在本发明一实施例中，所述运维数据挖掘及合规检查系统还可包含jfreechart可视化展示模块和jxl报表生成模块，实际工作中，本发明所提供的运维数据挖掘及合规检查系统简图如图3所示，当处理模块获得所有结构化数据后，则可通过jfreechart可视化技术将上述运维数据信息转化的结构化数据根据预设统计逻辑，生成饼图、柱状图、热力图等可视化文件，以便于用户更为直观的查看了解，其后还可通过jxl报表生成方法将所述结构化数据和上述图表为指定应用场景生成excel报表文件，例如运维数据挖掘展示文件和合规检查结构展示文件。

本发明所提供的运维数据挖掘及合规检查方法及系统不仅对无监督机器学习的二分-k均值算法进行自主优化，结合朴素贝叶斯算法，实现对非结构化的告警和事件信息的聚类合并、关键词识别；进而暴露系统在监控、事件中蕴含的潜在问题；在对生产系统“冒烟”“治未病”的同时，极大提升了生产安全检查的效率和覆盖度，大幅度减少人力和时间的投入，起到减本增效的作用。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅用于说明本申请的技术方案，任何本领域普通技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围应视权利要求范围为准。