1.本公开大数据
技术领域：
：，具体地涉及一种故障处理方法、装置、设备、介质和程序产品。
背景技术：
：：2.在数据库运维工作中，运维工程师需要确定数据库的故障类别。通常，运维工程师会查看故障时段内打印出来的数据库故障日志，根据历史运维经验进行故障排查。因这种方式依赖于历史经验，人为判断对故障认知存在局限性，对未知类型的故障预测准确性不高，且通过人工排查流程繁琐且耗时较长。技术实现要素：3.鉴于上述问题，本公开提供了一种故障处理方法、装置、设备、介质和程序产品。4.本公开的一个方面，提供了一种故障处理方法，包括：5.接收来自于待测数据库的待测故障日志数据；6.将待测故障日志数据输入日志模板树，其中，日志模板树包括多个关键词集合，以及与多个关键词集合分别对应的故障类别标签，多个关键词集合是对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到的；7.利用日志模板树输出待测数据库的故障类别；以及8.根据待测数据库的故障类别对待测数据库进行故障处理。9.根据本公开的实施例，其中，对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到多个关键词集合包括：10.利用预定聚类算法对目标故障日志数据进行聚类，以得到预设数量的日志数据集；11.构建与预设数量的日志数据集关联的多个关键词集合。12.根据本公开的实施例，其中，利用预定聚类算法对目标故障日志数据进行聚类，以得到预设数量的日志数据集包括：13.从目标故障日志数据中确定多个特征词；14.计算多个特征词的权重；15.基于多个特征词的权重，利用预定聚类算法，对目标故障日志数据进行聚类，以得到预设数量的日志数据集。16.根据本公开的实施例，其中，构建与预设数量的日志数据集关联的多个关键词集合包括：17.从预设数量的日志数据集中确定多个初选词集合；18.将多个初选词集合中的停用词去除，以得到多个再选词集合；19.分别计算多个再选词集合中的再选词的词频；20.根据多个再选词集合中的再选词的词频，确定多个关键词集合。21.根据本公开的实施例，其中，与多个关键词集合分别对应的故障类别标签，是对预设数量的日志数据集进行处理得到的。22.根据本公开的实施例，其中，对预设数量的日志数据集进行处理，得到与多个关键词集合分别对应的故障类别标签包括：23.根据预设数量的日志数据集，确定多个预选故障日志数据集，其中每个预选故障日志数据集关联一个关键词集合；24.确定与多个预选故障日志数据集分别对应的预选故障类别标签；25.将多个预选故障类别标签，作为与预选故障日志数据集关联的关键词集合对应的故障类别标签。26.根据本公开的实施例，其中，确定与多个预选故障日志数据集分别对应的预选故障类别标签包括：27.确定与多个预选故障日志数据集分别对应的目标数据库的标识信息、以及确定与多个预选故障日志数据集分别对应的参考关键词集合；28.获取目标数据库的目标历史运维数据；29.根据目标历史运维数据、参考关键词集合，确定目标数据库的故障类别；30.根据目标数据库的故障类别，确定与多个预选故障日志数据集分别对应的预选故障类别标签。31.根据本公开的实施例，其中，日志模板树是对初始日志模板树进行修正得到的，其中初始日志模板树包括多个初始关键词集合、以及与多个初始关键词集合分别对应的故障类别标签；32.对初始日志模板树进行修正得到日志模板树包括：33.根据初始日志模板树、目标故障日志数据，确定无效关键词；34.将初始关键词集合中的无效关键词去除，以得到日志模板树。35.根据本公开的实施例，其中，目标故障日志数据是对原始故障日志数据进行筛选处理得到的，原始故障日志数据按照故障级别分为：报错日志数据、死锁日志数据、告警日志数据、消息日志数据；36.对原始故障日志数据进行筛选处理得到目标故障日志数据包括：37.筛选出原始故障日志数据中的报错日志数据和死锁日志数据，作为目标故障日志数据。38.本公开的另一个方面提供了一种故障处理装置，包括接收模块、输入模块、输出模块和第一处理模块。39.其中，接收模块，用于接收来自于待测数据库的待测故障日志数据；40.输入模块，用于将所述待测故障日志数据输入日志模板树，其中，所述日志模板树包括多个关键词集合，以及与多个所述关键词集合分别对应的故障类别标签，所述多个所述关键词集合是对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到的；41.输出模块，用于利用所述日志模板树输出所述待测数据库的故障类别；以及42.第一处理模块，用于根据所述待测数据库的故障类别对所述待测数据库进行故障处理。43.根据本公开的实施例，上述装置还包括第二处理模块，用于对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到多个关键词集合，其中第二处理模块包括：44.聚类单元，用于利用预定聚类算法对目标故障日志数据进行聚类，以得到预设数量的日志数据集；45.构建单元，用于构建与预设数量的日志数据集关联的多个关键词集合。46.根据本公开的实施例，其中，聚类单元包括：47.第一确定子单元，用于从目标故障日志数据中确定多个特征词；48.第一计算子单元，用于计算多个特征词的权重；49.聚类子单元，用于基于多个特征词的权重，利用预定聚类算法，对目标故障日志数据进行聚类，以得到预设数量的日志数据集。50.根据本公开的实施例，其中，构建单元包括：51.第二确定子单元，用于从预设数量的日志数据集中确定多个初选词集合；52.去除子单元，用于将多个初选词集合中的停用词去除，以得到多个再选词集合；53.第二计算子单元，用于分别计算多个再选词集合中的再选词的词频；54.第三确定子单元，用于根据多个再选词集合中的再选词的词频，确定多个关键词集合。55.根据本公开的实施例，上述装置还包括第三处理模块，用于对预设数量的日志数据集进行处理，得到与多个关键词集合分别对应的故障类别标签。56.根据本公开的实施例，其中，第三处理模块包括：57.第一确定单元，用于根据预设数量的日志数据集，确定多个预选故障日志数据集，其中每个预选故障日志数据集关联一个关键词集合；58.第二确定单元，用于确定与多个预选故障日志数据集分别对应的预选故障类别标签；59.第三确定单元，用于将多个预选故障类别标签，作为与预选故障日志数据集关联的关键词集合对应的故障类别标签。60.根据本公开的实施例，其中，第二确定单元包括：61.第四确定子单元，确定与多个预选故障日志数据集分别对应的目标数据库的标识信息、以及确定与多个预选故障日志数据集分别对应的参考关键词集合；62.获取子单元，用于获取目标数据库的目标历史运维数据；63.第五确定子单元，用于根据目标历史运维数据、参考关键词集合，确定目标数据库的故障类别；64.第六确定子单元，用于根据目标数据库的故障类别，确定与多个预选故障日志数据集分别对应的预选故障类别标签。65.根据本公开的实施例，上述装置还包括第四处理模块，用于对初始日志模板树进行修正得到日志模板树，其中初始日志模板树包括多个初始关键词集合、以及与多个初始关键词集合分别对应的故障类别标签；66.其中，第四处理模块包括：67.第四确定单元，用于根据初始日志模板树、目标故障日志数据，确定无效关键词；68.去除单元，用于将初始关键词集合中的无效关键词去除，以得到日志模板树。69.根据本公开的实施例，上述装置还包括第五处理模块，用于对原始故障日志数据进行筛选处理得到目标故障日志数据，原始故障日志数据按照故障级别分为：报错日志数据、死锁日志数据、告警日志数据、消息日志数据；70.第五处理模块包括筛选单元，用于筛选出原始故障日志数据中的报错日志数据和死锁日志数据，作为目标故障日志数据。71.本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述故障处理方法。72.本公开的另一个方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述故障处理方法。73.本公开的另一个方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述故障处理方法。附图说明74.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：75.图1示意性示出了根据本公开实施例的故障处理方法、装置、设备、介质和程序产品的应用场景图；76.图2示意性示出了根据本公开实施例的故障处理方法的流程图；77.图3示意性示出了根据本公开实施例的构建得到多个关键词集合的示例图；78.图4示意性示出了根据本公开实施例的对目标故障日志数据进行聚类操作的流程图；79.图5示意性示出了根据本公开实施例确定多个关键词集合分别对应的故障类别标签的操作流程图；80.图6示意性示出了根据本公开实施例的确定与初始日志模板树关联的无效关键词的操作流程图；81.图7示意性示出了根据本公开实施例的故障处理装置的结构框图；以及82.图8示意性示出了根据本公开实施例的适于实现故障处理方法的电子设备的方框图。具体实施方式83.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。84.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。85.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。86.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。87.mysql数据库日志文件由故障日志、通用日志、更新日志、二进制日志、慢查询日志等日志组成，其中故障日志(errorlog)是mysql中最常用的一种日志。88.在数据库运维工作中，运维工程师需要确定数据库的故障类别，以便有针对性地进行故障运维。通常，运维工程师会查看故障时段内打印出来的数据库故障日志，根据历史运维经验进行故障排查。89.但是这种方式依赖于历史经验，且对日志的历史发生表现不能很好的学习到，故障发生的时候问题的排查依赖于dba工程师的经验，因人为判断对故障认知存在局限性，对未知类型的故障预测准确性不高，且通过人工排查流程繁琐且耗时较长，缺失对全量mysql故障日志的分析能力。90.数据库故障日志按照其故障等级可划分成四个等级，包括error、deadlock、warning、note四类，在实现本公开的过程中发现，对于error和deadlock级别的日志需要格外关注，一种故障处理的方法例如可以是：基于dba运维专家经验，运维专家根据收集上来的mysql故障日志，总结日志关键词库，通过正则匹配的方式对mysql分类，当mysql发生故障的时候，运维工程师首先查看故障时段内打印出来的error级别和deadlock级别的日志，若不能确定问题，会继续查看warning级别的日志进行进一步诊断，但是，这种方法仍存在排查流程繁琐且耗时较长的问题。91.在实现本公开的过程中还发现，真实情况下，故障的发生是有先兆现象的，若能基于历史故障日志数据的规律，提前发现此种现象，可以做到部分场景的故障预判，减少故障的发生。92.有鉴于此，本公开的实施例通过nlp技术，对全量mysql历史日志提前做好类别划分，将运维经验模型化，利用大量历史日志训练模型，建立日志模板树，可实现对实时产生的日志做快速分类，从日志角度识别异常，进一步通过日志模板树实现在线根据数据库日志进行实时预测，及时获知数据库的故障类别，可以在故障发生的时候辅助dba工程师快速锁定mysql的故障源头。93.本公开的实施例提供了一种故障处理方法，包括：94.接收来自于待测数据库的待测故障日志数据；95.将待测故障日志数据输入日志模板树，其中，日志模板树包括多个关键词集合，以及与多个关键词集合分别对应的故障类别标签，多个关键词集合是对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到的；96.利用日志模板树输出待测数据库的故障类别；以及97.根据待测数据库的故障类别对待测数据库进行故障处理。98.图1示意性示出了根据本公开实施例的故障处理方法、装置、设备、介质和程序产品的应用场景图。99.图1示意性示出了根据本公开实施例的故障处理方法、装置、设备、介质和程序产品的应用场景图。100.如图1所示，根据该实施例的应用场景100可以包括终端设备101、服务器102和数据库103。终端设备101、服务器102和数据库103之间可通过网络进行通信，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。101.用户可以使用终端设备101通过网络与服务器102交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。102.终端设备101可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。103.服务器102可以是提供各种服务的服务器，例如对用户利用终端设备101所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。104.数据库103可以是各种类型的数据库，包括但不限于各种关系数据库、非关系型数据库等。例如mysql、mariadb、oracle数据库、mongodb、couchdb等等。数据库103在使用过程中会产生各种日志文件，如故障日志、通用日志、更新日志、二进制日志、慢查询日志等。105.在本公开实施例的应用场景下，用户可以使用终端设备101通过网络与服务器102交互，向服务器102发起用于获取数据库103的故障识别结果的请求。响应于用户请求，服务器102可以实时接收数据库103上送的实时待测故障日志数据，服务器102基于数据库103上送的故障日志数据，通过执行本公开实施例的故障处理方法，输出待测数据库的故障类别结果，并通过终端设备101向用户返回，进一步地，服务器102可基于待测数据库103的故障类别对数据库103进行故障处理，例如停止接收数据库103上送的业务数据，对数据库103进行锁定操作等等。106.要说明的是，本公开实施例所提供的故障处理方法一般可以由服务器102执行。相应地，本公开实施例所提供的故障处理装置一般可以设置于服务器102中。本公开实施例所提供的故障处理方法也可以由不同于服务器102且能够与终端设备101、服务器102、数据库103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的故障处理装置也可以设置于不同于服务器102且能够与终端设备101、服务器102、数据库103通信的服务器或服务器集群中。107.应该理解，图1中的终端设备、服务器、数据库的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、服务器、数据库。108.以下将基于图1描述的场景，对本公开实施例的故障处理方法进行详细描述。109.图2示意性示出了根据本公开实施例的故障处理方法的流程图。110.如图2所示，该实施例的故障处理方法包括操作s201～操作s204。111.在操作s201，接收来自于待测数据库的待测故障日志数据；112.在操作s202，将待测故障日志数据输入日志模板树，其中，日志模板树包括多个关键词集合，以及与多个关键词集合分别对应的故障类别标签，多个关键词集合是对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到的；113.在操作s203，利用日志模板树输出待测数据库的故障类别；以及114.在操作s204，根据待测数据库的故障类别对待测数据库进行故障处理。115.根据本公开的实施例，待测数据库可以是各种类型的数据库，例如mysql、oracle、mongodb等。待测数据库可实时产生各种日志数据，其中包括故障日志数据。例如mysql故障日志数据可包含mysql启动和关闭时间的记录、诊断消息等，如在服务器启动和关闭期间以及在服务器运行期间发生的错误、警告和注释等(例如，如果mysql注意到一个表需要自动检查或修复，它会在故障日志中写入一条消息)。116.根据本公开的实施例，日志模板树是根据历史故障日志数据预先训练得到的模型树，可用于根据输入的待测故障日志数据预测得到待测数据库的故障类别。117.根据本公开的实施例，日志模板树中，预先建立的多个关键词集合可以是表征数据关键特征的一些关键词的集合，例如其中一个关键词集合可以是“table”、“ismaskedascrashed”“shouldrepaired”；与多个关键词集合分别对应的故障类别标签可以是用于表征故障类别的说明。例如与上述关键词集合对应的故障类别标签可以是“class＝磁盘空间不足或系统磁盘损坏”。118.根据本公开的实施例，日志模板树主要通过预先建立的多个关键词集合、以及与多个关键词集合分别对应的故障类别标签，来执行故障预测操作。例如，在接收到mysql待测故障日志数据后，可通过标签树匹配算法将mysql待测故障日志数据与多个关键词集合进行匹配，匹配到目标关键词集合后，根据目标关键词集合对应的故障类别标签得出当前待测故障日志数据所表征的故障类别。119.根据本公开的实施例，数据库故障日志按照其故障等级可划分成多个等级，目标故障日志数据对应的预选故障级别可以是其中部分或全部级别的故障日志数据。120.根据本公开的实施例，日志模板树中的多个关键词集合是对在预设历史时间段(例如可以是最近一个月、一年等)内的预选故障级别的目标故障日志数据进行处理得到的。例如可以是对目标故障日志数据先执行分类，再分别对每个类别的数据提取出关键词，以形成多个关键词集合。121.根据本公开的实施例，在得到待测数据库的故障类别后，可根据待测数据库的故障类别对待测数据库进行故障处理，例如停止接收数据库上送的业务数据，对数据库进行锁定操作等等。122.根据本公开的实施例，通过执行上述故障处理方法，只需将在线实时数据输入日志模板树，即可实现实时的故障预测，不仅实现了故障识别、故障处理的全自动化流程，相比于人工经验识别，还减少了故障处理时长、解放了人力、提高了处理的时效性。再者，因日志模板树是根据大量历史日志数据构建得到的，实现了将运维经验模型化，涵盖了各种故障类别，相比于经验识别，打破了人为判断对故障认知的局限性，对未知类型的故障预测准确性更高。123.根据本公开的实施例，数据库故障日志按照其故障等级可划分成多个等级，上述目标故障日志数据是对原始故障日志数据进行筛选处理得到的，例如原始故障日志数据按照故障级别分为：报错日志数据-error、死锁日志数据-deadlock、告警日志数据-warning、消息日志数据-note。124.目标故障日志数据对应的预选故障级别可以是上述四种中的部分或全部级别的故障日志数据，例如可以是仅包括error级别的数据，也可以是包括对error级别、deadlock级别和warning级别的数据。125.进一步地，对原始故障日志数据进行筛选处理得到目标故障日志数据包括：筛选出原始故障日志数据中的报错日志数据和死锁日志数据，作为目标故障日志数据。126.根据本公开的实施例，error级别和deadlock级别的日志数据更多地与数据库故障相关，warning级别和note级别的数据可能只是告警或提示了可能发生故障的可能，大概率与数据库故障无关，因此，为了提高数据处理的效率，减少对不相关数据的无效操作，需要有选择性地对故障级别比较高的error级别和deadlock级别相关的数据进行关注，有针对性地进行数据处理，提高处理效率。127.根据本公开的实施例，日志模板树中的多个关键词集合是对在预设历史时间段(例如可以是最近一个月、一年等)内的预选故障级别的目标故障日志数据进行处理得到的，进行处理的操作可以包括：128.首先，利用预定聚类算法对目标故障日志数据进行聚类，以得到预设数量的日志数据集，即对目标故障日志数据执行分类，以形成多个类别的数据集。日志数据集的预设数量(即将日志数据分为多少个类别)可以是预先确定的最佳分类数量，可以根据算法确定，也可以根据经验确定，本公开的实施例中，执行聚类操作后得到的日志数据集的最佳数量为20个。129.然后，构建与预设数量的日志数据集关联的多个关键词集合，例如可以是分别对每个类别的数据集提取出关键词，以形成多个关键词集合。130.图3示意性示出了根据本公开实施例的构建得到多个关键词集合的示例图。131.如图3所示为对mysql的error、deadlock级别的目标故障日志数据进行聚类并构建得到多个关键词集合(多个错误日志关键片段)的示例。132.具体地，例如，可以是分别针对error、deadlock级别的故障日志数据进行文本聚类，每一级别数据聚类得到20个类别的日志数据集，例如[error]数据中20个类分别为：[error_0]～[error_19]。[0133]之后再分别对每个类别的日志数据集构建错误日志关键片段，即得到每一类别下的关键词集合。例如，[error]数据中，[error_0]数据集对应的关键词集合为：“couldnotfindtargetlog……”[error_1]数据集对应的关键词集合为：“couldnotloadplugin……”等等。每个类别的日志数据集对应的关键词集合反映了该类日志数据的关键特征，例如“无法加载数据”、“数据待修复”等等。[0134]根据本公开的实施例，构建得到的多个关键词集合包含了数据库故障这一特殊领域的具有代表性的关键词，且每个关键词集合对应一个故障类别(也可以是两个、三个或其他数量的关键词集合对应同一故障类别)，通过上述方法构建得到的多个关键词集合不仅可以应用于数据库故障分类识别，以便快速准确知道问题发生的原因，也可应用于数据库故障分析的其他任意领域，通用性好。[0135]根据本公开的实施例，上述操作中，利用预定聚类算法对目标故障日志数据进行聚类，以得到预设数量的日志数据集可包括：[0136]从目标故障日志数据中确定多个特征词；[0137]计算多个特征词的权重；[0138]基于多个特征词的权重，利用预定聚类算法，对目标故障日志数据进行聚类，以得到预设数量的日志数据集。[0139]图4示意性示出了根据本公开实施例的对目标故障日志数据进行聚类操作的流程图，以下结合图4对上述聚类操作进行说明。[0140]如图4所示，以mysql故障日志数据为例，进行数据处理的操作包括：[0141]首先从目标故障日志数据中确定多个特征词，可以是对mysql故障日志文本数据先后进行自动分词处理(例如可以是利用jieba分词)、统计每个词的词频、过滤掉停用词，最后选取出多个特征词。[0142]之后计算多个特征词的权重，例如可以利用tf-idf算法，基于每个词的词频，构建特征词的权重。[0143]最后，利用预定聚类算法，例如可以是k-means聚类算法，基于多个特征词的权重，对目标故障日志数据进行聚类，以得到预设数量的日志数据集。利用k-means聚类算法进行聚类时，聚类的类别数量k取20，可以是根据算法预先确定的最佳分类数量，最终得到20个类别的日志数据集。[0144]需要说明的是，目标故障日志数据可能是包含多个故障级别的数据，例如可包括error、deadlock、warning、note四个故障级别中的一个或多个级别的数据，上述聚类操作方法是可以适用于对其中任意一个故障级别的数据进行聚类操作，执行聚类操作后，每一预选故障级别的数据都被执行了分类。[0145]根据本公开的实施例，上述聚类操作过程中，通过确定多个特征词的权重，可实现对关键特征词配置较大的权重，后续执行聚类操作的过程中可根据权重较高的词进行聚类，避免了因基于无效词进行聚类得到无效分类结果的可能，提高了聚类的精准度。因数据库故障日志数据相对规整且都为短文本类型，针对数据量大、数据较规整的特点，通过文本聚类，并结合tf-idf算法，能较好的将故障日志数据进行归类，在聚类过程中减少噪音数据的影响，聚类效果较好。[0146]根据本公开的实施例，上述操作中，构建与预设数量的日志数据集关联的多个关键词集合包括：[0147]首先，从预设数量的日志数据集中确定多个初选词集合，该操作可以是分别对每个日志数据集进行初选词的提取，得到一个初选词集合，对每个日志数据集进行处理后，最终得到的多个初选词集合。[0148]之后，将多个初选词集合中的停用词去除，以得到多个再选词集合，该操作的目的是去除无效词的干扰。[0149]然后，计算多个再选词集合中的再选词的词频，再根据多个再选词集合中的再选词的词频，确定多个关键词集合。例如，分别计算每个再选词的词频，将词频大于某一预设值的再选词提取出来，形成关键词集合。该操作可以是分别对每个再选词集合进行处理上述处理操作得到一个关键词集合，对每个再选词集合进行处理后，最终得到的多个关键词集合。[0150]根据本公开的实施例，日志模板树包括多个关键词集合、以及与多个关键词集合分别对应的故障类别标签。[0151]其中，与多个关键词集合分别对应的故障类别标签，可以是对目标故障日志数据进行处理得到的，例如利用预定聚类算法对目标故障日志数据进行聚类得到一定预设数量的日志数据集后，对预设数量的日志数据集进行处理得到多个关键词集合分别对应的故障类别标签。[0152]其中，与多个关键词集合分别对应的故障类别标签，也可以是对多个关键词集合分别进行处理后得到故障类别标签。例如，针对每个关键词集合，根据关键词集合中的关键词所代表的特征，确定该关键词集合可能表征的故障类别，进而得到故障类别标签。[0153]进一步地，上述操作中，利用预定聚类算法对目标故障日志数据进行聚类得到一定预设数量的日志数据集后，对预设数量的日志数据集进行处理得到多个关键词集合分别对应的故障类别标签可包括如下操作：[0154]首先，根据预设数量的日志数据集，确定多个预选故障日志数据集，其中每个预选故障日志数据集关联一个关键词集合。例如对预选的目标故障日志数据进行聚类，得到20个不同类别的日志数据集后，分别从每个日志数据集中，选出最能代表该类日志数据特点的部分日志数据作为与该数据集关联的一个预选故障日志数据集，因每个日志数据集对应关联一个关键词集合，因此，每个预选故障日志数据集可对应关联一个关键词集合。例如，对于其中一个日志数据集，包含1万条历史日志数据，对该1万条历史日志数据进行关键词提取后得到的关键词集合为：“table”、“ismaskedascrashed”“shouldrepaired”；对该1万条历史日志数据抽取最具代表性的10条数据组成一个预选故障日志数据集，则该预选故障日志数据集也关联对应该关键词集合：“table”、“ismaskedascrashed”“shouldrepaired”。[0155]之后，确定与多个预选故障日志数据集分别对应的预选故障类别标签；即，分别针对每个预选故障日志数据集，确定其对应的预选故障类别标签。[0156]最后，将多个预选故障类别标签，作为与预选故障日志数据集关联的关键词集合对应的故障类别标签。即，将预选故障日志数据集对应的预选故障类别标签，作为与预选故障日志数据集关联的关键词集合对应的故障类别标签。例如，对于其中一个日志数据集，包含1万条历史日志数据，对该1万条历史日志数据抽取最具代表性的10条数据组成一个预选故障日志数据集，该预选故障日志数据集关联的关键词集合为：“table”、“ismaskedascrashed”“shouldrepaired”。现对这10条数据组成一个预选故障日志数据集进行数据分析处理后得出，这10条数据可能关联的一个故障类别为磁盘空间不足或系统磁盘损坏，则可以认为关键词集合：“table”、“ismaskedascrashed”“shouldrepaired”对应的故障类别也为磁盘空间不足或系统磁盘损坏。[0157]根据本公开的实施例，因每个日志数据集可能包含数量庞大的日志数据，对全量数据进行分析处理以得到故障类别，不仅耗时长，且也没有必要。上述方法通过选取最能代表该类日志数据特点的部分日志数据，对该少量数据进行分析处理，得到其对应的故障类别，将该结果扩充至整个全量日志数据集，作为整个全量日志数据集所关联的关键词集合所对应的故障类别。通过上述操作，在保证故障类别精度的前提下，可减少数据处理的工作量，提高数据处理效率。[0158]根据本公开的实施例，进一步地，上述操作中，确定与多个预选故障日志数据集分别对应的预选故障类别标签可包括：[0159]确定与多个预选故障日志数据集分别对应的目标数据库的标识信息、以及确定与多个预选故障日志数据集分别对应的参考关键词集合；[0160]获取目标数据库的目标历史运维数据；[0161]根据目标历史运维数据、参考关键词集合，确定目标数据库的故障类别；[0162]根据目标数据库的故障类别，确定与多个预选故障日志数据集分别对应的预选故障类别标签。[0163]图5示意性示出了根据本公开实施例确定多个关键词集合分别对应的故障类别标签的操作流程图。以下，结合图5，对上述操作进行说明。[0164]如图5所示，以mysql数据库为例，首先，确定与mysql预选故障日志数据集(mysql错误日志)对应的目标数据库的标识信息，例如可以对mysql错误日志进行数据解析，提取出其所对应的数据库ip地址信息，定位至曾经发生故障的数据库。同时，从该mysql错误日志中抽取关键片段，形成参考关键词集合，参考关键词集合代表了预选故障日志数据集的数据特性，可用于表征故障特性。[0165]之后，对这一预选故障日志数据集执行打标操作，即确定其所关联的故障类别。具体地，可以是根据确定的目标数据库的ip信息，获取目标数据库的目标历史运维数据，并通过分析目标历史运维数据，结合参考关键词集合所表征的故障特性，确定目标数据库的故障类别，最后根据目标数据库的故障类别，确定与多个预选故障日志数据集分别对应的预选故障类别标签。[0166]例如，执行打标操作后的结果为：对于预选故障日志数据集1，其参考关键词集合(extract_msg)可以是“ismaskedascrashed……”，确定的预选故障类别标签(problem_label)为[error_0]：磁盘空间不足或系统磁盘损坏；再例如，对于预选故障日志数据集2，其参考关键词集合(extract_msg)可以是“couldnotloadplugin……”，确定的预选故障类别标签(problem_label)为[error_1]：找不到指定插件，等等。[0167]根据本公开的实施例，通过根据故障数据库的历史运维数据，并结合参考关键词集合确定目标数据库的故障类别，在历史经验的基础上，结合了日志数据本身所能反映的特性，不仅仅根据历史故障进行判断，故障类别的确定更加准确。[0168]根据本公开的实施例，进一步地，本公开实施例所述用于根据待测故障日志数据输出故障类别的日志模板树，是对初始日志模板树进行修正得到的，其中初始日志模板树包括多个初始关键词集合、以及与多个初始关键词集合分别对应的故障类别标签。[0169]具体地，对初始日志模板树进行修正得到日志模板树包括：[0170]根据初始日志模板树、目标故障日志数据，确定无效关键词；[0171]将初始关键词集合中的无效关键词去除，以得到日志模板树。[0172]图6示意性示出了根据本公开实施例的确定与初始日志模板树关联的无效关键词的操作流程图。[0173]如图6所示，根据初始日志模板树、目标故障日志数据，确定无效关键词可以是：根据构建得到的初始日志模板树(根据预设历史时间段内的预选故障级别的目标故障日志数据构建得到)，用目标故障日志数据减去初始日志模板树中的初始关键词集合，得到初始领域无效词，再将初始领域无效词中的有效次过滤掉，得到最终的无效关键词。[0174]根据本公开的实施例，通过构造领域内的无效关键词，并对构建得到的日志模板树进行修正，得到的日志模板树可以更好地在文本聚类计算时得到更准确的结果，进而提升文本分类的准确度。[0175]基于上述故障处理方法，本公开还提供了一种故障处理装置。以下将结合图7对该装置进行详细描述。[0176]图7示意性示出了根据本公开实施例的故障处理装置的结构框图。[0177]如图7所示，该故障处理装置，包括接收模块701、输入模块702、输出模块703和第一处理模块704。[0178]其中，接收模块701，用于接收来自于待测数据库的待测故障日志数据；[0179]输入模块702，用于将所述待测故障日志数据输入日志模板树，其中，所述日志模板树包括多个关键词集合，以及与多个所述关键词集合分别对应的故障类别标签，所述多个所述关键词集合是对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到的；[0180]输出模块703，用于利用所述日志模板树输出所述待测数据库的故障类别；以及[0181]第一处理模块704，用于根据所述待测数据库的故障类别对所述待测数据库进行故障处理。[0182]根据本公开的实施例，通过接收模块701、输入模块702、输出模块703，只需将在线实时数据输入日志模板树，即可实现实时的故障预测，不仅实现了故障识别、故障处理的全自动化流程，相比于人工经验识别，还减少了故障处理时长、解放了人力、提高了处理的时效性。再者，因日志模板树是根据大量历史日志数据构建得到的，实现了将运维经验模型化，涵盖了各种故障类别，相比于经验识别，打破了人为判断对故障认知的局限性，对未知类型的故障预测准确性更高。[0183]根据本公开的实施例，上述装置还包括第二处理模块，用于对在预设历史时间段内的预选故障级别的目标故障日志数据进行处理得到多个关键词集合，其中第二处理模块包括聚类单元和构建单元。[0184]其中，聚类单元，用于利用预定聚类算法对目标故障日志数据进行聚类，以得到预设数量的日志数据集；构建单元，用于构建与预设数量的日志数据集关联的多个关键词集合。[0185]根据本公开的实施例，其中，聚类单元包括第一确定子单元、第一计算子单元、聚类子单元。[0186]其中，第一确定子单元，用于从目标故障日志数据中确定多个特征词；第一计算子单元，用于计算多个特征词的权重；聚类子单元，用于基于多个特征词的权重，利用预定聚类算法，对目标故障日志数据进行聚类，以得到预设数量的日志数据集。[0187]根据本公开的实施例，其中，构建单元包括第二确定子单元、去除子单元、第二计算子单元和第三确定子单元。[0188]其中，第二确定子单元，用于从预设数量的日志数据集中确定多个初选词集合；去除子单元，用于将多个初选词集合中的停用词去除，以得到多个再选词集合；第二计算子单元，用于分别计算多个再选词集合中的再选词的词频；第三确定子单元，用于根据多个再选词集合中的再选词的词频，确定多个关键词集合。[0189]根据本公开的实施例，上述装置还包括第三处理模块，用于对预设数量的日志数据集进行处理，得到与多个关键词集合分别对应的故障类别标签。[0190]根据本公开的实施例，其中，第三处理模块包括第一确定单元、第二确定单元和第三确定单元。[0191]其中，第一确定单元，用于根据预设数量的日志数据集，确定多个预选故障日志数据集，其中每个预选故障日志数据集关联一个关键词集合；第二确定单元，用于确定与多个预选故障日志数据集分别对应的预选故障类别标签；第三确定单元，用于将多个预选故障类别标签，作为与预选故障日志数据集关联的关键词集合对应的故障类别标签。[0192]根据本公开的实施例，其中，第二确定单元包括第四确定子单元、获取子单元、第五确定子单元和第六确定子单元。[0193]其中，第四确定子单元，确定与多个预选故障日志数据集分别对应的目标数据库的标识信息、以及确定与多个预选故障日志数据集分别对应的参考关键词集合；获取子单元，用于获取目标数据库的目标历史运维数据；第五确定子单元，用于根据目标历史运维数据、参考关键词集合，确定目标数据库的故障类别；第六确定子单元，用于根据目标数据库的故障类别，确定与多个预选故障日志数据集分别对应的预选故障类别标签。[0194]根据本公开的实施例，上述装置还包括第四处理模块，用于对初始日志模板树进行修正得到日志模板树，其中初始日志模板树包括多个初始关键词集合、以及与多个初始关键词集合分别对应的故障类别标签；[0195]其中，第四处理模块包括第四确定单元、去除单元。[0196]其中，第四确定单元，用于根据初始日志模板树、目标故障日志数据，确定无效关键词；去除单元，用于将初始关键词集合中的无效关键词去除，以得到日志模板树。[0197]根据本公开的实施例，上述装置还包括第五处理模块，用于对原始故障日志数据进行筛选处理得到目标故障日志数据，原始故障日志数据按照故障级别分为：报错日志数据、死锁日志数据、告警日志数据、消息日志数据；[0198]第五处理模块包括筛选单元，用于筛选出原始故障日志数据中的报错日志数据和死锁日志数据，作为目标故障日志数据。[0199]根据本公开的实施例，接收模块701、输入模块702、输出模块703和第一处理模块704中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，接收模块701、输入模块702、输出模块703和第一处理模块704中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，接收模块701、输入模块702、输出模块703和第一处理模块704中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。[0200]图8示意性示出了根据本公开实施例的适于实现故障处理方法的电子设备的方框图。[0201]如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。[0202]在ram803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom802以及ram803通过总线804彼此相连。处理器801通过执行rom802和/或ram803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom802和ram803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。[0203]根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。[0204]本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。[0205]根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom802和/或ram803和/或rom802和ram803以外的一个或多个存储器。[0206]本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的故障处理方法。[0207]在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。[0208]在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分808被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。[0209]在这样的实施例中，该计算机程序可以通过通信部分808从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。[0210]根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0211]附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0212]本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。[0213]以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。当前第1页12当前第1页12