专利名称：异常自适应处理方法及系统的制作方法
技术领域：
本发明涉及业务支撑领域，具体涉及一种异常自适应处理方法及系统。
背景技术：
随着经营分析系统在经营决策和营销管理方面的作用日益显著，其所承载的应用也日趋丰富，其处理的数据量及任务量也成指数增长，相应地，数据处理的异常情况也随之增多，维护工作量也不断增加。现有的经营分析系统，数据处理技术是传统的基于文件系统的ETL技术。ETL是英文Extract-Transform-Load的缩写，用来描述将资料从来源端经过抽取(extract)、转换(transform)、载入(load)至目的端的过程。ETL是数据仓库理论中数据处理的核心环节。现有经分系统关于异常情况的处理大多采用系统监控，人工处理的方式。具体地(参见图1)，故障系统对关键处理步骤监控，当系统有异常情况导致程序中断， 故障系统会发出告警，通知维护人员，维护人员得到告警信息后对告警信息分析，到系统察看故障点以确认问题根源(即分析故障)，根据问题根源解决故障，并在解决问题后重启相关ETL任务及后续操作。这种处理方式耗费大量的人力去分析、查询及处理故障，不仅成本大而且处理效率低，同时还依赖维护人员的技术水平，可能出现误操作给系统带来高危风险，此外，整个分析问题和解决问题的过程中，直接停止出错系统任务及后续所有任务，降低系统的及时性。
发明内容
本发明的第一目的是提出一种高效的异常自适应处理方法。本发明的第二目的是提出一种高效的异常自适应处理系统。为实现上述第一目的，本发明提供了一种异常自适应处理方法，包括接收表征一个系统任务的一个监控指标异常的异常信息，异常信息包括一个监控指标的报错标识及一个系统任务的任务标识；根据预设的报错标识与异常原因分析方法的对应关系，调用与报错标识对应的异常原因分析方法，根据任务标识获取一个系统任务的运行日志，确定异常信息的产生原因；根据预设的报错标识与异常处理方法的对应关系，调用与报错标识对应的异常处理方法，根据产生原因及任务标识进行异常处理操作。为实现上述第二目的，本发明提供了一种异常自适应处理系统，包括异常分析器，用于接收表征一个系统任务的一个监控指标异常的异常信息，异常信息包括一个监控指标的报错标识及一个系统任务的任务标识；根据预设的报错标识与异常原因分析方法的对应关系，调用与报错标识对应的异常原因分析方法，根据任务标识获取一个系统任务的运行日志，确定异常信息的产生原因；异常处理器，用于根据预设的报错标识与异常处理方法的对应关系，调用与报错标识对应的异常处理方法，根据产生原因及任务标识进行异常处理操作。本发明各个实施例中，通过对出错的系统任务的报错类别(即报错标识)自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理，实现了异常自适应分析及处理，提升异常处理的效率，避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一并用于解释本发明，并不构成对本发明的限制。在附图中图1为现有技术的异常处理方法的示意图；图2为本发明的异常自适应处理方法的实施例一流程图；图3为本发明的异常自适应处理方法的实施例二流程图；图4为本发明的异常自适应处理系统的实施例结构图。
具体实施例方式以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。方法实施例图2为本发明的异常自适应处理方法的实施例一流程图。如图2所示，本实施例包括步骤202 接收表征一个系统任务(即出错系统任务，以下各实施例均同)的一个监控指标(即出错的监控指标，以下各实施例均同)异常的异常信息，异常信息包括出错的监控指标的报错标识及出错系统任务的任务标识；步骤204 根据预设的报错标识与异常原因分析方法的对应关系，调用与报错标识对应的异常原因分析方法，根据任务标识获取出错系统任务的运行日志，确定异常信息的产生原因；步骤206 根据预设的报错标识与异常处理方法的对应关系，调用与报错标识对应的异常处理方法，根据产生原因及任务标识进行异常处理操作。本实施例通过对出错的系统任务的报错标识自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理，实现了异常自适应分析及处理，提升异常处理的效率，避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。图3为本发明的异常自适应处理方法的实施例二示意图。如图3所示，包括步骤302 检测每一系统任务的运行日志中的各监控指标；在某出错系统任务的某个监控指标出现异常时生成对应的异常信息，该异常信息包括对应于该监控指标的报错标识(见表1)及该出错的系统任务的任务标识；任务标识可以为01002、02041等数字标号；本领域技术人员可以理解，在对各系统任务的各监控指标进行监控及检测时，可能同时产生多个异常信息，此处仅以单个异常信息进行举例解释说明，每个异常信息的分析及处理过程思路一致，不再赘述，此外，对于系统任务的监控方式可以为多种，不限于其运行日志，如对数据结果监控及启动时间监控等；具体操作时，可以对于每一监控指标对应设置一个数据质量验证程序，通过该程序实现对相应的监控指标的检测，由数据质量监控器40 (详见图4的解释说明，具体监控过程和方法可以参见申请号为200910223541. X的专利申请)并行执行各数据质量验证程序以分析系统任务的运行日志，当某一个系统任务的某个监控指标出现异常时，马上将对应的异常信息发送给异常分析器42 (详见图4的解释说明)；表 1
权利要求
1.一种异常自适应处理方法，其特征在于，包括接收表征一个系统任务的一个监控指标异常的异常信息，所述异常信息包括所述一个监控指标的报错标识及所述一个系统任务的任务标识；根据预设的所述报错标识与异常原因分析方法的对应关系，调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因；根据预设的所述报错标识与异常处理方法的对应关系，调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作。
2.根据权利要求1所述的异常自适应处理方法，其特征在于，在所述根据所述产生原因及任务标识进行异常处理操作的步骤之后还包括根据所述任务标识，自动重启所述一个系统任务及所述一个系统任务的后续任务。
3.根据权利要求1所述的异常自适应处理方法，其特征在于，在所述接收表征一个系统任务的一个监控指标异常的异常信息的步骤之前还包括检测每一系统任务的运行日志中的各监控指标。
4.根据上述权利要求1-3所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因的步骤包括在所述报错标识为索引失效报错标识时，调用索引异常原因分析方法；根据所述任务标识获取所述一个系统任务的运行日志，获取失效的索引字段及所述失效的索引字段的索引结构。
5.根据权利要求4所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作包括在所述报错标识为索引失效报错标识时，调用索引重建处理方法，根据所述失效的索引字段、所述失效的索引字段的索引结构及任务标识生成并执行索引重建语句。
6.根据上述权利要求1-3所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因的步骤包括在所述报错标识为数据一致性报错标识时，调用数据一致性异常原因分析方法，根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志，比对所述第一运行日志及所述第二运行日志，确定数据不一致的异常字段的异常原因。
7.根据权利要求6所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作包括在所述报错标识为数据一致性报错标识时，调用数据一致性异常处理方法，根据所述异常字段的异常原因及任务标识进行异常处理操作。
8.根据上述权利要求1-3所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因的步骤包括在所述报错标识为结构报错标识时，调用结构异常原因分析方法，根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志，比对所述第一运行日志中的数据源表结构及所述第二运行日志中的数据源表结构， 确定表结构不一致的异常原因。
9.根据权利要求8所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作包括在所述报错标识为结构报错标识时，调用结构异常处理方法，根据所述表结构不一致的异常原因及任务标识，启动表结构同步操作，将所述第一运行日志中的数据源表结构更新为当前数据源表结构。
10.根据上述权利要求1或3所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因的步骤包括在所述报错标识为效率报错标识时，调用效率异常原因分析方法，根据所述任务标识获取所述一个系统任务的第一运行日志，根据所述第一运行日志的记载内容确定效率的异常原因。
11.根据权利要求10所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作包括在所述报错标识为效率报错标识时，调用效率异常处理方法，根据所述效率的异常原因及任务标识，启动优先级调度器，暂停与所述一个系统任务的同优先级的并行任务或/ 和暂停优先级比所述一个系统任务低的并行任务。
12.根据上述权利要求1或3所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因的步骤包括在所述报错标识为资源占用报错标识时，调用资源占用异常原因分析方法，发送包括所述任务标识的控制命令。
13.根据权利要求12所述的异常自适应处理方法，其特征在于，所述调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作包括在所述报错标识为资源占用报错标识时，调用资源占用异常处理方法，根据所述控制命令启动负载调节器，将系统剩余资源分配给所述一个系统任务或/和将优先级低于所述一个系统任务的其他系统任务的资源分配给所述一个系统任务。
14.一种异常自适应处理系统，其特征在于，包括异常分析器，用于接收表征一个系统任务的一个监控指标异常的异常信息，所述异常信息包括所述一个监控指标的报错标识及所述一个系统任务的任务标识；根据预设的所述报错标识与异常原因分析方法的对应关系，调用与所述报错标识对应的异常原因分析方法，根据所述任务标识获取所述一个系统任务的运行日志，确定所述异常信息的产生原因；异常处理器，用于根据预设的所述报错标识与异常处理方法的对应关系，调用与所述报错标识对应的异常处理方法，根据所述产生原因及任务标识进行异常处理操作。
15.根据权利要求14所述的异常自适应处理系统，其特征在于，还包括自动执行控制器，用于根据所述任务标识，自动重启所述一个系统任务及所述一个系统任务的后续任务。
16.根据权利要求14所述的异常自适应处理系统，其特征在于，还包括 数据质量监控器，用于检测每一系统任务的运行日志中的各监控指标。
17.根据上述权利要求14或16所述的异常自适应处理系统，其特征在于，所述异常分析器包括索引异常分析单元，用于在所述报错标识为索引失效报错标识时，调用索引异常原因分析方法；根据所述任务标识获取所述一个系统任务的运行日志，获取失效的索引字段及所述失效的索引字段的索引结构；数据一致性异常分析单元，用于在所述报错标识为数据一致性报错标识时，调用数据一致性异常原因分析方法；根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志，比对所述第一运行日志及所述第二运行日志，确定数据不一致的异常字段的异常原因；结构异常分析单元，用于在所述报错标识为结构报错标识时，调用结构异常原因分析方法；根据所述任务标识获取所述第一运行日志及所述第二运行日志，比对所述第一运行日志中的数据源表结构及所述第二运行日志中的数据源表结构，确定表结构不一致的异常原因；效率异常分析单元，用于在所述报错标识为效率报错标识时，调用效率异常原因分析方法；根据所述任务标识获取所述第一运行日志，根据所述第一运行日志的记载内容确定效率的异常原因；资源占用异常分析单元，用于在所述报错标识为资源占用报错标识时，调用资源占用异常原因分析方法，发送包括所述任务标识的控制命令。
18.根据权利要求17所述的异常自适应处理系统，其特征在于，所述异常处理器包括 索引异常处理单元，用于在所述报错标识为索引失效报错标识时，调用索引重建处理方法，根据所述失效的索引字段、所述失效的索引字段的索引结构及任务标识生成并执行索引重建语句；数据一致性异常处理单元，用于在所述报错标识为数据一致性报错标识时，调用数据一致性异常处理方法，根据所述异常字段的异常原因及任务标识进行异常处理操作；结构异常处理单元，用于在所述报错标识为结构报错标识时，调用结构异常处理方法， 根据所述表结构不一致的异常原因及任务标识，启动表结构同步操作，将所述第一运行日志中的数据源表结构更新为当前数据源表结构；效率异常处理单元，用于在所述报错标识为效率报错标识时，调用效率异常处理方法， 根据所述效率的异常原因及任务标识，启动优先级调度器，暂停与所述一个系统任务的同优先级的并行任务或/和暂停优先级比所述一个系统任务低的并行任务；资源占用异常处理单元，用于在所述报错标识为资源占用报错标识时，调用资源占用异常处理方法，根据所述控制命令启动负载调节器，将系统剩余资源分配给所述一个系统任务或/和将优先级低于所述一个系统任务的其他系统任务的资源分配给所述一个系统任务。
全文摘要
本发明提供了一种异常自适应处理方法及系统，其中，该方法包括接收表征一个系统任务的一个监控指标异常的异常信息，异常信息包括一个监控指标的报错标识及一个系统任务的任务标识；根据预设的报错标识与异常原因分析方法的对应关系，调用与报错标识对应的异常原因分析方法，根据任务标识获取一个系统任务的运行日志，确定异常信息的产生原因；根据预设的报错标识与异常处理方法的对应关系，调用与报错标识对应的异常处理方法，根据产生原因及任务标识进行异常处理操作。本发明实现了异常自适应分析及处理，提升异常处理的效率，避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
文档编号G06F11/07GK102479113SQ20101057120
公开日2012年5月30日 申请日期2010年11月30日 优先权日2010年11月30日
发明者孟繁力, 李宏昌, 王晓伟, 王雅文, 迟建德 申请人:中国移动通信集团黑龙江有限公司