一种基于数据业务监控的自动数据业务重跑方法与流程

1.本发明涉及大数据运维技术领域，尤其涉及一种基于数据业务监控的自动数据业务重跑方法。


背景技术：

2.现有的大数据运维技术方案没有真正将业务程序、监控和管理程序有效地结合起来，缺乏自动化的处理机制。当前的大数据业务重跑机制，大多在调度程序中进行实现，基本上是基于程序运行状态来判断是否运行成功，没有真正结合业务和程序运行状态监控来完成数据业务的异常响应。
3.因此，需要一种能够自动地基于数据业务监控来执行数据业务重跑的解决方案。


技术实现要素：

4.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
5.根据本发明的一个实施例，公开了一种用于基于业务监控的自动业务重跑的方法，包括：获取业务模块的需要进行重跑的异常监控任务；生成并执行针对所述异常监控任务的重跑任务；对所述重跑任务的结果进行验证，以确定所述重跑任务是否成功；如果所述重跑任务未成功，则将针对所述重跑任务的重跑次数与所述监控文件中定义的重跑冗余次数进行比较；如果所述重跑次数小于所述重跑冗余次数，则再次生成并执行针对所述异常监控任务的新的重跑任务；如果所述重跑次数大于或等于所述重跑冗余次数，则发送告警。
6.根据本发明的另一个实施例，公开了一种用于基于业务监控的自动业务重跑系统，包括：一个或多个业务模块以及重跑模块。其中，所述一个或多个业务模块中的每一者被配置为：基于业务模块内定义的监控文件执行监控任务，如果所述监控任务的监控结果出现异常，则将所述监控任务标识为异常监控任务，并将所述异常监控任务添加到异常监控任务列表中，其中所述监控文件用于监控所述业务模块的运行健康度，所述监控文件定义针对所述业务模块的一个或多个监控任务。所述重跑模块被配置为获取所述一个或多个业务模块的需要进行重跑的异常监控任务，生成并执行针对所述异常监控任务的重跑任务，执行重跑任务结果检测，并在所述重跑任务未成功的情况下判断是否要再次执行针对所述异常监控任务的新的重跑任务。
7.根据本发明的又一个实施例，公开了一种用于基于业务监控的自动业务重跑的计算设备，包括：处理器；存储器，所述存储器存储有指令，所述指令在被所述处理器执行时能执行如上所述的方法。
8.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
9.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
10.图1示出了现有大数据领域技术中数据程序出现运行异常的示意图100；
11.图2示出了根据本发明的一个实施例的用于基于业务监控的自动业务重跑系统200的大致示意图；
12.图3示出了根据本发明的一个实施例的用于通过代码结构标准化来生成业务模块201和重跑模块202的系统300的示意图；
13.图4示出了根据本发明的一个实施例的对用于基于业务监控的自动业务重跑系统200的更详细描述的示意图；
14.图5示出了根据本发明的一个实施例的用于基于业务监控的自动业务重跑的方法500的流程图；以及
15.图6示出了根据本发明的一实施例的可应用于本发明的各方面的硬件设备的计算设备600的框图。
具体实施方式
16.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
17.以下简要介绍本发明中出现的一些术语的定义。
18.olap(on-line analytic processing)：一般指联机分析处理。联机分析处理olap是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。
19.数据业务重跑：数据程序根据监控反馈的结果，按出现异常的时间，重新运行。
20.图1示出了现有大数据领域技术中数据程序出现运行异常的示意图100。参见图1，数据程序在线上运行过程中，在源数据
①
，调度
②
，数据程序服务
③
任何一个环节出现异常，都会导致目标数据无法输出或无法输出正确的结果。
21.当环节
①
的源数据出现延迟或超过业务本身重试范围时，将会导致目标数据无输出。环节
②
的调度服务过多，出现调度超时时，会导致调度任务丢失，造成业务服务无法正常运行。当环节
③
运行资源不足和运行超时时，也会导致业务进程被kill(杀)，进而导致数据无法被正确输出。
22.在数据治理领域，虽然有对业务运行状态进行监控并进行数据业务重跑，但大多是手动进行配置，显然不是经济的做法。本发明提出了一种自动化的数据业务重跑技术，能够自动地基于业务监控结果来进行业务重跑。
23.图2示出了根据本发明的一个实施例的用于基于业务监控的自动业务重跑系统200的大致示意图。该系统200可包括一个或多个业务模块201-1到201n(以下统称为业务模块201)和重跑模块202。其中，业务模块201被配置为基于业务模块201内定义的监控文件对业务的执行进行自动化监控，并生成异常监控任务列表。重跑模块202被配置为获取业务模
块201的异常监控任务，生成并执行重跑任务，执行重跑任务结果检测，并在重跑任务未成功的情况下判断是否要再次执行针对该异常监控任务的新的重跑任务。
24.一般而言，业务模块201和重跑模块202可被实现在执行大数据业务的客户的客户端处。根据本发明的一个实施例，业务模块201和重跑模块202是由提供大数据olap业务的提供商分发到客户端的。以下对业务模块201和重跑模块202进行进一步的描述。
25.图3示出了根据本发明的一个实施例的用于通过代码结构标准化来生成业务模块201和重跑模块202的系统300的示意图。该系统300被配置为对大数据olap业务进行开发。该系统300可包括定义模块301和初始化模块302。一般而言，系统300被实现在提供大数据olap业务的提供商处。
26.根据本发明的一个实施例，定义模块301被配置为定义模块代码目录结构，以对模块代码的组织结构进行标准化，从而便于对代码开发过程中进行规范管理。根据本发明的一个实施例，定义模块301被配置为定义一种通用模块代码目录结构，以适应所有的业务功能。根据本发明的另一个实施例，定义模块301可被配置为针对具体的业务功能来定义不同的模块代码目录结构，使得开发人员可在面对客户提出的业务功能时选择合适的模块代码目录结构来进行开发。例如，每种模块可针对一种类型的业务功能。举例而言，一种模块可针对用于检测是否受到恶意攻击的业务功能。而另一种模块可针对用于检测数据流向是否正确的业务功能。由此，取决于不同业务功能的具体需求，这两种模块的代码目录结构可被不同地定义。
27.根据本发明的一个实施例，针对业务模块201和重跑模块202的模块代码目录结构可以是相同的，也可以是不同的。
28.在大数据olap业务开发过程中，一般涉及以下几个方面：资源组织方法(即，代码目录)、前端模块化定义方法、后端模块化定义方法(例如，数据/调度/配置/代码/环境/公共服务等)、自动化运维资源组织(例如，监控/报警等)、自动化部署管理资源管理(例如，对于模块的描述等)以及知识管理(例如，代码依赖等)。
29.根据本发明的一个实施例，本发明对以上大数据olap业务开发过程中涉及的几个方面进行归纳，使得针对业务模块201的模块代码目录结构中的各项主要包含以下中的一个或多个：对业务模块的描述，对配置文件的描述，对调度任务的描述，对模块初始化操作的描述，对监控任务的描述，对模块管理操作执行后校验的描述，对业务任务的描述和对依赖库的描述。
30.根据本发明的另一个实施例，针对重跑模块202的模块代码目录结构中的各项可主要包含以下中的一个或多个：对重跑模块的描述，对配置文件的描述，对调度任务的描述，对模块初始化操作的描述，对重跑任务的描述，对如何对业务模块进行调用的描述，对模块管理操作执行后校验的描述，和对依赖库的描述。
31.由此，定义模块301提供了标准化的模块目录结构，使得开发人员可以在后续开发过程中根据该标准化的模块目录结构来放入相应的代码文件。
32.根据本发明的一个实施例，初始化模块302被配置为基于所需业务功能对模块代码目录结构进行初始化操作，以生成包含针对该所需业务功能的经初始化的模块代码在内的业务模块(例如，业务模块201)。具体而言，初始化模块302将上述定义模块301所定义的模块代码目录结构作为标准化的模板结构，按照业务功能的需要针对模块代码目录结构中
的各项生成相应的初始化文件。通过初始化模块302，标准化的模块目录结构被针对具体业务要求进行了初始化，使得具体的代码组织方式符合标准化的模块目录结构。
33.例如，为了生成业务模块201，初始化模块302可被配置为生成监控文件(例如，monitor.json)。该监控文件用于监控针对所需业务功能的业务模块的运行健康度。该监控文件对监控任务的调度频次，监控任务的具体执行内容，以及在执行监控任务后出现异常结果时如何处理等方面进行了指定。具体而言，监控文件可定义针对业务模块的一个或多个监控任务。针对每一个监控任务，监控文件可包括以下各项中的一者或多者：监控任务的任务名称，监控任务的监控类型，监控任务所针对的模块信息，监控任务是否需要被周期性执行的循环标识，监控任务的监控周期，监控任务的执行指令，业务监控规则，重跑冗余次数等。如下文描述，如在监控类型为data的情况下，监控任务的执行指令可包括“数据源信息”与“监控任务的sql”。本领域的技术人员完全可以根据不同的监控类型来指定监控任务的执行指令。
34.在下面的示例监控文件的描述中，定义了一个基于sql进行监控的任务。该示例为基于数据data的监控类型，用于从业务数据缓存中监控业务项目的数量。
[0035][0036]
其中：
[0037]
sql标识当type为data时，要执行的sql，通过此sql获得监控结果，其中带{}代表参数，可模板化定义，本示例中的sql表示统计符合条件的数据条数；
[0038]
rules中定义的是业务监控规则，如果符合这些规则，则认为是异常，需要进行重跑或人工干预。虽然本示例中仅示出了一条规则，但可以存在一条以上的规则，以形成监控规则集；
[0039]
alert_times是实际触发告警的重跑冗余次数，本示例中标识达到2次时触发告警。
[0040]
除了本示例中示出的data类型之外，还可以有以下的监控类型：file(文件监控)，directory(目录监控)，process(进程监控)，port(端口监控)，api(api监控)等。举例而言，file(文件监控)可监控某个文件是不是存在，process(进程监控)可监控某个进程是不是存在。
[0041]
以下表1提供了关于代码中常用的匹配符号的全称、代码中所使用的相应的符号
以及对应的含义：
[0042][0043][0044]
表1
[0045]
在提供商将业务模块201交付给客户之后，客户可对该业务模块201进行部署，使得客户端能自动基于该业务模块201内的监控文件来执行对该业务模块201运行状态的监控。本领域的技术人员可以理解，客户端可为一台计算设备或多台以集群方式存在的计算设备，以至少实现对业务功能的执行以及对业务功能运行状态的监控。
[0046]
根据本发明的一个实施例，如上所述，类似于业务模块201，重跑模块202也可采用模块化标准的方式来开发，并且可独立于业务模块201来安装和/或部署在客户端处。
[0047]
图4示出了根据本发明的一个实施例的对用于基于业务监控的自动业务重跑系统200的更详细描述的示意图。该系统200可被实现在执行大数据业务的客户的客户端处。当然，取决于具体的业务模块部署方式，该系统200中的各模块也可在不同或相同的计算设备、服务器或云端实现。虽然图4中仅示出了一个业务模块201，但是本领域的技术人员完全可以理解，本发明的技术方案可被应用于多个业务模块201-1到201-n的情况(如图2中所示)。
[0048]
如图4中所示出的，根据逻辑功能划分，业务模块201可包括业务相关代码文件203(例如，业务任务的执行代码等)，监控文件204，监控任务调度模块205，监控任务执行模块206以及异常监控任务生成模块207。重跑模块202可包括异常监控任务获取模块208(任选的)，重跑任务生成模块209，重跑任务执行模块210以及重跑任务结果检测模块211。其中，上述任何模块可以与任何其他模块通信，但出于容易解说的目的而未示出所有连接。并且，本领域的技术人员完全可以理解，本文仅仅是出于解说的目的来解说上述各个模块，上述模块中的一者或多者的功能可被合并到单个模块或拆分到多个模块中。并且，上述模块中的一者或多者可用软件、硬件或其组合的方式来实现。
[0049]
根据本发明的一个实施例，监控任务调度模块205可被配置成在业务模块201被部
署在客户端后，读取该业务模块201中的监控文件204，根据监控文件204中指定的监控周期来生成监控任务调度指令。例如，监控任务调度模块205可被配置为获取当前时间的对应单位数字，针对监控文件204中指定的监控周期进行取模，当取模结果为0时，代表符合执行条件，表明可生成监控任务调度指令。
[0050]
根据本发明的一个实施例，所生成的监控任务调度指令可被传送到监控任务执行模块206以触发监控任务的执行。
[0051]
根据本发明的一个实施例，监控任务执行模块206可被配置为在接收到监控任务调度指令之际，基于监控文件204来执行监控任务，并将监控结果与监控文件204中指定的业务监控规则进行匹配。例如，监控任务执行模块206可被配置从监控文件204中提取监控任务的执行指令，业务监控规则等来执行监控任务。
[0052]
例如，监控任务执行模块206被配置为基于监控任务的执行指令来执行监控任务以得到监控结果，并将监控结果与业务监控规则进行比对，以判断监控结果是否存在异常，如果存在异常，则向异常监控任务生成模块207发送异常监控任务生成指令。
[0053]
继续上述的示例性监控文件，监控任务所要执行的sql为"sql":"select count(*)from rpt.rpt_resource_partner_domain_name_pv_1min where parse_time＝'{execution_date}'；"。例如，执行该sql所得到的监控结果是在某特定时间处rpt.rpt_resource_partner_domain_name_pv_1min中项的数量。如果获取监控结果为0，业务监控规则为eq:0，eq的意思为等于，则该监控结果符合业务监控规则，表明该监控结果出现异常。在本文中，将出现异常监控结果的监控任务称为异常监控任务。在此种情况下，监控任务执行模块206将异常监控任务生成指令传送到异常监控任务生成模块207。
[0054]
根据本发明的一个实施例，异常监控任务生成模块207被配置为基于监控任务执行模块206发送的异常监控任务生成指令，将该异常监控任务添加到异常监控任务列表中。异常监控任务列表用于记录业务模块201中出现异常的监控任务，并可具有以下字段，例如：{业务模块名称，异常监控任务的名称，异常监控任务的执行时戳}，以使得每个异常监控任务条目能表示一个具有异常监控结果的异常监控任务。当然，本领域的技术人员完全能够理解，异常监控任务列表也可具有其他的形式和/或字段。例如，异常监控任务列表中还可包括{重跑状态}字段，以指示该异常监控任务的重跑状态(诸如重跑成功，未进行重跑，重跑失败等)。
[0055]
根据本发明的一个实施例，重跑模块202中的异常监控任务获取模块208被配置成获取业务模块201中的异常监控任务列表，并基于获取的异常监控任务列表来选择需要进行重跑处理的异常监控任务条目，以生成对应的重跑指令以传送到重跑任务生成模块209。例如，异常监控任务获取模块208可基于获取到的异常监控任务列表中的一个或多个异常监控任务条目来生成相对应的一个或多个重跑指令。在一个实施例中，异常监控任务获取模块208可基于异常监控任务条目的“重跑状态”来选择需要进行重跑处理的异常监控任务。
[0056]
在一个实施例中，重跑指令可包括异常监控任务条目中的一个或多个字段信息，例如业务模块201的模块名称、异常监控任务的任务名称等。例如，在客户端存在多个业务模块201的情况下，重跑指令包括业务模块名称以向重跑任务生成模块209告知是哪个业务模块201中的业务任务需要被重跑。此外，重跑指令中的异常监控任务的任务名称可向重跑
任务生成模块209告知是该业务模块201的监控文件204中的哪个监控任务出现了异常的监控结果。
[0057]
在另一个实施例中，重跑模块202也可不包括异常监控任务获取模块208，而是获取业务模块201的监控文件204来执行监控任务，当发现异常监控结果时，将该监控任务标识为异常监控任务并生成对应的重跑指令以传送到重跑任务生成模块209。
[0058]
根据本发明的一个实施例，重跑模块202对异常监控任务的获取可定期执行，或，可响应于接收来自业务模块201的异常监控任务生成模块207传送的触发指令来执行。
[0059]
根据本发明的一个实施例，重跑任务生成模块209被配置成基于接收到的重跑指令，生成重跑任务，并将重跑任务传送到重跑任务执行模块210以供重跑任务执行模块210进行重跑。在一个示例中，生成的重跑任务可指定以下中的一者或多者：需要重跑的业务任务，业务任务的重跑调度时间，重跑结果的验证方式，重跑任务标识符等。
[0060]
根据本发明的一个实施例，重跑任务生成模块209可根据重跑指令中所指示的业务模块201(例如，业务模块201-1到201-n中的任一者)以及重跑指令中所指示的异常监控任务，基于所指示的业务模块201中的业务相关代码文件203来确定与该异常监控任务有关的一个或多个业务任务(即，导致监控任务出现异常，从而需要重跑的业务任务)，并基于该一个或多个业务任务与其他业务任务的依赖关系来指定该一个或多个业务任务的重跑调度时间。根据本发明的另一个实施例，重跑任务生成模块209也可直接指定重跑任务的重跑调度时间，例如在当前时间后的某一个时间点来执行重跑任务。
[0061]
根据本发明的一个实施例，重跑任务生成模块209可将重跑结果的验证方式指定为重新获取业务模块201中的异常监控任务列表，并基于该异常监控任务列表来判断重跑是否成功。根据本发明的另一个实施例，重跑任务生成模块209可将重跑结果的验证方式指定为在指定时间或立即再次执行该出现异常的监控任务，以判断重跑是否成功。当然，重跑任务生成模块209也可指定其他验证方式来判断是否成功。
[0062]
根据本发明的一个实施例，重跑任务执行模块210被配置为基于接收到的重跑任务来执行重跑。在一个实施例，重跑任务执行模块210在重跑调度时间，通过调用业务模块201中的业务相关代码文件203来执行与该异常监控任务相关的业务任务。在一个实施例中，重跑任务执行模块210调用业务模块201中的业务相关代码文件203的方式可在重跑模块202按照以上参考图3描述的标准化方法被定义，此调用方式不在本发明的保护范围之内，本领域的技术人员可以采用多种编程方式来实现此调用。重跑完成后，重跑任务执行模块210向重跑任务结果检测模块211发送重跑完成指令。该重跑完成指令可包括重跑任务的标识符(例如，名称、id)等。例如，在存在多个需要重跑的重跑任务的情况下，重跑任务的标识符可向重跑任务结果检测模块210告知是哪个重跑任务完成。
[0063]
根据本发明的一个实施例，重跑任务结果检测模块211被配置为基于接收到的重跑完成指令，对重跑任务的结果进行验证，以判断重跑任务是否成功。
[0064]
在重跑任务将重跑结果的验证方式指定为重新获取业务模块201中的异常监控任务列表的情况下，重跑任务结果检测模块211获取业务模块201的异常监控任务列表，并判断是否出现与之前进行重跑的异常监控任务相同的新的异常监控任务。例如，如果指示相同监控任务的异常监控任务条目的时戳晚于重跑任务的调度时间，则表明出现新的异常监控任务条目，之前的重跑任务失败。在一个实施例中，重跑任务结果检测模块211可基于业
务模块201中针对该异常监控任务的调度时间来确定何时重新获取异常监控任务列表，以防止在监控任务还未被重新执行的情况下获取异常监控任务列表。
[0065]
在重跑任务将重跑结果的验证方式指定为在指定时间或立即再次执行该出现异常的监控任务的情况下，重跑任务结果检测模块211调用业务模块201中的监控文件204以再次执行监控任务，并基于监控文件204中的业务监控规则来判断监控结果是否出现异常。如果监控结果没有出现异常，则表明重跑任务成功。
[0066]
根据本发明的一个实施例，重跑任务结果检测模块211被进一步配置为维护针对重跑任务的重跑次数。例如，重跑任务结果检测模块211在接收到重跑完成指令，可将针对该重跑任务的重跑次数加1。在一个实施例中，重跑次数被初始化为0。
[0067]
根据本发明的一个实施例，重跑任务结果检测模块211被进一步配置为在重跑任务失败的情况下，将针对该异常监控任务的重跑次数与业务模块201中的监控文件204中指定的重跑冗余次数进行比较。如果重跑次数小于重跑冗余次数，则重跑任务结果检测模块211向重跑任务生成模块209发送重跑指令，以生成并执行针对该异常监控任务的新的重跑任务。如果重跑次数大于或等于重跑冗余次数，则向管理员或者客户发送告警以进行人工干预。
[0068]
根据本发明的一个实施例，重跑任务结果检测模块211可将最终的重跑结果状态返回到业务模块201，以对异常监控任务列表中针对该异常监控任务的条目的“重跑状态”进行更新。例如，将“重跑状态”更新为“重跑成功”或“重跑失败”。
[0069]
图5示出了根据本发明的一个实施例的用于基于业务监控的自动业务重跑的方法500的流程图。该方法500可在客户端处被实现。当然，取决于具体的业务模块部署方式，方法500中的各步骤可在不同或相同的计算设备、服务器或云端实现。
[0070]
在501，获取业务模块的需要进行重跑的异常监控任务。
[0071]
根据本发明的一个实施例，获取业务模块的需要进行重跑的异常监控任务可包括获取业务模块的异常监控任务列表来从中标识需要进行重跑的异常监控任务。
[0072]
根据本发明的另一个实施例，获取业务模块的需要进行重跑的异常监控任务可包括调度业务模块中的监控文件来执行监控任务。在一个实施例中，执行监控任务可包括：(a)基于业务模块中的监控文件，执行监控任务，并获得监控结果；(b)基于监控文件中定义的业务监控规则，判断监控结果是否符合该业务监控规则。根据本发明的一个实施例，业务模块通过以下方式来生成：(1)定义模块代码目录结构，以对模块代码的组织结构进行标准化；(2)基于所需业务功能对模块代码目录结构进行初始化操作，使得模块代码目录结构中的一项或多项根据客户提出的所需业务功能被初始化，以生成针对所需业务功能的经初始化的模块代码，该业务模块包括经初始化的模块代码。进一步，业务模块包括在初始化过程中生成的监控文件。监控文件定义针对该业务模块的一个或多个监控任务。
[0073]
根据本发明的一个实施例，如果监控结果符合业务监控规则，则表示该监控结果出现异常。在一个实施例中，可将出现异常监控结果的监控任务作为异常监控任务添加到异常监控任务列表中。
[0074]
在502，生成并执行针对该异常监控任务的重跑任务。根据本发明的一个实施例，重跑模块可获取业务模块的异常监控任务列表或执行监控任务来获取需要进行重跑任务的异常监控任务。并且，重跑模块生成针对该异常监控任务的重跑任务，并调用相关业务模
块来执行重跑任务。在一个实施例中，重跑任务可指定以下中的一者或多者：需要重跑的业务任务，业务任务的重跑调度时间，重跑结果的验证方式，重跑任务标识符等。根据本发明的一个实施例，在重跑任务结束后，将针对该重跑任务的重跑次数加1。
[0075]
在503，对重跑任务的结果进行验证，以确定重跑任务是否成功。如果成功，则进入步骤507或结束方法，如果不成功，则进入步骤504。根据本发明的一个实施例，对重跑任务的结果进行验证可包括重新获取业务模块201中的异常监控任务列表，并基于该异常监控任务列表来确定重跑任务是否成功。根据本发明的另一个实施例，对重跑任务的结果进行验证可包括在指定时间或立即再次执行该出现异常的监控任务。
[0076]
在504，将针对该重跑任务的重跑次数与重跑冗余次数进行比较。如果重跑次数小于重跑冗余次数，则进入步骤505，如果重跑次数大于或等于重跑冗余次数，则进入步骤506。
[0077]
在505，生成并执行针对该异常监控任务的新的重跑任务。由此，在执行完新的重跑任务之后，返回步骤503，并再次判断新的重跑任务是否成功。
[0078]
在506，向管理员或者客户发送告警以进行人工干预。根据本发明的一个实施例，告警可通过用户界面、语音、文本等多种方式被传递给客户。根据本发明的另一个实施例，如果客户端安装了多个业务模块，则可在用户界面中同时显示针对多个业务模块的告警信息。
[0079]
在507，将最终的重跑结果状态返回到业务模块。根据本发明的一个实施例，步骤507可以是任选的。
[0080]
由此，通过对代码结构进行模块化和标准化，并将监控文件包括在标准化的模块之中，能做到规范开发，降低部署门槛。此外，在监控和重跑期间，所有操作均不需要人工干预，且无需额外的系统，能够实现大数据分析领域的自动化的业务监控和补数重跑。
[0081]
图6示出了根据本发明的一实施例的可应用于本发明的各方面的硬件设备的计算设备600的框图。例如，本发明中的大数据业务提供商和/或客户端可被实现为计算设备600或计算设备600的群集。
[0082]
参考图6，计算设备600可以是可被配置成用于实现处理和/或计算的任何机器，可以是但并不局限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机、家用摄像头、会议录像设备、道路摄像头或者它们的任何组合。前述的各种方法/装置/服务器/客户端设备可全部或者至少部分地由计算设备600或者类似设备或系统来实现。
[0083]
计算设备600可包括可经由一个或多个接口和总线602连接或通信的组件。例如，计算设备600可包括总线602、一个或多个处理器604、一个或多个输入设备606以及一个或多个输出设备608。该一个或多个处理器604可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如，专门的处理芯片)。输入设备606可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于鼠标、键盘、触摸屏、麦克风、摄像头和/或远程控制器。输出设备608可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备600也可以包括非瞬态存储设备610或者与所述非瞬态存储设备相连接，所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备，并且所述非瞬态存储设
备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、rom(只读存储器)、ram(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备610可从接口分离。非瞬态存储设备610可具有用于实施上述方法和步骤的数据/指令/代码。计算设备600也可包括通信设备612。通信设备612可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、ieee 1302.11设备、wifi设备、wimax设备、蜂窝通信设备和/或类似设备。
[0084]
总线602可以包括但不限于工业标准结构(isa)总线、微通道结构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)局部总线和外部设备互连(pci)总线。
[0085]
计算设备600还可包括工作存储器614，该工作存储器614可以是任何类型的能够存储有利于处理器604的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。
[0086]
软件组件可位于工作存储器614中，这些软件组件包括但不限于操作系统616、一个或多个应用程序618、驱动程序和/或其它数据和代码。用于实现本发明上述方法和步骤的指令可包含在所述一个或多个应用程序618中，并且可通过处理器604读取和执行所述一个或多个应用程序618的指令来实现本发明的上述方法500。
[0087]
也应该认识到可根据具体需求而做出变化。例如，也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外，可采用与其它计算设备、例如网络输入/输出设备等的连接。例如，可通过具有汇编语言或硬件编程语言(例如，verilog、vhdl、c++)的编程硬件(例如，包括现场可编程门阵列(fpga)和/或可编程逻辑阵列(pla)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。
[0088]
尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。