一种数据处理的方法及终端的制作方法

文档序号:9417498阅读:259来源:国知局
一种数据处理的方法及终端的制作方法
【技术领域】
[0001]本发明实施例涉及数据库技术领域,尤其涉及到一种数据处理的方法及终端。
【背景技术】
[0002]在数据库的使用中,抽取、转换和加载(英文:Extract Transform Load,缩写:ETLE)的整个过程可以描述为:将数据从源端经抽取、转换、加载至目的端的过程。现有技术中,开源或商业的ETL调度工具,都具有ETL作业流程的功能,每个作业流程内部各个任务之间存在依赖关系,且在实现ETL调度的过程中,作业流程间的任务可能存在依赖。在实现不同作业流程之间的重跑操作的过程中,需要说明的是,不同的作业流程之间的重跑操作实现的前提是建立在该不同的作业流程之间具有任务依赖关系。而现有ETL调度工具,对于作业流程之间的任务依赖通常有两种情况:一种是ETL调度工具本身不支持作业流程间的依赖,需要通过业务开发来解决,以两个作业流程为例进行说明,该两个作业流程分别为第一作业流程和第二作业流程,由于ETL不支持作业流程之间的依赖关系,需要开发一个连接任务,用于置于第一作业流程与第二作业流程之间,基于该连接任务建立第一作业流程与第二作业流程之间的任务依赖关系,因此,会增加业务开发的工作量;另一种是对整个作业流程的依赖,这种情况由于依赖关系由业务逻辑实现,以两个作业流程为例进行说明,该两个作业流程分别为第一作业流程和第二作业流程,第一作业流程和第二作业流程之间的任务依赖关系由业务逻辑实现,该业务逻辑仅实现了该两个作业流程之间的整体任务依赖关系,而尚未建立该第一作业流程中的各任务和第二作业流程中的各任务之间的任务依赖关系,因而,ETL调度工具不能较好对该情况下的作业流程进行控制,即:ETL调度工具实现重跑操作只能在单个作业流程中进行,而不能较好实现两个作业流程间的重跑操作,进一步地,倘若不能执行作业间的重跑操作,那么在多个作业流程中存在故障任务的情况下,便无法快速搜索到该故障任务。

【发明内容】

[0003]本发明实施例提供了一种数据处理的方法及终端,以期降低业务开发的工作量,同时,可实现多个作业流程之间的重跑操作,并在该多个作业流程中存在故障任务的情况下,通过该重跑操作快速查找到故障任务。
[0004]本发明实施例第一方面提供了一种数据处理的方法,包括:
[0005]确定第一作业流程中的目标任务和第二作业流程中的连接任务;
[0006]将所述目标任务引用添加到第二作业流程中,并建立所述目标任务与所述连接任务之间的第一任务依赖关系;
[0007]基于所述目标任务与所述连接任务之间的第一任务依赖关系确定所述目标任务和所述第二作业流程各任务之间的第二任务依赖关系;
[0008]在接收到用户输入的预设重跑指令的情况下,根据所述第二任务依赖关系控制引用添加所述目标任务之后的所述第二作业流程执行重跑操作,所述预设重跑指令用于控制所述目标任务执行重跑操作。
[0009]相应地,本发明实施例第二方面提供了一种终端,包括:
[0010]第一确定单元,用于确定第一作业流程中的目标任务和第二作业流程中的连接任务;
[0011]建立单元,用于将所述第一确定单元确定的目标任务引用添加到第二作业流程中,并建立所述目标任务与所述第一确定单元确定的连接任务之间的第一任务依赖关系;
[0012]第二确定单元,用于基于所述建立单元建立的所述目标任务与所述连接任务之间的第一任务依赖关系确定所述目标任务和所述第二作业流程各任务之间的第二任务依赖关系;
[0013]执行单元,用于在接收到用户输入的预设重跑指令的情况下,根据所述第二确定单元确定的第二任务依赖关系控制引用添加所述目标任务之后的所述第二作业流程执行重跑操作,所述预设重跑指令用于控制所述目标任务执行重跑操作。
[0014]本发明实施例确定第一作业流程中的目标任务和第二作业流程中的连接任务;将所述目标任务引用添加到第二作业流程中,并建立所述目标任务与所述连接任务之间的第一任务依赖关系;基于所述目标任务与所述连接任务之间的第一任务依赖关系确定所述目标任务和所述第二作业流程各任务之间的第二任务依赖关系;在接收到用户输入的预设重跑指令的情况下,根据所述第二任务依赖关系控制引用添加所述目标任务之后的所述第二作业流程执行重跑操作,所述预设重跑指令用于控制所述目标任务执行重跑操作。采用本发明实施例可在确定了第一作业流程中的目标任务和第二作业流程中的连接任务的基础上,建立该目标任务和连接任务之间的任务依赖关系,因而,不必在该第一作业流程和第二作业流程之间开发新的任务作为连接任务,可降低业务开发的工作量。另外,由于第一流程作业的各任务之间具有任务依赖关系和第二作业流程的各任务之间具有任务依赖关系,因而,可根据目标任务和连接任务建立了任务依赖关系推断出第一作业流程和第二作业流程之间的任务依赖关系,从而,当目标任务执行重跑操作之后,第二作业流程中的各任务之间便可实现重跑操作,由于该重跑操作的实现基于ETL调度工具,因此,可解决通过业务逻辑实现第一作业流程和第二作业流程之间的任务依赖关系而导致无法实现作业流程之间的重跑操作的问题。以此类推,本实施例可实现多个作业流程的重跑操作,进一步地,在该多个作业流程出现故障的情况下,利用该重跑操作可快速查找到该多个作业流程中的故障任务。
【附图说明】
[0015]为了更清楚地说明本发明实施例中的技术方案,下面将对实施例、描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0016]图1为本发明实施例提供的一种数据处理的方法的第一实施例的流程示意图;
[0017]图1a为本发明实施例提供的一种数据处理的方法的具体实例图;
[0018]图2为本发明实施例提供的一种数据处理的方法的第二实施例的流程示意图;
[0019]图3为本发明实施例提供的一种数据处理的方法的第三实施例的流程示意图;
[0020]图4a为本发明实施例提供的一种终端的第一实施例的结构示意图;
[0021]图4b为本发明实施例提供的一种终端的第一实施例的又一结构示意图;
[0022]图4c为本发明实施例提供的一种终端的第一实施例的又一结构示意图;
[0023]图4d为本发明实施例提供的一种终端的第一实施例的又一结构示意图;
[0024]图4e为本发明实施例提供的一种终端的第一实施例的又一结构示意图;
[0025]图5为本发明实施例提供的一种终端的第二实施例的结构示意图。
【具体实施方式】
[0026]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明实施例保护的范围。
[0027]实现中,本发明实施例中,终端可以包括但不限于:笔记本电脑、手机、平板电脑、智能可穿戴设备等等。终端的系统指设备的操作系统,可以包括但不限于=Android系统、塞班系统、Windows系统、1S(苹果公司开发的移动操作系统)等等。需要说明的是,Android终端指Android系统的终端,塞班终端指塞班系统的终端,等等。上述终端仅是举例,而非穷举,包含但不限于上述终端。
[0028]本发明实施例结合图1至图5对本发明实施例提供的一种数据处理的方法及终端进行描述。
[0029]请参阅图1,图1是本发明实施例提供的一种数据处理的方法的第一实施例流程示意图。本实施例中所描述的数据处理的方法,包括以下步骤:
[0030]S101、确定第一作业流程中的目标任务和第二作业流程中的连接任务。
[0031 ] 具体实现中,终端可确定第一作业流程中的目标任务和第二作业流程中的连接任务。其中,第一作业流程至少包含一个任务,第二作业流程也至少包含一个任务,在第一作业流程中包含多个任务的情况下,可选择第一作业流程中的一个任务作为目标任务,在第二作业流程中包含多个任务的情况下,可将第二作业流程中的一个任务作为连接任务,将该目标任务标记为虚拟任务,建立目标任务和连接任务之间的任务依赖关系,特别地,在第一作业流程只有I个任务的情况下,可将该任务作为目标任务,确定第二作业流程中的连接任务,并将该目标任务标记为虚拟任务,以建立目标任务与连接任务之间的任务依赖关系。通常情况下,第一作业流程的所有任务之间都存在着任务依赖关系,第二作业流程中的所有任务之间也都存在着任务依赖关系。
[0032]S102、将所述目标任务引用添加到第二作业流程中,并建立所述目标任务与所述连接任务之间的第一任务依赖关系。
[0033]具体实现中,终端可将目标任务引用添加到第二作业流程中,建立该目标任务与该连接任务之间的第一任务依赖关系,以通过该第一任务依赖关系将第一作业流程和第二作业流程之间建立任务依赖关系。
[0034]可选地,终端可将目标任务标记为第二作业流程中的虚拟任务,然后建立虚拟任务和第二作业流程中的连接任务之间的任务依赖关系。
[0035]S103、基于所述目标任务与所述连接任务之间的第一任务依赖关系确定所述目标任务和所述第二作业流程各任务之间的第二任务依赖关系。
[0036]具体实现中,终端可基于目标任务与连接任务之间的第一任务依赖关系确定目标任务和所述第二作业流程各任务之间的第二任务依赖关系。其中,由于第二作业流程的所有任务之间存在着任务依赖关系,只要将目标任务和连接任务之间建立任务依赖关系,便可将目标任务和第二作业流程的各任务之间建立任务依赖关系,由于第一作业流程的
当前第1页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1