批量数据整合方法、装置、存储介质及设备与流程

文档序号:14185704

技术特征:

1.一种批量数据整合方法,其特征在于,包括:

利用调度组件接收来自上游系统的数据文件,并将数据文件分发给监控组件;

利用监控组件对数据文件开启内存锁,并转发给执行组件;

利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理,并转发给业务组件;

利用业务组件对数据文件进行业务逻辑处理,并关闭内存锁;

其中,调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义;多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。

2.如权利要求1所述的批量数据整合方法,其特征在于,利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理,并转发给业务组件之前,还包括:

利用监控组件对数据文件进行容错处理。

3.如权利要求1所述的批量数据整合方法,其特征在于,调度组件、监控组件、执行组件及业务组件是以Java语言为基础,同时使用Sh语言预先定义。

4.如权利要求1所述的批量数据整合方法,其特征在于,调度组件、监控组件、执行组件及业务组件中的多个文件是根据业务类型的信息命名。

5.一种批量数据整合装置,其特征在于,包括:

调度单元,用于:利用调度组件接收来自上游系统的数据文件,并将数据文件分发给监控组件;

监控单元,用于:利用监控组件对数据文件开启内存锁,并转发给执行组件;

执行单元,用于:利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理,并转发给业务组件;

业务单元,用于:利用业务组件对数据文件进行业务逻辑处理,并关闭内存锁;

组件定义单元,用于执行:调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义;

并行整合单元,用于执行:多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。

6.如权利要求5所述的批量数据整合装置,其特征在于,

监控单元,还用于:利用监控组件对数据文件进行容错处理。

7.如权利要求5所述的批量数据整合装置,其特征在于,

组件定义单元,还用于执行:调度组件、监控组件、执行组件及业务组件是以Java语言为基础,同时使用Sh语言预先定义。

8.如权利要求5所述的批量数据整合装置,其特征在于,

组件定义单元,还用于执行:调度组件、监控组件、执行组件及业务组件中的多个文件是根据业务类型的信息命名。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至4所述方法的步骤。

10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4所述方法的步骤。

再多了解一些
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1