云计算平台下实现异构数据处理功能的ETL系统及其处理方法与流程

文档序号:18739669发布日期:2019-09-21 01:38阅读:来源:国知局

技术特征:

1.一种云计算平台下实现异构数据处理功能的ETL系统,其特征在于,所述的系统包括:

WEB应用前端处理模块,用于进行门户管理,配置数据源配置、采集器信息、采集任务的配置、采集产物浏览管理以及浏览操作日志;

ETL数据处理模块,与所述的WEB应用前端处理模块相连接,用于采集异构数据,根据WEB应用发起的采集任务来采集不同的异构数据;

数据存储及交互模块,与所述的WEB应用前端处理模块和ETL数据处理模块均相连接,用于进行数据存储以及与其他模块进行数据交互。

2.根据权利要求1所述的云计算平台下实现异构数据处理功能的ETL系统,其特征在于,所述的WEB应用前端处理模块包括:

采集数据源配置单元,用于配置异构数据的类型、采集产物的挂载点及指定需要采集的异构数据的存储介质类型;

采集器信息配置单元,与所述的采集数据源配置单元相连接,用于配置采集产物关系生成规则及采集产物的展示方式;

采集任务配置单元,与所述的采集器信息配置单元相连接,用于根据不同的采集器信息配置,发起采集任务;

采集产物管理单元,与所述的采集任务配置单元相连接,用于查看采集成功的产物并可对产物进行操作;

浏览操作日志单元,与所述的采集产物管理单元相连接,用于对每个操作步骤进行记录。

3.根据权利要求1所述的云计算平台下实现异构数据处理功能的ETL系统,其特征在于,所述的ETL数据处理模块包括:

数据采集单元,与所述的WEB应用前端处理模块相连接,用于根据不同的采集任务,将大量异构数据转换为统一数据格式的数据;

采集产物分析单元,与所述的数据采集单元相连接,用于调用采集产物存储模块中的数据,对这些数据进行分析,提炼出用户需要的信息;

产生日志单元,与所述的采集产物分析单元相连接,用于记录ETL数据采集模块中的每个操作步骤。

4.根据权利要求1所述的云计算平台下实现异构数据处理功能的ETL系统,其特征在于,所述的数据存储及交互模块包括:

采集产物存储单元,与所述的WEB应用前端处理模块和ETL数据处理模块均相连接,用于将采集成功后的数据存储至数据库,前端页面可调用这些数据;

WEB前端录入存储单元,与所述的采集产物存储单元相连接,用于将前端录入的信息录入至数据库;

日志信息存储单元,与所述的WEB前端录入存储单元相连接,用于将WEB前端应用的操作日志和ETL的采集日志存储至数据库;

系统交互单元,与所述的日志信息存储单元相连接,用于通过开放接口供其他系统订阅调用数据。

5.根据权利要求2所述的云计算平台下实现异构数据处理功能的ETL系统,其特征在于,所述的采集数据源配置单元支持的存储介质类型包括xml文件、excel文档、ETL的数据脚本和主流的关系型数据库。

6.根据权利要求2所述的云计算平台下实现异构数据处理功能的ETL系统,其特征在于,所述的采集任务配置单元的任务启动方式包括手工启动和定时周期启动。

7.一种基于权利要求1所述的系统实现云计算平台下的异构数据处理方法,其特征在于,所述的方法包括以下步骤:

(1)所述的WEB应用前端处理模块进行门户管理,配置数据源配置、采集器信息、采集任务的配置、采集产物浏览管理以及浏览操作日志;

(2)所述的ETL数据处理模块采集异构数据,根据WEB应用发起的采集任务来采集不同的异构数据;

(3)所述的数据存储及交互模块进行数据存储以及与其他模块进行数据交互。

8.根据权利要求7所述的实现云计算平台下的异构数据处理方法,其特征在于,所述的WEB应用前端处理模块包括采集数据源配置单元、采集器信息配置单元、采集任务配置单元、采集产物管理单元和浏览操作日志单元,所述的步骤(1)具体包括以下步骤:

(1.1)所述的采集数据源配置单元配置采集数据源,配置异构数据的类型、采集产物挂载点及指定需要采集的异构数据的存储介质类型;

(1.2)所述的采集器信息配置单元配置采集器信息,配置采集产物关系生成规则及配置采集产物的展示方式;

(1.3)所述的采集任务配置单元配置采集任务,根据采集器信息配置,发起采集任务;

(1.4)所述的采集产物管理单元浏览并管理采集产物,查看采集成功的产物并可对产物执行修改、删除等操作。

9.根据权利要求8所述的实现云计算平台下的异构数据处理方法,其特征在于,所述的步骤(1)还包括以下步骤:

(1.5)所述的浏览操作日志单元浏览操作日志,查看每一步操作的记录。

10.根据权利要求7所述的实现云计算平台下的异构数据处理方法,其特征在于,所述的ETL数据处理模块包括数据采集单元、采集产物分析单元和产生日志单元,所述的步骤(2)具体包括以下步骤:

(2.1)所述的数据采集单元采集数据,并根据采集任务调用对应的适配器,将异构数据转化为统一数据格式的数据;

(2.2)所述的采集产物分析单元分析采集产物,对数据采集模块产出的统一格式的数据,进行关系分析。

11.根据权利要求10所述的实现云计算平台下的异构数据处理方法,其特征在于,所述的步骤(2)还包括以下步骤:

(2.3)所述的产生日志单元记录详细操作日志,将日志信息保存至数据库并生成日志文件。

12.根据权利要求7所述的实现云计算平台下的异构数据处理方法,其特征在于,所述的数据存储及交互模块包括采集产物存储单元、WEB前端录入存储单元和日志信息存储单元,所述的步骤(3)具体包括以下步骤:

(3.1)所述的采集产物存储单元将采集产物存储至数据库;

(3.2)所述的WEB前端录入存储单元将Web前端应用录入信息存储;

(3.3)所述的日志信息存储单元存储日志信息。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1