一种基于kettle的web端交换管理方法与流程

文档序号:11545240

本发明涉及计算机技术领域,具体地说是一种实用性强、基于kettle的web端交换管理方法。



背景技术:

如今,科技的迅猛发展以及信息化的不断推进,人类的数据量呈爆炸性增长,数据所蕴含的价值也日益得到重视,一个大规模共享和应用的时代已开启。实现数据共享,可以使更多的人充分的使用已有的数据资源,减少资料收集、数据采集等重复性劳动和费用,降低了社会成本。由于数据来源的不同,导致数据质量、数据格式和数据内容千差万别,有时会遇到无法转换或者转换后信息丢失等棘手问题,严重阻碍了数据在各团体以及各系统之间的共享。

kettle作为为数不多的开源etl工具,以其强大的数据抽取、转换和加载能力,友好的图形界面,丰富的数据仓库适配,大数据的支持,高效的执行效率,可扩展性等优点得到了广泛的应用。但kettle在面对多个转换与任务的管理时显得力不从心,同时kettle的使用者往往会在kettle与其他一个和多个系统之间频繁切换,增加了工作的复杂性,降低了工作效率。

针对这一情况,现提供一种基于kettle的web端交换管理方法。



技术实现要素:

本发明的技术任务是针对以上不足之处,提供一种实用性强、基于kettle的web端交换管理方法。

一种基于kettle的web端交换管理方法,其实现过程为:

首先创建数据库;

启动kettle,创建数据库资源库,指向数据库;

新建web工程,将数据源信息配置为上述步骤中创建的数据库;

创建kettle核心脚本的pojo对象,创建pojo的curd操作工具类以及运行操作的工具类;

创建前台页面。

通过kettle的数据库资源库指向数据库的过程为:

首先创建数据库,将与之对应的jdbc驱动包放置在kettle的目录下,然后启动kettle;

新建数据库资源库,新增数据库连接,在数据库连接页面,填写数据库的信息、资源库名称,完成数据库资源库的配置,并进行初始化操作,将kettle数据库资源库所依赖的表和数据初始化到数据库中。

新建web工程的具体过程为,引入kettle依赖jar包core、engine、ui、dbdialog四个jar包,并将数据源配置为kettle资源库对应的数据库信息,完成web工程的基础环境配置。

所述建立数据持久化对象pojo过程为,建立数据库操作工具类,分别完成对持久化对象的curd操作,以此完成kettle转换与作业的基础信息配置;建立运行操作工具类,调用kettle的api,实现对转换、作业的运行的启停操作,运行参数配置操作,日志收集操作。

在建立前台页面后,通过该前台页面,借助后台工具类,进行转换、作业的基础属性配置,转换、作业的单个和批量启停、运行参数配置,转换、作业运行状态的实时查看,历史运行轨迹查看,转换、作业的查询。

本发明的一种基于kettle的web端交换管理方法,具有以下优点:

本发明的一种基于kettle的web端交换管理方法,把kettle中的转换、作业的基础属性配置,运行管理与配置从kettle中剥离,使经常性的操作无需kettle启动即可完成,无需在多个系统之间进行切换,同时方便了转换、作业的批量管理,简化了工作,提高了工作效率,本发明将kettle中的常用的基础操作从kettle中分离出来,使得kettle中转换与作业更易于管理,增强交换操作易用性以及用户体验性,实用性强,适用范围广泛,易于推广。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

附图1为本发明的实现流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如附图1所示,一种基于kettle的web端交换管理方法,依托于kettle的数据库资源库,将kettle中两种核心脚本文件转换与作业的基础属性配置、运行配置管理,数据库连接的管理以及集群子服务器的管理从kettle中剥离,kettle仅负责转换与作业的gui图形操作。

其实现过程为:

首先创建数据库;

启动kettle,创建数据库资源库,指向数据库;

新建web工程,将数据源信息配置为上述步骤中创建的数据库;

创建kettle核心脚本的pojo对象,创建pojo的curd操作工具类以及运行操作的工具类;

创建前台页面。

更为具体的,本发明的实现过程为:

1)创建数据库,将与之对应的jdbc驱动包放置kettle的lib目录下,启动kettle。

2)在完成以上技术方案的基础上,新建数据库资源库,新增数据库连接,在数据库连接页面,填写上步中数据库的信息,填写资源库名称,完成数据库资源库的配置,并进行初始化操作,将kettle数据库资源库所依赖的表和数据初始化到数据库中。

3)在完成以上技术方案的基础上,新建web工程,引入kettle依赖jar包core、engine、ui、dbdialog四个jar包,并将数据源配置为kettle资源库对应的数据库信息,完成web工程的基础环境配置。

4)在完成以上技术方案的基础上,建立kettle核心表r_job、r_job_attribute、r_cluster、r_cluster_slave、r_database、r_database_attribute、r_database_type、r_transformation、r_trans_attribute的核心数据持久化对象pojo。建立数据库操作工具类,分别完成对持久化对象的curd操作,以此完成kettle转换与作业的基础信息配置。建立运行操作工具类,调用kettle的api,实现对转换、作业的运行的启停操作,运行参数配置操作,日志收集操作。

5)在完成以上技术方案的基础上,建立前台页面,借助后台工具类,实现转换、作业的基础属性配置,转换、作业的单个和批量启停、运行参数配置,转换、作业运行状态的实时查看,历史运行轨迹查看,转换、作业的查询。

借助该工具,可以实现在web系统中完成kettle中转换属性与job属性的配置以及配置的修改,转换与作业运行参数的配置以及单个转换与作业的启停和批量启停;数据库连接的新增、删除和修改;子服务器的新增、删除以及修改。转换以及作业的运行状态的实时查看,历史运行日志的查看。支持转换与作业的查询。

上述具体实施方式仅是本发明的具体个案,本发明的专利保护范围包括但不限于上述具体实施方式,任何符合本发明的一种基于kettle的web端交换管理方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换,皆应落入本发明的专利保护范围。

再多了解一些
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1