一种基于作业模版的数据资源自动化共享方法及系统与流程

本发明涉及数据资源自动化共享应用领域，尤其涉及一种基于作业模版的数据资源自动化共享方法及系统。

背景技术

随着信息化建设的推进，各政务单位内部集聚了大量数据资源，随着管理工作的不断深化，各类深度分析需求也不断涌现，对数据资源的深化利用需求越来越强烈。然而单位与单位之间，单位内部部门与部门之间存在着信息孤岛，为避免重复建设造成大量浪费，实现不同单位部门异构应用系统间信息交换与共享，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用，数据资源整合共享显得尤为急迫。数据资源的共享采用作业的方式进行传输流转，针对某一具体订阅者可设计具体一条作业进行相关支持。由于政务单位数量的庞大，针对某一数据资源的订阅者可能几十上百，如果手动进行作业的相关配置，无疑是巨大的工作量，浪费较多的人力物力。。

技术实现要素：

为了解决以上技术问题，本发明提出了一种基于作业模版的数据资源自动化共享方法。针对某一数据资源订阅者众多的情况下，每条作业手动配置耗时耗力，运用本发明，可以根据订阅者输入的信息，事件触发文件引擎自动生成作业，全过程不需要运维实施人员参与，大大提高相关工作效率。

本发明的技术方案是：

一种基于作业模版的数据资源自动化共享方法，采用作业进行传输，针对一个资源，采用作业模版的方式，事件触发结合具体作业模版生成针对具体订阅方的作业文件，采用数据资源同步工具执行作业文件，完成数据资源的流转，全程可不需要运维实施人员进行相关配置。

采用事件触发机制，订阅者填写相关具体参数信息，文件引擎定时检测到具体参数的输入，将会调用具体作业模版，将相关具体参数传入作业模版中生成具体作业文件，数据传输工具将会按照具体作业文件信息，将相关具体数据资源同步给订阅者。

基于作业模版的数据资源自动化共享方法针对事件触发收集的订阅信息及作业模版借助文件引擎生成可执行作业文件，传输工具直接执行相关作业文件完成数据资源的同步。

本发明还公开了一种基于作业模版的数据资源自动化共享系统，包括作业模版、事件触发、文件引擎、可执行作业文件、数据同步等模块。其中，

作业模版模块，

每个数据资源都有一个作业模版，关于数据资源固有的属性信息：资源数据源、资源表名、日志相关表信息可以作为常量存储在作业模版内，资源订阅者相关信息：订阅方数据源、订阅方表名作为变量存储在作业模版内；

事件触发模块，

订阅者需在系统内填写相关订阅信息，提交以后相关信息储存到redis内，redis服务请求启动文件引擎；

文件引擎模块，

文件引擎每隔10s监听一次redis数据变化，根据传入的数据选择合适的作业模版，并将redis中的参数数据替换模版文件中的变量值，生成可执行作业文件；

可执行作业文件模块，

订阅操作触发文件引擎，生成可执行作业文件；

数据同步模块，

系统命令调用数据同步工具api，执行可执行作业文件，完成数据同步工作。

本发明的有益效果是

针对某一资源，订阅者只要在系统内填写相关订阅信息，可执行作业文件就会生成，数据传输工具根据可执行作业文件，定时执行，数据被传送给订阅者，全程运维实施人员不需参与，节省人力物力。

附图说明

图1是本发明的工作示意图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

本发明的基于作业模版的数据资源自动化共享方法针对事件触发收集的订阅信息及作业模版借助文件引擎生成可执行作业文件，传输工具直接执行相关作业文件完成数据资源的同步。

包括作业模版、事件触发、文件引擎、可执行作业文件、数据同步等模块。

作业模版

每个数据资源都有一个作业模版，关于数据资源固有的属性信息：资源数据源、资源表名、日志相关表等信息可以作为常量存储在作业模版内，资源订阅者相关信息：订阅方数据源、订阅方表名等作为变量存储在作业模版内。

事件触发

订阅者需在系统内填写相关订阅信息，提交以后相关信息储存到redis内，redis服务请求启动文件引擎(confd为例)

文件引擎

文件引擎confd每隔10s监听一次redis数据变化，根据传入的数据选择合适的作业模版，并将redis中的参数数据替换模版文件中的变量值，生成可执行作业文件。

/etc/confd/conf.d/redis_kettle_job.toml：

[template]

src＝″redis_kettle_job_module.tmpl″

dest＝″/etc/confd/redis_kettle_job_list.conf″

mode＝″0777″

keys＝[

″/kettle″

]

check_cmd＝″″

reload_cmd＝″cd/etc/confd/conf.d&javaconfdtemplatesplit/etc/confd/redis_kettle_：

src：指定配置模板文件

dest：根据模板文件生成的配置模板列表文件，生成的该文件内容是

根据数据key不同生成的若干个配置集合

mode：生成文件的权限

keys：redis中存放数据的目录

check_cmd：检查配置文件脚本，如：nginx-t-c{{.src}}，验证

nginx配置文件正确性

reload_cmd：重新加载配置文件脚本，如：nginx-sreload，重启

nginx；该例中，此处指定配置模板表文件

(/etc/confd/redis_kettle_list.conf)的处理脚本。

创建模板列表文件：

可执行作业文件：

/etc/confd/redis_kettle_job_list.conf：

[template]

src＝″module1_job.kjb″

dest＝″/tmp/1000_fogray_job.conf″

keys＝[

″/kettle/1000_fogray″

]

check_cmd＝″″

reload_cmd＝″″

[template]

src＝″module2_job.kjb″

dest＝″/tmp/1001_fogray1_job.conf″

keys＝[

″/kettle/1001_fogray1″

]

check_cmd＝″″

reload_cmd＝″″

······

可执行作业文件

订阅操作触发文件引擎，生成可执行作业文件。

数据同步

系统命令调用数据同步工具api，执行可执行作业文件，完成数

据同步工作。

kitchen/filee：\data\data_sync\job\drive_job.kjb

2018/06/1210：00：23-use_1000_fogray-开始执行任务

2018/06/1210：00：24-use_1000_fogray-开始项[1000_fogray_trans]

2018/06/1210：00：24-1000_fogray_trans-loadingtransformationfromxmlfile[file：///e：/浪潮/文档/项目/gxb/资源订阅/生成的作业以及转换文件/1000_fogray_trans.ktr]

2018/06/1210：00：241000_fogray_transusingrunconfiguration[pentaholocal]

2018/06/1210∶00∶24-1000fogray_trans-usinglegacyexecutionengine

2018/06/1210：00：24-1000_fogray_trans-为了转换解除补丁开始[1000一fogray_trans]

2018/06/1210：00：25-out.0-finishedreadingquery，closingconnection.

2018/06/1210：00：25-out.0-完成处理(i＝2274，0＝0，r＝0，w＝2274，u＝0，e＝0)

2018/06/1210：00：27in.0完成处理(i＝2274，0＝0，r＝2274，w＝2274，u＝0，e＝0)

2018/06/1210：00：28-use_1000_fogray-完成作业项[1000_fogray_trans](结果＝[true])

2018/06/1210∶00：28-use_1000_fogray-任务执行完毕

2018/06/1210：00：28-kitchen-finished！

2018/06/1210：00：28-kitchen-start＝2018/06/1210：00：05.058，stop＝2018/06/1210：00：28.381

2018/06/1210：00：28-kitchen-processingendedafter23seconds.

基于作业模版的数据资源自动化共享机制可以实现作业自动配置，数据自动同步，不需要考虑复杂的数据同步工具集成机制，大大节省了人力物力。