支持快速预判权限的集群数据加载工具及方法与流程

文档序号:12748401阅读:来源:国知局

技术特征:

1.一种支持快速预判权限的集权数据加载工具,其特征在于:包括加载工具使用接口(1)、加载任务管理模块(2)和加载任务执行模块(3),加载工具使用接口(1)的信号输出端与加载任务管理模块(2)的信号接收端连接,加载任务管理模块(2)的信号输出端与加载任务执行模块(3)的信号接收端连接,加载任务执行模块(3)内部又包括权限预判模块(8),权限预判模块(8)的信号输出端分别与文件列表和权限信息列表连接,

加载工具使用接口(1)用于启动加载任务,并将各个任务的参数传递给加载任务管理模块(2);

加载任务管理模块(2)用于保存、维护和调度所有接收到的加载任务;

加载任务执行模块(3)用于负责具体加载任务的执行;

权限预判模块(8)用于对数据文件进行权限预判。

2.根据权利要求1所述的支持快速预判权限的集权数据加载工具,其特征在于:所述支持快速预判权限的集权数据加载工具还包括读数据模块(4)、数据源访问模块(6)、写数据模块(5)和数据库访问模块(7),读数据模块(4)的数据输出端与加载任务执行模块(3)的数据接收端连接,读数据模块(4)的数据接收端与数据源访问模块(6)的数据输出端连接,写数据模块(5)的数据接收端与加载任务执行模块(3)的数据输出端连接,写数据模块(5)的数据输出端与数据库访问模块(7)的数据接收端连接,读数据模块(4)用于提供统一的读取数据接口;数据源访问模块(6)用于从具体的数据源上读取数据;写数据模块(5)用于提供统一的写数据接口;数据库访问模块(7)用于将接收到的数据加载进集群数据库。

3.一种权利要求1中所采用的支持快速预判权限的集权数据加载方法,其特征在于:包括如下步骤:

步骤S1,将加载参数通过加载工具使用接口(1)输入,并输出给加载任务管理模块(2);

步骤S2,加载任务管理模块(2)根据接收到的参数,创建加载任务列表;

步骤S3,将待加载任务输出给加载任务执行模块(3),权限预判模块(8)对待加载任务进行预判,将全部待加载数据文件名生成文件列表,将已经进行过预判的文件生成权限信息列表;

步骤S4,加载任务执行模块(2)分别读取文件列表和权限信息列表,如果文件列表中没有还未进行权限预判的文件,结束预判,开始加载数据;如果从文件列表中找出还未进行权限预判的文件;

步骤S5,检查是否存在同权限的文件,如果权限信息列表中已经包含与此文件的权限信息相同的权限信息,就直接将其中保存的预判结果作为对此文件的预判结果,转向步骤S4,如果权限信息列表中不存在包含与此文件的权限信息相同的权限信息,访问此文件的一小部分,根据访问结果判断权限是否足够,并将此文件的权限信息和预判结果保存到权限信息列表中;

步骤S6,如果权限不足,提示用户后转向步骤S4。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1