并行数据加载方法和系统与流程

文档序号:12494453阅读:来源:国知局

技术特征:

1.一种并行数据加载方法,其特征在于,所述方法应用于并行数据加载系统,所述系统包括:M个主节点、N个数据节点和R个文件传输协议FTP服务器,其中,所述M为大于等于1的整数,所述N为大于等于2的整数,所述R为大于等于1的整数,所述M个主节点与所述N个数据节点以及所述R个FTP服务器通信连接,所述N个数据节点和所述R个FTP服务器通信连接;

所述方法包括:

主节点向至少两个数据节点发送加载指示信息,所述加载指示信息用于指示所述至少两个数据节点加载所述FTP服务器中存储的数据;

所述主节点接收所述至少两个数据节点发送的任务分配请求信息,所述任务分配请求信息用于请求所述主节点为所述数据节点分配加载文件信息;

所述主节点向每个数据节点发送所述数据节点对应的加载文件信息;

所述数据节点根据所述加载文件信息从所述FTP服务器下载所述加载文件信息对应的数据块进行加载。

2.根据权利要求1所述的方法,其特征在于,所述主节点向每个数据节点发送所述数据节点对应的加载文件信息之前,还包括:

所述主节点根据所述至少两个数据节点发送任务分配请求信息的频率,确定为每个数据节点分配的加载文件的大小。

3.根据权利要求2所述的方法,其特征在于,还包括:

若所述主节点确定待加载文件已经全部加载完毕,向所述至少两个数据节点发送加载完成指示信息。

4.根据权利要求3所述的方法,其特征在于,还包括:

若所述主节点确定待加载文件已经全部加载完毕,向所述客户端发送加载完成指示信息。

5.根据权利要求2-4任一项所述的方法,其特征在于,所述主节点根据所述至少两个数据节点发送任务分配请求信息的频率,确定为每个数据节点分配的加载文件的大小之前,还包括:

所述主节点将待加载文件分割为多个数据块,每个数据块对应一个所述加载文件信息。

6.一种并行数据加载系统、其特征在于,包括:

M个主节点、N个数据节点和R个文件传输协议FTP服务器,其中,所述M为大于等于1的整数,所述N为大于等于2的整数,所述R为大于等于1的整数,所述M个主节点与所述N个数据节点以及所述R个FTP服务器通信连接,所述N个数据节点和所述R个FTP服务器通信连接;

其中,

所述FTP服务器,用于存储待加载文件;

所述主节点,用于向至少两个数据节点发送加载指示信息,所述加载指示信息用于指示所述至少两个数据节点加载所述FTP服务器中存储的数据;

所述主节点,还用于接收所述至少两个数据节点发送的任务分配请求信息,所述任务分配请求信息用于请求所述主节点为所述数据节点分配加载文件信息;

所述主节点,还用于向每个数据节点发送所述数据节点对应的加载文件信息;

所述数据节点,用于根据所述加载文件信息从所述FTP服务器下载所述加载文件信息对应的数据块进行加载。

7.根据权利要求6所述的系统,其特征在于,

所述主节点还用于根据所述至少两个数据节点发送任务分配请求信息的频率,确定为每个数据节点分配的加载文件的大小。

8.根据权利要求7所述的系统,其特征在于,

所述主节点还用于确定待加载文件已经全部加载完毕,向所述至少两个数据节点发送加载完成指示信息。

9.根据权利要求8所述的系统,其特征在于,

所述主节点还用于接收客户端发送的加载指示信息,所述加载指示信息中包含所述待加载文件的信息。

10.根据权利要求9所述的系统,其特征在于,

所述主节点还用于确定待加载文件已经全部加载完毕,向所述客户端发送加载完成指示信息。

11.根据权利要求7-10任一项所述的系统,其特征在于,

所述主节点还用于将待加载文件分割为多个数据块,每个数据块对应一个所述加载文件信息。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1