一种云平台的数据处理方法及系统与流程

文档序号:11950363阅读:来源:国知局

技术特征:

1.一种云平台的数据处理方法,其特征在于,包括:

将云平台中的数据流分成多个块文件;

将各所述块文件分别进行存储,并保存各所述块文件的存储位置;

根据各所述块文件的存储位置,读取并执行相应的任务处理。

2.根据权利要求1所述的方法,其特征在于,所述将云平台中的数据流分成多个块文件,包括将云平台中的数据流分成多个等量的块文件。

3.根据权利要求2所述的方法,其特征在于,将各所述块文件分别进行存储,包括将各所述块文件分别存储在本地磁盘上。

4.根据权利要求3所述的方法,其特征在于,在保存各所述块文件的存储位置之后,还包括:对各所述块文件进行预读取。

5.根据权利要求4所述的方法,其特征在于,所述根据各所述块文件的存储位置,读取并执行相应的任务处理,包括:

通过主机读取所要执行的任务对应的第一块文件的存储位置;

根据所述第一块文件的存储位置,调取对应的块文件数据;

将所述块文件数据放在所述主机的节点上,通过各节点之间的相互调用,对所述块文件数据进行传输和处理。

6.根据权利要求1至5任一项所述的方法,其特征在于,在将云平台中的数据流分成多个块文件时,还包括:对各块文件中的数据进行分类,并进行对应的类别标记。

7.一种云平台的数据处理系统,其特征在于,包括:

数据分块模块,用于将云平台中的数据流分成多个块文件;

存储模块,用于存储各所述块文件,并保存各所述块文件的存储位置;

主机,用于根据各所述块文件的存储位置,读取并执行相应的任务处理。

8.根据权利要求7所述的系统,其特征在于,所述数据分块模块包括:

计算单元,用于统计所述数据流的大小,并计算平均分配给各所述块文件中的数据量;

分块单元,用于根据所述计算单元的计算结果,将云平台中的数据流分成多个等量的块文件。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1