聚合式大数据查询方法及装置与流程

文档序号:12271426阅读:来源:国知局

技术特征:

1.一种聚合式大数据查询方法,其特征在于,包括:

获取聚合式大数据查询请求;

根据所述聚合式大数据查询请求,从n个数据处理节点中获取n个查询任务;n为大于或等于1的整数;

将每个所述查询任务分解为m个数据组;m为大于或等于1的整数;

获取每个数据组的大小,并确定所述n个查询任务中具有相同键值的数据组中数据量最大的数据组;

确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点;

通过所述查询任务执行节点执行聚合式大数据查询任务。

2.根据权利要求1所述的方法,其特征在于,所述通过所述查询任务执行节点执行聚合式大数据查询任务,包括:

通过所述查询任务执行节点从其它数据处理节点中,获取与所述数据量最大的数据组具有相同键值的数据组;

将所述查询任务执行节点中的所述数据量最大的数据组,及与所述数据量最大的数据组具有相同键值的数据组进行合并。

3.根据权利要求2所述的方法,其特征在于,还包括:根据所述聚合式大数据处理请求,从所述n个数据处理节点存储的数据中选取热点数据,在每个数据处理节点的相邻数据处理节点中进行备份,其中,所述热点数据为被访问频率满足预设条件的数据;

所述通过所述查询任务执行节点执行聚合式大数据查询任务,包括:

在所述通过所述查询任务执行节点从其它数据处理节点中,获取与所述数据量最大的数据组具有相同键值的数据组之前,

确定所述查询任务执行节点本地是否存在其它数据处理节点的备份数据,且所述备份数据中包括与所述数据量最大的数据组具有相同键值的数据组;

若是,则所述查询任务执行节点从本地获取所述获取与所述数据量最大的数据组具有相同键值的数据组;

将所述查询任务执行节点中的所述数据量最大的数据组,及与所述数据量最大的数据组具有相同键值的数据组进行合并。

4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述聚合式大数据查询请求,从n个数据处理节点中获取n个查询任务,包括:

根据所述聚合式大数据查询请求,从所述n个数据处理节点中存储的第一数据表及第二数据表的数据中获取与所述聚合式大数据处理请求相关的数据,生成所述n个查询任务。

5.一种聚合式大数据查询装置,其特征在于,包括:

获取模块,用于获取聚合式大数据查询请求;

所述获取模块,还用于,根据所述聚合式大数据查询请求,从n个数据处理节点中获取n个查询任务;n为大于等于1的整数;

数据分解模块,用于将每个所述查询任务分解为m个数据组;m为大于等于1的整数;

所述获取模块,还用于获取每个数据组的大小,

确定模块,用于确定所述n个查询任务中具有相同键值的数据组中数据量数据量最大的数据组;

所述确定模块,还用于确定所述数据量数据量最大的数据组所对应的查询任务对应的数据处理节点为查询任务执行节点;

查询处理模块,用于通过所述查询任务执行节点执行聚合式大数据查询任务。

6.根据权利要求5所述的装置,其特征在于,所述查询处理模块,具体用于:

通过所述查询任务执行节点从其它数据处理节点中,获取与所述数据量最大的数据组具有相同键值的数据组;

并将所述查询任务执行节点中的所述数据量最大的数据组,及与所述数据量最大的数据组具有相同键值的数据组进行合并。

7.根据权利要求6所述的装置,其特征在于,还包括:

备份模块,用于根据所述聚合式大数据处理请求,从所述n个数据处理节点存储的数据中选取热点数据,在每个数据处理节点的相邻数据处理节点中进行备份;其中,所述热点数据为被访问频率满足预设条件的数据;

所述查询处理模块,具体用于:

在所述通过所述查询任务执行节点从其它数据处理节点中,获取与所述数据量最大的数据组具有相同键值的数据组之前,

确定所述查询任务执行节点本地是否存在其它数据处理节点的备份数据,且所述备份数据中包括与所述数据量最大的数据组具有相同键值的数据组;

若是,则所述查询任务执行节点从本地获取所述获取与所述数据量最大的数据组具有相同键值的数据组;将所述查询任务执行节点中的所述数据量最大的数据组,及与所述数据量最大的数据组具有相同键值的数据组进行合并。

8.根据权利要求5-7任一项所述的装置,其特征在于,所述获取模块,具体用于:

根据所述聚合式大数据查询请求,从所述n个数据处理节点中存储的第一数据表及第二数据表的数据中获取与所述聚合式大数据处理请求相关的数据,生成所述n个查询任务。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1