技术总结
本发明提供一种聚合式大数据查询方法及装置,所述方法包括:获取聚合式大数据查询请求;根据所述聚合式大数据查询请求,从n个数据处理节点中获取n个查询任务;将每个所述查询任务分解为m个数据组;获取每个数据组的大小,并确定所述n个查询任务中具有相同键值的数据组中数据量最大的数据组;确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点;通过所述查询任务执行节点执行聚合式大数据查询任务。本发明提供的聚合式大数据查询方法及装置,通过确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点,可以减小聚合式大数据查询过程中数据传输的网络开销。
技术研发人员:王旭;孙海龙;肖邦;邓婷
受保护的技术使用者:北京航空航天大学
文档号码:201610786249
技术研发日:2016.08.30
技术公布日:2017.02.22