技术特征:
技术总结
本发明涉及一种解决Spark数据倾斜问题的负载均衡方法,包括S1:监测计算节点的平均CPU利用率、内存利用率,Spark Executor进程启动后,初始化Executor的权重信息;S2:每个计算节点根据预设抽样比例对本地中间数据进行抽样,然后将本地抽样信息通过消息通信发送给Master节点;S3:Master节点汇总抽样信息,建立数据分布的直方图,预测数据分布总体特征;S4:根据数据分布情况,将数据划分为多个分区,分区数为所有Executor总核数的整数倍,分区过程中对大型Key进行拆分;S5:计算Executor的性能因子,每个数据分区对应一个Executor任务,将任务按照贪心策略分配给性能因子最高的Executor;S6:Executor的权重根据其负载和资源利用率动态调整,重复步骤S5直到任务分配完毕。还包括对应装置。
技术研发人员:田文洪;黄超杰;王金;尚明生
受保护的技术使用者:中国科学院重庆绿色智能技术研究院
技术研发日:2018.04.24
技术公布日:2018.09.25