技术总结
本发明属于电子信息、大数据、云计算等技术领域，特别涉及本一种数据感知的Spark配置参数自动优化方法，通过事先确定Spark应用程序以及影响Spark性能的参数，随机配置参数得到训练集，将训练集通过随机森林算法构建性能模型，通过遗传算法搜索出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作用和取值范围，以及应用程序特点和输入集的情况下，能为用户找到运行在特定集群环境下特定应用程序的最优配置参数，较之以前的参数配置方法更简单快捷本发明使用的随机森林算法结合了机器学习和统计推理的长处，能够使用较少训练集，达到较高精度。
技术研发人员：罗妮;喻之斌;贝振东;姜春涛;须成忠;熊文
受保护的技术使用者：深圳先进技术研究院
文档号码：201611182310
技术研发日：2016.12.20
技术公布日：2017.05.10