一种基于数据持久化的Spark平台成本优化方法与流程

文档序号:15615171发布日期:2018-10-09 21:11阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种基于数据持久化的Spark平台成本优化方法,包括构建基准成本率模型,构建目标应用程序的Attention‑DAG图即注意力‑有向无环图,结合Spark Checkpoint特性构建成本优化方案,根据成本优化方案对目标应用程序进行同环境配置下的执行等步骤。本发明的积极效果是:(1)提出一种广义分布式云计算环境下的基准成本率模型。对于具有不同工作特点的分布式计算框架来说,该基准成本率模型能够为评价优化算法的效果提供一种统一量纲的量化指标。(2)提出了一种基于数据持久化的Spark平台成本优化方法。该方法可作为一种成本优化的方法论,能够广泛用于任意具有持久化机制的系统或框架中,其核心思想是寻求计算成本与存储成本的平衡。

技术研发人员:滕飞;宁尚明;李天瑞;杜圣东
受保护的技术使用者:西南交通大学
技术研发日:2018.04.17
技术公布日:2018.10.09
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1