技术特征：
技术总结
本发明涉及一种自适应缓冲块替换策略，在通用并行框架Spark提供的弹性分布式数据集RDD上运行，弹性分布式数据集RDD为集群的分布式内存抽象，将步骤划分为六步，通过低内存开销的重计算开销的数据结构记录弹性分布式数据集RDD的重计算权重，为了结合应用特点优化数据块替换策略，结合RDD的血统关系判断属于某一RDD的所有数据块的重计算开销，动态地识别当前缓存替换策略下的数据块的读取延迟，当短时间内多个数据块被驱逐后又重新读入内存时，将数据块替换策略更改为LCC策略，之后在数据块恢复阶段，根据数据块的重计算开销设置新的阈值Threshold‑LCC，当重计算开销大于内存读取数据块的延迟后，将数据块的替换策略更改为LRU策略，本发明具有低内存开销、动态更改数据块替换策略，自适应负载特点等优点。
技术研发人员：卢宇彤
受保护的技术使用者：莫倩
技术研发日：2017.05.31
技术公布日：2017.09.29