技术编号：15517583
提示：您尚未登录，请点 登 陆 后下载，如果您还没有账户请点 注 册 ，登陆完成后，请刷新本页查看技术详细信息。本发明属于在线集群资源调度技术领域，涉及一种解决Spark数据倾斜问题的负载均衡方法及装置。背景技术学术界和工业界广泛采用大规模的内存计算平台，处理来自不同应用程序和数据源的大量数据。这些平台通过在内存中缓存中间应用程序数据，并利用更强大、更灵活的基于有向无环图(DAG)的任务调度机制，大大减少磁盘I/O的次数。同时，基于DAG的编程范式为用户提供了表达应用程序需求的灵活性，然而，复杂的任务调度使用户识别应用程序瓶颈以及性能调优带来了巨大挑战。Spark作为当今流行的内存计算平台，以其先进的设计...
注意：该技术已申请专利，请尊重研发人员的辛勤研发付出，在未取得专利权人授权前，仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权，增加技术思路，做技术知识储备，不适合论文引用。
请注意，此类技术没有源代码，用于学习研究技术思路。