技术编号:20920717
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本发明涉及计算机技术领域,尤其涉及一种加速分布式机器学习的方法及系统。背景技术随着数据量的增长,基于数据并行的分布式训练已经成为业界广泛采用的机器学习加速方式。在数据并行中,不同计算节点有同一模型的多个副本,每个计算节点使用不同的训练数据计算模型更新,然后所有计算节点之间汇总模型更新。模型汇总完成后,便开始新一轮计算。随着模型规模的增大(如bert模型参数量高达3亿),模型汇总带来的通信开销逐渐成为影响分布式机器学习性能的一大因素。机器学习计算是逐层进行的,并可分为前向计算和反向传播两个阶段:前...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。