技术编号:37467956
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本申请涉及计算机,更具体地说,涉及一种数据传输方法、装置、系统及电子设备和存储介质。背景技术、近几年来,人工智能发展出超大规模模型(简称“大模型”)正在改变数字世界。然而,训练这些大型模型需要在数百甚至数千个gpu(图形处理器,graphics processingunit)设备上使用大量内存和计算资源。面对千亿、万亿参数规模的大模型训练,仅仅是单次计算迭代内梯度同步需要的通信量就达到了百gb量级,此外还有各种并行模式、加速框架引入的通信需求,使得传统低速网络的带宽远远无法支撑gpu集群的高效...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。