科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!
2023-04-24 22:12:08 来源:财讯网

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。

TePDist不仅仅是一个分布式Compiler,还拥有自己的分布式Runtime,以解决深度学习模型并行策略的自动搜索与分布式策略实施问题。在架构方面,TePDist采用Client/Server模式,实现分布式策略与模型描述的解耦。Server端是TePDist最重要部分,以HLO IR作为输入,自动探索并实施分布式并行策略;Client端以用户描述的模型为输入,将其转换成HLO IR。因此,任何具有转换HLO IR能力Client,都可经过适配后接入Server端。

在功能方面,TePDist分为两个部分。一是在HLO IR上进行SPMD(Data Parallel和Sharding)和Pipeline并行的策略搜索。并以此构建编译基于Task Graph的执行计划。二是高效运行执行计划的分布式执行引擎。同时,TePDist提供了不同优化级别,高优化级别更加追求分布式策略质量,低优化级别会额外采取一些Heuristic,以较为微小策略质量牺牲,换取更快地搜索时间,以此满足落地需求。

性能上,TePDist通过在GPT和MoE模型上SPMD+Pipeline混合策略的模型扩展性实验,TePDist能够使GPT和MoE分别达到峰值能力的62%和58%。同时,在自动化方面的通用性上,TePDist也通过了VGG-19,DNABert和UNet等模型实验验证。

一直以来,大模型在模型效果上被证明具有显著优势。而ChatGPT的出现,证明了其在工业生产工具方面具有巨大潜力。阿里云机器学习平台PAI也宣布将TePDist开源,与AI开发者共同打造更快更好的自动分布式系统,全面助力AI大模型发展!

开源地址:https://github.com/alibaba/TePDist

开源钉群:

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

“抖in生活范儿·闻香季Ⅱ”心动开启,来找到你的专属香

2023-04-23 14:16:29“抖in生活范儿·闻香季Ⅱ”心动开启,来找到你的专属香

杭州市首台老旧柴油叉车替换完成,新能源花落谁家?

2023-04-19 14:25:28杭州市首台老旧柴油叉车替换完成,新能源花落谁家?

金融信创不走回头路,这么做就对了!

2023-04-11 10:30:59金融信创不走回头路,这么做就对了!

走近蓝天使咖啡人形机器人 把握现代咖啡消费趋势

2023-04-06 09:32:15走近蓝天使咖啡人形机器人 把握现代咖啡消费趋势

首个!火山语音立项有声阅读标准,获CCSA工作组一致通过

2023-03-13 15:22:46首个!火山语音立项有声阅读标准,获CCSA工作组一致通过

供应布局,服务加速!浙江中力湖北生产基地正式投产

2023-02-21 17:34:36供应布局,服务加速!浙江中力湖北生产基地正式投产

相关新闻

最新资讯