科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

第十届ASC超算总决赛:挑战179亿参数大模型训练

第十届ASC超算总决赛:挑战179亿参数大模型训练
2023-05-12 15:51:04 来源:光明网

5月10日,第十届ASC世界大学生超级计算机竞赛决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大学分获冠亚军,中国科学技术大学获e Prize计算挑战奖,浙江大学获最高计算能奖。

正式决赛的首日,24支队伍向AI语言大模型、超级团队赛和HPL&HPCG基准测试三道赛题展开比拼。

第十届ASC超算<span class=

据悉,本届比赛e Prize计算挑战奖的指定赛题是AI语言大模型。ASC组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集分别实现15亿、179亿参数的2个AI语言大模型。参赛队需要自行设计模型训练策略并完成模型训练过程,在追求极致能的同时,还要满足精度约束等严苛条件,使得这道赛题极具挑战

南方科技大学代表队表示,“前期我们研究了很多大模型相关论文,学如何进行并行优化、主流分布式训练框架等。但是拿到这个赛题时还是非常惊讶,179亿参数的模型真的很大,对显存、GPU等资源及并行计算优化的要求远远超出我们的预期。”

第十届ASC超算<span class=

据介绍,本届超级团队赛由24支队伍通过抽签组成4个超级团队,每个超级团队需包含一支线上参赛队伍,以跨团队合作的形式共同完成决赛首日公布的量子线路采样模拟的赛题。

随机量子线路的采样问题因为其巨大的经典模拟复杂度被认为是展示量子计算优越的最佳候选者。2019年谷歌量子人工智能团队发表基于悬铃木量子芯片的随机量子线路采样实验,宣称其经典模拟时间需要花费超算一万年,而量子实验仅需200秒,因此展示了量子优越

本届比赛的赛题是通过一个基于张量网络的算法来模拟53比特12循环的悬铃木量子线路并计算谷歌实验中采样出来的1024个末态比特串样本严格振幅以及这些样本的随机交叉上熵保真度。相较于传统的模拟算法,基于张量网络的量子线路模拟方法能够大大加速模拟的过程,将谷歌宣称的一万年模拟时间缩短到数十秒,达成超过10亿倍的能提升。量子线路的高效经典模拟方法能够帮助人们对量子计算优越有一个更为清晰的认知,与此同时也能助力量子硬件以及量子实验的设计、测试以及验证。

第十届ASC超算<span class=

在HPL计算基准能测试中,浙江大学以每秒109万亿次浮点运算能的佳绩名列榜首。他们设计搭建了“1机8卡”异构加速系统,在3000W功耗约束下,将更多功耗分配给GPU进行应用运算,并结合精细的控制优化,实现整体系统109万亿次/秒的HPL持续浮点运算能。

第十届ASC超算<span class=

ASC超算竞赛采用国际最通用的超级计算机浮点能基准测试程序HPL,这也是全球超算TOP500排行的主要依据。ASC竞赛规则要求各参赛队伍自行设计超算系统,在功耗3000W约束下正确完成包括HPL计算能基准测试在内的各项计算任务。

ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛推动各国及地区间超算青年人才交流和培养,提升超算应用水和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第10届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。(柯岩)


关键词:

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

2023中国生物医学工程大会暨创新医疗峰会将在苏州召开

2023-05-11 17:07:122023中国生物医学工程大会暨创新医疗峰会将在苏州召开

赛前赛后全守护,跨越速运全力保障阿拉善机车英雄会新赛“寄”

2023-05-04 16:14:24赛前赛后全守护,跨越速运全力保障阿拉善机车英雄会新赛“寄”

“抖in生活范儿·闻香季Ⅱ”心动开启,来找到你的专属香

2023-04-23 14:16:29“抖in生活范儿·闻香季Ⅱ”心动开启,来找到你的专属香

杭州市首台老旧柴油叉车替换完成,新能源花落谁家?

2023-04-19 14:25:28杭州市首台老旧柴油叉车替换完成,新能源花落谁家?

金融信创不走回头路,这么做就对了!

2023-04-11 10:30:59金融信创不走回头路,这么做就对了!

走近蓝天使咖啡人形机器人 把握现代咖啡消费趋势

2023-04-06 09:32:15走近蓝天使咖啡人形机器人 把握现代咖啡消费趋势

相关新闻

最新资讯