首页 新闻 军事 汽车 游戏 科技 旅游 经济 娱乐 投资 培训 文化 守艺中华 佛教 红木 韩流 简读 军事APP 头条APP

科技
设为书签Ctrl+D将本页面保存为书签，全面了解最新资讯，方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置：科技 > 快讯 >

华为云发布EMS弹性内存存储服务 打破大模型训练瓶颈

华为云发布EMS弹性内存存储服务 打破大模型训练瓶颈
2024-06-21 19:22:06 来源：财讯网
军事APP头条APP

在华为开发者大会(HDC 2024)上,华为云CTO张宇昕正式发布了EMS弹性内存存储服务。这一服务主要为了解决当前大模型训练与推理领域所面临的“内存墙”挑战,即单个神经处理单元(NPU)的高带宽内存(HBM)容量限制,该问题长期制约着AI算力的高效利用。

华为云EMS的创新之处在于它在NPU卡与持久化存储之间增设了一层弹性内存存储,运用Memory Pooling专利技术,综合显存扩展、算力卸载和以存代算三大策略,有效打破了内存瓶颈。具体来说:

显存扩展:大模型推理中,由于模型太大,通常需要使用大量的NPU卡才能将模型参数装下来进行推理,但是NPU的算力往往利用率不高。EMS将模型参数分层存储在显存和EMS,只用了一半的卡,就可存下万亿参数的大模型,NPU部署数量减少50%。

算力卸载:大模型推理过程中包括模型计算和KV相关计算,其中KV相关计算的显存占用很大。EMS将KV相关计算的步骤卸载到EMS,而模型计算仍在NPU中进行,将AI推理性能提升了100%。

以存代算:大模型推理中为了节省显存,历史对话的KV Cache都不会保存,后续推理都只能重新计算,导致新推理的首Token时延超过1秒。现在可以将历史KV Cache保存在EMS里,供后续推理直接调用。优化后推理首Token时延降低到0.2秒以内,优化了80%。

目前,EMS弹性内存存储服务已在华为云官网上线,面向开发者与客户开放。

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。

关键词：

责任编辑：kj005

文章投诉热线:182 3641 3660  投诉邮箱:7983347 16@qq.com
关键词：

万和引领电热水器行业健康水质新标准，荣获一级健康水质认证

2024-06-14 17:13:19万和引领电热水器行业健康水质新标准，荣获一级健康水质认证

LET探馆│ 打造数智物流的无限可能，中力数智展位全景呈现！

2024-05-31 15:28:13LET探馆│ 打造数智物流的无限可能，中力数智展位全景呈现！

科考研学，北京经开区青少年沉浸式探秘生物多样性奥秘

2024-05-22 18:08:05科考研学，北京经开区青少年沉浸式探秘生物多样性奥秘

黑鲨新品引爆2024 ChinaJoy！游戏玩家专属神器，让你征服对手！

2024-05-22 10:32:46黑鲨新品引爆2024 ChinaJoy！游戏玩家专属神器，让你征服对手！

北京羽嘉科技“一体化反无人机系统”高原实验圆满成功

2024-05-20 15:27:10北京羽嘉科技“一体化反无人机系统”高原实验圆满成功

香港一带一路研究院特聘研究员向凌云：一带一路倡议拯救了世界

2024-05-17 19:35:39香港一带一路研究院特聘研究员向凌云：一带一路倡议拯救了世界

相关新闻

华为云发布EMS弹性内存存储服务 打破大模型训练瓶颈

在华为开发者大会(HDC 2024)上,华为云CTO张宇昕正式发布了EMS弹性内存存储服务。这一服务主要为了解决...

2024-06-21 19:22:06

华为云打造下一代云基础设施CloudMatrix，开启智能算力新纪元

在6月21日举办的华为开发者大会(HDC 2024)上，华为云CTO张宇昕介绍了下一代云基础设施——CloudMatrix...

2024-06-21 19:21:48

契约锁高校电子签章应用场景分享：学生少跑腿·学校盖章快

6月毕业季在即，全国各大高校进入盖章需求爆发期。各类证书、就业协议、证明、成绩单、推荐表、介绍信等...

2024-06-21 18:57:41

焕生汇携手亚经协与博奥颐和泽康共筑中国企业家健康工程

近日，中国亚洲经济发展协会企业家健康委员会走进民企系列活动之二：守护健康，焕发活力——企业家走进...

2024-06-21 18:50:27

自己的降落伞自己先跳 华为云用盘古大模型重塑云服务

6月21日，在华为开发者大会2024上，华为云CTO张宇昕表示：华为云基于盘古大模型的能力，重塑一系列的云...

2024-06-21 18:48:35

全国农村精神文明建设微视频微电影微动漫作品征集比赛圆满结束

农村精神文明建设是滋润人心、德化人心、凝聚人心的工作。要在新时代大力弘扬时代新风，培育文明乡风、...

2024-06-21 18:31:16

三度携手美洲杯，布局全球王牌之队，TCL电视销量蝉联全球第二

6月21日，备受全世界球迷关注的美洲杯，从卫冕冠军阿根廷队与加拿大队的揭幕战正式开启。与此同时，中国...

2024-06-21 18:30:52

无人值守管理！捷顺科技助力这些停车场管理系统智能化升级

2024-06-21 18:27:46

《全优能》世界记忆大师亲自教记忆法，让孩子暑期快速提升

家长们您遇到过这些问题吗？1 孩子一背课文、单词就抓耳挠腮，背了忘、忘了背，一到考试就记不清…2 ...

2024-06-21 18:23:45

告别低效协同，铁威马T9-450 NAS助力团队高效前行

在数字化时代，信息的快速流通和高效协同是团队工作的重要支撑。然而，许多团队在协同编辑过程中常常面...

2024-06-21 18:13:26

最新资讯

华为云发布EMS弹性内存存储服务 打破大模型训练瓶颈

在华为开发者大会(HDC 2024)上,华为云CTO张宇昕正式发布了EMS弹性内存存储服务。这一服务主要为了解决...

2024-06-21 19:22:06

华为云打造下一代云基础设施CloudMatrix，开启智能算力新纪元

在6月21日举办的华为开发者大会(HDC 2024)上，华为云CTO张宇昕介绍了下一代云基础设施——CloudMatrix...

2024-06-21 19:21:48

快乐暑假大上新！和奇妙积木一起清凉拼一夏

随着暑假的临近,孩子们早已耐不住激动,将假期计划写满。玩,一定位居

2024-06-21 19:12:00

2024届「最晚」校招 直接让大学生“带薪毕业”

又到一年毕业季。六月的校园里随处可见:同学师生互道再见的淡淡忧伤,辗转各类校招的马不停歇,手持offer...

2024-06-21 19:17:37

3年出口复合增长率高达66 %，金龙鱼海外如何“鱼跃龙门”?

浩荡东风，化雨西渐，最抚凡人心的中餐烟火北穷沙漠，南暨百粤，也出现在了密西西比河畔、东京塔前。在...

2024-06-21 19:17:20

Carolina Herrera赫芮亚以“玫瑰”绽放恣意之美

演员刘亦菲于电视连续剧《玫瑰的故事》中多次身着Carolina Herrera赫芮亚品牌成衣及配饰，多种色彩的时...

2024-06-21 19:17:09

契约锁高校电子签章应用场景分享：学生少跑腿·学校盖章快

6月毕业季在即，全国各大高校进入盖章需求爆发期。各类证书、就业协议、证明、成绩单、推荐表、介绍信等...

2024-06-21 18:57:41

72小时鲜奶革命:东北乳企万家宝如何引领行业创新

中国乳制品行业起步晚，起点低，但发展迅速。特别是改革开放以来，中国奶业步入发展快车道，始终保持高...

2024-06-21 18:57:04

“玄医扁鹊”亮相“首届西部中药制剂开发与转化论坛”，见证中医药传承与创新

6月21日，由中国医药物资协会、四川省医药行业协会为指导单位，中国

2024-06-21 18:58:33

插混SUV“三国杀”王牌对决 东风风神L7强势登顶性能之巅

随着中国混动技术的突飞猛进，混动SUV市场风起云涌，各大品牌纷纷推出自家明星产品。在这场激烈的市场竞...

2024-06-21 18:51:42

焕生汇携手亚经协与博奥颐和泽康共筑中国企业家健康工程

近日，中国亚洲经济发展协会企业家健康委员会走进民企系列活动之二：守护健康，焕发活力——企业家走进...

2024-06-21 18:50:27

如何有效管理孩子的课外活动时间？iSLOT教育专家的建议

课外活动是孩子成长中的重要组成部分。iSLOT教育专家为家长们提供了

2024-06-21 18:50:12

自己的降落伞自己先跳 华为云用盘古大模型重塑云服务

6月21日，在华为开发者大会2024上，华为云CTO张宇昕表示：华为云基于盘古大模型的能力，重塑一系列的云...

2024-06-21 18:48:35

溯秘醇境·感官臻享 | 2024酌臻.华润啤酒高端客户私享会西昌站盛启来袭

2024年6月21日，2024酌臻 华润啤酒高端客户私享会（西昌站）于雪花啤酒（凉山）有限公司工厂内拉开帷幕...

2024-06-21 18:47:54

这届618，美妆生意机会仍在抖音电商

在中国，美妆行业一向被视为一门「残酷的生意」。近年来，不少国货美妆和国际大牌在增长压力下传出清仓...

2024-06-21 18:47:42

买车买的就是冠军品质！瑞虎8冠军家族的硬核口碑比车评更管用

2024-06-21 18:36:31

全国农村精神文明建设微视频微电影微动漫作品征集比赛圆满结束

农村精神文明建设是滋润人心、德化人心、凝聚人心的工作。要在新时代大力弘扬时代新风，培育文明乡风、...

2024-06-21 18:31:16

三度携手美洲杯，布局全球王牌之队，TCL电视销量蝉联全球第二

6月21日，备受全世界球迷关注的美洲杯，从卫冕冠军阿根廷队与加拿大队的揭幕战正式开启。与此同时，中国...

2024-06-21 18:30:52

无人值守管理！捷顺科技助力这些停车场管理系统智能化升级

2024-06-21 18:27:46

MG品牌迎来百年诞辰，接棒保时捷成为2024古德伍德速度节主赞助商

2024年，MG品牌迎来了一个历史性的时刻——其百年诞辰。为了庆祝这一重要里程碑，MG品牌宣布将接棒保时...

2024-06-21 18:21:07

青云生态打造多元化产业发展新格局

中锦裕荣集团是一家国资背景总部位于深圳，以自有资金从事投资为主的综合型企业集团。旗下全资子公司武...

2024-06-21 18:25:11

渤缆团队：技术创新引领行业前行，深受各界广泛支持

近日,来自泉州的渤缆团队,入驻泉州轻工职业学院“匠心筑梦,乐业晋江

2024-06-21 18:17:47

《全优能》世界记忆大师亲自教记忆法，让孩子暑期快速提升

家长们您遇到过这些问题吗？1 孩子一背课文、单词就抓耳挠腮，背了忘、忘了背，一到考试就记不清…2 ...

2024-06-21 18:23:45

OpenHarmony亮相HDC 2024：生态发展日新月异 行业创新永不止步

6月21日，为期3天的华为开发者大会2024（以下简称大会）在中国松山湖拉开序幕，大会宣布HarmonyOS NEXT...

2024-06-21 18:22:55

MG品牌百年辉煌：接棒保时捷，主赞助2024年古德伍德速度节

2024年，MG品牌迎来了品牌百年诞辰，这个具有象征意义的年份标志着M

2024-06-21 18:17:28

MG品牌庆祝百年诞辰，接棒保时捷成古德伍德速度节主赞助商

2024年，MG品牌迎来了一个历史性的时刻——其百年诞辰。为了庆祝这一重要里程碑，MG品牌宣布将接棒保时...

2024-06-21 18:19:22

方三文对话辜朝明，探讨何为“被追赶的经济体”

导语：辜朝明是日本野村综合研究所首席经济学家，他当年在研究了美

2024-06-21 18:13:58

MG坚守全球品质：中国新能源汽车领军者应对欧盟关税挑战

2024年6月12日，欧盟发布了一项决定，计划自7月4日起，针对中国的新能源汽车实施临时性关税提升。上汽MG...

2024-06-21 18:17:13

盘古大模型挺进炼钢厂热轧生产线 促进多产钢板2万余吨

今天，华为常务董事、华为云CEO张平安在华为开发者大会2024（HDC 2024）主题演讲上重磅发布盘古大模型5...

2024-06-21 18:15:15

HDC2024｜小艺能力大提升，升级为系统级智能体！

6月21日，华为开发者大会（HDC 2024）于东莞松山湖举行，会上，华为发布鸿蒙原生智能（Harmony Intell...

2024-06-21 18:14:10

科技推荐

科技图片

新闻排行