科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

基于英特尔®至强®处理器,宝德AIGC解决方案加速释放AI动能

基于英特尔®至强®处理器,宝德AIGC解决方案加速释放AI动能
2023-12-28 09:43:02 来源:看点时报

当前,生成式AI和大模型正以燎原之势走进制造、金融、医疗、交通、教育等行业和领域,引发行业更多创新和变革,加速全社会数字化和智能化转型。日,工信部赛迪研究院发布报告显示,2023年我国生成式人工智能市场规模有望突破10万亿元。作为中国领先的计算产品方案提供商和AI服务器市场TOP3,宝德计算凭借丰富的市场经验和对客户AI需求的深刻洞察,携手英特尔AI软硬件基础技术,匠心打磨和推出了宝德生成式AI解决方案。

一键部署,灵活定制

宝德AIGC解决方案是软硬一体化解决方案,既可以集群部署也可以单机部署,方案架构包含硬件层、层、服务层和应用层。在硬件层,宝德充分发挥了20年服务器行业技术积累,提供涵盖AI训练服务器、AI推理服务器和AI边缘产品等多选择和可兼容,进行模型的高速训练、调和高效推理。在硬件基础上,方案采用K8S进行集群资源管理(单机部署采用Docker)。基于雄厚的硬件层和层,在服务层部署了ChatGLM大模型推理服务、由GLM调而来的行业大模型-宝德酒业大模型推理服务、宝德自研的嵌入数据仓库服务,可以将行业数据转换成向量数据,存储到向量数据库中,通过相似度匹配算法查询出相关内容交给大语言模型进行推理、LLM Functions服务,主要让大语言模型拥有调用后端接口的能力。基于这些硬件和服务,宝德开发了诸如聊德宝、AI客服和数字人等多种AI应用,可广泛服务于行业大模型、智能语音助手、网络直播、线上教育和培训等领域。

值得一提的是,宝德深耕行业多年,基于对市场的理解和对客户生成式AI多样的计算需求,可提供生成式AI解决方案的定制化服务。

能卓越、成本可控

AIGC快速发展之时,算力越来越紧缺和成本越来越高,逐渐成为影响AIGC发展和落地应用的“绊脚石”。并且,从大模型的发展和应用看,AI推理的规模远高于训练,有效降低推理成本成为宝德的思路。对此,宝德技术团队经过反复测试和调优,精心准备了全部采用英特尔全新的至强处理器(Max系列),以及Intel GPU的AIGC解决方案,使其集强大的AI计算、推理能和卓越的经济效益于一体,以充分释放AI动能。

第四代英特尔®至强®可扩展处理器MAX系列CPU在大语言模型(LLM)推理方面有独特优势。它有32至56个内核可提供最高112线程,内置英特尔高级矩阵扩展(AMX)的AI加速功能,可帮助诸如图像识别、对象探测等任务中的张量处理获得多倍效率提升,并可用于INT8、BF16等不同数据格式,能高达上一代10倍。而且所有MAX处理器都内置了64GB的HBM2e 高带宽内存,分为4个16GB的集群,内存带宽为1 TB / s,能够解决大模型工作负载经常受到内存带宽限制的窘境,数倍提升推理能。并且,其价格极具竞争力。

宝德在基于此CPU和Intel Flex GPU的自研服务器PR2715E上开发部署了LLM 方案-聊德宝,它拥有调用私域数据的能力,让AI应用更加智能化、个化地为用户提供服务,目前已经应用于宝德服务器AI客服、金沙古酒AI客服、金沙古酒直播数字人等产品。聊德宝具有快速迁移、便捷部署、多路并发的显著优势;最重要的是,该方案价格同比其它常规方案最高节约超过50%!

更妙的是,日宝德服务器全面升级到第五代英特尔®至强®,第五代英特尔®至强®处理器除了具有更可靠的能和更出色的能效外,它的AI能大幅度提升,每个内核都具备 AI 加速功能,无需添加独立加速器,就可处理要求严苛的 AI 工作负载,包括对参数量多达 200 亿的模型进行推理和调优。 因此宝德AIGC解决方案将进一步测试适配升级到第五代英特尔®至强®,为客户部署AI应用提供更具价比的优选方案。

大模型和AIGC正在日新月异地蓬勃发展,加速应用场景落地和引领产业变革势不可挡。宝德将继续携手英特尔,发挥AI优势,联合创新研发和应用,不断迭代优化生成式AI解决方案,为数据中心等客户打造高效便利和更加普惠的AI基础设施,加速释放AI动能,更好地服务中国数字经济高质量发展!

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。


关键词:

责任编辑:kj005

文章投诉热线:182 3641 3660  投诉邮箱:7983347 16@qq.com
关键词:

吉林华微电子:10年两化融合出硕果 数字化转型受关注

2024-01-24 11:29:44吉林华微电子:10年两化融合出硕果 数字化转型受关注

耿明雨致贺词中国科学家实现“量子电子商务”国际突破

2024-01-17 18:25:48耿明雨致贺词中国科学家实现“量子电子商务”国际突破

创新引领企业医疗,和缓发布重磅产品——司医

2024-01-15 09:57:59创新引领企业医疗,和缓发布重磅产品——司医

华为热款手机现货购,全球通客户新年抢购正当时

2024-01-05 10:10:26华为热款手机现货购,全球通客户新年抢购正当时

开启行业新篇章,全球首个以量子技术为核心的数字资产管理工具——3Q量子钱包惊艳面世

2024-01-04 15:32:47开启行业新篇章,全球首个以量子技术为核心的数字资产管理工具——3Q量子钱包惊艳面世

5G新通话亮相央视跨年晚会 可视交互的新视界如何赋能未来?

2024-01-02 10:23:245G新通话亮相央视跨年晚会 可视交互的新视界如何赋能未来?

相关新闻

最新资讯