科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

清华速评 Llama 3:表现不俗,国产模型智谱GLM、文心一言表现亮眼

清华速评 Llama 3:表现不俗,国产模型智谱GLM、文心一言表现亮眼
2024-04-25 11:49:26 来源:实况网

日前,Meta发布最新开源模型Llama 3并号称是性能最好开源大语言模型,极有可能超过当前的闭源王者GPT-4 Turbo。那么,Llama 3能力究竟如何?

4月24日,由清华大学基础模型研究中心联合中关村实验室研制的SuperBench大模型综合能力评测平台,基于语义、对齐、代码、安全和智能体5项大模型原生评测基准,展开开放性、动态性、科学性和权威性的大模型综合能力评测,率先剖析Llama 3模型能力。

《SuperBench大模型综合能力评测报告》对Llama 3-8B、Llama 3-70B等16个海内外具有代表性的模型进行了评测。结果显示,Llama 3与GPT-4系列模型仍有一定差距,而国内大模型智谱AI的GLM-4与百度文心一言4.0在多项评测中进入榜单前五名,超过Llama 3。

在语义理解能力评测中,国内大模型GLM-4、文心一言4.0分别位列第二名、第三名,仅次于Claude-3,但超过GPT-4网页版与GPT-4 Turbo,稳占第一梯队。Llama 3-70B、Llama 3-8B则分别位列第六名、第十六名。

而在智能体能力评测中,Llama 3-70B跻身榜单前五名,这也是该模型五项评测排名最高的一次。在代码编写能力、人类对齐能力、安全和价值观三项评测中,Llama 3-70B均排在第七名,超过大部分国内大模型,只落败于GLM-4和文心一言4.0,Llama 3-8B排名相对靠后,考虑到模型参数量的差异,Llama 3-70B整体表现较好。

相较之下,表现出色的国内大模型GLM-4全面对标OpenAI,在五项能力评测中均紧追GPT-4系列模型与Claude-3,堪称“全能选手”。同时,在代码、智能体两项大模型关键能力评测中,GLM-4排名仅次于GPT-4系列模型和Claude-3,位列国内第一。

在安全价值观能力评测中,文心一言4.0拿下最高分,超越GPT-4系列模型和Claude-3。在智能体能力评测中,文心一言4.0表现较差。

总体而言,虽然国内大模型与国际顶尖模型之间还存在差距,但正逐步缩小这一差距。相信在政策支持和技术创新的推动下,国内大模型将取得显著成就,推动我国人工智能产业高质量发展。

 

关键词:

责任编辑:kj005

文章投诉热线:182 3641 3660  投诉邮箱:7983347 16@qq.com
关键词:

​2.5-25T高压重载锂电叉车正式入市,别格乔开创搬运新纪元

2024-04-24 10:06:03​2.5-25T高压重载锂电叉车正式入市,别格乔开创搬运新纪元

紫光国微:海外业务持续扩充,汽车电子有望成为新的增长点

2024-04-23 09:13:02紫光国微:海外业务持续扩充,汽车电子有望成为新的增长点

数实结合技术突破,中国移动动感地带这波科技感十足

2024-04-15 18:04:41数实结合技术突破,中国移动动感地带这波科技感十足

国诺教育:元宇宙展厅/展会开启全可视化人机交流新纪元

2024-04-15 15:16:15国诺教育:元宇宙展厅/展会开启全可视化人机交流新纪元

满足用户和企业级应用,《蛋仔派对》加速推进AIGC渗透多元场景

2024-04-02 16:53:44满足用户和企业级应用,《蛋仔派对》加速推进AIGC渗透多元场景

中国移动5G-A新技术亮相,AI驱动下的新通话体验

2024-04-02 16:06:26中国移动5G-A新技术亮相,AI驱动下的新通话体验

相关新闻

最新资讯