开源or闭源?Meta发布“最强开源大模型”Llama3.1 405B,大模型格局或迎来重新洗牌
创始人
2024-07-25 20:33:07
0次

深圳商报·读创客户端记者 张郗郡

当地时间7月23日,Meta正式发布了最新版本的语言大模型Llama3.1。本次发布被AI社区视为对“开源落后论”的一次有力反击,Meta创始人、CEO扎克伯格也在发布时表示“开源AI是通往未来的道路”。

一直以来,OpenAI因为ChatGPT的封闭性遭到了外界不少诟病,称其虽名为“Open”但实际上做着“Close”的事情,而以ChatGPT-4o为代表的闭源大模型的实力却也常常让业界望而却步,似乎“闭源大模型性能一定强于开源大模型”的观念已成默认。

但是本次Llama3.1的发布似乎会改写这一格局。本次Meta发布了Llama3.1的三个版本,分别为8B、70B和405B,其中405B为“顶配”版本,Meta号称其性能可与最好的闭源模型相媲美。

“史上最强的开源大模型”

Llama3.1 405B凭什么能够与最好的闭源模型一争高下?发布Llama3.1的同时,Meta也发布了一篇题为《The Llama 3 Herd of Models》的论文,其中详细阐述了Llama3模型的研发细节。

首先,在使用上,Llama3.1 支持8种语言,并且三个版本的上下文窗口都扩展到了128K,与GPT-4 Turbo 相同;同时Llama3.1 405B拥有4050亿个模型参数,训练规模是 Llama 2的50倍,采用密集 Transformer 架构,以保持更稳定的性能。这样一来,Llama一次性可以处理的文本数量高达9.6万字,同时无论是长文本还是短文本,都可以进行“得心应手”的处理。

在论文中,Meta也公布了Llama3.1 405B与ChatGPT-4o和Claude3.5 Sonnet这些头部闭源大模型的性能对比数据。测试结果显示,Llama3.1 405B在通用性能、长文本处理与多语言处理等多个方面,得分都处于领先地位。例如在ZeroSCROLLS项目测试中,Llama3.1 405B的得分为95.2,后两者皆为90.5。

表现优异的性能与庞大的训练基数让Llama3.1拥有“最强开源大模型”的称号,但目前的Llama3.1仍然是一个以语言处理为主的大模型,并不支持处理图像、视频或语音,这也就意味着在多模态任务处理上,ChatGPT依然拥有突出的能力。此外,部分网友也对Llama进行了实测,实际操作发现,在回答一些经典的迷惑性问题,如“9.11与9.9哪个大”,或者处理中文指令的时候,Llama3.1 405B并不如Meta官方所说的那样强大。迄今为止,所有 Llama 版本的总下载量已超过 3 亿次,但对Meta所说,这才是他们的开始。

“开源AI是未来之路”

或许Llama的实际使用体验还没有达到完美的程度,但此次Llama3.1 405B的发布,对全世界AI工作者来说最大的意义还是在于大模型的开源与闭源之争又翻开了新的一页。

在Meta官网,扎克伯格发布了一封公开信,坚定地对外宣称“开源AI是通往未来的道路”。信中他表示,尽管多家公司正在开发领先的闭源模型,但开源正在迅速缩小差距。以Llama为例,去年Llama 2只能与通用大模型的老旧版本相媲美,今年Llama 3就做到了与最先进的大模型相竞争,并在一些领域领先。

因此,扎克伯格希望把Llama做成大模型时代的 Linux,成为开源 AI 的行业标准。“在高性能计算的早期,主要技术公司都投入巨资开发自己的闭源Unix版本……今天,开源的Linux成为了云计算和运行大多数移动设备的操作系统的工业标准基础,我相信人工智能将以类似的方式发展。”由此不难看出,Meta想做的,是利用开源的大模型打造未来的AI生态,让Llama成为孕育万种大模型的基座,或“母体”。

而Meta目前确实已经做出了行动。此次发布的Llama3.1已经与一系列公司达成了合作,其中包括亚马逊、英伟达、Databricks,戴尔、德勤等公司也已准备好帮助企业采用Llama,并使用自己的数据训练自定义模型。

距离ChatGPT-4o发布已经过去了两个多月,大模型仍然在以惊人的速度训练、迭代,下一代的闭源大模型还会有哪些突破性的发展,以Llama3.1为代表的开源大模型能否进一步弥合两者之间的差距,大模型“开源”与“闭源”的斗争,似乎还有很长的路。

相关内容

热门资讯

国产大模型下调推理服务价格,南... 近日,国内某大模型企业宣布下调其flash系列模型服务价格,输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息,OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5,图像生成延...
探索AI供应链产业化路径京东推... 2026年以来,人工智能应用范围加速拓展,持续从数字空间走向现实生活,广泛融入生产线、仓储厂房、配送...
教育部发文!AI生成内容,教师... 一篇论文,因为AI使用不当,相关高校师生被通报处理。 9月2日,安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手,开发出一款 人工智能(AI)工具,能从数千万种...
搭上低空经济、AI文旅?两连板... 桂林旅游(000978)回应市场热点。 9月8日,桂林旅游再度涨停,斩获2连板。当天晚间,该公司披露...
硅谷:我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章,题目叫《An ...