AI 芯片厂商 Cerebras 部署 DeepSeek 服务爆单
创始人
2025-02-12 18:44:24
0

IT之家 2 月 12 日消息,据 ZDNET 2 月 10 日报道,AI 芯片厂商 Cerebras 的 CEO Andrew Feldman 接受采访时说,该公司已经被运行 DeepSeek-R1 大语言模型的订单压垮

据IT之家此前报道,Cerebras 曾推出用于 AI 的晶圆级芯片,一块芯片就提供 125 PFLOPS 的峰值算力,搭配片外内存可以实现至高 1.2PB 的内存容量。

DeepSeek-R1 的预训练成本可以低到 GPTo1 等主流模型的十分之一,且效果相近甚至更好,被一些人认为是 AI 的分水岭。

Feldman 认为,DeepSeek 对人工智能的影响不仅在当下,更在于将刺激出更大的 AI 系统。随着成本的降低,市场正在变得越来越大

Cerebras 在官网展示,Cerebras 的晶圆级 AI 芯片,部署 DeepSeek-R1 70B 可以达到 1508 tokens / s 的性能,比 GPU 快很多

用户在使用包括 DeepSeek-R1 等“推理模型”时,输入提示词后需要时间等待是一大痛点。因为采用了名为 Chain-of-thought(CoT)的方法来增强模型的推理能力,将多步问题分解为中间步骤,允许模型在需要时执行额外的计算。推理时逐字进行推理,对整段提示词的推理需要进行多次,需要大量算力。

客户可以通过蒸馏将大模型的“知识”转移到小模型来缓解痛点,大模型通常被称为教师模型,较小的模型被称为学生模型。

为了改善使用 DeepSeek 模型的体验,Cerebras 为客户提供的标准做法是利用 DeepSeek 开源在 Hugging Face 的模型参数(权重)作为教师模型,蒸馏出一个较小的学生模型用于实际部署,Cerebras 在官网表示 DeepSeek R1 蒸馏到 Llama 70B 后精度几乎没有下降。

Feldman 表示,DeepSeek 是第一个顶级的开源推理模型,是开源 AI 的重大胜利。通过蒸馏技术,开源模型只需要公开模型参数(权重),研究人员不需要访问源码也可以复制新 AI 模型的进步。他认为,DeepSeek 的经济性不仅震惊整个人工智能行业,更可以使尖端 AI 芯片和网络技术获得更多投资。

有些人认为计算成本的下降将导致市场萎缩,但过去 50 年都表现出降低成本反而扩大市场容量。无论是电脑还是智能手机,价格的降低都推动了普及。

Cerebras 从去年 8 月开始提供公共推理服务,自称是“世界上最快的人工智能推理服务提供商”。该公司目前只提供蒸馏后的 70B 模型,Feldman 表示,405B 的模型太贵了,客户更青睐价格实惠的模型,当然也有一部分客户认为准确性的提升值得更高的成本而选择更大的模型。

相关内容

聚焦AI+大模型、三维重建...
中新网北京5月31日电 (记者 孙自法)记者5月31日从中国图像图...
2026-06-01 00:57:14
国泰海通:维持海外AI算力...
国泰海通维持海外AI 算力及应用产业链“增持”评级。其研报指出,O...
2026-06-01 00:54:38
AI图片 | 联村党委“一...
黔东南州雷山县达地水族乡推出联村党委“订单式”社会化服务机制,以党...
2026-06-01 00:52:51
小米开源可控视频音效生成模...
IT之家 5 月 29 日消息,小米大模型应用团队今日发布 Con...
2026-06-01 00:41:13
制造业大市如何拥抱AI?绍...
“此次圆桌研讨凝聚起产业发展共识,后续浙江将持续整合各方资源,汇聚...
2026-05-30 05:50:45
仁宝电脑与GMI Clou...
(全球TMT2026年5月28日讯)5月28日,仁宝电脑宣布,与美...
2026-05-28 21:09:59

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...