生成式AI的兴起推动了对能在本地硬件上运行或训练模型的AI工作站的需求。然而,现代PC已被证明不足以胜任这一任务。典型的笔记本电脑只有足够的内存来加载具有80亿到130亿参数的大语言模型,这比据推测拥有超过一万亿参数的前沿模型要小得多,智能程度也低得多。即使是最强大的工作站PC也难以为拥有超过700亿参数的大语言模型提供服务。
Tenstorrent公司的QuietBox 2试图填补这一空白。尽管它看起来像一台PC工作站,但QuietBox 2包含四个该公司定制的Blackhole AI加速器、128GB的GDDR6内存(GPU中使用的专用内存)和256GB的DDR5系统内存(总共384GB)。这种配置提供足够的内存来加载OpenAI的GPT-OSS-120B,并且可以以接近每秒500个Token的速度运行Meta的Llama 3.1 70B等中等规模模型。作为参考,这比OpenAI的GPT-5.2或Anthropic的Claude 4.6的平均响应速度快几倍。QuietBox 2的预期零售价为9999美元,计划于2026年第二季度发布。
Tenstorrent联合创始人兼系统工程师Milos Trajkovic说:"我们AI加速器所拥有的128GB GDDR真正定义了你能以合理速度运行多大模型。我们的128GB GDDR6 RAM需要四块Nvidia RTX 5090显卡才能实现。这无法装进今天1600瓦的形态因子中,而且四块RTX 5090 GPU的成本是巨大的。"
功耗问题至关重要
功耗结果证明是至关重要的。Nvidia建议单块RTX 5090的系统功率为1000瓦,因此即使是双GPU设置也会超过典型15安培、120伏电路的连续功耗。配备四块RTX 5090的系统在负载时可能需要4000瓦或更多功率。
另一方面,QuietBox 2在满负荷时仅消耗1400瓦。它不会跳闸,因此可以在典型桌面PC可能插入的任何地方使用,包括家庭办公室。
这并不是QuietBox 2伪装成普通PC的唯一方式。该机器的定制机箱专为支持micro-ATX主板形态因子而构建,主板本身是搭载AMD CPU的AMD芯片组。硬件通过类似于PC工作站和游戏计算机使用的闭环液冷系统保持冷却。它甚至具有可定制的RGB LED照明和一个展示硬件的大型半透明窗口。
Tenstorrent热机械工程师兼团队负责人Chris Goulet说:"我们的许多内部开发人员都要求一台QuietBox,因为它们非常容易部署。你只需将设备运送给他们,他们把它放在桌子上,通电,就可以开始工作了。"
QuietBox 2与桌面PC的不同之处在于其AI加速器。它配备了四个Tenstorrent的Blackhole专用集成电路,这是专为AI工作负载设计的RISC-V芯片。Blackhole封装在扩展卡上;每个卡有120个Tensix AI加速器和32GB GDDR6内存,总共480个Tensix AI加速器和128GB GDDR6。Blackhole还在每个加速器上有大量片上SRAM,为180MB。
Nvidia的竞争方案
Tenstorrent在这种方法上并不孤单。Nvidia去年发布的DGX Spark将Nvidia的GB10芯片封装在一台饭盒大小的机器中。Spark的升级版DGX Station搭载Nvidia的GB300,于2026年3月16日开始接受订单。
DGX Station看起来像桌面PC工作站,变体版本将由Dell和Asus等知名PC品牌制造。Nvidia的产品比QuietBox 2拥有更多内存,最高可达748GB,但系统功率标注为1600瓦,这相当接近15安培、120伏断路器能处理的最大值。这反映了他们对机器使用方式的不同愿景。当然,Nvidia DGX Station的额外内存并不便宜。虽然大多数DGX Station系统制造商尚未公布定价,但一家零售商已将来自PC制造商MSI的DGX Station标价为85000美元。
当我在2025年DGX Spark和Station发布后与Nvidia产品营销总监Allyn Bourgoyne交谈时,他说公司预计大多数DGX所有者将把这些设备用作远程访问工作站。"你可能看到的常见情况是,我有我的Windows笔记本电脑,我将通过网络使用我的DGX Spark。我将向它发送任务。"他补充说,公司可以部署DGX Spark和Station系统来同时为多人提供服务。
Tenstorrent QuietBox 2可以这样使用,但该公司也希望针对人与计算机一对一交互提供良好体验。Trajkovic说:"你不必远程SSH进入该设备。你通过HDMI连接显示器,它就像你家里的PC一样。它有Ubuntu桌面和实用程序。"
Nvidia的DGX系统也运行Ubuntu的变体(DGX OS)并包含桌面环境,但细节很重要。DGX系统使用基于ARM架构的Nvidia CPU和定制芯片组。QuietBox 2使用AMD x86 CPU和兼容芯片组,配置更像传统PC。这对QuietBox 2的软件兼容性应该是一个优势。
Tenstorrent通过专注于开源软件来利用这一点。QuietBox 2的整个软件栈,从TT-Forge(该公司的AI编译器)到TT-Metalium(提供内核级硬件控制的低级软件开发工具包),都是开源的并在GitHub上可用。Tenstorrent还发布了其Tensix核心的指令集架构,因此开发人员可以确切地看到他们的工作负载如何在硬件上执行。相比之下,Nvidia专注于其专有的CUDA生态系统,DGX OS不是开源的。
Goulet说:"我们的软件栈很大一部分是完全开放的,我们觉得从硬件角度来看,我们也想走类似的道路。"
Q&A
Q1:QuietBox 2和普通PC相比有什么优势?
A:QuietBox 2配备了四个定制Blackhole AI加速器和384GB总内存,能以接近每秒500个Token的速度运行Meta的Llama 3.1 70B等大语言模型,比普通PC的AI处理能力强得多。同时它仅消耗1400瓦功率,可在家庭办公环境正常使用。
Q2:Tenstorrent和Nvidia的AI工作站有什么不同?
A:Tenstorrent QuietBox 2定价9999美元,采用AMDx86架构,软件栈完全开源;而Nvidia DGX Station定价约85000美元,采用ARM架构,使用专有CUDA生态系统。QuietBox 2更注重个人直接使用体验,DGX Station更偏向远程访问使用。
Q3:这些AI工作站主要解决了什么问题?
A:主要解决了本地运行大语言模型的硬件限制问题。普通笔记本只能运行80-130亿参数的模型,而这些AI工作站能运行700亿参数以上的大型模型,为企业和开发者提供了本地部署高性能AI模型的解决方案。
上一篇:Edge.js发布:为AI应用提供Node.js运行环境
下一篇:没有了