“万卡集群”已成为大模型军备竞赛的最低标配，科技巨头不满足于此，纷纷开启“十万卡集群”的AI大基建步伐。

9月25日的百度云智能大会上，百度宣布升级作为算力基础设施的百舸AI异构计算平台。百度集团执行副总裁、百度智能云事业群总裁沈抖说，新升级的百舸4.0已经具备了成熟的十万卡集群部署和管理能力。

百度云智能大会上，百度推出百舸4.0平台。图：杨柳

约一周前，阿里云在云栖大会宣布其单网络集群已扩展至十万卡级别。此前9月初，马斯克在社交平台披露，短短122天时间，旗下AI初创公司xAI部署完成10万张英伟达H100 GPU芯片组成的Colossus超算集群，而且未来几个月将翻倍至20万张卡。

沈抖预测称，大模型的Scaling Law（尺度定律）将在一段时间内持续有效，“很快就会有更多的十万卡集群出现”。

所谓Scaling Law，即AI的“暴力美学”，当数据量和参数规模增加，模型的性能随之提升。但指数级增长的训练数据量，又对底层算力基础设施提出考验。为了快速迭代训练大模型，“万卡集群”乃至“十万卡集群”就成了大模型军备竞赛的先决条件。

然而，超大规模的GPU算力集群面临成本高、难运维的挑战。据沈抖介绍，建一个“万卡集群”，单是GPU的采购成本就高达几十亿。一旦一张GPU出现故障，就会导致集群整体停摆，大量时间、成本浪费在故障恢复和数据回滚上。在模型训练阶段，稳定和高效是衡量GPU集群水平的“金指标”和“硬通货”。

沈抖介绍说，百舸4.0 会通过AI算法筛查集群状态，预测故障最有可能在什么地方发生，尽量避免把工作负载分配到可能发生故障的芯片上；同时借助故障秒级感知定位、Flash Checkpoint模型任务状态回滚等技术，大幅减少集群故障处置时间。

当智算集群规模来到十万卡级别，管理的难度会进一步加大，沈抖描述称，管理十万卡的难度与管理万卡有着天壤之别。他说，在物理空间方面，十万卡集群需要占据大概10万平方米空间，相当于14个标准足球场的面积；在能耗方面，每天则要消耗大约300万千瓦时的电力，相当于北京市东城区一天的居民用电量。

“这种对于空间和能源的巨大需求，远远超过了传统机房部署方式的承载能力，跨地域机房部署又会给网络通信带来巨大挑战。”沈抖表示，“十万卡集群”中的GPU故障将会非常频繁。Meta用1.6万张卡训练Llama 3时，每3小时就会出一次故障，推演到10万卡，意味着每30分钟训练就要中断一次，导致有效训练时长占比非常低。

为了应对这些运维问题，百度方面介绍说，百舸4.0已经构建了十万卡级别的超大规模无拥塞HPN（High Performance Networking）高性能网络、10ms（毫秒）级别超高精度网络监控，以及面向“十万卡集群”的分钟级故障恢复能力。

采写：南都记者 杨柳