据“百灵大模型”公众号消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。
(本文来自第一财经)
上一篇:中国电信携AI能力创新 智联“宏观效能”与“微观幸福”
下一篇:李彦宏:内化AI能力,加快形成新质生产力