腾讯混元官方发文称,其295B参数模型Hy3已实现单卡部署。Hy3上线并开源后,社区持续呼吁推出量化版本,希望能在单张显卡上运行该模型。针对这一需求,团队将Hy3的权重量化至1bit与4bit,并打包为GGUF格式。配合llama.cpp生态,原先必须在多卡集群上运行的模型,现可最低在单张推理显卡、乃至内存充足的本地机器上运行。
市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
来源:市场资讯
上一篇:遭AI“砸场”,大学英语如何突围?
下一篇:深信服:安全GPT、AI算力网关等AI产品已经落地交付