微软开源 bitnet.cpp：不靠 GPU 本地运行千亿参数 AI 模型
创始人
2024-10-19 17:00:57
0次
IT之家 10 月 19 日消息，科技媒体 marktechpost 昨日（10 月 18 日）发布博文，报道称微软公司开源了 bitnet.cpp，这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型（LLM）推理框架。
用户通过 bitnet.cpp框架，不需要借助 GPU，也能在本地设备上运行具有 1000 亿参数的大语言模型，实现 6.17 倍的速度提升，且能耗可以降低 82.2%。
传统大语言模型通常需要庞大的 GPU 基础设施和大量电力，导致部署和维护成本高昂，而小型企业和个人用户因缺乏先进硬件而难以接触这些技术，而 bitnet.cpp框架通过降低硬件要求，吸引更多用户以更低的成本使用 AI 技术。
bitnet.cpp支持 1-bit LLMs 的高效计算，包含优化内核以最大化 CPU 推理性能，且当前支持 ARM 和 x86 CPU，未来计划扩展至 NPU、GPU 和移动设备。
根据初步测试结果，在 ARM CPU 上加速比为 1.37x 至 5.07x，x86 CPU 上为 2.37x 至 6.17x，能耗减少 55.4% 至 82.2%。
bitnet.cpp的推出，可能重塑 LLMs 的计算范式，减少对硬件依赖，为本地 LLMs（LLLMs）铺平道路。
用户能够在本地运行模型，降低数据发送至外部服务器的需求，增强隐私保护。微软的“1-bit AI Infra”计划也在进一步推动这些模型的工业应用，bitnet.cpp在这一进程中扮演着重要角色。
IT之家附上参考地址
相关内容
热门资讯
韩国启动全民AI成长阶梯项目，...
2026年8月3日，韩国科学技术信息通信部正式启动全民AI成长阶梯项目，项目整合全民AI学习馆、全民...
从全民AI入门到创业孵化，韩国...
8月3日，财闻海外资讯消息，韩国科学技术信息通信部正式启动全民AI成长阶梯项目，整合全民AI学习馆、...
AI赋能包 | 产品介绍⑪——...
产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩阵营销的“AI剪辑+碰一碰发布”系...
PandaAI李昱琦：AI交易...
上证报中国证券网讯（记者 胡尧）8月1日，在上海虹口举行的PandaAI第三届因子大赛颁奖典礼暨AI...
真人短剧被AI“抢饭碗”？从业...
“去年下半年AI短剧开始兴起，过完年真人短剧行情跌到谷底。真人短剧拍摄量锐减，大量专门承接平台真人剧...
Genspark 发布 Gen...
用 Al-Native 的方式，打造一款新时代的 Office。 8 月 3 日，在 AGI Pla...
原生统一多模态进阶！Sense...
今年4月，商汤科技发布了SenseNova U1，首次完整展示了基于NEO-Unify架构的原生统一...
开放通用智能，MiniMax ...
8月3日，据MiniMax消息，MiniMax正式开源新一代通用视频模型MiniMax H3。据介绍...
商汤科技开源多模态模型Sens...
IT之家 8 月 3 日消息，商汤科技今日宣布，面向社区开源轻量级统一多模态模型的预览版本 Sens...
MiniMax开源H3，视频模...
长期封闭的视频模型赛道，出现了一个开源旗舰。 7月31日，MiniMax发布视频旗舰模型H3，并在8...