英伟达发布8B新AI 模型：精度、效率高，可在 RTX 工作站上运行_linux资讯

英伟达发布8B新AI 模型：精度、效率高，可在 RTX 工作站上运行

创始人

2024-08-23 08:14:10

0次

IT之家 8 月 23 日消息，英伟达于 8 月 21 日发布博文，发布了 Mistral-NeMo-Minitron 8B 小语言 AI 模型，具备精度高、计算效率高等优点，可在 GPU 加速的数据中心、云和工作站上运行模型。

英伟达携手 Mistral AI 上月发布开源 Mistral NeMo 12B 模型，在此基础上英伟达再次推出更小的 Mistral-NeMo-Minitron 8B 模型，共 80 亿个参数，可以在搭载英伟达 RTX 显卡的工作站上运行。

英伟达表示通过宽度剪枝（width-pruning）Mistral NeMo 12B，并知识蒸馏（knowledge distillation）轻度重新训练后获得 Mistral-NeMo-Minitron 8B，相关成果发表在《Compact Language Models via Pruning and Knowledge Distillation》论文中。

剪枝通过去除对准确率贡献最小的模型权重来缩小神经网络。在 "蒸馏" 过程中，研究小组在一个小型数据集上重新训练剪枝后的模型，以显著提高通过剪枝过程而降低的准确率。

就其规模而言，Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中遥遥领先。这些基准涵盖了各种任务，包括语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。IT之家附上相关测试结果如下：

参考

语言相关 Mistral 模型精度 Pruning Models Compact NeMo 准确率英伟达基准工作站

上一篇：谷歌任命原Character.AI首席执行官为Gemini联合技术负责人

下一篇：当你还在质疑AI时，很多管理者早已用它替自己打工了

英伟达发布8B新AI 模型：精度、效率高，可在 RTX 工作站上运行

相关内容

热门资讯