PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率
创始人
2024-10-02 14:54:05
0次
IT之家 10 月 2 日消息，据 PyTorch 新闻稿，PyTorch 旗下架构优化库 torchao 现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率，IT之家附 GitHub 页面地址（点此访问）。
据介绍，torchao 提供了一系列优化工具集，可以帮助 LLaMA 3 等流行的 AI 模型提升性能，其支持 float8、int4 等低精度数据类型，能够有效减少硬件开销和 RAM 用量。
官方举例，在 LLaMA 3 70B 模型的预训练中，torchao 提供的 float8 训练流程可将模型计算速度提升 1.5 倍。开发者只需利用 convert_to_float8_training 函数，即可将模型训练转换为 float8，从而轻松实现模型高效训练。
在推理方面，torchao 提供多种量化方法，包括权重量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization），用户可以自有选择适合的量化策略，以获得最佳的模型推理性能。
在稀疏性优化方面， torchao 可以优化模型参数计算效率，据称可让 ViT-H 模型的推理速度提升 5%。同时，torchao 还可以将权重量化为 int4，并将键值缓存量化为 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文长度下仅占用 18.9GB 的显存。
相关内容
热门资讯
原创 华...
想在竞争残酷的市场中发力，必须要带来一些激进的卖点，但是随着功能特性的提升，硬件也必须要进行给力才可...
支持 AI 扩图，华为 Pur...
2024-07-28 09:05:02作者：姚立伟 华为Pura 70 Pro手机今日推出鸿蒙Ha...
苹果macOS 15.1：允许...
苹果公司在其最新的macOS 15.1版本中，推出了一项引人注目的新功能——允许用户将Mac App...
吞噬星空维妮娜美图/高清壁纸/...
国漫女神｜《吞噬星空》维妮娜美图/高清壁纸/AI手机壁纸/无水印 国漫女神｜《吞噬星空》维妮娜美图...
原创 苹...
前言 IQUNIX在做好看的桌面产品上，一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 商...
最近，各家的AI 9笔记本开始陆续登场，其实大家并不一定非选AI 9 HX 370，主要是这颗CPU...
AI智能+高效清洁！萤石RS2...
目前扫拖机器人市场的竞争非常激烈，在上下水扫拖一体机市场也出现了很多所谓的创新产品。但是对于这些产品...
2024年度中国银行业发展报告...
21世纪经济报道 记者李愿 北京报道 10月19日，中国银行业协会在2024金融街论坛年会·金融街之...