PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率
创始人
2024-10-02 14:54:05
0次
IT之家 10 月 2 日消息，据 PyTorch 新闻稿，PyTorch 旗下架构优化库 torchao 现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率，IT之家附 GitHub 页面地址（点此访问）。
据介绍，torchao 提供了一系列优化工具集，可以帮助 LLaMA 3 等流行的 AI 模型提升性能，其支持 float8、int4 等低精度数据类型，能够有效减少硬件开销和 RAM 用量。
官方举例，在 LLaMA 3 70B 模型的预训练中，torchao 提供的 float8 训练流程可将模型计算速度提升 1.5 倍。开发者只需利用 convert_to_float8_training 函数，即可将模型训练转换为 float8，从而轻松实现模型高效训练。
在推理方面，torchao 提供多种量化方法，包括权重量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization），用户可以自有选择适合的量化策略，以获得最佳的模型推理性能。
在稀疏性优化方面， torchao 可以优化模型参数计算效率，据称可让 ViT-H 模型的推理速度提升 5%。同时，torchao 还可以将权重量化为 int4，并将键值缓存量化为 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文长度下仅占用 18.9GB 的显存。
相关内容
热门资讯
67岁男子误信AI喷农药，15...
安徽滁州67岁农户吴大伯因轻信AI生成的除草除虫方案喷洒农药，导致150亩芝麻苗一夜之间全部枯萎，损...
外语专业“遇冷”：AI只是催化...
“人们没有必要恐慌。人工智能是大语言模型，本质仍然是语言。而语言是一切学科的基础，没有语言表达，就没...
AI国际合作的中国声音
[ 人工智能不是少数国家的“特权”，而应成为造福全人类的“公共产品”；人工智能治理不是零和博弈的“角...
特斯拉将开源Model S和M...
8月3日消息，据外电报道，三年前，特斯拉在其服务网站上发布了2012款初代特斯拉Roadster的所...
开源之争，撕裂硅谷
文｜熔财经 每文 7月24日，黄仁勋发出了人生第一条X（原推特）。 这位英伟达掌门人没有发布新架构...
以AI大模型“伏羲”为基础，新...
台风为何经常“跑偏”？因为大气系统自带“混沌”属性，初始条件差之毫厘，最终路径就可能谬以千里。记者2...
ChinaJoy2026｜延伸...
【中国·上海，2026年7月31日】第23届中国国际数码互动娱乐展览会（ChinaJoy）在上海新国...
给中国AI“扣帽子”，遮不住美...
最近，美国对中国AI的围堵，有点歇斯底里。 当地时间7月28日，美国联邦通信委员会(FCC)宣布，将...