PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率
创始人
2024-10-02 14:54:05
0次
IT之家 10 月 2 日消息，据 PyTorch 新闻稿，PyTorch 旗下架构优化库 torchao 现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率，IT之家附 GitHub 页面地址（点此访问）。
据介绍，torchao 提供了一系列优化工具集，可以帮助 LLaMA 3 等流行的 AI 模型提升性能，其支持 float8、int4 等低精度数据类型，能够有效减少硬件开销和 RAM 用量。
官方举例，在 LLaMA 3 70B 模型的预训练中，torchao 提供的 float8 训练流程可将模型计算速度提升 1.5 倍。开发者只需利用 convert_to_float8_training 函数，即可将模型训练转换为 float8，从而轻松实现模型高效训练。
在推理方面，torchao 提供多种量化方法，包括权重量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization），用户可以自有选择适合的量化策略，以获得最佳的模型推理性能。
在稀疏性优化方面， torchao 可以优化模型参数计算效率，据称可让 ViT-H 模型的推理速度提升 5%。同时，torchao 还可以将权重量化为 int4，并将键值缓存量化为 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文长度下仅占用 18.9GB 的显存。
相关内容
热门资讯
2024云栖大会|阿里云升级无...
北京商报讯（记者魏蔚）9月20日，阿里云无影AI云电脑在2024云栖大会上展出，该版本基于最新的终端...
MWC2025荣耀多款AI技术...
人民财讯3月6日电，2025世界移动通信大会（MWC 2025）上，荣耀MagicBook Pro ...
原创 2...
#春日生活好物种草季#近年来，笔记本电脑市场迎来技术爆发期，尤其在手机厂商跨界入局后，轻薄本在性能、...
AMD锐龙AI 9 HX 37...
2024年6月3日，AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
5个AI模特生成软件推荐
当前AI模特生成软件市场提供了多样化的解决方案，以下是几款备受推崇的工具： 触站AI：强烈推荐！...
骁龙本这么猛？联想YOGA A...
在人人都是自媒体的时代，一部手机可以解决出镜拍摄问题，而商务出差、大量码字、图像处理等需求用笔记本则...
摩尔线程发布AI算力笔记本MT...
钛媒体App 12月20日消息，摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
2023年CentOS与Ubu...
CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域，CentOS与Ubuntu...
苹果macOS 15.1：允许...
苹果公司在其最新的macOS 15.1版本中，推出了一项引人注目的新功能——允许用户将Mac App...
原创 华...
在2024年这个被誉为"AI元年"的关键时刻，随着生成式AI的流行，各家手机厂商都在积极备战AI手机...