linux办公网
腾讯推出业界已开源Transformer最大MoE模型“混元Large”
创始人
2024-11-05 18:53:06
0次

腾讯今日宣布推出Hunyuan-Large大模型，官方表示这是目前业界已开源的基于Transformer的最大MoE模型，拥有3890亿总参数和520亿激活参数，该项目有望为研究人员和开发者提供强大的工具和支持。

腾讯在Hugging Face上开源了Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct和Hunyuan-A52B-Instruct-FP8，并发布了技术报告和训练推理操作手册，详细介绍了模型能力和训练与推理的操作。

Hunyuan-Large通过高质量合成数据增强训练，能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据。该模型采用了分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了KV缓存的内存占用和计算开销，提高了推理吞吐。此外，为不同专家设置不同的学习率，确保每个子模型都能有效地从数据中学习，并为整体性能做出贡献。

Hunyuan-Large的预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力。该模型在多种语言和任务上进行了广泛实验，验证了其实际应用效果和安全性。

Hunyuan-A 混元 推理 数据 Hugging 模型 训练 上下文 业界 支持 腾讯 序列 Large 文本

上一篇：原创 2球领先遭绝平！亚冠-于汉超传射 申花2-2中央海岸水手

下一篇：走向边缘智能，AI模组成为推动AI应用落地的动力之源

相关内容

韩国启动全民AI成长阶梯项...
2026年8月3日，韩国科学技术信息通信部正式启动全民AI成长阶梯...
2026-08-03 20:27:33
从全民AI入门到创业孵化，...
8月3日，财闻海外资讯消息，韩国科学技术信息通信部正式启动全民AI...
2026-08-03 20:23:33
PandaAI李昱琦：AI...
上证报中国证券网讯（记者 胡尧）8月1日，在上海虹口举行的Pand...
2026-08-03 20:18:41
原生统一多模态进阶！Sen...
今年4月，商汤科技发布了SenseNova U1，首次完整展示了基...
2026-08-03 20:08:19
开放通用智能，MiniMa...
8月3日，据MiniMax消息，MiniMax正式开源新一代通用视...
2026-08-03 20:02:14
商汤科技开源多模态模型Se...
IT之家 8 月 3 日消息，商汤科技今日宣布，面向社区开源轻量级...
2026-08-03 20:01:37

热门资讯

开源证券：维持陆家嘴“买入”评... 开源 证券研报指出， 陆家嘴中期业绩大幅增长，租赁现金流入稳中有增。公司2026H1实现归母净利润1...
韩国启动全民AI成长阶梯项目，... 2026年8月3日，韩国科学技术信息通信部正式启动全民AI成长阶梯项目，项目整合全民AI学习馆、全民...
从全民AI入门到创业孵化，韩国... 8月3日，财闻海外资讯消息，韩国科学技术信息通信部正式启动全民AI成长阶梯项目，整合全民AI学习馆、...
AI赋能包 | 产品介绍⑪——... 产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩阵营销的“AI剪辑+碰一碰发布”系...
PandaAI李昱琦：AI交易... 上证报中国证券网讯（记者 胡尧）8月1日，在上海虹口举行的PandaAI第三届因子大赛颁奖典礼暨AI...
真人短剧被AI“抢饭碗”？从业... “去年下半年AI短剧开始兴起，过完年真人短剧行情跌到谷底。真人短剧拍摄量锐减，大量专门承接平台真人剧...
Genspark 发布 Gen... 用 Al-Native 的方式，打造一款新时代的 Office。 8 月 3 日，在 AGI Pla...
原生统一多模态进阶！Sense... 今年4月，商汤科技发布了SenseNova U1，首次完整展示了基于NEO-Unify架构的原生统一...
开放通用智能，MiniMax ... 8月3日，据MiniMax消息，MiniMax正式开源新一代通用视频模型MiniMax H3。据介绍...
商汤科技开源多模态模型Sens... IT之家 8 月 3 日消息，商汤科技今日宣布，面向社区开源轻量级统一多模态模型的预览版本 Sens...