腾讯发布开源MoE大语言模型Hunyuan-large，总参数398B为业内最大
创始人
2024-11-05 16:27:22
0次
钛媒体App 11月5日消息，腾讯发布开源MoE大语言模型Hunyuan-large，总参数398B为业内最大，激活参数量52B。公开测评结果显示，腾讯混元Large在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面领先，超过Llama3.1、Mixtral等一流的开源大模型。据了解，该模型在技术创新上可实现高质量合成数据，通过使用合成数据增强训练，有效应对自然数据的不足。在上下文处理能力方面，预训练模型支持高达256K的文本序列，显著增强了处理长上下文任务的能力。
同时，腾讯混元宣布，为填补行业真实长文评测集不足，腾讯混元即将开源企鹅卷轴评测集助力业界应用研究。自研企鹅卷轴(PenguinScrolls)基于公开金融、法律、学术论文等多种自然长文本，长度范围达1K-128K，覆盖各种深度阅读理解、长文推理任务。
相关内容
热门资讯
国产大模型下调推理服务价格，南...
近日，国内某大模型企业宣布下调其flash系列模型服务价格，输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有...
中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图...
9月9日消息，OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5，图像生成延...
探索AI供应链产业化路径京东推...
2026年以来，人工智能应用范围加速拓展，持续从数字空间走向现实生活，广泛融入生产线、仓储厂房、配送...
教育部发文！AI生成内容，教师...
一篇论文，因为AI使用不当，相关高校师生被通报处理。 9月2日，安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化...
英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手，开发出一款 人工智能（AI）工具，能从数千万种...
搭上低空经济、AI文旅？两连板...
桂林旅游（000978）回应市场热点。 9月8日，桂林旅游再度涨停，斩获2连板。当天晚间，该公司披露...
硅谷：我们不能被硅谷“AI刹车...
【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章，题目叫《An ...