IT时报记者 孙妍
2025 年 2 月 18 日,阶跃星辰和吉利汽车集团联合宣布,将双方合作的阶跃两款Step 系列多模态大模型向全球开发者开源,包含目前全球范围内参数量最大的开源视频生成模型阶跃Step-Video-T2V,以及行业内首款产品级开源语音交互大模型阶跃Step-Audio。
在两款大模型的研发过程中,双方展开深度合作,在算力算法、场景训练等领域优势互补,显著增强多模态大模型的性能表现。此次联合开源,将为开源世界贡献最强的多模态大模型能力,形成大模型开源世界的又一股中国力量,推动人工智能普惠发展。
早在2021年,吉利就围绕芯片、软件操作系统、数据和卫星网搭建了端到端的自研体系和生态联盟,构建了完善的智能吉利科技生态网,驱动用户在智能驾驶、智能座舱上的体验不断进化。吉利汽车集团CEO淦家阅表示:“目前,吉利全栈自研的星睿AI大模型已经与阶跃Step-Video-T2V、Step-Audio等大模型完成深度融合,将为用户带来更智能、更高阶的座舱交互与智驾出行体验,推动AI科技在智能汽车领域的普及。”
这是阶跃星辰首次开源其 Step 系列基座模型。阶跃星辰创始人、CEO 姜大昕一直以实现AGI为目标研发基座大模型,他表示:“我们深知 AGI 的实现离不开全球开发者的共同努力,开源的初心,一方面是希望跟大家分享最新技术成果,为开源社区贡献一份力量;另一方面,我们相信多模态模型是实现 AGI 的必经之路,但目前尚处于早期阶段,期待与社区开发者集思广益,共同拓展模型技术边界,并推动产业落地。”
全球参数量最大的开源视频生成大模型
多模态大模型是阶跃星辰擅长之处,成立以来已先后发布 11 款多模态大模型,堪称多模态卷王。
近日,全球影响力最大的科技商业化智库《麻省理工科技评论》(MIT Technology Review)刊发了一篇题为《关注DeepSeek之外的四家中国人工智能初创公司》(Four Chinese AI Startups to Watch Beyond DeepSeek)的报道,指出阶跃星辰、面壁智能、智谱、无问芯穹四家企业同样展现出不逊于DeepSeek的技术实力与全球竞争力。
阶跃Step-Video-T2V 是目前全球范围内参数量最大的开源视频生成大模型。阶跃Step-Video-T2V 模型的参数量达到 300 亿,可以直接生成 204 帧、540P 分辨率的高质量视频,这意味着能确保生成的视频内容具有极高的信息密度和一致性。
从记者体验来看,用户已经可以在跃问网页端和跃问 App 上体验阶跃Step-Video-T2V 的视频生成能力 。阶跃Step-Video-T2V 可以生成8秒视频,从生成效果来看,在复杂运动、美感人物、视觉想象力、基础文字生成、原生中英双语输入和镜头语言等方面具备较强的能力,而且能比较精准地实现创作者的创意。
为了对开源视频生成模型的性能进行全面评测,阶跃星辰还发布并开源了针对文生视频质量评测的新基准数据集 Step-Video-T2V-Eval。该测试集包含 128 条源于真实用户的中文评测问题,为了评估生成视频在运动、风景、动物、组合概念、超现实、人物、3D 动画、电影摄影等 11 个内容类别的质量。
评测结果
阶跃星辰表示,从评测结果来看,阶跃Step-Video-T2V 的模型性能在指令遵循、运动平滑性、物理合理性、美感度等方面的表现,均优于市面上既有的开源视频模型。
最懂中国话的开源语音交互大模型
阶跃Step-Audio 是行业内首个产品级开源语音交互模型,能根据不同的场景需求生成情绪、方言、语种、歌声和个性化风格的表达,能和用户自然地对话。这个语音生成模型的情商较高,能实现高质量的音色复刻并进行角色扮演,在影视娱乐、社交、游戏等行业场景应用的想象空间较大。
在 LlaMA Question、Web Questions 等 5 大主流公开测试集中,阶跃Step-Audio 模型性能均超过行业内同类型开源模型,位列第一。阶跃星辰表示,阶跃Step-Audio 在 HSK-6(汉语水平考试六级)评测中的表现尤为突出,是最懂中国话的开源语音交互大模型。
StepEval-Audio-360基准测试
由于目前行业内语音对话测试集相对缺失,阶跃星辰自建并开源了多维度评估体系 StepEval-Audio-360 基准测试,从角色扮演、逻辑推理、生成控制、文字游戏、创作能力、指令控制等 9 项基础能力的维度对开源语音模型进行全面测评。通过人工横评后的结果显示,阶跃Step-Audio的模型能力十分均衡,且在各个维度上均超过此前市面上效果最佳的开源语音模型。