视频大模型卷开源,阿里云深夜开源万相模型,超越Sora?
创始人
2025-02-26 19:51:39
0

开源热潮卷到了视频大模型。2月25日晚,阿里云深夜抢先开源旗下视觉生成基座模型万相2.1(Wan)。2月18日,昆仑万维开源其旗下面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。近期“AI大模型六小龙”中一向低调的阶跃星辰官宣将在3月开源图生视频模型。

据悉,阿里云此次开源采用最宽松的Apache2.0协议,14B和1.3B两个参数规格的全部推理代码和权重全部开源,同时支持文生视频和图生视频任务,在权威测评中,万相2.1也已经超越了Sora、Luma、Pika等国内外模型。

超越Sora,阿里云开源万相视频模型

2023年7月,通义万相图像生成大模型首次亮相。在2024年云栖大会上,阿里云CTO周靖人宣布通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,应用于影视创作、动画设计、广告设计等领域。

早在今年1月,万相就宣布推出升级版2.1版本模型,其在视频生成、图像生成两大能力均有显著提升。据介绍,此次开源的14B万相模型在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出,在权威评测集VBench中,万相2.1以总分86.22%的成绩超越Sora、Luma、Pika等国内外模型。

万相2.1以总分86.22%的成绩居VBench榜单第一。

另外,万相模型1.3B版本测试结果不仅超过了更大尺寸的开源模型,甚至还接近部分闭源模型,同时能在消费级显卡运行,仅需8.2GB显存就可以生成高质量视频,适用于二次模型开发和学术研究。

在算法设计上,据悉万相基于主流DiT架构和线性噪声轨迹Flow Matching范式,研发了高效的因果3D VAE、可扩展的预训练策略等,目前万相大模型可以实现无限长1080P视频的高效编解码,另外该模型通过将空间降采样压缩提前,在不损失性能的情况下进一步减少了29%的推理时内存占用。

值得一提的是,在蛇年春晚上阿里云视觉生成基座模型万相已“小露一手”,比如在莫文蔚与毛不易合唱的《岁月里的花》节目中,阿里通义万相利用图像风格化和首尾帧视频生成技术,生成了沉浸式的油画风舞美效果。

万相团队的实验结果显示,在运动质量、视觉质量、风格和多目标等14个主要维度和26个子维度测试中,万相均达到了业界领先表现,并且斩获5项第一。根据阿里展示的案例,用户输入:“以红色新年宣纸为背景,出现一滴水墨,晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然,随着晕染的进行,水墨在纸上呈现‘福’字,墨色从深到浅过渡,呈现出独特的东方韵味。背景高级简洁,杂志摄影感”的指令。

通义万相2.1模型可以根据要求,输出具有中国特色及浓郁的新年风格的视频素材,且该段视频素材中完整准确地将中文字“福”字呈现。南都记者以同样的提示词输入国内其他视频生成模型,尚未有效果更好的视频生成模型。

开源潮卷到视频生成大模型

由DeepSeek引发的开源热正在席卷行业。近期,百度宣布百度文心大模型4.5将开源,月之暗面也首次在其关于注意力机制的论文中公布了相关代码。自2月24日起,DeepSeek接连开源5天5个代码库,截至目前已发布涉及GPU使用场景的效率优化、用于MoE模型训练和推理的开源EP通信库等代码库。

在DeepSeek引发的开源潮下,近期不少厂商除了开源自己的基础大模型,也将开源的视野放在了难度更高的视频生成模型上。2月18日,昆仑万维开源其旗下面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。

其中,SkyReels-V1可实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达;另外昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,SkyReels-A1支持视频驱动的电影级表情捕捉,实现高保真微表情还原。

输入图片后基于SkyReels-A1生成的视频。

另外就在2月21日,在“AI大模型六小龙”中一向低调的阶跃星辰在上海举办首届Step UP生态开放日,阶跃星辰创始人、CEO姜大昕在大会上也官宣阶跃星辰将在3月份开源图生视频大模型。

(南方都市报)

相关内容

约翰斯·霍普金斯大学研发新...
IT之家 7 月 5 日消息,据新华社今日报道,美国约翰斯・霍普金...
2025-07-05 21:12:58
“AI搜索功能很强大,但我...
这要命的幻觉率! 听筒Tech(ID:tingtongtech)原...
2025-07-04 21:42:16
拥抱AI:开放与理性|如何...
7月4日,2025亚布力论坛第十一届创新年会在浙江杭州圆满举行。在...
2025-07-04 21:42:04
卓易信息:通过多智能体协作...
证券之星消息,卓易信息(688258)07月04日在投资者关系平台...
2025-07-04 18:13:00
AI+将给汽车产业打开什么...
作者 / 路 行 编辑 / 黄大路 设计 / 柴文静 编者按: ...
2025-07-04 16:41:55

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...