视频大模型卷开源,阿里云深夜开源万相模型,超越Sora?
创始人
2025-02-26 19:51:39
0

开源热潮卷到了视频大模型。2月25日晚,阿里云深夜抢先开源旗下视觉生成基座模型万相2.1(Wan)。2月18日,昆仑万维开源其旗下面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。近期“AI大模型六小龙”中一向低调的阶跃星辰官宣将在3月开源图生视频模型。

据悉,阿里云此次开源采用最宽松的Apache2.0协议,14B和1.3B两个参数规格的全部推理代码和权重全部开源,同时支持文生视频和图生视频任务,在权威测评中,万相2.1也已经超越了Sora、Luma、Pika等国内外模型。

超越Sora,阿里云开源万相视频模型

2023年7月,通义万相图像生成大模型首次亮相。在2024年云栖大会上,阿里云CTO周靖人宣布通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,应用于影视创作、动画设计、广告设计等领域。

早在今年1月,万相就宣布推出升级版2.1版本模型,其在视频生成、图像生成两大能力均有显著提升。据介绍,此次开源的14B万相模型在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出,在权威评测集VBench中,万相2.1以总分86.22%的成绩超越Sora、Luma、Pika等国内外模型。

万相2.1以总分86.22%的成绩居VBench榜单第一。

另外,万相模型1.3B版本测试结果不仅超过了更大尺寸的开源模型,甚至还接近部分闭源模型,同时能在消费级显卡运行,仅需8.2GB显存就可以生成高质量视频,适用于二次模型开发和学术研究。

在算法设计上,据悉万相基于主流DiT架构和线性噪声轨迹Flow Matching范式,研发了高效的因果3D VAE、可扩展的预训练策略等,目前万相大模型可以实现无限长1080P视频的高效编解码,另外该模型通过将空间降采样压缩提前,在不损失性能的情况下进一步减少了29%的推理时内存占用。

值得一提的是,在蛇年春晚上阿里云视觉生成基座模型万相已“小露一手”,比如在莫文蔚与毛不易合唱的《岁月里的花》节目中,阿里通义万相利用图像风格化和首尾帧视频生成技术,生成了沉浸式的油画风舞美效果。

万相团队的实验结果显示,在运动质量、视觉质量、风格和多目标等14个主要维度和26个子维度测试中,万相均达到了业界领先表现,并且斩获5项第一。根据阿里展示的案例,用户输入:“以红色新年宣纸为背景,出现一滴水墨,晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然,随着晕染的进行,水墨在纸上呈现‘福’字,墨色从深到浅过渡,呈现出独特的东方韵味。背景高级简洁,杂志摄影感”的指令。

通义万相2.1模型可以根据要求,输出具有中国特色及浓郁的新年风格的视频素材,且该段视频素材中完整准确地将中文字“福”字呈现。南都记者以同样的提示词输入国内其他视频生成模型,尚未有效果更好的视频生成模型。

开源潮卷到视频生成大模型

由DeepSeek引发的开源热正在席卷行业。近期,百度宣布百度文心大模型4.5将开源,月之暗面也首次在其关于注意力机制的论文中公布了相关代码。自2月24日起,DeepSeek接连开源5天5个代码库,截至目前已发布涉及GPU使用场景的效率优化、用于MoE模型训练和推理的开源EP通信库等代码库。

在DeepSeek引发的开源潮下,近期不少厂商除了开源自己的基础大模型,也将开源的视野放在了难度更高的视频生成模型上。2月18日,昆仑万维开源其旗下面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。

其中,SkyReels-V1可实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达;另外昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,SkyReels-A1支持视频驱动的电影级表情捕捉,实现高保真微表情还原。

输入图片后基于SkyReels-A1生成的视频。

另外就在2月21日,在“AI大模型六小龙”中一向低调的阶跃星辰在上海举办首届Step UP生态开放日,阶跃星辰创始人、CEO姜大昕在大会上也官宣阶跃星辰将在3月份开源图生视频大模型。

(南方都市报)

相关内容

首发价999元,搭载豆包A...
近日,KTC 旗下首款 AI 拍摄眼镜现已在京东平台上架,眼镜搭载...
2025-08-21 20:14:06
河南27岁女孩带村里46名...
8月19日,河南知名博主李福贵发布视频称,带村里46名老人走出大山...
2025-08-21 15:43:36
字节突然开源Seed-OS...
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 字节跳动突发...
2025-08-21 11:15:39
AI学什么(第15期):开...
大家好,我是蓝衣剑客,欢迎来到「AI学什么」——一个专注于AI科普...
2025-08-20 21:43:32
湖州一老太每天凌晨拿光爱心...
极目新闻记者 张奇 8月19日,有网友发布消息称,浙江湖州德清县一...
2025-08-20 21:17:05
华瑞指数云发布AI原生数据...
在人工智能作为引领新一轮科技革命和产业变革的战略性技术迅猛发展之际...
2025-08-20 12:43:56

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...