一行代码、无需训练突破视频生成时长「魔咒」,清华朱军团队开源全新解决方案RIFLEx
创始人
2025-03-12 11:12:39
0

自 OpenAI 发布 Sora 以来,视频生成领域迎来爆发式增长,AI 赋能内容创作的时代已然来临。

去年 4 月,生数科技联合清华大学基于团队提出的首个扩散 Transformer 融合架构 U-ViT,发布了首个国产全自研视频大模型 Vidu,打破国外技术垄断,支持一键生成 16 秒高清视频,展现出中国科技企业的创新实力。Vidu 自去年 7 月上线以来,已服务数千万用户,极大促进了视频内容的智能创作。近期,腾讯混元、阿里通义万相等开源视频生成模型相继亮相,可生成 5-6 秒视频,进一步降低了视频创作门槛。

尽管如此,海内外社区仍有不少用户抱怨现有开源模型受限于生成 5-6 秒的短视频,时长不够用。

今天,Vidu 团队带来了一个简洁优雅的解决方案 ——RIFLEx。新方案仅需一行代码、无需额外训练即可突破视频生成模型现有长度限制,打破「短视频魔咒」。目前该项目已经开源,体现了团队对开源社区的积极回馈和贡献。

  • 项目地址:https://riflex-video.github.io/
  • 代码地址: https://github.com/thu-ml/RIFLEx

RIFLEx适用于基于RoPE的各类Video Diffusion Trasnsformer,例如CogvideoX、混元(链接到之前推送)以及最新发布的通义万相(链接到之前的推送)。

下列为开源模型无需任何训练直接时长外推两倍至10s效果:

  • 大幅度运动:

prompt: 一只棕白相间的动画豪猪好奇地审视着缎带装饰的绿色盒子,灵动的眼神与细腻的3D动画风格营造出温馨而精致的视觉体验。

  • 多人物复杂场景:

prompt: 荒凉空地上的简易营地散布着无人机与物资,军人与平民共处,一名男子绝望抱头,女子忧虑注视,沉重氛围暗示刚经历重大事件,镜头稳定细腻,突出紧张与不安感。

  • 自然动态流畅:

sora的经典长毛猛犸象prompt

在短视频微调几千步可进一步提升性能。

  • 多转场时序一致性保持:

prompt: 蓬乱头发、穿棕色夹克系红色领巾的男子在马车内严肃端详硬币,与女子交谈,广角与中近景结合展现历史剧风格与戏剧氛围。

  • 3D动画风格:

prompt: 动画中的兔子和老鼠,身穿探险装备正处于险境之中。它们急速坠入一个黑暗而未知的空间,紧接着便漂浮并游动在宁静的水下世界里。紧张而坚定的表情通过中景与特写展现,高质量3D动画风格增强电影感与沉浸感。

  • 真实人物特写:

prompt: 留着胡须、穿格子衬衫的男子坐着弹奏原声吉他,沉浸于激情演唱。他所在的室内环境简洁,背景是一面纯灰色墙壁,左侧放置着一个吉他音箱和麦克风架,右侧摆放着一叠书籍。

除此之外,RIFLEx 不仅支持视频的时间维度外推(如基于已有帧生成未来帧或延长视频时序长度),还可扩展至空间维度外推(如通过局部画面超分辨率重建、修复缺失区域或扩展视频边界内容),以及可同时进行的时空外推(如生成未来高分辨率视频序列或动态扩展视频的时空内容,兼顾时间连续性与空间一致性)。

  • 图像宽度外推两倍:

左图为训练尺寸,右图为外推结果

  • 图像高度外推两倍:

左图为训练尺寸,右图为外推结果

  • 图像高宽同时外推两倍:

左图为训练尺寸,右图为外推结果

  • 视频时空同时外推两倍:

训练尺寸:480*720*49

外推结果:960*1440*97

该研究成果一经发布,获得了广泛关注。

知名博主 Ak 第一时间转发,海外科技公司和博主称赞其为「视频扩散模型领域的突破性创新」。

Diffusers 核心贡献者 sayakpaul 和 a-r-r-o-w 也收藏了代码并留言点赞:

目前 RIFLEx 已被社区用户集成到各类知名视频生成仓库:

揭秘 RIFLEx:化繁为简,直击本质

长度外推问题在大型语言模型中早有研究,但这些方法在视频生成中却屡屡碰壁,导致时序内容重复慢动作效果

直接外推导致视频内容重复,红色框表示开始和视频开头重复

同时结合外推和内插的Yarn导致慢动作效果

为破解这一难题,Vidu 团队深入挖掘 RoPE 的频率成分,揭示了其每个频率成分在视频生成的作用:

1. 时间依赖距离:不同频率成分只能捕捉特定周期长度的帧间依赖关系。当帧数超过周期长度时,周期的性质导致位置编码重复,从而使视频内容也会出现重复。

2. 运动速度:不同频率成分捕捉不同的运动速度,由该频率的位置编码变化率决定。高频成分捕捉快速运动,低频成分捕捉慢速运动。

当所有频率成分结合时,存在一个 「内在频率」,即周期距离首次观测重复帧最近的成分,它决定了视频外推时的重复模式。

基于此,团队提出 RIFLEx:通过降低内在频率,确保外推后的视频长度在一个周期内,从而避免内容重复。该方法仅需在经典 RoPE 编码中加入一行代码即可实现。

这一方案为视频生成领域提供了新的思路,有望推动长视频生成技术的进一步发展。

团队介绍

论文第一作者赵敏为清华大学TSAIL 团队博后研究员,研究方向为基于扩散模型的视觉内容生成。赵敏是生数科技视频生成大模型Vidu的核心开发者之一,此前以第一作者发表在NeurIPS、ICLR、ECCV等顶级会议和期刊发表论文数篇,并入选2024年清华大学“水木学者”。个人主页:https://gracezhao1997.github.io/。

清华大学 TSAIL 团队长期致力于扩散模型的研究,代表性工作包括Analytic-DPM(ICLR 2022 杰出论文奖)、U-ViT、DPM-solver、ProlificDreamer等,并研制了首个对标Sora的高动态、长时长的视频生成大模型Vidu。论文其他作者均为TSAIL 课题组学生,其中何冠德和朱泓舟也参与了Vidu的开发,陈亦逍为清华大学计算机系大三本科生,李崇轩已经毕业,现任中国人民大学高瓴人工智能学院副教授。

相关内容

“AI搜索功能很强大,但我...
这要命的幻觉率! 听筒Tech(ID:tingtongtech)原...
2025-07-04 21:42:16
拥抱AI:开放与理性|如何...
7月4日,2025亚布力论坛第十一届创新年会在浙江杭州圆满举行。在...
2025-07-04 21:42:04
卓易信息:通过多智能体协作...
证券之星消息,卓易信息(688258)07月04日在投资者关系平台...
2025-07-04 18:13:00
AI+将给汽车产业打开什么...
作者 / 路 行 编辑 / 黄大路 设计 / 柴文静 编者按: ...
2025-07-04 16:41:55
阿里通义团队:AI如何理解...
在日常生活中,我们经常能从一个眼神、一句话的语调或是一个细微的表情...
2025-07-04 06:41:05

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...