快手北大联手开源视频模型Pyramid-Flow :可生成10秒超高清视频
创始人
2024-10-12 09:56:09
0

最近,快手和北京大学以及北京邮电大学的研究团队共同开源了一个名为 Pyramid-Flow 的超高清视频生成模型。

这个模型能够通过文本描述生成最高10秒、1280x768分辨率、24帧的视频,质量相当出色,光影效果、动作一致性、视频质量等方面表现都很不错。

Pyramid Flow 的工作原理与现有的视频扩散模型不同。现有模型通常在全分辨率下运行,这样做虽然能产生高质量的结果,但却消耗了大量计算资源。而 Pyramid Flow 则采用了流匹配的灵活性,可以在不同分辨率和噪声水平之间进行插值,这样就能更高效地生成和解压缩视频内容。

这一切都通过一个名为 DiT 的单一框架进行优化,大大缩短了训练时间。Pyramid-Flow 在 A100GPU 上仅经过了20,700小时的训练,能耗和效率远超市面上的同类模型。这对于那些没有庞大算力的中小企业和个人开发者来说,无疑是一个巨大的助力。

Pyramid-Flow 的创新之处在于它采用了一种名为金字塔流匹配的技术。这种方法将视频生成分解为多个不同分辨率的阶段,开始时生成低分辨率的草图,然后逐步提升到高分辨率。这样的设计既降低了计算负担,又提高了生成的灵活性。每个阶段都是从一个像素化的噪声表示演变而来,直到变得清晰。为了确保每个阶段之间的连续性,算法在过渡时会重新引入一些噪声。

此外,模型还利用自回归框架和块状因果注意力机制,使每一帧都能基于之前的帧进行生成,确保视频的连贯性和逻辑性。

在性能方面,Pyramid Flow 在各大比较平台上都表现优异。与市面上的一些商业模型相比,尽管它只使用了公共视频数据,但在质量和流畅度评分上都不遑多让。此外,通过用户调查发现,参与者普遍对 Pyramid Flow 的生成效果表示满意,尤其是在视频的运动平滑度方面,表现更加出色。

无论是想要生成精彩的视频内容的创作者,还是在探索新技术的研究者,Pyramid Flow 都为他们提供了一个高效、易用的选择。

相关内容

冲击IPO上市关口,智谱获...
智谱CEO张鹏 IPO上市辅导关口,国产AI大模型“六小虎”之一的...
2025-07-02 19:11:24
原创 ...
多模态大模型正在从“看得见”走向“看得懂、想得通”。 智谱正式发布...
2025-07-02 15:40:54
智谱发布并开源视觉语言大模...
7月2日,智谱正式发布并开源了视觉语言大模型GLM-4.1V-Th...
2025-07-02 14:41:22
微软发布突破性医疗AI系统...
截至2025年7月2日 09:50,中证人工智能主题指数(9307...
2025-07-02 14:13:01
AI视频时代,谁在闻风而动
当内容产业开始进入AI模型化阶段,大家拼的不仅是流量,也是数据、算...
2025-07-02 14:12:28

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...