快手北大联手开源视频模型Pyramid-Flow :可生成10秒超高清视频
创始人
2024-10-12 09:56:09
0

最近,快手和北京大学以及北京邮电大学的研究团队共同开源了一个名为 Pyramid-Flow 的超高清视频生成模型。

这个模型能够通过文本描述生成最高10秒、1280x768分辨率、24帧的视频,质量相当出色,光影效果、动作一致性、视频质量等方面表现都很不错。

Pyramid Flow 的工作原理与现有的视频扩散模型不同。现有模型通常在全分辨率下运行,这样做虽然能产生高质量的结果,但却消耗了大量计算资源。而 Pyramid Flow 则采用了流匹配的灵活性,可以在不同分辨率和噪声水平之间进行插值,这样就能更高效地生成和解压缩视频内容。

这一切都通过一个名为 DiT 的单一框架进行优化,大大缩短了训练时间。Pyramid-Flow 在 A100GPU 上仅经过了20,700小时的训练,能耗和效率远超市面上的同类模型。这对于那些没有庞大算力的中小企业和个人开发者来说,无疑是一个巨大的助力。

Pyramid-Flow 的创新之处在于它采用了一种名为金字塔流匹配的技术。这种方法将视频生成分解为多个不同分辨率的阶段,开始时生成低分辨率的草图,然后逐步提升到高分辨率。这样的设计既降低了计算负担,又提高了生成的灵活性。每个阶段都是从一个像素化的噪声表示演变而来,直到变得清晰。为了确保每个阶段之间的连续性,算法在过渡时会重新引入一些噪声。

此外,模型还利用自回归框架和块状因果注意力机制,使每一帧都能基于之前的帧进行生成,确保视频的连贯性和逻辑性。

在性能方面,Pyramid Flow 在各大比较平台上都表现优异。与市面上的一些商业模型相比,尽管它只使用了公共视频数据,但在质量和流畅度评分上都不遑多让。此外,通过用户调查发现,参与者普遍对 Pyramid Flow 的生成效果表示满意,尤其是在视频的运动平滑度方面,表现更加出色。

无论是想要生成精彩的视频内容的创作者,还是在探索新技术的研究者,Pyramid Flow 都为他们提供了一个高效、易用的选择。

相关内容

世界杯32强出炉!12大A...
快科技6月28日消息,今日,2026年美加墨世界杯J组小组赛收官。...
2026-06-29 01:34:50
AI(人工智能)也有“人格...
作者 | 阿童木 人工智能(AI,Artificial Intel...
2026-06-29 01:28:54
从第一性原理看机器人AI:...
机器之心编译 过去几年,机器人行业最常见的高光时刻,几乎都发生在演...
2026-06-28 21:24:04
世界杯32强出炉,&quo...
2026年FIFA美加墨世界杯32强名单产生后,由联想集团与咪咕视...
2026-06-28 21:19:56
活力中国调研行|通用数据大...
每经记者|张蕊 每经编辑|黄胜 “这一年多时间,包括旁边的上下游创...
2026-06-28 21:18:04

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...
8月20日基金净值:前海开源中... 证券之星消息,8月20日,前海开源中国稀缺资产混合A最新单位净值为1.43元,累计净值为1.43元,...