快手北大联手开源视频模型Pyramid-Flow :可生成10秒超高清视频
创始人
2024-10-12 09:56:09
0次

最近,快手和北京大学以及北京邮电大学的研究团队共同开源了一个名为 Pyramid-Flow 的超高清视频生成模型。

这个模型能够通过文本描述生成最高10秒、1280x768分辨率、24帧的视频,质量相当出色,光影效果、动作一致性、视频质量等方面表现都很不错。

Pyramid Flow 的工作原理与现有的视频扩散模型不同。现有模型通常在全分辨率下运行,这样做虽然能产生高质量的结果,但却消耗了大量计算资源。而 Pyramid Flow 则采用了流匹配的灵活性,可以在不同分辨率和噪声水平之间进行插值,这样就能更高效地生成和解压缩视频内容。

这一切都通过一个名为 DiT 的单一框架进行优化,大大缩短了训练时间。Pyramid-Flow 在 A100GPU 上仅经过了20,700小时的训练,能耗和效率远超市面上的同类模型。这对于那些没有庞大算力的中小企业和个人开发者来说,无疑是一个巨大的助力。

Pyramid-Flow 的创新之处在于它采用了一种名为金字塔流匹配的技术。这种方法将视频生成分解为多个不同分辨率的阶段,开始时生成低分辨率的草图,然后逐步提升到高分辨率。这样的设计既降低了计算负担,又提高了生成的灵活性。每个阶段都是从一个像素化的噪声表示演变而来,直到变得清晰。为了确保每个阶段之间的连续性,算法在过渡时会重新引入一些噪声。

此外,模型还利用自回归框架和块状因果注意力机制,使每一帧都能基于之前的帧进行生成,确保视频的连贯性和逻辑性。

在性能方面,Pyramid Flow 在各大比较平台上都表现优异。与市面上的一些商业模型相比,尽管它只使用了公共视频数据,但在质量和流畅度评分上都不遑多让。此外,通过用户调查发现,参与者普遍对 Pyramid Flow 的生成效果表示满意,尤其是在视频的运动平滑度方面,表现更加出色。

无论是想要生成精彩的视频内容的创作者,还是在探索新技术的研究者,Pyramid Flow 都为他们提供了一个高效、易用的选择。

相关内容

热门资讯

国产大模型下调推理服务价格,南... 近日,国内某大模型企业宣布下调其flash系列模型服务价格,输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息,OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5,图像生成延...
探索AI供应链产业化路径京东推... 2026年以来,人工智能应用范围加速拓展,持续从数字空间走向现实生活,广泛融入生产线、仓储厂房、配送...
教育部发文!AI生成内容,教师... 一篇论文,因为AI使用不当,相关高校师生被通报处理。 9月2日,安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手,开发出一款 人工智能(AI)工具,能从数千万种...
搭上低空经济、AI文旅?两连板... 桂林旅游(000978)回应市场热点。 9月8日,桂林旅游再度涨停,斩获2连板。当天晚间,该公司披露...
硅谷:我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章,题目叫《An ...