阿里团队推出 Tora 视频 AI 生成框架:画圈操控物体运行轨迹
创始人
2024-08-06 10:37:40
0

IT之家 8 月 6 日消息,阿里团队最新推出了 AI 视频生成框架 Tora,同时集成了文本、视觉和轨迹条件用于生成视频,是基于轨迹导向的扩散变换器(DiT)技术。

Tora 由一个轨迹提取器(TE)、一个时空 DiT 和一个运动引导融合器(MGF)组成:

  • TE 使用 3D 视频压缩网络将任意轨迹编码为分层时空运动补丁。
  • MGF 将运动贴片集成到 DiT 模块中,以生成遵循轨迹的连贯视频。

Tora 无缝契合 DiT 设计,支持制作最长 204 帧、720P 分辨率的视频,可以精确控制不同持续时间、宽高比和分辨率的视频内容。大量实验证明,Tora 在实现高运动保真度方面表现出色,同时还能细致模拟物理世界的运动。

其独特设计理念融合文本、视觉和轨迹条件,精准控制视频内容,模拟物理世界运动规律,为电影特效制作、虚拟现实领域带来无限可能。

IT之家附上参考地址

相关内容

英特尔开源版图持续收缩:A...
6月13日消息,英特尔正在持续推进其开源项目的收缩。Phoroni...
2026-06-20 18:24:26
macOS 27 Gold...
谷歌Gemini的macOS客户端近期因不遵守Mac应用规范而受到...
2026-06-20 12:54:18
小米开源可控视频音效生成模...
IT之家 5 月 29 日消息,小米大模型应用团队今日发布 Con...
2026-06-01 00:41:13
全球首次单机降服万亿巨模D...
从数学、代码、复杂推理,到多轮工具调用,大模型的很多能力的提升都离...
2026-05-28 20:34:56
霸榜、涨价与出海:中国AI...
作者丨邱同春 编辑丨邢怡然 5月11日,市场传出快手正在推动旗下可...
2026-05-27 21:00:37
海尔发布AI运动外骨骼机器...
钛媒体App 5月26日消息,海尔发布全球最轻AI运动外骨骼机器人...
2026-05-26 14:58:25

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...