Soul开源SoulX-FlashTalk,14B数字人实现亚秒级实时生成
创始人
2026-05-21 23:12:55
0

近期,Soul App AI团队(Soul AI Lab)正式开源实时数字人生成模型SoulX-FlashTalk,这款14B参数模型实现0.87s亚秒级超低延时、32fps高帧率输出,还能稳定生成超长视频,为行业提供可商用的实时生成式数字人解决方案,推动大参数量数字人技术落地应用。Soul团队始终深耕AI能力建设,聚焦技术创新打造沉浸多元交互体验,此次开源正是这一理念的落地,模型在速度、延迟、效果与保真度上均表现优异,助力行业突破传统数字人技术瓶颈。

SoulX-FlashTalk拥有四大核心亮点,全面升级实时互动体验。其首帧视频输出延时仅0.87s,依托全栈加速引擎极致优化,让14B级大模型数字人具备即时反应能力,消除传统大模型生成的滞后感,适配视频通话、直播弹幕互动、智能客服响应等全场景实时交互需求。同时,模型搭载14B超大DiT模型,推理吞吐量达32fps,远超直播所需25fps标准,画面丝滑流畅,印证大模型经深度加速优化后仍能保持高效运行。

针对数字人长视频生成易出现面部不一致、画质下降的痛点,SoulX-FlashTalk采用独家自纠正双向蒸馏技术,引入多步回溯自纠正机制,实时修正长序列生成误差,实现无感纠错且画质无损。模型保留双向注意力机制,每帧生成可同时参考过去与未来上下文,从根源抑制身份漂移,确保超长直播中数字人口型、面部细节与背景稳定一致,避免模糊变形。此外,模型突破传统数字人仅面部对口型的局限,支持音频驱动的全身动作生成,凭借14B DiT建模能力消除手部畸形与模糊,精准呈现手部细节,兼顾动作灵动性与99.22%的身份一致性。

技术层面,SoulX-FlashTalk采用两阶段训练策略平衡质量与速度。第一阶段为延迟感知时空适配,结合动态长宽比分桶微调;第二阶段为自纠正双向蒸馏,通过DMD框架压缩采样步数、移除CFG实现加速,搭配多步回溯自纠正与随机截断策略,高效优化显存。同时,团队打造全栈加速引擎,通过混合序列并行、算子级优化、3D VAE并行化及整链优化,大幅提升推理速度,实现亚秒级延迟。传统单向模型易出现时间不一致与身份漂移,而SoulX-FlashTalk的双向注意力机制有效解决这一问题,提升生成一致性与细节质量。

在TalkBench-Short与TalkBench-Long数据集测试中,SoulX-FlashTalk表现全面领先,短视频评测中ASE达3.51、IQA达4.79,口型同步Sync-C为1.47;长视频生成中Sync-C达1.61,且长短视频均稳定维持32fps高帧率,远超行业主流模型。依托优异性能,模型可广泛应用于电商7×24小时AI直播、短视频制作、AI教育、NPC交互、AI客服等场景,解决传统数字人直播画质模糊、口型错位问题,降低运营成本。此前Soul AI Lab曾开源语音合成模型SoulX-Podcast,登顶HuggingFace TTS趋势榜,GitHub星标超3100,此次开源标志Soul进入开源新阶段,未来将持续推进开源,携手全球开发者共建AI+社交生态。

相关内容

光轮智能发布十万小时全模态...
上证报中国证券网讯(记者 窦世平)8月19日至23日,2026世界...
2026-08-22 22:26:49
AI赋能,成都文创OPC再...
随着AI技术应用越来越广泛,一种新兴的创业形式正在兴起——OPC模...
2026-08-22 15:56:05
AI在河南丨新学期,虚拟导...
本报全媒体记者 樊雪婧 “桂枝汤证与麻黄汤证的鉴别,从现代药理学角...
2026-08-22 08:30:03
Harvey招FDE:26...
Harvey 官方招聘资料显示,Senior Forward De...
2026-08-21 23:02:08
焦点访谈|开源共享赋能创新...
央视网消息(焦点访谈):在2026世界人工智能大会暨人工智能全球治...
2026-08-21 20:30:40
专访承泰科技CTO周珂:A...
【编者按】 过去十年,人工智能重塑了视觉和语言;下一个十年,它正在...
2026-08-21 18:32:13

热门资讯

AI唱节气|处暑:暑气渐敛,静... 暑气一点点退向远方,蝉声慢慢归于寂静,丰收在田垄间蓄势,渔舟在港湾等候,人间迎向浅秋。 处暑 蝉声...
从问题到答案 华为云少年开发者... 8月22日,华为云AI创新峰会・华为云少年开发者盛典在上海举办。现场,一群少年开发者带来了他们的AI...
光轮智能发布十万小时全模态人类... 上证报中国证券网讯(记者 窦世平)8月19日至23日,2026世界机器人大会(WRC 2026)在北...
AI内容暴涨287%,小宇宙发... “小宇宙”APP自问世以来,迅速成为年轻群体收听播客的首选平台。2025年,小宇宙“人工智能”类播客...
白鸦:AI时代做品牌营销,要补... 做AI营销,你可能会遇到一种新的落差: 产品质量过硬,但当消费者问AI“这个品类有哪些品牌值得选”时...
歌王胡彦斌跨界解锁新身份 亮相... 近日,国内高规格 AI 创作盛事 ——TRAE AI创造力大赛颁奖礼在上海圆满落幕。刚刚斩获《歌手 ...
从“工具”到“搭档” AI应怎... 原标题:科学与健康|从“工具”到“搭档” AI应怎样助力科研 8月21日至22日,2026科学智能...
AI赋能,成都文创OPC再添一... 随着AI技术应用越来越广泛,一种新兴的创业形式正在兴起——OPC模式(One Person Comp...
AI相关搜索量增长470%,大... 8月22日,小宇宙发布《小宇宙AI趋势报告》。报告显示,2023年以来,平台AI相关单集播放量持续上...
英特尔下代核显稳了!Linux... 快科技8月22日消息,英特尔下一代Nova Lake处理器的Linux图形生态迎来重要节点,根据开源...