小米开源OmniVoice语音克隆TTS模型，号称覆盖600余种语言
创始人
2026-05-07 23:26:23
0次
据IT之家，小米AI实验室新一代Kaldi团队推出OmniVoice语音克隆TTS模型。官方表示，这是业内首个覆盖数百语种的语音克隆TTS模型，在中英文场景达到顶尖性能，在多语言任务中展现出超越商用系统的实力。
该模型仅用一个双向Transformer网络就直接实现文本到语音转化，省去了文本单独建模、复杂混合结构及多层级token预测等环节，是目前最简单的非自回归TTS模型。其语音合成质量优于目前同类主流模型，训练和推理速度极具优势，一天可完成10万小时训练，用PyTorch推理可达到40倍实时。
OmniVoice有两项关键设计：一是通过全码本随机掩蔽策略提升训练效率；二是首次在非自回归TTS模型中有效利用大语言模型作为预训练参数，大幅提升语音合成的可懂度。
在多语言测试中，即便仅基于开源数据训练，该模型在24语种测试中的语音相似度和可懂度均超越多款商用系统；在102种语种测试中，其语音可懂度逼近甚至优于真实语音；对于训练数据不足10小时的小语种，也能实现高质量语音合成。
该模型还具备多项实用功能：无需参考音频，仅通过描述音色属性即可生成符合预期的音色；能自动过滤参考音频中的噪声，即便在嘈杂环境下录制的音频也能克隆出高质量语音；支持插入笑声、叹气等语气符号；用户可通过简单设置纠正中英文多音字及专有名词的发音错误。
相关内容
热门资讯
2024云栖大会|阿里云升级无...
北京商报讯（记者魏蔚）9月20日，阿里云无影AI云电脑在2024云栖大会上展出，该版本基于最新的终端...
MWC2025荣耀多款AI技术...
人民财讯3月6日电，2025世界移动通信大会（MWC 2025）上，荣耀MagicBook Pro ...
原创 2...
#春日生活好物种草季#近年来，笔记本电脑市场迎来技术爆发期，尤其在手机厂商跨界入局后，轻薄本在性能、...
摩尔线程发布AI算力笔记本MT...
钛媒体App 12月20日消息，摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升...
快科技8月7日消息，作为国产GPU的杰出代表，摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服...
IT之家 8 月 23 日消息，微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ...
IT之家 8 月 31 日消息，谷歌于 8 月 27 日发布博文，宣布旗下 Gemini AI 支持...
青云QingCloud Kub...
日前，青云科技宣布开源 Thanos 的企业级发行版 Whizard，为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载...
App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具，以帮助您完全卸载...
AMD锐龙AI 9 HX 37...
2024年6月3日，AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...