(北京时间记者熊维熙报道)近日,豆包语音团队发布了“AI多人有声剧”自动化方案。方案支持多角色、高表现力的TTS(语音合成)演播,同时实现了全自动AI后期的链路,从小说文本到高质量的多人有声剧成品,全部由AI端到端完成。
据了解,“AI多人有声剧”自动化方案基于高自然度的多角色智能朗读,配合AI后期自动添加音乐、音效、特效, 并进行智能混音,能够全自动生产媲美真人水准的有声剧作品。这套方案不仅使得听书自然度、沉浸感显著提升,且生产链路全程无人工参与,可大幅降低制作成本、缩短制作周期,高效覆盖更多书籍。
“AI多人有声剧”自动化方案支持从小说文本到完整成品有声剧的全自动生产。该方案可以自动进行角色划分,准确率超过98%,同时其语音大模型通过对海量文本与语音的多模态预训练,原生地将文本和语音模态融合,引入思维链信息,具备强大的文本理解能力和语音演绎能力,多人演播效果发音自然、情感丰富。
此外,方案中的画本预测模型在多角色演播音频基础上,实现了从小说文本到带有音效、人声特效、环境音、配乐的画本预测,在得到画本信息之后进行音频召回并合成、智能动态调整音频参数,并结合多角色TTS最终合成“有声剧”成品。