内容出海“利器”:趣丸科技与港中大(深圳)发布首款开源模型
创始人
2024-10-26 12:50:12
0

10月24日,趣丸科技宣布与香港中文大学(深圳)联合研发的语音大模型“MaskGCT”正式在Amphion系统中开源,面向全球用户开放使用。区别于传统TTS模型,该模型采用掩码生成模型与语音表征解耦编码的创新范式,在声音克隆、跨语种合成、语音控制等任务中展现出卓越效果。

资料显示,MaskGCT(Masked Generative Codec Transformer)是一个大规模的零样本TTS模型,采用非自回归掩码生成Transformer,无需文本与语音的对齐监督和音素级持续时间预测。其技术突破性在于采用掩码生成模型与语音表征解耦编码的创新范式。实验表明,MaskGCT在语音质量、相似度和可理解性方面优于当前最先进的TTS模型,并且在模型规模和训练数据量增加时表现更佳,同时能够控制生成语音的总时长。MaskGCT已在香港中文大学(深圳)与上海人工智能实验室联合开发的开源系统Amphion发布。

趣丸科技方面表示,相较于现有的TTS大模型,MaskGCT在语音的相似度、质量和稳定性上进一步突破,尤其在语音相似度方面处于领先水平。据介绍,MaskGCT在三个TTS基准数据集上都达到了SOTA效果,超过当前最先进的同类模型。

目前,MaskGCT在短剧出海、数字人、智能助手、有声读物、辅助教育等领域拥有丰富的应用场景。为了加快落地应用,在安全合规下,趣丸科技打造了多语种速译智能视听平台“趣丸千音”。一键上传视频即可快速翻译成多语种版本,并实现字幕修复与翻译、语音翻译、唇音同步等功能。该产品进一步革新视频翻译制作流程,大幅降低过往昂贵的人工翻译成本和冗长的制作周期,成为影视、游戏、短剧等内容出海的理想平台。

南方+记者 叶丹

【作者】 叶丹

【来源】 南方报业传媒集团南方+客户端

相关内容

热门资讯

国产大模型下调推理服务价格,南... 近日,国内某大模型企业宣布下调其flash系列模型服务价格,输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息,OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5,图像生成延...
探索AI供应链产业化路径京东推... 2026年以来,人工智能应用范围加速拓展,持续从数字空间走向现实生活,广泛融入生产线、仓储厂房、配送...
教育部发文!AI生成内容,教师... 一篇论文,因为AI使用不当,相关高校师生被通报处理。 9月2日,安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手,开发出一款 人工智能(AI)工具,能从数千万种...
搭上低空经济、AI文旅?两连板... 桂林旅游(000978)回应市场热点。 9月8日,桂林旅游再度涨停,斩获2连板。当天晚间,该公司披露...
硅谷:我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章,题目叫《An ...