MoE-TTS 是昆侖萬維語音團(tuán)隊(duì)推出的首個(gè)基于MOE的角色描述語音合成框架，專門用在提升對開放域文本描述的理解能力。模型通過混合專家（Mixture-of-Experts，MoE）架構(gòu)，將預(yù)訓(xùn)練的大型語言模型（LLM）與語音專家模塊相結(jié)合。在訓(xùn)練中凍結(jié)文本模塊參數(shù)，僅更新語音模塊參數(shù)，保留 LLM 的強(qiáng)大文本理解能力，同時(shí)增強(qiáng)語音生成的準(zhǔn)確性。實(shí)驗(yàn)表明，MoE-TTS 在生成與描述更貼合的語音方面，顯著優(yōu)于現(xiàn)有的商業(yè)模型，尤其在處理復(fù)雜和開放域描述時(shí)表現(xiàn)出色。

MoE-TTS的主要功能

增強(qiáng)開放域文本理解：能準(zhǔn)確理解并生成與復(fù)雜、開放域文本描述相匹配的語音，支持描述在訓(xùn)練數(shù)據(jù)中未曾出現(xiàn)。

自然語言描述驅(qū)動(dòng)：用戶能通過自然語言描述（如“充滿活力的少年音”或“帶有紐約口音的演員”）精準(zhǔn)控制語音的風(fēng)格和特征。

高質(zhì)量語音生成：生成的語音在自然度、情感表達(dá)和風(fēng)格一致性上表現(xiàn)出色，顯著優(yōu)于傳統(tǒng) TTS 模型。

跨模態(tài)知識遷移：將預(yù)訓(xùn)練語言模型的強(qiáng)大文本理解能力遷移到語音生成任務(wù)中，提升模型對復(fù)雜語義的理解和表達(dá)能力。

MoE-TTS的技術(shù)原理

MoE-TTS的項(xiàng)目地址

技術(shù)論文：https://teal-aquarius-c17.notion.site/MoE-TTS-Enhancing-Out-of-Domain-Text-Understanding-for-Description-based-TTS-via-Mixture-of-Experts-24e44360bf708040bff3dffe2eef805e#24e44360bf70800c9290cce2d2d14dfe

MoE-TTS的應(yīng)用場景

虛擬助手與智能客服：讓虛擬助手和智能客服的語音回應(yīng)自然流暢，仿佛真人般貼心，大幅提升用戶體驗(yàn)。

有聲內(nèi)容創(chuàng)作：為有聲讀物、播客等生成高質(zhì)量語音，風(fēng)格多變、情感豐富，讓內(nèi)容更有魅力。

數(shù)字人與虛擬角色配音：按角色設(shè)定生成個(gè)性化語音，數(shù)字人、虛擬角色瞬間鮮活，增強(qiáng)真實(shí)感與表現(xiàn)力。

教育與培訓(xùn)：支持多語言、多風(fēng)格語音生成，助力教育內(nèi)容多樣化，讓學(xué)習(xí)更有趣、更高效。

游戲與互動(dòng)娛樂：實(shí)時(shí)生成貼合場景的語音，游戲互動(dòng)感爆棚，角色對話生動(dòng)逼真，沉浸感拉滿。