MoE-TTS 是昆侖萬維語音團隊推出的首個基于MOE的角色描述語音合成框架，專門用在提升對開放域文本描述的理解能力。模型通過混合專家（Mixture-of-Experts，MoE）架構(gòu)，將預(yù)訓(xùn)練的大型語言模型（LLM）與語音專家模塊相結(jié)合。在訓(xùn)練中凍結(jié)文本模塊參數(shù)，僅更新語音模塊參數(shù)，保留 LLM 的強大文本理解能力，同時增強語音生成的準確性。實驗表明，MoE-TTS 在生成與描述更貼合的語音方面，顯著優(yōu)于現(xiàn)有的商業(yè)模型，尤其在處理復(fù)雜和開放域描述時表現(xiàn)出色。

MoE-TTS的主要功能

增強開放域文本理解：能準確理解并生成與復(fù)雜、開放域文本描述相匹配的語音，支持描述在訓(xùn)練數(shù)據(jù)中未曾出現(xiàn)。

自然語言描述驅(qū)動：用戶能通過自然語言描述（如“充滿活力的少年音”或“帶有紐約口音的演員”）精準控制語音的風格和特征。

高質(zhì)量語音生成：生成的語音在自然度、情感表達和風格一致性上表現(xiàn)出色，顯著優(yōu)于傳統(tǒng) TTS 模型。

跨模態(tài)知識遷移：將預(yù)訓(xùn)練語言模型的強大文本理解能力遷移到語音生成任務(wù)中，提升模型對復(fù)雜語義的理解和表達能力。

MoE-TTS的技術(shù)原理

MoE-TTS的項目地址

技術(shù)論文：https://teal-aquarius-c17.notion.site/MoE-TTS-Enhancing-Out-of-Domain-Text-Understanding-for-Description-based-TTS-via-Mixture-of-Experts-24e44360bf708040bff3dffe2eef805e#24e44360bf70800c9290cce2d2d14dfe

MoE-TTS的應(yīng)用場景

虛擬助手與智能客服：讓虛擬助手和智能客服的語音回應(yīng)自然流暢，仿佛真人般貼心，大幅提升用戶體驗。

有聲內(nèi)容創(chuàng)作：為有聲讀物、播客等生成高質(zhì)量語音，風格多變、情感豐富，讓內(nèi)容更有魅力。

數(shù)字人與虛擬角色配音：按角色設(shè)定生成個性化語音，數(shù)字人、虛擬角色瞬間鮮活，增強真實感與表現(xiàn)力。

教育與培訓(xùn)：支持多語言、多風格語音生成，助力教育內(nèi)容多樣化，讓學習更有趣、更高效。

游戲與互動娛樂：實時生成貼合場景的語音，游戲互動感爆棚，角色對話生動逼真，沉浸感拉滿。