
YuE開源的全歌曲生成基礎(chǔ)模型
聲明:該文章來自(開源AI項目落地)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。
YuE(樂)是一個開源的全歌曲生成基礎(chǔ)模型,通過給定的歌詞生成完整的歌曲音頻。解決了生成時長達(dá)數(shù)分鐘、同時包含人聲和伴奏的全歌曲的困難。
YuE能夠在長時序音樂的背景下,保持歌詞與音樂的高度一致性,生成旋律流暢且具備音樂性和可控性的歌曲。模型結(jié)合了語義增強(qiáng)的音頻分詞器、雙標(biāo)記技術(shù)和歌詞思維鏈等方法,使其能在多個音樂流派和風(fēng)格中進(jìn)行多樣化的生成,包括重金屬、爵士、說唱等。
DEMO
文章里放不了的音頻,想看完整版的DEMO可以到這個鏈接里去看。
https://map-yue.github.io/
1、重金屬
2、說唱
3、兒歌
4、粵語歌
技術(shù)特點
全歌曲生成:與傳統(tǒng)的短音頻生成不同,YuE可以生成完整的、數(shù)分鐘長的歌曲,包含人聲和伴奏,確保歌詞與旋律的協(xié)調(diào)性。創(chuàng)新的音頻分詞器:采用語義增強(qiáng)的音頻分詞器,有助于更精準(zhǔn)地捕捉和生成音樂的細(xì)節(jié)。
雙標(biāo)記技術(shù):通過雙標(biāo)記的方式,使得生成的歌曲在保持歌詞一致性的同時,也能保留高質(zhì)量的音樂性。
多樣化風(fēng)格生成:YuE支持多種音樂風(fēng)格的生成,包括金屬、爵士、說唱等,具備較強(qiáng)的風(fēng)格適應(yīng)性。
歌詞思維鏈:結(jié)合歌詞思維鏈技術(shù),有助于在生成過程中更好地理解和表現(xiàn)歌詞的情感與主題。
項目鏈接
https://github.com/multimodal-art-projection/YuE
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/
- 1 傳統(tǒng)產(chǎn)業(yè)“綠”動“智”變 7904104
- 2 廣東氣象罕見提醒:做好巨災(zāi)防御準(zhǔn)備 7808565
- 3 始祖鳥事件后 多戶外品牌集體表態(tài) 7714032
- 4 殲-20的首次靜態(tài)展示有何重要意義 7616498
- 5 女兒發(fā)現(xiàn)父親500多萬遺產(chǎn)用于保健 7522604
- 6 以空襲也門報社 31名新聞工作者死亡 7424981
- 7 多部門推進(jìn)預(yù)制菜國家標(biāo)準(zhǔn)制定 7329448
- 8 菲軍方宣布“紅色警戒”狀態(tài) 7234227
- 9 為阻止印籍員工返美 美國人組團(tuán)搶票 7141426
- 10 “南天門計劃”有50萬字了 7046053