在 AI 的發(fā)展浪潮中，從文本生成圖像（Text-to-Image）到生成視頻，技術(shù)的邊界不斷被突破。

而生成音頻（Text-to-Audio, TTA）領(lǐng)域，也迎來了革命性的工具：TangoFlux。

由新加坡科技設(shè)計(jì)大學(xué)的 DeCLaRe 實(shí)驗(yàn)室和 NVIDIA 聯(lián)合推出，TangoFlux 以其高效性、高質(zhì)量和極低的硬件需求吸引了眾多開發(fā)者和音頻設(shè)計(jì)愛好者的目光。

項(xiàng)目簡介

TangoFlux?是一款專注于將文本提示詞轉(zhuǎn)化為高質(zhì)量音頻的 AI 模型，由英偉達(dá)和新加坡科技大學(xué)一起合作的研究成果。

與傳統(tǒng)音頻生成方法不同，TangoFlux 能夠快速生成符合用戶需求的音效、背景音樂或其他聲音片段，無需復(fù)雜的后期處理。

比如蟲鳴鳥叫，能夠在短短3.7秒內(nèi)生成最長可達(dá)30秒的44.1kHz 音頻。

在 TTA 技術(shù)領(lǐng)域引領(lǐng)了一波新潮流，甚至可能徹底改變我們生產(chǎn)音效和音樂的方式。

核心亮點(diǎn)

高效模型：3.7 秒生成 30 秒音頻

TangoFlux 擁有 5.15 億參數(shù)，并采用先進(jìn)的架構(gòu)優(yōu)化，在一塊 A40 GPU 上可以僅用 3.7 秒生成 30 秒長的高質(zhì)量音頻（44.1kHz 立體聲），為用戶提供流暢、高效的生成體驗(yàn)。

長音頻支持

與傳統(tǒng) TTA 模型的短音頻輸出限制不同，TangoFlux 支持生成長達(dá) 30 秒的音頻，為用戶提供更多創(chuàng)作空間。無論是復(fù)雜的音樂片段，還是長音效，都能輕松完成。

CRPO 優(yōu)化：生成更貼合用戶偏好的音頻

TTA 模型的最大挑戰(zhàn)是如何生成符合用戶偏好的音頻內(nèi)容。

傳統(tǒng)方法難以建立清晰的偏好數(shù)據(jù)，而 TangoFlux 引入了 CLAP-Ranked Preference Optimization（CRPO） 框架。這種創(chuàng)新方法可以自動(dòng)生成和優(yōu)化音頻偏好數(shù)據(jù)，讓模型逐步學(xué)會(huì)理解用戶需求，輸出更加符合預(yù)期的音效。

實(shí)際測試表明，基于 CRPO 的 TangoFlux 在生成音頻質(zhì)量和用戶滿意度上，明顯優(yōu)于其他同類模型。

主要功能

• ? 文本生成音效

• ? 支持多場景音效

• ? 音樂片段：旋律、節(jié)奏背景；

• ? 環(huán)境音效：雨聲、風(fēng)聲、海浪；

• ? 特效音效：爆炸、機(jī)械運(yùn)作；

• ? 語音片段：自然語音合成。

• ? 可定制音頻輸出

快速使用

方法一：通過 Hugging Face Space 在線試用

打開 試用地址，在輸入框中提供提示詞，點(diǎn)擊生成幾秒鐘后即可下載音頻文件。

方法二：本地部署

對(duì)于希望在本地運(yùn)行模型的用戶，可以按以下步驟操作：

① 克隆項(xiàng)目：

git?clone?https://github.com/declare-lab/TangoFlux.git cd?TangoFlux

② 運(yùn)行以下命令以啟動(dòng)網(wǎng)絡(luò)界面：

tangoflux-demo

③ 使用 命令行 從文本生成音頻。

tangoflux?"Hammer?slowly?hitting?the?wooden?table"?output.wav?--duration?10?--steps?50

④ 使用Python API

import?torchaudio from?tangoflux?import?TangoFluxInference model?=?TangoFluxInference(name='declare-lab/TangoFlux') audio?=?model.generate('Hammer?slowly?hitting?the?wooden?table',?steps=50,?duration=10) torchaudio.save('output.wav',?audio,?44100)

適用場景

音樂與影視制作

• ? 音樂創(chuàng)作：快速生成背景音樂或音效，為創(chuàng)作帶來靈感；

• ? 影視配樂：通過提示詞生成場景配樂，大幅減少制作時(shí)間。

游戲開發(fā)

• ? 環(huán)境音效：如森林、戰(zhàn)場等特定場景的背景音；

• ? 交互音效：武器攻擊、技能釋放等特效音。

播客與有聲書

• ? 過渡音效：制作簡短的轉(zhuǎn)場或背景音；

• ? 情感語音：為故事片段生成情感化語音。

寫在最后

TangoFlux?不僅是一款技術(shù)強(qiáng)大的文本生成音頻工具，更是音頻生成領(lǐng)域的一次革命性突破。

它的高速處理、開源特性和創(chuàng)新的 CRPO 優(yōu)化方法，讓每個(gè)用戶都能以最快的速度、最低的門檻，生成符合自己需求的高質(zhì)量音頻。

無論你是創(chuàng)意工作者、技術(shù)開發(fā)者，還是音樂愛好者，TangoFlux 都值得一試。隨著 AI 技術(shù)的不斷進(jìn)步，我們可以期待，這樣的工具將變得越來越普及，甚至徹底改變音頻創(chuàng)作的傳統(tǒng)方式。

項(xiàng)目主頁：https://tangoflux.github.io

GitHub 項(xiàng)目地址：https://github.com/declare-lab/TangoFlux

試用地址：https://huggingface.co/spaces/declare-lab/TangoFlux

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場：https://www.ijiandao.com/