FLM-Audio – 智源研究院開源的全雙工音頻對話模型

智能 2025-10-05 18:34

聲明：該文章來自（AI工具集）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。

FLM-Audio是什么

FLM-Audio 是北京智源人工智能研究院聯(lián)合 Spin Matrix 與新加坡南洋理工大學(xué)共同發(fā)布的原生全雙工音頻對話大模型，支持中文和英文。采用原生全雙工架構(gòu)，可在每個時間步合并聽覺、說話和獨白通道，避免傳統(tǒng)時分復(fù)用方案的高延遲問題。其獨特的自然獨白與雙重訓(xùn)練范式，使模型在對話中更接近人類的自然交流方式，有效解決了異步對齊問題。FLM-Audio 僅用 100 萬小時數(shù)據(jù)訓(xùn)練，數(shù)據(jù)量大幅減少，但回復(fù)質(zhì)量高且響應(yīng)敏捷自然，對噪聲和用戶打斷也有較強魯棒性。

FLM-Audio的主要功能

全雙工語音交互：實現(xiàn)“邊聽邊說”，用戶可隨時打斷模型，模型能即時暫停輸出并理解新問題后回應(yīng)，交互自然流暢，延遲低。
支持多語言：模型支持中文和英文兩種語言，能夠滿足不同語言用戶的對話需求。
自然語音建模：采用“自然獨白”方式模擬人類說話節(jié)奏，通過“雙重訓(xùn)練”強化語言與聲學(xué)語義對齊，兼顧低延遲與語言建模性能。
低數(shù)據(jù)高效訓(xùn)練：僅用約100萬小時音頻數(shù)據(jù)訓(xùn)練出70億參數(shù)模型，在嘈雜環(huán)境、頻繁打斷場景下仍保持高魯棒性和自然度。
強魯棒性：對噪聲和用戶打斷具有較強的魯棒性，能迅速停頓當(dāng)前輸出、準(zhǔn)確理解新問題并即時作答，保證對話的流暢性和準(zhǔn)確性。
完全開源支持：論文、模型權(quán)重與代碼均公開，支持本地部署與二次開發(fā)，方便研究與應(yīng)用拓展。

FLM-Audio的技術(shù)原理

原生全雙工架構(gòu)：模型設(shè)計支持同時進(jìn)行語音輸入和輸出，能實時處理語音流，實現(xiàn)邊聽邊說的交互模式。
自然獨白訓(xùn)練：采用連續(xù)句段與停頓組成的“自然獨白”代替逐詞對齊，更接近人類真實說話方式，提升語音交互的自然度。
雙重訓(xùn)練策略：通過將獨白交替放在音頻首尾進(jìn)行訓(xùn)練，強化語言與聲學(xué)語義的對齊，提高模型對語音內(nèi)容的理解和生成能力。
小數(shù)據(jù)高效訓(xùn)練：利用少量音頻數(shù)據(jù)（約100萬小時）訓(xùn)練出高參數(shù)量模型，通過優(yōu)化訓(xùn)練方法和架構(gòu)，實現(xiàn)低延遲和高魯棒性。