FLM-Audio – 智源研究院開源的全雙工音頻對話模型

智能 PRO 稿源：AI工具集 2025-10-05 18:34

FLM-Audio是什么

FLM-Audio 是北京智源人工智能研究院聯(lián)合 Spin Matrix 與新加坡南洋理工大學(xué)共同發(fā)布的原生全雙工音頻對話大模型，支持中文和英文。采用原生全雙工架構(gòu)，可在每個(gè)時(shí)間步合并聽覺、說話和獨(dú)白通道，避免傳統(tǒng)時(shí)分復(fù)用方案的高延遲問題。其獨(dú)特的自然獨(dú)白與雙重訓(xùn)練范式，使模型在對話中更接近人類的自然交流方式，有效解決了異步對齊問題。FLM-Audio 僅用 100 萬小時(shí)數(shù)據(jù)訓(xùn)練，數(shù)據(jù)量大幅減少，但回復(fù)質(zhì)量高且響應(yīng)敏捷自然，對噪聲和用戶打斷也有較強(qiáng)魯棒性。

FLM-Audio的主要功能

全雙工語音交互：實(shí)現(xiàn)“邊聽邊說”，用戶可隨時(shí)打斷模型，模型能即時(shí)暫停輸出并理解新問題后回應(yīng)，交互自然流暢，延遲低。
支持多語言：模型支持中文和英文兩種語言，能夠滿足不同語言用戶的對話需求。
自然語音建模：采用“自然獨(dú)白”方式模擬人類說話節(jié)奏，通過“雙重訓(xùn)練”強(qiáng)化語言與聲學(xué)語義對齊，兼顧低延遲與語言建模性能。
低數(shù)據(jù)高效訓(xùn)練：僅用約100萬小時(shí)音頻數(shù)據(jù)訓(xùn)練出70億參數(shù)模型，在嘈雜環(huán)境、頻繁打斷場景下仍保持高魯棒性和自然度。
強(qiáng)魯棒性：對噪聲和用戶打斷具有較強(qiáng)的魯棒性，能迅速停頓當(dāng)前輸出、準(zhǔn)確理解新問題并即時(shí)作答，保證對話的流暢性和準(zhǔn)確性。
完全開源支持：論文、模型權(quán)重與代碼均公開，支持本地部署與二次開發(fā)，方便研究與應(yīng)用拓展。

FLM-Audio的技術(shù)原理

原生全雙工架構(gòu)：模型設(shè)計(jì)支持同時(shí)進(jìn)行語音輸入和輸出，能實(shí)時(shí)處理語音流，實(shí)現(xiàn)邊聽邊說的交互模式。
自然獨(dú)白訓(xùn)練：采用連續(xù)句段與停頓組成的“自然獨(dú)白”代替逐詞對齊，更接近人類真實(shí)說話方式，提升語音交互的自然度。
雙重訓(xùn)練策略：通過將獨(dú)白交替放在音頻首尾進(jìn)行訓(xùn)練，強(qiáng)化語言與聲學(xué)語義的對齊，提高模型對語音內(nèi)容的理解和生成能力。
小數(shù)據(jù)高效訓(xùn)練：利用少量音頻數(shù)據(jù)（約100萬小時(shí)）訓(xùn)練出高參數(shù)量模型，通過優(yōu)化訓(xùn)練方法和架構(gòu)，實(shí)現(xiàn)低延遲和高魯棒性。

FLM-Audio的項(xiàng)目地址

GitHub倉庫：https://github.com/cofe-ai/flm-audio
HuggingFace模型庫：https://huggingface.co/CofeAI/FLM-Audio
arXiv技術(shù)論文：https://arxiv.org/pdf/2509.02521

FLM-Audio的應(yīng)用場景

在線教育：AI 助教可實(shí)時(shí)回答學(xué)生問題，提供更自然、高效的互動(dòng)體驗(yàn)。
游戲與虛擬現(xiàn)實(shí)（VR）：NPC 可實(shí)現(xiàn)不間斷、可打斷的自然語音互動(dòng)，增強(qiáng)游戲的沉浸感。
智能客服：低延遲對話減少用戶等待，提升客服效率和用戶體驗(yàn)。
智能陪伴：為用戶提供更接近真人的語音互動(dòng)，增強(qiáng)陪伴感。
語音助手：在智能家居、智能辦公等場景中，提供更自然的語音交互體驗(yàn)。
會(huì)議輔助：在多人會(huì)議中，實(shí)時(shí)翻譯、記錄和互動(dòng)，提高會(huì)議效率。

0XU.CN