AudioStory是什么

AudioStory 是騰訊 ARC 實(shí)驗(yàn)室發(fā)布的音頻生成技術(shù)，能根據(jù)自然語(yǔ)言描述生成高質(zhì)量的長(zhǎng)篇敘事音頻。采用分而治之策略，將復(fù)雜敘事請(qǐng)求拆解為有序子任務(wù)，通過(guò)解耦橋接機(jī)制，精準(zhǔn)協(xié)調(diào)語(yǔ)義與音效細(xì)節(jié)。端到端訓(xùn)練方式，提升了模型協(xié)同作用，生成的音頻具有時(shí)序邏輯與情緒層次。

AudioStory的主要功能

• 視頻自動(dòng)配音：用戶上傳無(wú)聲視頻并描述音效風(fēng)格，AudioStory可自動(dòng)分析視頻內(nèi)容，生成與之同步且風(fēng)格統(tǒng)一的背景音軌。
• 音頻智能續(xù)寫(xiě)：給定一段音頻，AudioStory能智能推斷后續(xù)場(chǎng)景，自動(dòng)補(bǔ)充合理的音頻續(xù)集，如根據(jù)籃球訓(xùn)練的教練聲音補(bǔ)充球員腳步聲、籃球拍打聲等。
• 有聲書(shū)創(chuàng)作：為有聲書(shū)提供高質(zhì)量的音頻內(nèi)容，根據(jù)文本描述生成具有時(shí)序邏輯與情緒層次的音頻，讓聽(tīng)眾更好地沉浸在故事中。
• 游戲音效制作：為游戲生成沉浸式的音效，根據(jù)游戲場(chǎng)景描述生成匹配的音頻，增強(qiáng)玩家的游戲體驗(yàn)。
• 智能播客：幫助播客創(chuàng)作者快速生成音頻內(nèi)容，根據(jù)話題描述生成相應(yīng)的音頻片段，提高創(chuàng)作效率。

AudioStory的技術(shù)原理

• 分而治之策略：將復(fù)雜的敘事請(qǐng)求拆解為有順序的子任務(wù)，分別生成對(duì)應(yīng)的音頻片段，再按時(shí)間軸精準(zhǔn)編排，確保整體音頻的連貫性和邏輯性。
• 解耦橋接機(jī)制：將大語(yǔ)言模型與音頻生成器的合作分解為橋梁查詢和殘差查詢兩個(gè)組件，分別用于事件內(nèi)語(yǔ)義對(duì)齊和跨事件一致性保存，提升生成效果。
• 端到端訓(xùn)練：采用統(tǒng)一的訓(xùn)練方式，同時(shí)優(yōu)化指令理解和音頻生成兩個(gè)環(huán)節(jié)，增強(qiáng)模型各部分之間的協(xié)同作用，提高整體性能。
• 語(yǔ)義令牌與殘差令牌雙通道機(jī)制：通過(guò)雙通道分別處理宏觀敘事和微觀音效細(xì)節(jié)，精準(zhǔn)協(xié)調(diào)兩者關(guān)系，使生成的音頻既符合整體敘事邏輯，又具備豐富的細(xì)節(jié)表現(xiàn)。
• 三階段漸進(jìn)訓(xùn)練：從單音生成到音頻協(xié)同，再到長(zhǎng)篇敘事，逐步提升模型的性能和適應(yīng)能力，使其能夠更好地應(yīng)對(duì)復(fù)雜的長(zhǎng)篇敘事音頻生成任務(wù)。

AudioStory的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/TencentARC/AudioStory。
• 論文地址：https://arxiv.org/pdf/2508.20088。

AudioStory的應(yīng)用場(chǎng)景

• 視頻配音：根據(jù)用戶提供的無(wú)聲視頻和音效風(fēng)格描述，自動(dòng)分析視頻內(nèi)容并生成匹配的背景音軌。
• 音頻續(xù)寫(xiě)：基于給定音頻片段，推斷后續(xù)場(chǎng)景并補(bǔ)充合理的音頻續(xù)集，如為籃球訓(xùn)練音頻添加球員腳步聲等。
• 有聲書(shū)創(chuàng)作：依據(jù)文本描述生成具有時(shí)序邏輯和情緒層次的音頻，提升有聲書(shū)的聽(tīng)覺(jué)體驗(yàn)。
• 游戲音效生成：根據(jù)游戲場(chǎng)景描述生成沉浸式音效，增強(qiáng)玩家的游戲體驗(yàn)。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/