
新聞分類
AudioStory – 騰訊ARC推出的音頻生成模型
AudioStory是什么
AudioStory 是騰訊 ARC 實(shí)驗(yàn)室發(fā)布的音頻生成技術(shù),能根據(jù)自然語(yǔ)言描述生成高質(zhì)量的長(zhǎng)篇敘事音頻。采用分而治之策略,將復(fù)雜敘事請(qǐng)求拆解為有序子任務(wù),通過(guò)解耦橋接機(jī)制,精準(zhǔn)協(xié)調(diào)語(yǔ)義與音效細(xì)節(jié)。端到端訓(xùn)練方式,提升了模型協(xié)同作用,生成的音頻具有時(shí)序邏輯與情緒層次。
AudioStory的主要功能
- 視頻自動(dòng)配音:用戶上傳無(wú)聲視頻并描述音效風(fēng)格,AudioStory可自動(dòng)分析視頻內(nèi)容,生成與之同步且風(fēng)格統(tǒng)一的背景音軌。
- 音頻智能續(xù)寫(xiě):給定一段音頻,AudioStory能智能推斷后續(xù)場(chǎng)景,自動(dòng)補(bǔ)充合理的音頻續(xù)集,如根據(jù)籃球訓(xùn)練的教練聲音補(bǔ)充球員腳步聲、籃球拍打聲等。
- 有聲書(shū)創(chuàng)作:為有聲書(shū)提供高質(zhì)量的音頻內(nèi)容,根據(jù)文本描述生成具有時(shí)序邏輯與情緒層次的音頻,讓聽(tīng)眾更好地沉浸在故事中。
- 游戲音效制作:為游戲生成沉浸式的音效,根據(jù)游戲場(chǎng)景描述生成匹配的音頻,增強(qiáng)玩家的游戲體驗(yàn)。
- 智能播客:幫助播客創(chuàng)作者快速生成音頻內(nèi)容,根據(jù)話題描述生成相應(yīng)的音頻片段,提高創(chuàng)作效率。
AudioStory的技術(shù)原理
- 分而治之策略:將復(fù)雜的敘事請(qǐng)求拆解為有順序的子任務(wù),分別生成對(duì)應(yīng)的音頻片段,再按時(shí)間軸精準(zhǔn)編排,確保整體音頻的連貫性和邏輯性。
- 解耦橋接機(jī)制:將大語(yǔ)言模型與音頻生成器的合作分解為橋梁查詢和殘差查詢兩個(gè)組件,分別用于事件內(nèi)語(yǔ)義對(duì)齊和跨事件一致性保存,提升生成效果。
- 端到端訓(xùn)練:采用統(tǒng)一的訓(xùn)練方式,同時(shí)優(yōu)化指令理解和音頻生成兩個(gè)環(huán)節(jié),增強(qiáng)模型各部分之間的協(xié)同作用,提高整體性能。
- 語(yǔ)義令牌與殘差令牌雙通道機(jī)制:通過(guò)雙通道分別處理宏觀敘事和微觀音效細(xì)節(jié),精準(zhǔn)協(xié)調(diào)兩者關(guān)系,使生成的音頻既符合整體敘事邏輯,又具備豐富的細(xì)節(jié)表現(xiàn)。
- 三階段漸進(jìn)訓(xùn)練:從單音生成到音頻協(xié)同,再到長(zhǎng)篇敘事,逐步提升模型的性能和適應(yīng)能力,使其能夠更好地應(yīng)對(duì)復(fù)雜的長(zhǎng)篇敘事音頻生成任務(wù)。
AudioStory的項(xiàng)目地址
- Github倉(cāng)庫(kù):https://github.com/TencentARC/AudioStory。
- 論文地址:https://arxiv.org/pdf/2508.20088。
AudioStory的應(yīng)用場(chǎng)景
- 視頻配音:根據(jù)用戶提供的無(wú)聲視頻和音效風(fēng)格描述,自動(dòng)分析視頻內(nèi)容并生成匹配的背景音軌。
- 音頻續(xù)寫(xiě):基于給定音頻片段,推斷后續(xù)場(chǎng)景并補(bǔ)充合理的音頻續(xù)集,如為籃球訓(xùn)練音頻添加球員腳步聲等。
- 有聲書(shū)創(chuàng)作:依據(jù)文本描述生成具有時(shí)序邏輯和情緒層次的音頻,提升有聲書(shū)的聽(tīng)覺(jué)體驗(yàn)。
- 游戲音效生成:根據(jù)游戲場(chǎng)景描述生成沉浸式音效,增強(qiáng)玩家的游戲體驗(yàn)。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場(chǎng):https://www.ijiandao.com/

隨時(shí)掌握互聯(lián)網(wǎng)精彩
排名
熱點(diǎn)
搜索指數(shù)
- 1 交通強(qiáng)國(guó)建設(shè)全面提速 7904284
- 2 始祖鳥(niǎo)回應(yīng)在喜馬拉雅山脈放煙花 7808997
- 3 起猛了 看到殲-20停在了我面前 7714423
- 4 長(zhǎng)春航展最新“劇透”來(lái)了 7615795
- 5 特朗普扔簽證“炸彈”:返美機(jī)票大漲 7524031
- 6 年輕人為何選擇從大同出境游 7425256
- 7 凈網(wǎng):網(wǎng)警破獲“AI換臉”侵入系統(tǒng)案 7328931
- 8 家門口失蹤10多天的2歲女童已離世 7234204
- 9 巴基斯坦確認(rèn)向沙特提供核保護(hù)傘 7135547
- 10 唐國(guó)強(qiáng)承認(rèn)接挖掘機(jī)廣告是為賺錢 7048185