CombatVLA 是淘天集團(tuán)未來(lái)生活實(shí)驗(yàn)室團(tuán)隊(duì)推出的專為3D動(dòng)作角色扮演游戲（ARPG）中的戰(zhàn)斗任務(wù)設(shè)計(jì)的高效視覺-語(yǔ)言-動(dòng)作（VLA）模型。模型基于3B參數(shù)規(guī)模，通過動(dòng)作追蹤器收集的視頻動(dòng)作對(duì)進(jìn)行訓(xùn)練，數(shù)據(jù)格式化為“動(dòng)作思維”（AoT）序列。模型用三階段漸進(jìn)式學(xué)習(xí)范式，從視頻級(jí)到幀級(jí)再到截?cái)嗖呗?，?shí)現(xiàn)高效推理。CombatVLA 在戰(zhàn)斗理解基準(zhǔn)測(cè)試中超越現(xiàn)有模型，推理速度提升50倍，任務(wù)成功率高于人類玩家。

CombatVLA的主要功能

• 高效戰(zhàn)斗決策：CombatVLA 能在復(fù)雜的3D游戲環(huán)境中實(shí)時(shí)做出戰(zhàn)斗決策，包括躲避攻擊、發(fā)動(dòng)技能、恢復(fù)生命值等，決策速度比傳統(tǒng)模型快50倍。

• 戰(zhàn)斗理解與推理：CombatVLA 能評(píng)估敵人的狀態(tài)、判斷敵人的攻擊意圖，推理出最優(yōu)的戰(zhàn)斗動(dòng)作，戰(zhàn)斗理解能力顯著優(yōu)于其他模型。

• 動(dòng)作指令生成：模型能輸出具體可執(zhí)行的鍵鼠操作指令，例如按下特定按鍵或執(zhí)行鼠標(biāo)操作，控制游戲角色進(jìn)行戰(zhàn)斗。

• 泛化能力：在不同難度的任務(wù)和不同游戲中，CombatVLA 均展現(xiàn)出較強(qiáng)的泛化能力，在未見過的游戲場(chǎng)景中能有效執(zhí)行戰(zhàn)斗任務(wù)。

CombatVLA的技術(shù)原理

• 動(dòng)作追蹤器：基于動(dòng)作追蹤器收集人類玩家的游戲操作數(shù)據(jù)，包括鍵盤和鼠標(biāo)操作，同步截取游戲畫面，生成視頻動(dòng)作對(duì)數(shù)據(jù)。

• 動(dòng)作思維（AoT）序列：將收集到的數(shù)據(jù)轉(zhuǎn)化為“動(dòng)作思維”（Action-of-Thought）序列，每個(gè)動(dòng)作都附帶詳細(xì)解釋，幫助模型理解動(dòng)作的語(yǔ)義和邏輯。

• 三階段漸進(jìn)式學(xué)習(xí)：

• 階段1：視頻級(jí) AoT 微調(diào)，讓模型初步理解戰(zhàn)斗環(huán)境。

• 階段2：幀級(jí) AoT 微調(diào)，幫助模型理解動(dòng)作與前序幀的嚴(yán)格對(duì)齊。

• 階段3：幀級(jí)截?cái)?AoT 微調(diào)，引入特殊標(biāo)記 <TRUNC>，截?cái)噍敵鲆约铀偻评怼?/p>

• 自適應(yīng)動(dòng)作權(quán)重?fù)p失：通過動(dòng)作對(duì)齊損失和模態(tài)對(duì)比損失，優(yōu)化模型的訓(xùn)練過程，確保模型準(zhǔn)確輸出關(guān)鍵動(dòng)作。

• 動(dòng)作執(zhí)行框架：將模型輸出的動(dòng)作指令基于動(dòng)作執(zhí)行框架轉(zhuǎn)換為實(shí)際的鍵鼠操作，實(shí)現(xiàn)對(duì)游戲角色的自動(dòng)控制。

CombatVLA的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://combatvla.github.io/

• GitHub倉(cāng)庫(kù)：https://github.com/ChenVoid/CombatVLA

• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.09527

CombatVLA的應(yīng)用場(chǎng)景

• 3D動(dòng)作角色扮演游戲（ARPG）：實(shí)時(shí)控制游戲角色進(jìn)行戰(zhàn)斗，實(shí)現(xiàn)高效決策和動(dòng)作執(zhí)行，提升游戲體驗(yàn)。

• 游戲測(cè)試與優(yōu)化：幫助開發(fā)者測(cè)試游戲的戰(zhàn)斗系統(tǒng)，發(fā)現(xiàn)并優(yōu)化潛在問題。

• 電子競(jìng)技訓(xùn)練：為電競(jìng)選手提供智能對(duì)手，幫助用戶練習(xí)戰(zhàn)斗技巧和戰(zhàn)術(shù)，提升競(jìng)技水平。

• 游戲內(nèi)容創(chuàng)作：輔助游戲開發(fā)者生成戰(zhàn)斗場(chǎng)景和劇情，快速構(gòu)建復(fù)雜的游戲關(guān)卡和任務(wù)。

• 機(jī)器人控制：在現(xiàn)實(shí)世界中，將技術(shù)擴(kuò)展到機(jī)器人控制，使機(jī)器人在動(dòng)態(tài)環(huán)境中進(jìn)行快速?zèng)Q策和動(dòng)作執(zhí)行。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/