CoF是什么

CoF（Chain-of-Frames，幀鏈）是DeepMind推出的新概念，類比于語(yǔ)言模型中的“鏈?zhǔn)剿季S”（Chain-of-Thought，CoT）。CoF使視頻模型能在時(shí)間和空間上進(jìn)行推理，通過(guò)逐幀生成視頻解決復(fù)雜的視覺(jué)任務(wù)。例如，Veo 3模型用CoF解決迷宮問(wèn)題、完成對(duì)稱性任務(wù)或進(jìn)行簡(jiǎn)單的視覺(jué)類比推理，能力類似于語(yǔ)言模型通過(guò)符號(hào)推理解決問(wèn)題，CoF是通過(guò)生成連貫的視頻幀實(shí)現(xiàn)視覺(jué)推理，展示了視頻模型在通用視覺(jué)理解方面的潛力。

CoF的主要功能

• 視覺(jué)推理：通過(guò)逐幀生成視頻，CoF能逐步解決問(wèn)題，例如在迷宮中找到路徑、完成對(duì)稱性任務(wù)或進(jìn)行視覺(jué)類比推理。
• 跨時(shí)空操作：對(duì)視頻中的對(duì)象進(jìn)行操作，例如移動(dòng)、變形或改變對(duì)象的屬性，同時(shí)保持視頻的連貫性。
• 通用視覺(jué)理解：CoF幫助視頻模型理解物理規(guī)則、抽象關(guān)系及視覺(jué)世界的動(dòng)態(tài)變化，實(shí)現(xiàn)通用視覺(jué)任務(wù)的零樣本學(xué)習(xí)。
• 生成連貫視頻：CoF確保生成的視頻在時(shí)間和空間上是連貫的，使模型能生成符合邏輯和物理規(guī)則的視頻內(nèi)容。

CoF的技術(shù)原理

• 生成模型：CoF依賴大規(guī)模的生成模型，模型通過(guò)海量數(shù)據(jù)進(jìn)行訓(xùn)練，學(xué)習(xí)視頻的時(shí)空結(jié)構(gòu)和動(dòng)態(tài)變化。
• 提示驅(qū)動(dòng)：通過(guò)自然語(yǔ)言提示（prompt）和初始圖像，模型被引導(dǎo)生成符合任務(wù)要求的視頻。提示幫助模型理解任務(wù)目標(biāo)，初始圖像提供視頻的第一幀。
• 逐幀推理：模型逐幀生成視頻，每一步都基于前一幀的狀態(tài)和提示進(jìn)行推理。逐幀生成的方式類似于語(yǔ)言模型中的鏈?zhǔn)剿季S（CoT）。
• 物理和邏輯約束：CoF生成的視頻需要符合物理規(guī)則和邏輯一致性。例如，物體的運(yùn)動(dòng)需要符合物理定律，視頻中的對(duì)象不能違反現(xiàn)實(shí)世界的約束。
• 優(yōu)化和反饋：通過(guò)多次嘗試和優(yōu)化，模型能生成更準(zhǔn)確的視頻。例如，通過(guò)多次生成、選擇最優(yōu)結(jié)果，提高任務(wù)的成功率。

CoF的項(xiàng)目地址

• 技術(shù)論文：https://papers-pdfs.assets.alphaxiv.org/2509.20328v1.pdf

CoF的應(yīng)用場(chǎng)景

• 迷宮求解：CoF能生成視頻，展示一個(gè)物體如何在迷宮中找到從起點(diǎn)到終點(diǎn)的路徑，逐幀規(guī)劃最優(yōu)路線。

• 視覺(jué)對(duì)稱性任務(wù)：CoF能生成對(duì)稱的圖案或圖像，通過(guò)逐幀填充空白部分，完成對(duì)稱圖形的繪制。

• 物理模擬：模擬物理現(xiàn)象，如物體的運(yùn)動(dòng)、碰撞和浮力等，生成符合物理規(guī)律的視頻。

• 圖像編輯：用在圖像編輯任務(wù)，例如背景移除、風(fēng)格轉(zhuǎn)換、顏色化等，通過(guò)逐幀生成視頻逐步完成編輯。

• 視覺(jué)類比：解決視覺(jué)類比問(wèn)題，例如生成缺失的部分完成一個(gè)視覺(jué)類比，通過(guò)逐幀推理找到正確的解決方案。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/