傳統(tǒng)視頻擴(kuò)散模型（如 Stable Video Diffusion）因高顯存需求和序列長(zhǎng)度限制，難以在消費(fèi)級(jí)硬件上運(yùn)行。

FramePack提出了一種下一幀預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)獨(dú)特的壓縮機(jī)制和抗漂移采樣，解決了遺忘與漂移問(wèn)題，不僅提升了視頻連貫性和質(zhì)量，還將顯存需求降至驚人的 6GB。

什么是 FramePack？

FramePack是 AI 賽博佛祖-lllyasviel（張呂敏）新開(kāi)源的一種全新的視頻生成模型增強(qiáng)結(jié)構(gòu)，它本質(zhì)上是一個(gè)：

高效、抗漂移的逐幀預(yù)測(cè)架構(gòu)，可壓縮輸入語(yǔ)義并生成連貫、高清、任意時(shí)長(zhǎng)的視頻序列。

理論上可以生成任意長(zhǎng)度的視頻，不會(huì)因?yàn)橐曨l變長(zhǎng)而顯著增加資源消耗。

核心亮點(diǎn)

?超低顯存運(yùn)行：僅需 6GB 顯存（如 RTX3060） 即可運(yùn)行；

?漸進(jìn)式視頻生成：采用下一幀/幀段預(yù)測(cè)結(jié)構(gòu)，逐幀生成，理論上支持無(wú)限長(zhǎng)視頻；

?支持長(zhǎng)視頻生成：生成幀數(shù)不再影響資源消耗；

?抗遺忘 + 抗漂移結(jié)構(gòu)：提升連貫性，防止畫(huà)面“忘記起點(diǎn)”或偏離主題；

?高速推理：可與 13B 模型（如 SVD）結(jié)合，支持30FPS真實(shí)速率；

?友好界面：提供 Gradio 界面，支持圖像到視頻生成，操作直觀。

使用要求

? 顯卡：RTX 3060 6GB 即可運(yùn)行

? 系統(tǒng)：Linux/Windows (支持 PyTorch)

? 推理速度：約 30 FPS，生成 150 幀視頻僅需數(shù)分鐘

? 兼容性：可與現(xiàn)有 13B 視頻擴(kuò)散模型（如 SVD）無(wú)縫結(jié)合使用快速使用

FramePack 的部署也叫簡(jiǎn)單，支持 Windows/Linux。

Windows 系統(tǒng)作者直接提供了一鍵安裝包，解壓后即可直接使用，無(wú)需環(huán)境配置。

安裝包地址：https://github.com/lllyasviel/FramePack/releases/download/windows/framepack_cu126_torch26.7z

PS：若無(wú)法下載，我也為大家下載好了，直接滑動(dòng)到文末，按照指令提取即可。

安裝包下載到本地后，第一需要解壓縮，第二要使用update.bat先進(jìn)行更新，然后使用run.bat運(yùn)行。

請(qǐng)注意，這個(gè)過(guò)程中模型將自動(dòng)下載，模型會(huì)有超過(guò)30GB的數(shù)據(jù)。

至于Linux系統(tǒng)用戶(hù)，還是先確保有Python 3.10+環(huán)境。

克隆項(xiàng)目：

git?clone?https://github.com/lllyasviel/FramePack.gitcd?FramePack

安裝依賴(lài)：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126pip install -r requirements.txt

啟動(dòng)用戶(hù)圖形界面：

python demo_gradio.py

如上圖，界面左側(cè)可以上傳圖片并編寫(xiě)提示詞，而右側(cè)是生成的視頻和預(yù)覽。

因?yàn)檫@是一個(gè)下一幀部分預(yù)測(cè)模型，視頻將生成得越來(lái)越長(zhǎng)。你將看到每個(gè)部分的進(jìn)度條以及下一個(gè)部分的潛在預(yù)覽。

初始進(jìn)展可能比后期擴(kuò)散慢，因?yàn)樵O(shè)備可能需要一些預(yù)熱。

寫(xiě)在最后

張呂敏作為AI技術(shù)領(lǐng)域的鼻祖，每一次開(kāi)源都是王炸，都能給AI開(kāi)源社區(qū)及生態(tài)帶來(lái)一些改變。

而這一次的 FramePack 直接解決了大部分人由于設(shè)備限制而無(wú)法體驗(yàn)到的開(kāi)源大模型，畢竟以前你想要在本地體驗(yàn)下 SVD 效果，沒(méi)有高配頂配顯卡基本別玩了，而現(xiàn)在即使用以前拋棄的普通6GB顯存筆記本也能玩起來(lái)了。

說(shuō)白了，F(xiàn)ramePack 又帶動(dòng)了一個(gè)“AI新時(shí)代”的到來(lái)，讓視頻生成進(jìn)入了超低顯存時(shí)代！

它是能夠讓“顯卡小水管”跑出“AI 大電影”的黑科技！

就是說(shuō)視頻 AI 基建又提升一個(gè)維度了，咱普通人也能在本地玩出大片質(zhì)感！

GitHub 項(xiàng)目地址：https://github.com/lllyasviel/FramePack

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/