Hallo2是由復(fù)旦大學(xué)、百度和南京大學(xué)聯(lián)合開發(fā)的長時長、高分辨率音頻驅(qū)動人像圖像動畫生成系統(tǒng)。這個項目不僅在學(xué)術(shù)上取得了突破（被ICLR 2025接收），更重要的是它已經(jīng)開源了全部代碼和預(yù)訓(xùn)練模型，讓普通開發(fā)者也能體驗到前沿的AI動畫生成技術(shù)。

項目地址：https://github.com/fudan-generative-vision/hallo2

項目主頁：https://fudan-generative-vision.github.io/hallo2-project/

核心功能

長時長動畫生成

突破傳統(tǒng)方法的限制，Hallo2支持生成任意時長的音頻驅(qū)動人像動畫，不再受限于幾秒的短視頻。無論是幾分鐘的演講，還是更長的對話，都能輕松應(yīng)對。

高分辨率輸出

生成的視頻質(zhì)量高達1024×1024像素，細(xì)節(jié)清晰，面部表情自然，背景保持穩(wěn)定，完全滿足專業(yè)級需求。

多風(fēng)格支持

不僅支持真實人物照片，還能處理動漫風(fēng)格、插畫等多種類型的圖像，擴展性極強。

語音與表情精準(zhǔn)同步

通過先進的音頻分析和面部動作映射技術(shù)，確保人物的嘴唇、眉毛、眼睛等部位的動作與音頻內(nèi)容完美同步，表情自然生動。

技術(shù)亮點

創(chuàng)新的網(wǎng)絡(luò)架構(gòu)

Hallo2采用了改進的擴散模型架構(gòu)，結(jié)合音頻特征提取、面部關(guān)鍵點檢測和表情生成等模塊，實現(xiàn)了端到端的音頻驅(qū)動動畫生成。

解決長視頻連貫性問題

傳統(tǒng)方法在生成超過10秒的視頻時容易出現(xiàn)人物面部漂移或動作不連貫的問題，Hallo2通過引入時間一致性建模和參考幀引導(dǎo)等技術(shù)，有效解決了這一難題。

高效的訓(xùn)練與推理

項目提供了預(yù)訓(xùn)練模型，大大降低了使用門檻。即使在普通GPU上，也能實現(xiàn)相對較快的推理速度。

快速上手指南

環(huán)境要求

? Ubuntu 20.04/Ubuntu 22.04? Cuda 11.8? 測試過的GPU：A100（建議使用高性能GPU以獲得更好體驗）

安裝步驟

1.?克隆代碼git?clone?https://github.com/fudan-generative-vision/hallo2cd?hallo22.?創(chuàng)建conda環(huán)境conda create -n hallo python=3.10conda activate hallo3.?安裝依賴pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118pip install -r requirements.txtapt-get install ffmpeg4.?下載預(yù)訓(xùn)練模型pip install huggingface_hubhuggingface-cli download fudan-generative-ai/hallo2 --local-dir ./pretrained_models

運行推理

1. ?準(zhǔn)備輸入數(shù)據(jù)? 源圖像：正方形裁剪，面部占比50%-70%，正面朝向（旋轉(zhuǎn)角度小于30°）? 驅(qū)動音頻：WAV格式，英語（訓(xùn)練數(shù)據(jù)主要為英語）

2. ?執(zhí)行推理python scripts/inference_long.py --config ./configs/inference/long.yaml

3. ?查看結(jié)果生成的動畫將保存在配置文件指定的路徑中。你可以調(diào)整pose_weight、face_weight等參數(shù)來優(yōu)化生成效果。

應(yīng)用場景

??數(shù)字人創(chuàng)作：快速創(chuàng)建虛擬主播、客服、教師等數(shù)字人形象

??影視后期制作：輔助生成人物對話場景，降低拍攝成本

??社交媒體內(nèi)容創(chuàng)作：讓靜態(tài)圖片“開口說話”，制作有趣的短視頻

??教育與培訓(xùn)：創(chuàng)建生動的教學(xué)內(nèi)容，提升學(xué)習(xí)體驗

??游戲開發(fā)：為游戲角色添加真實的面部動畫

項目進展與未來規(guī)劃

? 2024年10月：代碼和預(yù)訓(xùn)練模型發(fā)布? 2025年1月：論文被ICLR 2025接收? 未來：計劃優(yōu)化推理性能，支持更多語言和圖像風(fēng)格

總結(jié)

Hallo2作為一個被頂會接收的開源項目，不僅展示了音頻驅(qū)動人像動畫領(lǐng)域的最新研究成果，更為開發(fā)者提供了一個功能強大、易于使用的工具。無論是學(xué)術(shù)研究還是商業(yè)應(yīng)用，Hallo2都有著巨大的潛力。

如果你對數(shù)字人、AI動畫生成感興趣，不妨立即體驗一下這個令人驚嘆的項目！

立即訪問項目GitHub頁面，開啟你的AI動畫創(chuàng)作之旅：https://github.com/fudan-generative-vision/hallo2

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/