聲明：該文章由作者（徐婕）發(fā)表，轉(zhuǎn)載此文章須經(jīng)作者同意并請(qǐng)附上出處(0XUCN)及本頁(yè)鏈接。。

3FS (Fire-Flyer File System) 是一款高性能的分布式文件系統(tǒng)，旨在解決 AI 訓(xùn)練和推理工作負(fù)載帶來(lái)的挑戰(zhàn)，利用現(xiàn)代 SSD 和 RDMA 網(wǎng)絡(luò)提供共享存儲(chǔ)層，簡(jiǎn)化分布式應(yīng)用程序的開(kāi)發(fā)。其核心優(yōu)勢(shì)在于高性能、強(qiáng)一致性和易用性，能夠有效支持各種 AI 工作負(fù)載，包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)加載、檢查點(diǎn)設(shè)置和推理緩存。

3FS 在 DeepSeek 的 V3 / R1 版本中得到廣泛應(yīng)用，涵蓋了訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載、檢查點(diǎn)保存 / 重新加載、嵌入向量搜索以及推理過(guò)程中的 KVCache 查找等關(guān)鍵環(huán)節(jié)。

3FS 文件系統(tǒng)整體的硬件設(shè)計(jì)如下圖展示：

3FS 性能亮點(diǎn)

集群高吞吐：在 180 節(jié)點(diǎn)集群中，3FS 實(shí)現(xiàn)了高達(dá) 6.6 TiB/s 的聚合讀取吞吐量。

基準(zhǔn)測(cè)試優(yōu)異：在 25 節(jié)點(diǎn)集群的 GraySort 基準(zhǔn)測(cè)試中，3FS 達(dá)到了 3.66 TiB /min 的吞吐量。

單節(jié)點(diǎn)高性能：每個(gè)客戶端節(jié)點(diǎn)的 KVCache 查找峰值吞吐量超過(guò) 40 GiB/s。

架構(gòu)先進(jìn)： 3FS 采用去中心化架構(gòu)，并具備強(qiáng)一致性語(yǔ)義。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/