開源人工智能技術(shù)開發(fā)商 DeepSeek 上周已經(jīng)預(yù)告將在本周陸續(xù)推出 5 個已經(jīng)在生產(chǎn)環(huán)境中使用的技術(shù)，目前首個項目 FlashMLA 已經(jīng)在 GitHub 上公布。

FlashMLA 是一種針對 NVIDIA Grace Hopper 架構(gòu) GPU 設(shè)計的高效多層注意力 (Multi-Layer Attention，MLA) 解碼內(nèi)核，該技術(shù)不僅可以優(yōu)化變長序列的處理性能，還可以將低內(nèi)存占用和計算開銷。

該技術(shù)的關(guān)鍵特點包括：

BF16 支持：FlashMLA 采用 BF16 精度格式，兼顧 FP32 的動態(tài)范圍和 FP16 的計算效率，這種設(shè)計可以顯著降低內(nèi)存占用和計算開銷，特別適合深度學(xué)習(xí)模型的推理階段。

分頁 KV 緩存技術(shù)：Paged KV Cache 通過塊大小為 64 的分頁鍵緩存系統(tǒng)，F(xiàn)lashMLA 優(yōu)化了 Transformer 模型中鍵值對的存儲和訪問，減少內(nèi)存碎片和延遲等，這項技術(shù)主要是和處理變長序列，確保在不同輸入長度下都能保持高效性能。

卓越性能：在 NVIDIA H800 GPU 上，F(xiàn)lashMLA 實現(xiàn)了 3000GB / 秒的內(nèi)存帶寬利用率 (內(nèi)存限制場景) 和 580TFLOPS 的計算能力 (計算限制場景)，數(shù)據(jù)表明 FlashMLA 可以充分利用 Hopper 架構(gòu)的 HBM 高帶寬內(nèi)存和并行計算能力。

FlashMLA 優(yōu)化變長序列帶來的優(yōu)勢：

變長序列是自然語言處理、語音識別、時間序列分析等領(lǐng)域面臨的常見技術(shù)挑戰(zhàn)，傳統(tǒng)模型在處理不固定長度的輸入時往往效率會比較低，F(xiàn)lashMLA 通過針對性優(yōu)化可以提高大型模型在變長序列場景下的推理速度，因此適合用于需要實時響應(yīng)和高吞吐量的應(yīng)用。

也就是說借助這項優(yōu)勢未來其他模型也可以優(yōu)化響應(yīng)速度，尤其是實時語音模式這種對響應(yīng)速度有要求的場景，AI 可以更快的回答而不是讓用戶長時間等待。

目前 FlashMLA 已經(jīng)在 GitHub 上完全開源，開發(fā)者只需要使用簡單的 Python 命令即可快速部署，DeepSeek 也提供了測試腳本用來驗證性能：https://github.com/deepseek-ai/FlashMLA

該項目的開源特性還借鑒了 FlashAttention 2&3 以及 CUTLASS 項目的模塊化設(shè)計，有興趣的開發(fā)者也可以研究上游項目的具體細節(jié)。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/