近日，DeepSeek在海外社交平臺(tái)發(fā)布了一篇純技術(shù)論文報(bào)告，其主要內(nèi)容是關(guān)于NSA（即Natively Sparse Attention，原生稀疏注意力）。

與此同時(shí)，在論文署名中，第一作者袁景陽(yáng)是在DeepSeek實(shí)習(xí)期間完成的這項(xiàng)研究。讓人感到驚喜和意外的是，據(jù)論文署名排名，DeepSeek創(chuàng)始人梁文鋒現(xiàn)身論文著作者之中，在作者排名中位列倒數(shù)第二。

根據(jù)論文摘要，DeepSeek團(tuán)隊(duì)認(rèn)為，業(yè)界越來(lái)越認(rèn)識(shí)到長(zhǎng)上下文建模對(duì)于下一代大型語(yǔ)言模型的重要性。然而，隨著序列長(zhǎng)度的增加，標(biāo)準(zhǔn)注意力機(jī)制的高復(fù)雜度成為了關(guān)鍵的延遲瓶頸。

據(jù)了解，NSA通過(guò)高效的長(zhǎng)序列處理能力，使模型能夠直接處理整本書籍、代碼倉(cāng)庫(kù)或多輪對(duì)話（如千輪客服場(chǎng)景），擴(kuò)展了大語(yǔ)言模型在文檔分析、代碼生成、復(fù)雜推理等領(lǐng)域的應(yīng)用邊界。

同時(shí)，NSA通過(guò)針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，在提高推理速度的同時(shí)、降低預(yù)訓(xùn)練成本，而不會(huì)犧牲性能。

它在通用基準(zhǔn)測(cè)試、長(zhǎng)文本任務(wù)和基于指令的推理中均能達(dá)到或超越全注意力模型的表現(xiàn)。

DeepSeek團(tuán)隊(duì)表示，稀疏注意力為提高效率同時(shí)保持模型能力，提供了一個(gè)有前景的方向。

公開(kāi)資料顯示，NSA（即Natively Sparse Attention，原生稀疏注意力）是一種用于超快速長(zhǎng)文本訓(xùn)練與推理的、硬件對(duì)齊且可原生訓(xùn)練的稀疏注意力機(jī)制。

它專為長(zhǎng)文本訓(xùn)練與推理設(shè)計(jì)，能夠利用動(dòng)態(tài)分層稀疏策略等方法，通過(guò)針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著優(yōu)化傳統(tǒng)AI模型在訓(xùn)練和推理過(guò)程中的表現(xiàn)。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/