今天，馬斯克發(fā)布Grok-3，隨后，DeepSeek就推出NSA。

DeepSeek推出NSA

2月18日，DeepSeek在社交平臺(tái)X上發(fā)布了一篇關(guān)于NSA的純技術(shù)論文報(bào)告。

DeepSeek稱(chēng)，NSA是一種與硬件高度適配并可原生訓(xùn)練的稀疏注意力機(jī)制，實(shí)現(xiàn)超高速長(zhǎng)上下文訓(xùn)練與推理！

NSA的核心組件包括：動(dòng)態(tài)分層稀疏策略、粗粒度的Token壓縮、細(xì)粒度的Token選擇。

DeepSeek稱(chēng)，通過(guò)針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，NSA在提升推理速度的同時(shí)降低預(yù)訓(xùn)練成本且不犧牲性能。在通用基準(zhǔn)測(cè)試、長(zhǎng)上下文任務(wù)以及基于指令的推理中，NSA的表現(xiàn)可媲美甚至超越全注意力模型。

馬斯克今日宣布Grok-3發(fā)布

埃隆·馬斯克旗下的人工智能公司xAI于2月18日正式發(fā)布了最新的大模型Grok-3。

馬斯克稱(chēng)其為“地球上最聰明的人工智能”，Grok-3在多項(xiàng)技術(shù)和性能上實(shí)現(xiàn)了重大突破。

馬斯克在直播中稱(chēng)，在數(shù)學(xué)、科學(xué)和編程等基準(zhǔn)測(cè)試中，Grok-3超越了Alphabet旗下Google Gemini、DeepSeek的V3模型、Anthropic的Claude和OpenAI的GPT-4o，Grok-3的計(jì)算能力比前代版本提升了10倍以上，并已于今年1月初完成預(yù)訓(xùn)練。

根據(jù)馬斯克的介紹，Grok-3采用了“思維鏈”（Chain of Thought）技術(shù)，能夠模擬人類(lèi)逐步推理的過(guò)程，顯著提升了模型在處理復(fù)雜任務(wù)時(shí)的邏輯連貫性和推理能力。

在現(xiàn)場(chǎng)演示中，Grok-3被要求解決一個(gè)復(fù)雜的物理問(wèn)題，即計(jì)算從地球到火星的轉(zhuǎn)移軌跡，并繪制3D動(dòng)畫(huà)。xAI提到，這一任務(wù)完全沒(méi)有預(yù)設(shè)腳本，Grok-3僅通過(guò)簡(jiǎn)短的指令“生成地球發(fā)射、火星著陸以及下一次發(fā)射窗口返回地球的動(dòng)畫(huà)3D圖”進(jìn)行操作。Grok-3能夠理解復(fù)雜的物理計(jì)算并生成可視化圖形，證明其在科學(xué)計(jì)算方面的能力。

在訓(xùn)練Grok-3的過(guò)程中，xAI搭建了由20萬(wàn)張英偉達(dá)H100 GPU組成的超大規(guī)模計(jì)算集群。這一龐大算力使得Grok-3的訓(xùn)練效率和模型性能大幅提升。

另外，xAI推出了名為DeepSearch的智能搜索引擎，集成于Grok-3中。 該引擎能夠掃描互聯(lián)網(wǎng)和X平臺(tái)上的信息，并以摘要形式回應(yīng)用戶(hù)查詢(xún)，提供更高效、精準(zhǔn)的信息檢索服務(wù)。

xAI稱(chēng)，Grok-3具備自我糾正機(jī)制，能夠通過(guò)反復(fù)檢查數(shù)據(jù)，實(shí)現(xiàn)邏輯一致性，從而減少錯(cuò)誤并提高準(zhǔn)確性。

此外，xAI引入了人類(lèi)反饋循環(huán)和情境訓(xùn)練，以確保Grok-3的響應(yīng)更加自然和準(zhǔn)確。人類(lèi)反饋循環(huán)通過(guò)人類(lèi)審閱者的直接反饋，幫助模型改進(jìn)答案的準(zhǔn)確性、相關(guān)性和實(shí)用性。而情境訓(xùn)練則教導(dǎo)AI根據(jù)對(duì)話(huà)上下文調(diào)整回應(yīng)，考慮之前的互動(dòng)、用戶(hù)意圖和相關(guān)信息，生成更符合情境的答案。