聲明：該文章來自（AI工具集）版權(quán)由原作者所有，K2OS渲染引擎提供網(wǎng)頁(yè)加速服務(wù)。

NVIDIA Nemotron Nano 2是什么

NVIDIA Nemotron Nano 2 是英偉達(dá)推出的高效推理模型，參數(shù)量為9B。模型基于混合Mamba-Transformer架構(gòu)，在20萬億個(gè)token上預(yù)訓(xùn)練，支持128k上下文長(zhǎng)度。相比Qwen3-8B，推理速度提升6倍，準(zhǔn)確率相當(dāng)或更高。模型具備思考預(yù)算控制功能，用戶能指定推理token數(shù)量。英偉達(dá)開源了基礎(chǔ)模型和大部分預(yù)訓(xùn)練數(shù)據(jù)集，助力開發(fā)者進(jìn)一步研究與應(yīng)用。

NVIDIA Nemotron Nano 2的主要功能

• 高吞吐量：NVIDIA Nemotron Nano 2 在復(fù)雜推理任務(wù)中表現(xiàn)出色，吞吐量比 Qwen3-8B 高達(dá) 6 倍。

• 長(zhǎng)上下文支持：支持 128k 的上下文長(zhǎng)度，能在單個(gè) NVIDIA A10G GPU 上進(jìn)行推理，適合處理長(zhǎng)文本和復(fù)雜任務(wù)。

• 推理過程支持：模型在生成最終答案前生成推理過程（reasoning trace），用戶能指定模型的“思考”預(yù)算。

• 靈活的輸出模式：用戶能選擇跳過中間推理步驟，直接獲取最終答案。

• 多語言能力：預(yù)訓(xùn)練數(shù)據(jù)集包含多種語言的數(shù)據(jù)，支持強(qiáng)大的多語言推理能力。

• 多領(lǐng)域覆蓋：涵蓋數(shù)學(xué)、代碼、學(xué)術(shù)、STEM 等多個(gè)領(lǐng)域的數(shù)據(jù)，適合多種應(yīng)用場(chǎng)景。

NVIDIA Nemotron Nano 2的技術(shù)原理

• 混合 Mamba-Transformer 架構(gòu)：用 Mamba-2 層替代傳統(tǒng) Transformer 中的大部分自注意力層，顯著提升推理速度，特別是在生成長(zhǎng)推理鏈時(shí)。Transformer 層保留部分自注意力層，保持模型的靈活性和準(zhǔn)確性。

• 預(yù)訓(xùn)練過程：在 20 萬億個(gè) token 上進(jìn)行預(yù)訓(xùn)練，用 FP8 精度和 Warmup-Stable-Decay 學(xué)習(xí)率調(diào)度。通過持續(xù)預(yù)訓(xùn)練長(zhǎng)上下文擴(kuò)展階段，使模型能處理 128k 的上下文長(zhǎng)度，不降低其他基準(zhǔn)測(cè)試的性能。

• 后訓(xùn)練優(yōu)化：監(jiān)督微調(diào)（SFT）對(duì)模型進(jìn)行監(jiān)督微調(diào)，提升其在特定任務(wù)上的表現(xiàn)。通過策略優(yōu)化提升模型的指令遵循能力。優(yōu)化模型的偏好，讓模型更符合人類的偏好。通過人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)，提升模型的對(duì)話能力和指令遵循能力。

• 模型壓縮：基于剪枝和知識(shí)蒸餾技術(shù)，將 12B 參數(shù)的基礎(chǔ)模型壓縮到 9B 參數(shù)，同時(shí)保持模型的性能。優(yōu)化模型支持在單個(gè) NVIDIA A10G GPU 上進(jìn)行 128k token 的上下文推理，顯著降低推理成本。

• 推理預(yù)算控制：基于截?cái)嘤?xùn)練，模型能根據(jù)用戶指定的“思考”預(yù)算進(jìn)行推理，避免不必要的計(jì)算。用戶能靈活控制模型的推理過程，選擇是否展示推理過程或直接獲取最終答案。

NVIDIA Nemotron Nano 2的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/

• HuggingFace模型庫(kù)：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615

• 技術(shù)論文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf

• 在線體驗(yàn)Demo：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2

NVIDIA Nemotron Nano 2的應(yīng)用場(chǎng)景

• 教育領(lǐng)域：在教育領(lǐng)域，幫助學(xué)生解決復(fù)雜的數(shù)學(xué)和科學(xué)問題。通過逐步推理的方式解釋復(fù)雜的數(shù)學(xué)公式或物理定律，幫助學(xué)生更好地理解和掌握知識(shí)。

• 學(xué)術(shù)研究：研究人員進(jìn)行學(xué)術(shù)研究，生成詳細(xì)的推理過程和分析報(bào)告，輔助論文撰寫和實(shí)驗(yàn)設(shè)計(jì)。

• 軟件開發(fā)：開發(fā)者生成高質(zhì)量的代碼片段，幫助快速開發(fā)和優(yōu)化代碼。

• 編程教育：在編程教育中，模型提供代碼示例和解釋，幫助初學(xué)者更好地理解編程語言和算法。

• 客戶服務(wù)：在客戶服務(wù)領(lǐng)域，作為多語言聊天機(jī)器人，提供高效且準(zhǔn)確的客戶支持。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/