NVIDIA Nemotron Nano 2是什么

NVIDIA Nemotron Nano 2 是英偉達推出的高效推理模型，參數(shù)量為9B。模型基于混合Mamba-Transformer架構，在20萬億個token上預訓練，支持128k上下文長度。相比Qwen3-8B，推理速度提升6倍，準確率相當或更高。模型具備思考預算控制功能，用戶能指定推理token數(shù)量。英偉達開源了基礎模型和大部分預訓練數(shù)據(jù)集，助力開發(fā)者進一步研究與應用。

NVIDIA Nemotron Nano 2的主要功能

• 高吞吐量：NVIDIA Nemotron Nano 2 在復雜推理任務中表現(xiàn)出色，吞吐量比 Qwen3-8B 高達 6 倍。

• 長上下文支持：支持 128k 的上下文長度，能在單個 NVIDIA A10G GPU 上進行推理，適合處理長文本和復雜任務。

• 推理過程支持：模型在生成最終答案前生成推理過程（reasoning trace），用戶能指定模型的“思考”預算。

• 靈活的輸出模式：用戶能選擇跳過中間推理步驟，直接獲取最終答案。

• 多語言能力：預訓練數(shù)據(jù)集包含多種語言的數(shù)據(jù)，支持強大的多語言推理能力。

• 多領域覆蓋：涵蓋數(shù)學、代碼、學術、STEM 等多個領域的數(shù)據(jù)，適合多種應用場景。

NVIDIA Nemotron Nano 2的技術原理

• 混合 Mamba-Transformer 架構：用 Mamba-2 層替代傳統(tǒng) Transformer 中的大部分自注意力層，顯著提升推理速度，特別是在生成長推理鏈時。Transformer 層保留部分自注意力層，保持模型的靈活性和準確性。

• 預訓練過程：在 20 萬億個 token 上進行預訓練，用 FP8 精度和 Warmup-Stable-Decay 學習率調度。通過持續(xù)預訓練長上下文擴展階段，使模型能處理 128k 的上下文長度，不降低其他基準測試的性能。

• 后訓練優(yōu)化：監(jiān)督微調（SFT）對模型進行監(jiān)督微調，提升其在特定任務上的表現(xiàn)。通過策略優(yōu)化提升模型的指令遵循能力。優(yōu)化模型的偏好，讓模型更符合人類的偏好。通過人類反饋進行強化學習，提升模型的對話能力和指令遵循能力。

• 模型壓縮：基于剪枝和知識蒸餾技術，將 12B 參數(shù)的基礎模型壓縮到 9B 參數(shù)，同時保持模型的性能。優(yōu)化模型支持在單個 NVIDIA A10G GPU 上進行 128k token 的上下文推理，顯著降低推理成本。

• 推理預算控制：基于截斷訓練，模型能根據(jù)用戶指定的“思考”預算進行推理，避免不必要的計算。用戶能靈活控制模型的推理過程，選擇是否展示推理過程或直接獲取最終答案。

NVIDIA Nemotron Nano 2的項目地址

• 項目官網(wǎng)：https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/

• HuggingFace模型庫：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615

• 技術論文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf

• 在線體驗Demo：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2

NVIDIA Nemotron Nano 2的應用場景

• 教育領域：在教育領域，幫助學生解決復雜的數(shù)學和科學問題。通過逐步推理的方式解釋復雜的數(shù)學公式或物理定律，幫助學生更好地理解和掌握知識。

• 學術研究：研究人員進行學術研究，生成詳細的推理過程和分析報告，輔助論文撰寫和實驗設計。

• 軟件開發(fā)：開發(fā)者生成高質量的代碼片段，幫助快速開發(fā)和優(yōu)化代碼。

• 編程教育：在編程教育中，模型提供代碼示例和解釋，幫助初學者更好地理解編程語言和算法。

• 客戶服務：在客戶服務領域，作為多語言聊天機器人，提供高效且準確的客戶支持。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關注數(shù)據(jù)與安全，洞悉企業(yè)級服務市場：https://www.ijiandao.com/