MiniMind 是用低成本訓(xùn)練大語言模型的開源工具，從零開始，僅需 2 小時和 3 塊錢，就能訓(xùn)練出 26M 參數(shù)的迷你 GPT 模型。

亮點

2 小時快速訓(xùn)練，適合個人 GPU 用戶

僅需 3 塊錢的服務(wù)器成本，超低門檻

提供完整訓(xùn)練代碼，涵蓋預(yù)訓(xùn)練、微調(diào)、蒸餾等全過程

項目包含

MiniMind-LLM 結(jié)構(gòu)的全部代碼（Dense+MoE 模型）。

包含 Tokenizer 分詞器詳細訓(xùn)練代碼。

包含 Pretrain、SFT、LoRA、RLHF-DPO、模型蒸餾的全過程訓(xùn)練代碼。

收集、蒸餾、整理并清洗去重所有階段的高質(zhì)量數(shù)據(jù)集，且全部開源。

從 0 實現(xiàn)預(yù)訓(xùn)練、指令微調(diào)、LoRA、DPO 強化學(xué)習(xí)，白盒模型蒸餾。關(guān)鍵算法幾乎不依賴第三方封裝的框架，且全部開源。

同時兼容?transformers、trl、peft?等第三方主流框架。

訓(xùn)練支持單機單卡、單機多卡 (DDP、DeepSpeed) 訓(xùn)練，支持 wandb 可視化訓(xùn)練流程。支持動態(tài)啟停訓(xùn)練。

在第三方測評榜（C-Eval、C-MMLU、OpenBookQA 等）進行模型測試。

實現(xiàn) Openai-Api 協(xié)議的極簡服務(wù)端，便于集成到第三方 ChatUI 使用（FastGPT、Open-WebUI 等）。

基于 streamlit 實現(xiàn)最簡聊天 WebUI 前端。

復(fù)現(xiàn) (蒸餾 / RL) 大型推理模型 DeepSeek-R1 的 MiniMind-Reason 模型，數(shù)據(jù) + 模型全部開源。

MiniMind 的整體結(jié)構(gòu)一致，只是在 RoPE 計算、推理函數(shù)和 FFN 層的代碼上做了一些小調(diào)整。 其結(jié)構(gòu)如下圖：

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/