
美團(tuán)發(fā)布并開(kāi)源混合專(zhuān)家模型:5600億參數(shù) 只激活5%就有奇效
聲明:該文章來(lái)自(快科技)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁(yè)加速服務(wù)。
美團(tuán)宣布正式發(fā)布LongCat-Flash-Chat AI模型,并同步開(kāi)源,采用創(chuàng)新性混合專(zhuān)家(MoE),總參數(shù)量達(dá)560B(5600億),實(shí)際激活參數(shù)18.6-31.3B,平均僅27B,從而實(shí)現(xiàn)計(jì)算效率與性能的雙重優(yōu)化。
美團(tuán)聲稱(chēng),根據(jù)多項(xiàng)基準(zhǔn)測(cè)試綜合評(píng)估,作為一款非思考型基礎(chǔ)模型,LongCat-Flash-Chat在僅激活少量參數(shù)的前提下,性能就可以比肩當(dāng)下領(lǐng)先的主流模型,尤其在智能體任務(wù)中具備突出優(yōu)勢(shì)。
同時(shí),因?yàn)槊嫦蛲评硇实脑O(shè)計(jì)和創(chuàng)新,LongCat-Flash-Chat具有明顯更快的推理速度,更適合于耗時(shí)較長(zhǎng)的復(fù)雜智能體應(yīng)用。
美團(tuán)LongCat-Flash在架構(gòu)層面引入“零計(jì)算專(zhuān)家(Zero-Computation Experts)”機(jī)制,總參數(shù)量560B,每token依據(jù)上下文需求僅激活18.6-31.3B參數(shù),實(shí)現(xiàn)算力按需分配和高效利用。
為控制總算力消耗,訓(xùn)練過(guò)程采用PID控制器實(shí)時(shí)微調(diào)專(zhuān)家偏置,將單個(gè)token的平均激活量穩(wěn)定在約27B。
此外,LongCat-Flash在層間鋪設(shè)跨層通道,使MoE的通信和計(jì)算能很大程度上并行,極大提高了訓(xùn)練和推理效率。
配合定制化的底層優(yōu)化,LongCat-Flash在30天內(nèi)完成了高效訓(xùn)練,并在H800 GPU上實(shí)現(xiàn)單用戶(hù)100+ tokens/s的推理速度。
LongCat-Flash還對(duì)常用大模型組件和訓(xùn)練方式進(jìn)行了改進(jìn),使用了超參遷移和模型層疊加的方式進(jìn)行訓(xùn)練,并結(jié)合了多項(xiàng)策略保證訓(xùn)練穩(wěn)定性,使得訓(xùn)練全程高效且順利。
針對(duì)智能體(Agentic)能力,LongCat-Flash自建了Agentic評(píng)測(cè)集指導(dǎo)數(shù)據(jù)策略,并在訓(xùn)練全流程進(jìn)行了全面的優(yōu)化,包括使用多智能體方法生成多樣化高質(zhì)量的軌跡數(shù)據(jù)等,實(shí)現(xiàn)了優(yōu)異的智能體能力。
通過(guò)算法和工程層面的聯(lián)合設(shè)計(jì),LongCat-Flash在理論上的成本和速度都大幅領(lǐng)先行業(yè)同等規(guī)模、甚至規(guī)模更小的模型。
通過(guò)系統(tǒng)優(yōu)化,LongCat-Flash在H800上達(dá)成了100 tokens/s的生成速度,同時(shí)輸出成本低至5元/百萬(wàn)token。
LongCat-Flash架構(gòu)圖
通用領(lǐng)域知識(shí)方面,LongCat-Flash在ArenaHard-V2基準(zhǔn)測(cè)試中取得86.50的優(yōu)異成績(jī),位列所有評(píng)估模型中的第二名。
在基礎(chǔ)基準(zhǔn)測(cè)試中,MMLU(多任務(wù)語(yǔ)言理解基準(zhǔn))得分為89.71,CEval(中文通用能力評(píng)估基準(zhǔn))得分為 90.44。
這些成績(jī)可與目前國(guó)內(nèi)領(lǐng)先的模型比肩,且其參數(shù)規(guī)模少于DeepSeek-V3.1、Kimi-K2等產(chǎn)品。
智能體工具使用方面,LongCat-Flash即便與參數(shù)規(guī)模更大的模型相比,在τ2-Bench(智能體工具使用基準(zhǔn))中的表現(xiàn)仍超越其他模型;高復(fù)雜度場(chǎng)景下,在VitaBench(復(fù)雜場(chǎng)景智能體基準(zhǔn))中以24.30分位列第一。
編程方面,LongCat-Flash在TerminalBench(終端命令行任務(wù)基準(zhǔn))中,以39.51的得分位列第二,在SWE-Bench-Verified(軟件工程師能力驗(yàn)證基準(zhǔn))中得分為 60.4。
指令遵循方面,LongCat-Flash在IFEval(指令遵循評(píng)估基準(zhǔn))中以89.65的得分位列第一,在COLLIE(中文指令遵循基準(zhǔn))和 Meeseeks-zh(中文多場(chǎng)景指令基準(zhǔn))中成績(jī)分別為 57.10 和 43.03。
LongCat-Flash基準(zhǔn)測(cè)試性能
美團(tuán)同步提供了分別基于SGLang和vLLM的兩種高效部署方案。
以下為使用SGLang進(jìn)行單機(jī)部署的示例:
python3 -m sglang.launch_server \
? ? --model meituan-longcat/LongCat-Flash-Chat-FP8 \
? ? --trust-remote-code \
? ? --attention-backend flashinfer \
? ? --enable-ep-moe \
? ? --tp 8
現(xiàn)在前往https://longcat.ai/ ,就能立即與LongCat-Flash-Chat開(kāi)啟對(duì)話。?
開(kāi)源平臺(tái)地址:
Hugging Face:
https://huggingface.co/meituan-longcat/LongCat-Flash-Chat
Github:
https://github.com/meituan-longcat/LongCat-Flash-Chat
開(kāi)源倉(cāng)庫(kù)統(tǒng)一采用MIT License,并允許用戶(hù)利用模型輸出、通過(guò)模型蒸餾等方式訓(xùn)練其他模型。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場(chǎng):https://www.ijiandao.com/
- 1 看總書(shū)記關(guān)心的清潔能源這樣發(fā)電 7904156
- 2 央視曝光直播間“高端四件套”貓膩 7809476
- 3 以總理:絕不會(huì)有巴勒斯坦國(guó) 等著瞧 7712831
- 4 長(zhǎng)春航空展這些“首次”不要錯(cuò)過(guò) 7617635
- 5 9月23日晚8點(diǎn)將上演“龍收尾”天象 7519778
- 6 今年最強(qiáng)臺(tái)風(fēng)來(lái)襲 7423543
- 7 43歲二胎媽媽患阿爾茨海默病 7327785
- 8 女兒發(fā)現(xiàn)父親500多萬(wàn)遺產(chǎn)用于保健 7236217
- 9 iPhone 17橙色斜挎掛繩賣(mài)斷貨 7138698
- 10 三所“零近視”小學(xué)帶來(lái)的啟示 7041746