
我國科研人員研發(fā)出類腦脈沖大模型
聲明:該文章來自(央視新聞)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。
記者今天(9月8日)從中國科學(xué)院自動化研究所獲悉,近日,該研究所李國齊、徐波團隊與相關(guān)單位合作,成功研發(fā)出類腦脈沖大模型“瞬悉1.0”(SpikingBrain-1.0)。
該模型基于團隊原創(chuàng)的“內(nèi)生復(fù)雜性”理論構(gòu)建,在國產(chǎn)GPU平臺上完成了全流程訓(xùn)練與推理,顯著提升了大模型高效處理極長文本或數(shù)據(jù)序列的效率和速度,展示了構(gòu)建國產(chǎn)自主可控的新型(非Transformer)大模型架構(gòu)生態(tài)的可行性。
當(dāng)前主流的Transformer模型,在處理超長文章或?qū)υ挄r速度會非常慢且成本極高,造成了巨大的資源消耗??梢哉f,當(dāng)前大模型的飛速發(fā)展,背后是由巨大的資源消耗驅(qū)動的。因此,亟須發(fā)展一條低功耗高效率的新型大模型路線。
與當(dāng)前主流大模型架構(gòu)(Transformer架構(gòu))不同,“瞬悉1.0”借鑒大腦神經(jīng)元內(nèi)部工作機制,清晰地展示了一條不斷提升模型復(fù)雜度和性能的新型可行路徑。該模型僅需約主流模型2%的數(shù)據(jù)量,就能在多項語言理解和推理任務(wù)中達到媲美眾多主流模型的性能。
這是我國首次提出大規(guī)模類腦線性基礎(chǔ)模型架構(gòu),并首次在國產(chǎn)GPU算力集群上構(gòu)建類腦脈沖大模型的訓(xùn)練和推理框架。其超長序列處理能力在法律與醫(yī)學(xué)文檔分析、復(fù)雜多智能體模擬、高能粒子物理實驗、DNA序列分析、分子動力學(xué)軌跡等超長序列任務(wù)建模場景中具有顯著的潛在效率優(yōu)勢。本次發(fā)布的大模型為新一代人工智能發(fā)展提供了非Transformer架構(gòu)的新技術(shù)路線,并將啟迪更低功耗的下一代神經(jīng)形態(tài)計算理論和芯片設(shè)計。
(總臺央視記者 帥俊全 褚爾嘉)
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/
- 1 豐收時節(jié)感悟總書記的“三農(nóng)”情懷 7904059
- 2 深圳機場飛機被“五花大綁”防臺風(fēng) 7808158
- 3 疑追風(fēng)觀浪 香港一對母子被卷入海 7712647
- 4 盤點新疆的全國之“最” 7616071
- 5 驢肉價格上漲 中國正面臨缺驢問題 7519937
- 6 用一條毛巾避免大窗玻璃離家出走 7427771
- 7 護網(wǎng):社交賬號不受控制?木馬在作祟 7332351
- 8 鴻蒙智行秋季新品發(fā)布會 7235372
- 9 “晚1秒就撞 我肯定不慣著他” 7135906
- 10 中國每年吃掉約70億只白羽肉雞 7048841