
我國科研人員研發(fā)出類腦脈沖大模型
記者今天(9月8日)從中國科學院自動化研究所獲悉,近日,該研究所李國齊、徐波團隊與相關單位合作,成功研發(fā)出類腦脈沖大模型“瞬悉1.0”(SpikingBrain-1.0)。
該模型基于團隊原創(chuàng)的“內(nèi)生復雜性”理論構建,在國產(chǎn)GPU平臺上完成了全流程訓練與推理,顯著提升了大模型高效處理極長文本或數(shù)據(jù)序列的效率和速度,展示了構建國產(chǎn)自主可控的新型(非Transformer)大模型架構生態(tài)的可行性。
當前主流的Transformer模型,在處理超長文章或?qū)υ挄r速度會非常慢且成本極高,造成了巨大的資源消耗??梢哉f,當前大模型的飛速發(fā)展,背后是由巨大的資源消耗驅(qū)動的。因此,亟須發(fā)展一條低功耗高效率的新型大模型路線。
與當前主流大模型架構(Transformer架構)不同,“瞬悉1.0”借鑒大腦神經(jīng)元內(nèi)部工作機制,清晰地展示了一條不斷提升模型復雜度和性能的新型可行路徑。該模型僅需約主流模型2%的數(shù)據(jù)量,就能在多項語言理解和推理任務中達到媲美眾多主流模型的性能。
這是我國首次提出大規(guī)模類腦線性基礎模型架構,并首次在國產(chǎn)GPU算力集群上構建類腦脈沖大模型的訓練和推理框架。其超長序列處理能力在法律與醫(yī)學文檔分析、復雜多智能體模擬、高能粒子物理實驗、DNA序列分析、分子動力學軌跡等超長序列任務建模場景中具有顯著的潛在效率優(yōu)勢。本次發(fā)布的大模型為新一代人工智能發(fā)展提供了非Transformer架構的新技術路線,并將啟迪更低功耗的下一代神經(jīng)形態(tài)計算理論和芯片設計。
(總臺央視記者 帥俊全 褚爾嘉)
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關注數(shù)據(jù)與安全,洞悉企業(yè)級服務市場:https://www.ijiandao.com/

隨時掌握互聯(lián)網(wǎng)精彩
- 1 看總書記關心的清潔能源這樣發(fā)電 7904660
- 2 今年最強臺風來襲 7809288
- 3 澳加英宣布承認巴勒斯坦國 7713203
- 4 長春航空展這些“首次”不要錯過 7617258
- 5 43歲二胎媽媽患阿爾茨海默病 7523513
- 6 iPhone 17橙色斜挎掛繩賣斷貨 7424229
- 7 女兒發(fā)現(xiàn)父親500多萬遺產(chǎn)用于保健 7333364
- 8 英國航母從南?!傲锪恕?/a> 7237252
- 9 中國消失的森林正“全盤復活” 7139593
- 10 三所“零近視”小學帶來的啟示 7040964