
曝DeepSeek跳出英偉達(dá)限制繞過CUDA 為適配中國國產(chǎn)GPU做準(zhǔn)備
聲明:該文章來自(快科技)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。
DeepSeek全球爆火,再一次引發(fā)外界對GPU算力限制話題的關(guān)注。
據(jù)報道,DeepSeek開發(fā)的大語言模型繞過了英偉達(dá)的CUDA框架,正為未來兼容國產(chǎn)GPU芯片做準(zhǔn)備。
眾所周知,英偉達(dá)的CUDA(Compute Unified Device Architecture,統(tǒng)一運算架構(gòu))能大幅降低研發(fā)大模型的難度,獲全球開發(fā)商使用,一舉將英偉達(dá)推上AI芯片領(lǐng)域的壟斷地位。
但最新發(fā)現(xiàn)顯示,DeepSeek使用英偉達(dá)的H800芯片訓(xùn)練時,使用英偉達(dá)底層硬件指令PTX(Parallel Thread Execution)語言,而非高級編程語言CUDA。
這樣意味著DeepSeek繞過了CUDA,使用更底層的編程語言做優(yōu)化。
對于程序開發(fā)人員來說,CUDA是一種更加友好的高級語言,開發(fā)者只需要專注于程序和算法最相關(guān)的運行邏輯,而不太需要考慮具體的程序是如何在GPU等硬件上具體如何執(zhí)行計算的,從而能夠降低開發(fā)難度。
而PTX在接近匯編語言的層級運行,允許進(jìn)行細(xì)粒度的優(yōu)化,如寄存器分配和Thread / Warp級別的調(diào)整。這種編程非常復(fù)雜且難以維護(hù),所以行業(yè)通用的做法是使用CUDA這樣的高級編程語言。
換句話說,DeepSeek把優(yōu)化做到了極致。
北京航空航天大學(xué)副教授黃雷表示,繞過CUDA可以直接根據(jù)GPU的驅(qū)動函數(shù)做一些新的開發(fā),從而實現(xiàn)更加細(xì)粒度的操作。
這也說明DeepSeek擁有一些擅長寫PTX語言的內(nèi)部開發(fā)者。假如它之后使用國產(chǎn)GPU,其在硬件適配方面將會更得心應(yīng)手,其只要了解這些硬件驅(qū)動提供的一些基本函數(shù)接口,就可以仿照英偉達(dá)GPU硬件的編程接口去寫相關(guān)的代碼,從而讓自家大模型更加容易適配國產(chǎn)硬件。
“這凸顯了DeepSeek非凡的工程水平,并表明美國對華制裁加劇的“GPU短缺危機(jī)”激發(fā)了他們緊迫感和創(chuàng)造力?!表n國Mirae Asset Securities Research的一名分析師表示。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/
- 1 像石榴籽一樣緊緊抱在一起 7904256
- 2 殲-35完成在福建艦上彈射起飛 7809675
- 3 深圳:建議準(zhǔn)備至少3天的應(yīng)急物資 7713223
- 4 唱著民歌迎豐收 7619347
- 5 日本“蘋果病”流行達(dá)歷史頂點 7521128
- 6 孩子的數(shù)學(xué)邏輯比運算結(jié)果重要 7424556
- 7 背簍老人等公交被拒載 司機(jī)被開除 7327798
- 8 榴蓮降至15元一斤 7237089
- 9 美團(tuán)回應(yīng)外賣功能癱瘓 7136268
- 10 港珠澳大橋主橋?qū)⒎忾] 7041429