
DeepSeek一體機(jī)密集發(fā)布!私有化部署需求激增 云廠商:已接到大量用戶咨詢
《科創(chuàng)板日報》2月12日訊(記者 黃心怡)DeepSeek掀起的算力熱潮還在持續(xù)。中國電信昨日宣布推出了息壤智算一體機(jī)-DeepSeek版,在硬件層面以華為昇騰芯片為基礎(chǔ),提供8卡、16卡、32卡等多種規(guī)格型號。此前,京東云也發(fā)布DeepSeek大模型一體機(jī),支持華為昇騰、海光、寒武紀(jì)、摩爾線程、天數(shù)智芯等國產(chǎn)AI加速芯片?!犊苿?chuàng)板日報》了解到,華鯤振宇也推出了DeepSeek大模型一體機(jī)方案。
《科創(chuàng)板日報》在采訪中獲悉,目前DeepSeek大模型一體機(jī)分為推理一體機(jī)和訓(xùn)推一體機(jī)。DeepSeek推理一體機(jī)內(nèi)置DeepSeek-R1 32B、70B、滿血版671B等不同尺寸模型,價格在幾十萬到數(shù)百萬不等,主要面向?qū)?shù)據(jù)安全、數(shù)據(jù)隱私較為敏感的企業(yè)用戶。而訓(xùn)推一體機(jī)的售價更高,用于DeepSeek-R1 32B模型的預(yù)訓(xùn)練和微調(diào)的一體機(jī)價格就達(dá)到數(shù)百萬。
有云技術(shù)人士認(rèn)為,大模型一體機(jī)能否產(chǎn)生經(jīng)濟(jì)價值是關(guān)鍵?!按竽P鸵惑w機(jī)主要是本地化部署,解決的是數(shù)據(jù)隱私問題。之前大模型一體機(jī)的經(jīng)濟(jì)價值不高,高投入影響了其落地,未來還是需要應(yīng)用能有更大的發(fā)展。”
▍DeepSeek模型私有化部署需求激增
“服務(wù)器繁忙,請稍后再試?!边@是近期DeepSeek用戶經(jīng)歷的日常,需求井噴讓DeepSeek始終處于滿負(fù)荷算力運(yùn)行狀態(tài)。
《科創(chuàng)板日報》記者在采訪中了解到,由于直接API調(diào)用的不穩(wěn)定,很多企業(yè)已經(jīng)開始探索較為簡易的私有化部署,甚至利用幾張英偉達(dá)4090顯卡來嘗試部署DeepSeek-R1 32B到70B的模型。
“我們一開始安裝了70B 的模型,但是1張4090 24G顯卡跑不動,后來重新裝了32B的大模型。”有企業(yè)信息化部門的人士表示。
“我們也通過英偉達(dá)顯卡部署了DeepSeek模型,把業(yè)務(wù)跑起來了。但100人左右并發(fā)速度明顯降低,用于內(nèi)部知識庫沒問題,如果是其他應(yīng)用還是需要專業(yè)一體機(jī)?!绷硪晃籌T人士表示。
記者從多名云計(jì)算廠商相關(guān)人士處獲悉,在DeepSeek爆火后,不少云廠商接到了大量的用戶咨詢?!捌髽I(yè)用戶會現(xiàn)在公有云上進(jìn)行測試,與需求是否適配,再考慮私有云部署、一體機(jī)等形式?!?一家運(yùn)營商云的銷售人員向記者介紹。
優(yōu)刻得相關(guān)負(fù)責(zé)人表示,DeepSeek開源模型適配完成并上線后,云上訪問量和用量激增。除卻GPU云主機(jī)外,配套的其他產(chǎn)品也有相應(yīng)的增長,比如并行文件存儲UPFS、UModelVerse模型服務(wù)平臺、微調(diào)服務(wù)平臺等。還陸續(xù)受理到基于DeepSeek開源模型私有化部署的需求,比如一體機(jī)化、專有云化、全面國產(chǎn)化等場景。
▍數(shù)百萬投資成本是一道坎
選擇私有化部署的企業(yè),往往對于數(shù)據(jù)安全有較高的要求,但大模型一體機(jī)的硬件投入動輒百萬級別,這對于不少企業(yè)是一道門檻。
目前,中國電信息壤智算一體機(jī)-DeepSeek版分為訓(xùn)推一體機(jī)和推理一體機(jī)兩大類型,有入門型、通用性、增強(qiáng)型不同配置,售價在幾十萬到數(shù)百萬不等,最高滿血版推理一體機(jī)優(yōu)惠價近600萬元,訓(xùn)推一體機(jī)則更高?!犊苿?chuàng)板日報》從知情人士處獲悉,京東云的DeepSeek大模型一體機(jī)的售價也在幾十萬到幾百萬不等。
“我們肯定是用私有化部署,安全第一。不過目前大模型一體機(jī)的投入產(chǎn)出性價比不高,之前也是曾經(jīng)嘗試過,因投入產(chǎn)出的暫緩執(zhí)行了?!币幻笮推髽I(yè)信息化負(fù)責(zé)人表示。
不少IT業(yè)內(nèi)人士認(rèn)為,DeepSeek大模型最大的優(yōu)勢在于開源與低成本,通過國產(chǎn)芯片算力,實(shí)現(xiàn)AI大模型的應(yīng)用,可以讓中國在更多領(lǐng)域、更多行業(yè)快速落地AI應(yīng)用,但仍需要應(yīng)用能有更大發(fā)展,才能讓市場發(fā)展起來?!?strong>決定AI在企業(yè)中應(yīng)用深度和廣度的并不是模型價格,而是如何將內(nèi)部知識加載進(jìn)去在應(yīng)用層面廣泛接入的問題。大模型一體機(jī)主要是本地化部署,解決數(shù)據(jù)隱私問題。而大模型要先有應(yīng)用價值。之前大模型一體機(jī)的落地,就遇到經(jīng)濟(jì)價值不夠高的問題。”
談及未來大模型一體的市場空間,一名運(yùn)營商云相關(guān)負(fù)責(zé)人告訴《科創(chuàng)板日報》記者,如果是在醫(yī)療、教育等領(lǐng)域的工程化類的項(xiàng)目,智慧醫(yī)療、智慧教育、智慧農(nóng)業(yè),未來可能會把一體機(jī)部署在客戶現(xiàn)場,接入相關(guān)行業(yè)場景的知識庫。然后訓(xùn)練出與應(yīng)用場景密切結(jié)合的AI模型,同時集成到應(yīng)用環(huán)境當(dāng)中,給B端的企業(yè)提供服務(wù)?!?/p>
▍國產(chǎn)算力能否支撐DeepSeek滿血版大模型部署?
《科創(chuàng)板日報》注意到,DeepSeek大模型一體化方案不少采用了國產(chǎn)算力芯片。
中國電信息壤智算一體機(jī)-DeepSeek版,在硬件層面以華為昇騰芯片為基礎(chǔ),提供8卡、16卡、32卡等多種規(guī)格型號。聯(lián)想集團(tuán)與沐曦聯(lián)合發(fā)布基于DeepSeek大模型的一體機(jī)解決方案,以“聯(lián)想服務(wù)器/工作站+沐曦訓(xùn)推一體GPU+自主算法”為核心架構(gòu)。
京東云的DeepSeek大模型一體機(jī),支持華為昇騰、海光、寒武紀(jì)、摩爾線程、天數(shù)智芯等國產(chǎn)AI加速芯片。
優(yōu)刻得相關(guān)負(fù)責(zé)人對《科創(chuàng)板日報》表示,已同多家國產(chǎn)芯片廠商完成了對DeepSeek滿血版和蒸餾版開源模型的適配工作。“從測試用戶結(jié)果來看,現(xiàn)在可以用起來了。后續(xù)優(yōu)刻得也會繼續(xù)同國產(chǎn)芯片公司合作,在能用的基礎(chǔ)上要進(jìn)行優(yōu)化達(dá)到好用,通過使用量的擴(kuò)大降低成本,實(shí)現(xiàn)便宜用,提升全國產(chǎn)的體驗(yàn)?!?/p>
該負(fù)責(zé)人也指出,由于DeepSeek開源并不久,故根據(jù)市場的使用慣性來看,英偉達(dá)的GPU卡仍為當(dāng)前中大型AI公司的使用主流卡型?!昂罄m(xù)我們也會繼續(xù)同各類企業(yè)對接,提供滿足市場需要的各類AI資源?!?/p>
一名AI基礎(chǔ)設(shè)施業(yè)內(nèi)人士告訴記者,主流國產(chǎn)芯片已基本實(shí)現(xiàn)對 DeepSeek 蒸餾版小模型的兼容支持,不過滿血版V3和R1擁有6710億參數(shù),這使得它們對硬件的要求大幅提升,需在推理的解碼部分部署320個 GPU,以實(shí)現(xiàn)完全的專家并行。
“各家芯片企業(yè)都會開展DeepSeek滿血版的適配,但是否真正能夠在幾百張卡上跑起來,并達(dá)到比較好的token速率和性價比,這是關(guān)鍵。后續(xù)各家芯片的比拼就要高下見分曉了?!?/p>
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/

隨時掌握互聯(lián)網(wǎng)精彩
- 1 看總書記關(guān)心的清潔能源這樣發(fā)電 7904050
- 2 央視起底柯克之死 7808344
- 3 中產(chǎn)運(yùn)動三件套又換了 7712443
- 4 長春航空展這些“首次”不要錯過 7616681
- 5 持槍空降兵在孩子前一動不敢動 7521721
- 6 浙江大學(xué)教授被留置 持股市值31億 7427289
- 7 內(nèi)蒙古一地集中采集男性居民血樣 7334220
- 8 租客長租15年不到1年就被勸退 7237693
- 9 安踏市值蒸發(fā)125億港元 7137009
- 10 特朗普兒子模仿爸爸引哄堂大笑 7043451