Token經(jīng)濟(jì)學(xué)之下,AI基礎(chǔ)設(shè)施行業(yè)正在進(jìn)入一個(gè)更務(wù)實(shí)的階段。
過去兩年,智算中心最常見的敘事是GPU數(shù)量、峰值算力、集群規(guī)模和機(jī)柜交付速度。但企業(yè)真正把大模型接進(jìn)業(yè)務(wù)系統(tǒng)之后,更需要關(guān)注的是“同樣一筆預(yù)算,能產(chǎn)出多少有效Token,推理能不能穩(wěn)定,成本能不能算清”等問題。
(資料圖)
21世紀(jì)經(jīng)濟(jì)報(bào)道記者從聯(lián)想中國方面了解到,業(yè)內(nèi)判斷,算力基礎(chǔ)設(shè)施的價(jià)值正在從最基礎(chǔ)的“提供資源”,轉(zhuǎn)向“支撐企業(yè)持續(xù)、穩(wěn)定、低成本地產(chǎn)生Token”,這背后涉及非常復(fù)雜的系統(tǒng)化工程,業(yè)界正在探索解決方案。
智算中心從“賣P”轉(zhuǎn)向“算Token”
這一判斷指向智算中心建設(shè)的現(xiàn)實(shí)分水嶺。
2023年以來,各地智算中心加速建設(shè),GPU、服務(wù)器、機(jī)柜成為投資重點(diǎn)。但AI進(jìn)入推理和應(yīng)用階段后,客戶要買的不是一堆靜態(tài)設(shè)備,而是持續(xù)可調(diào)用的智能服務(wù)。
算力中心如果只完成硬件堆疊,缺少調(diào)度、模型適配、緩存管理、容錯(cuò)、安全和成本核算,就可能變成“能跑模型,但跑不出經(jīng)濟(jì)性”的基礎(chǔ)設(shè)施。
由聯(lián)想中國基礎(chǔ)設(shè)施業(yè)務(wù)群戰(zhàn)略總監(jiān)黃山等主創(chuàng)撰寫的《詞元工廠》一書提出,企業(yè)AI應(yīng)被看作一種可管理、可度量、可盈利的生產(chǎn)實(shí)體。書中強(qiáng)調(diào),建設(shè)Token工廠除了采購算力(Petaflops)以外,還要覆蓋數(shù)據(jù)治理、算力系統(tǒng)、軟件棧優(yōu)化、能耗管理、安全合規(guī)和ROI核算。
這套說法尚未成為行業(yè)統(tǒng)一標(biāo)準(zhǔn),但它回應(yīng)了企業(yè)AI落地中的真實(shí)問題。許多企業(yè)已經(jīng)完成模型接入或局部試點(diǎn),但一旦進(jìn)入生產(chǎn)系統(tǒng),瓶頸往往不只在于模型能力,還在于數(shù)據(jù)、調(diào)度、緩存、容錯(cuò)、安全、能耗、運(yùn)維等能力。
黃山在采訪中進(jìn)一步分析了Token工廠要補(bǔ)的短板。他提到,Token工廠需要完善數(shù)據(jù)治理、計(jì)算系統(tǒng)、能效管理、安全合規(guī)和運(yùn)維管理等環(huán)節(jié)。
據(jù)黃山介紹,聯(lián)想的萬全異構(gòu)智算平臺(tái)V5.0和超節(jié)點(diǎn)方案的目的就在于此。
萬全異構(gòu)智算平臺(tái)V5.0強(qiáng)調(diào)分層解耦、PD分離、KV Cache共享緩存優(yōu)化、芯模編譯優(yōu)化等能力,目標(biāo)是提升訓(xùn)練和推理效率。超節(jié)點(diǎn)方案則面向大規(guī)模模型訓(xùn)練與推理,單節(jié)點(diǎn)可搭載40張GPU,F(xiàn)P8算力超過28 PFLOPS,HBM顯存超過5.76TB,并強(qiáng)調(diào)低時(shí)延互聯(lián)和部署效率。
“萬全異構(gòu)智算平臺(tái)希望把每百萬Token的硬件成本控制在一塊錢以內(nèi)?!秉S山表示,AI基礎(chǔ)設(shè)施的競爭已經(jīng)變成了軟硬件、網(wǎng)絡(luò)、供電、散熱、調(diào)度和運(yùn)維的系統(tǒng)效率競爭。
AI打亂硬件節(jié)奏,服務(wù)器廠商進(jìn)入“敏態(tài)規(guī)劃”
AI也在改變服務(wù)器廠商的產(chǎn)品規(guī)劃方式。
聯(lián)想中國基礎(chǔ)設(shè)施業(yè)務(wù)群服務(wù)器事業(yè)部總經(jīng)理周韜在采訪中透露,聯(lián)想問天早期做產(chǎn)品規(guī)劃時(shí),服務(wù)器市場主要圍繞通用計(jì)算和HPC,產(chǎn)品路線更多跟隨CPU路線圖。CPU廠商通常會(huì)給出三年、五年的清晰路線,服務(wù)器廠商可以按照相對(duì)穩(wěn)定的節(jié)奏規(guī)劃產(chǎn)品。
AI興起后,變量開始增多。周韜說,不確定性主要不在CPU,而在GPU和應(yīng)用層,“有的GPU更新迭代特別快,你還沒有來得及把這個(gè)產(chǎn)品上市,它可能已經(jīng)過時(shí)了”。模型、一體機(jī)、智能體應(yīng)用持續(xù)切換,傳統(tǒng)服務(wù)器產(chǎn)品的長周期研發(fā)方式開始不適應(yīng)市場節(jié)奏。
為了應(yīng)對(duì)這種變化,聯(lián)想的辦法可以給行業(yè)一些參考。
據(jù)周韜介紹,聯(lián)想提出了“敏態(tài)”產(chǎn)品規(guī)劃。傳統(tǒng)服務(wù)器量產(chǎn)前需要適配大量CPU、內(nèi)存、SSD、硬盤等配置組合,測(cè)試驗(yàn)證周期很長。但AI服務(wù)器客戶的配置反而更集中,廠商可以先圍繞更可能放量的配置做樣機(jī),送客戶測(cè)試;客戶確認(rèn)需求后,再轉(zhuǎn)入量產(chǎn)。
周韜稱,這種方式可以把原來18個(gè)月甚至更長的規(guī)劃驗(yàn)證周期壓縮到幾個(gè)月,也讓研發(fā)投入從一年兩三個(gè)產(chǎn)品,擴(kuò)展到一年10個(gè)、15個(gè)產(chǎn)品,其中只要有三四個(gè)成功就可以接受。
這背后是AI基礎(chǔ)設(shè)施產(chǎn)業(yè)節(jié)奏的變化。模型和應(yīng)用更新太快,硬件廠商很難再用傳統(tǒng)服務(wù)器時(shí)代的長周期方式押注未來。服務(wù)器廠商不僅要比供應(yīng)鏈和交付能力,也要判斷哪些GPU、哪些模型、哪些客戶場景會(huì)形成真實(shí)需求,并用更低成本完成快速試錯(cuò)。
超節(jié)點(diǎn)也體現(xiàn)了這種變化。周韜提到,未來CPU和GPU組合會(huì)越來越多,CPU有x86、C86、ARM等路線,GPU廠商也很多,因此聯(lián)想嘗試做CPU、GPU分離,讓二者能夠更自由地組合。
他還提到800伏垂直供電、高速互聯(lián)、PCIe Gen6、光互聯(lián)、整機(jī)柜浸沒式等技術(shù)方向,并判斷超節(jié)點(diǎn)不像普通AI服務(wù)器那樣適合廣泛客戶,未來核心用戶大概率會(huì)集中在少數(shù)頭部客戶。
對(duì)多數(shù)傳統(tǒng)企業(yè)而言,更現(xiàn)實(shí)的問題不是自建萬卡集群,而是如何以較低門檻獲得穩(wěn)定推理、模型路由、Agent編排、安全合規(guī)和成本核算能力。
能源約束也正在推高AI基礎(chǔ)設(shè)施的工程門檻。算力擴(kuò)張不只是IT部門預(yù)算問題,還會(huì)觸及供電、散熱、能源調(diào)度和數(shù)據(jù)中心承載能力。周韜在采訪中表示,部分OEM形態(tài)GPU單卡功耗已經(jīng)超過八九百瓦,“奔著一千瓦去了”,未來新一代產(chǎn)品基本都要做液冷。
液冷背后還涉及制造和交付。周韜透露,整機(jī)柜液冷測(cè)試交付需要超過3噸的承重能力,整機(jī)柜耗電達(dá)到兆瓦級(jí),如果工廠供電達(dá)不到十兆瓦,幾乎無法做整機(jī)柜液冷或超節(jié)點(diǎn)生產(chǎn);液冷接頭精密,生產(chǎn)環(huán)境也要做潔凈度改造。這些細(xì)節(jié)說明,AI基礎(chǔ)設(shè)施競爭也延伸到了工廠改造、供電能力、生產(chǎn)潔凈度和工程交付等更深的層面。
AI進(jìn)入產(chǎn)業(yè)場景后,最貴的是“確定性”,這是一項(xiàng)把不確定的模型、應(yīng)用、能耗和安全問題,轉(zhuǎn)化為可度量、可交付、可持續(xù)優(yōu)化的系統(tǒng)化工程。
營業(yè)執(zhí)照公示信息