“所有與英偉達相關的AI服務器都在漲價?!庇衅髽I(yè)最近向媒體透露,“去年8萬元一臺的AI服務器,今年已經漲到160萬元,漲了近20倍?!?/p>
ChatGPT大火后,各大科技企業(yè)紛紛發(fā)力AI大模型,作為通用的算力芯片,英偉達的高端GPU開始供不應求。A100價格從去年年底開始暴漲,至今漲幅接近40%,連上一代V100的價格也被炒到近10萬元,中國特供版A800更是相當緊缺。
AI服務器的漲價很大程度上與這波行情有關,作為算力的基礎設施,無論是訓練,還是模型推理,AI服務器都是必需品,且往往需要的不止是一臺兩臺。那么AI服務器是什么?跟一般服務器有什么區(qū)別?英偉達的GPU,為何讓AI服務器大漲特漲?除了GPU,AI服務器里還用到哪些芯片?哪些芯片能夠跟著受益?
什么是服務器?如何分辨AI服務器?
AI服務器由傳統(tǒng)服務器演變而來。服務器,幾乎是辦公室打工人手里電腦的翻版,它屬于高性能計算機,存儲、處理著網絡上80%的數據、信息,被稱為網絡的靈魂。
如果微機、筆記本、手機等網絡終端是分布在家庭、辦公場所 、公共場所的電話機,那么服務器就是郵局的交換機,把網友們共享的網絡游戲、網站,企業(yè)的數據等存放其中,又可分為文件服務器、云計算服務器、數據庫服務器等。
相比電腦,服務器在穩(wěn)定性、安全性、性能等方面都要求更高,毫不夸張地說,每年雙十一若不是有足夠牛X的服務器,購物狂歡節(jié)會變成“網絡錯誤”或“請稍后再試”的刷屏節(jié)。
畢竟短短一兩分鐘內,就要處理剁手黨們發(fā)送給電商服務器的上千億交易訂單,再發(fā)送給用戶進行響應,數據流量到達巔峰(2018年,天貓雙11支付峰值為25.6萬筆/秒,數據庫處理峰值為4200萬次/秒),每年對服務器的性能都是一次大考。
這操作放在1964年誕生的第一代服務器System/360身上大概是無法想象的,那時無論網絡還是分布式計算都沒誕生,當年IBM推出它的時候,還是在協(xié)助美國太空總署建立阿波羅11號的數據庫,助力人類登月。它每秒可計算100萬次,價格高達200-300萬美元一臺,體積龐大,很多銀行采購這樣的IBM大型機開展業(yè)務。
很快在1965年,服務器的價格被打了下來,這年DEC公司開發(fā)了PDP-8小型機,掀起了小型機革命。90年代初,互聯(lián)網興起,RISC架構的服務器如日中天,英特爾x86架構的服務器讓很多小企業(yè)甚至是個人用戶都能買得起,不到20年的時間,英特爾迅速統(tǒng)治了各類計算機市場。
在AI服務器之前,服務器大致經歷了Wintel時代、云計算時代兩個時代的演變,隨著新一代人工智能技術的到來,摩爾定律的“到頭”,CPU的物理工藝和核心數接近極限,單靠CPU提供算力的傳統(tǒng)服務器,很難滿足AI對密集型計算的需求。
機器學習和人工智能代表了一個基本的新架構,人工智能需要專屬的基礎結構進行承載和支撐,AI服務器從此應運而生。
谷歌、BAT等企業(yè)面對海量的數據,打造一座數據中心時,通常都要配備成千上萬臺服務器。以用到A100的ChatGPT為例,其部署的大算力計算,每個GPU或大算力AI芯片的算力大于100TFLOPS。這時就要給服務器們上更高的配置,強強聯(lián)手,搭載GPU或者其他類型的AI芯片,比如GPU就非常擅長做一些CPU做不了的密集型數據運算。
AI服務器和普通服務器最大的區(qū)別,就是AI服務器通常打組合拳,比如CPU+GPU、CPU+TPU、CPU+其他的加速卡等,CPU在AI服務器中,徹底卸下了算力的包袱,當當領導指揮下就行。
一臺AI服務器漲價近20倍,憑啥?
一臺AI服務器的價格,從去年到現(xiàn)在漲了近20倍。而一臺普通服務器,都換不到AI服務器里的8個GPU,價格上相形見絀。大家都在數據中心里躺著,憑什么AI服務器這么金貴,價格瘋漲?
在AI服務器中,CPU退居幕后,GPU等AI芯片在其中充當主角做大量運算,算力無止境,事實上,AI服務器通常有且不僅只有一塊GPU。
雖然FPGA、各類ASIC芯片也可以做大量運算,但GPU強大的通用性使得它更吃香。IDC數據顯示,2021年上半年中國人工智能芯片行業(yè)中,GPU顯著成為實現(xiàn)數據中心加速的首選,占有90%以上的市場份額。
CPU方面,AI服務器一般僅搭載1-2塊CPU,GPU的數量就占上風了,根據GPU數量的不同,AI服務器進一步分為四路、八路和十六路服務器,搭載8塊GPU的八路AI服務器最常見。
AI大模型分為訓練和推理兩種,訓練模型要求的算力很高,推理相對要求低一點,但大模型總有一天會訓練出來,推理卻永無止境,比如ChatGPT與我們對話就是推理的過程,從算力總需求上來看,推理可能甚至要高過訓練。
算力的高低最直觀的影響就是速度,誰也不想訓練一個模型要耗上個把年,等AI回答個問題,等到人老珠黃。在這個內卷的時代,誰快,誰就有飯吃。
有研究機構測算,以GPT-4為例,為滿足最高 75352 PFlop/s-day的算力,在5 PFlop/s-day的計算速度下,20天完成,需要采購754臺浪潮NF5688M6服務器(2 CPU + 8 GPU),縮短至15天,就要1005臺,縮短至5天完成,就要多達3015臺!
浪潮NF5688M6搭載了兩顆intel ice lake處理器,8顆英偉達A800GPU,京東售價約105萬,按照CPU約5.3萬/顆,GPU約10.4萬元/顆計算,CPU和GPU的價值量占比為10.10%和79.24%。
說白了,玩家為了大模型的運算效率,得加錢,氪金充值。
放在整機上,GPU的成本還是遙遙領先,無人能敵。普通服務器和AI服務器的BOM表顯示,AI服務器單機平均售價(ASP)比普通服務器要高出5倍,AI服務器對AI芯片如英偉達的A100需求大,而普通服務器甚至都不需要用到專業(yè)的AI芯片。
普通服務器最貴的CPU,單機ASP 14400美元,不到AI服務器中GPU 96000美元的四分之一,而普通服務器40000美元的單機總成本ASP,也不及AI服務器GPU這一項成本的一半。講個笑話,一臺普通服務器,都換不到八路AI服務器里的8個英偉達A100。
這就是AI服務器容易價格瘋漲的原因,背后成本占比高,單價昂貴的英偉達A100等GPU幾乎成了決定性因素。
來源:中金點睛
挖礦潮過去后,英偉達顯然嗅到了生成式AI熱潮的銅臭味。有業(yè)內人士表態(tài),早在去年6月開始,英偉達就已經宣布上調A100價格,漲幅在20%左右,由于美國禁令,英偉達特供中國的A800版本在ChatGPT爆火之前已經出現(xiàn)了漲價,導致市場上出現(xiàn)了眾多炒貨行為。
雖然國內有華為、百度、阿里等自研的AI芯片,也有部分服務器廠商使用這些芯片,但整個AI服務器市場,英偉達還是獨占鰲頭的那個,所以英偉達就成了AI服務器這條漲價線的源頭。
ChatGPT的大火,導致英偉達高端GPU價格一路上漲。有代理商透露,英偉達A100價格從去年12月開始上漲,截至今年4月上半月,5個月價格累計漲幅達到37.5%;同期A800價格累計漲幅達20.0%。
GPU的持續(xù)缺貨,進一步影響AI服務器廠商的出貨,連帶著下游云服務廠商,AI企業(yè)都要受到影響。今年以來,AI服務器價格大漲的消息不絕于耳。
英偉達也向臺積電追加訂單,但GPU需要的先進制程產能畢竟有限,因此交貨周期還是沒有幸免拉長,之前拿貨周期大約為一個月,現(xiàn)在基本都需要三個月或更長。甚至,部分新訂單“可能要到12月才能交付”。
一些云服務廠商開始縮衣減食,嚴格限制內部對GPU的使用量。有廠商表示,“后悔買少了。”頗有種汽車缺芯時那種差之一“芯”,失之萬臺的感覺。
AI服務器還帶動了哪些芯片需求?
無論GPU如何帶動AI服務器漲價,本質上是AI市場需求的體現(xiàn),就像前兩年汽車缺芯一樣。這種需求的出現(xiàn)往往伴隨的不只是一種芯片的激增。
中金測算,AI服務器核心組件按價值量由高到低依次為GPU、DRAM、SSD、CPU、網卡、PCB、高速互聯(lián)芯片和散熱模組等,按7.5萬臺訓練型和17.5萬臺推理型服務器測算,對應市場規(guī)模分別為240億美元、88億美元、48億美元、34億美元、5億美元、3億美元、2.5億美元和1.5億美元。
圖來源:中金點睛
而除了GPU、存儲這兩個價值量提升比較大的芯片外,接口、網卡、散熱、PCB等的價值量都有提升。相較普通雙路服務器,AI服務器核心器件單機價值量提升倍數由高到低依次為GPU(24x)、DRAM(5.3x)、板內互聯(lián)接口芯片(3.3x)、電源管理(3x)、散熱(3x)、PCB(2.4x)、網卡(2.2x)和SSD(2x)。
排在GPU之后,存儲芯片,貌似第一個活過來了。
存儲芯片(成本占比近30%)
據Open AI測算,2012年以來全球頭部AI模型訓練算力需求3-4個月翻一番,每年頭部訓練模型所需算力增長幅度高達10倍,遠超摩爾定律的增長速度,GPT-3相較GPT-2在數據存儲端從百G提升至40T,在存儲量上有約100倍的提升。
數據中心成為存儲增長的重要引擎。TrendForce 最近將32GB DDR5 DRAM的Q2平均固定交易價格預估值從75美元調升至80-90美元。分析師指出,應用于AI服務器的128GB DDR5比64GB DDR4貴上10倍,訂單仍持續(xù)涌進。
美光的數據顯示,一臺AI服務器DRAM使用量是普通服務器的8倍,NAND是普通服務器的3倍。此外,HBM(高帶寬內存)也逐步提高在中高端GPU中的滲透率,自2021年以來在數據中心應用中快速增長,2023年2月以來,HBM3規(guī)格DRAM價格上漲。TrendForce預測,2023-2025年HBM市場CAGR有望成長至40%-46%以上。
根據美光測算,數據中心整體存儲需求約占存儲總市場的31%,2021年數據中心DRAM和NAND分別約300億美元和200億美元,預計到2025年分別增長至500億美元和300億美元,預計到2030年分別增長至1000億美元和700億美元,2021年~2025年合計CAGR為14%。隨著數據量的大規(guī)模增長,存儲設備在數據中心采購的BOM中占比進一步提升,美光曾提及,目前存儲芯片在數據中心采購中比例約為40%,未來預計將提升至50%。
CPU(成本占比7%)
x86、ARM、RISC-V是CPU的三大技術架構,在服務器市場,x86處理器市占率超90%處于主導地位,而英特爾是CPU市場,特別是服務器領域是絕對的領導者。
Mercury Research最新公布的統(tǒng)計數據顯示,2023年第一季度,英特爾繼續(xù)在臺式 PC、移動和數據中心CPU市場占據主導地位,在整個X86數據中心市場,英特爾市場份額為74.2%,AMD市場份額為25.8%。
服務器用的CPU從制程工藝上而言可能都落后于個人電腦用的一代,但售價往往是其10倍以上。但兩者邏輯不同,服務器講究后臺運算,它看重功耗和穩(wěn)定性,以此通過更多的核心數,更大的緩存來提高算力,而個人電腦強調影音娛樂體驗,頻率要求高。
接口芯片(3.3倍的價值量提升)
PCIe 開關或 PCIe 交換機,主要作用是實現(xiàn) PCIe 設備互聯(lián),PCIe Switch 芯片與其設備的通信協(xié)議都是 PCIe。根據 QYResearch(恒州博智)的統(tǒng)計及預測,2021 年全球 PCIe 芯片市場銷售額達到了 7.9 億美元,預計 2028 年將達到 18 億美元,年復合增長率(CAGR)為 11.9%。博通、微芯科技和祥碩科技為領域龍頭。目前全球僅少數幾家公司具備 PCIe Switch 芯片技術,核心廠商主要包括博通、微芯科技和祥碩科技三家,共占有全球約 58%的份額。
數模信號混合芯片,Retimer,功能主要為重新生成信號。在 AI 服務器中,GPU 與 CPU 連接時至少需要一顆 Retimer 芯片來保證信號質量。很多 AI 服務器都會配置多顆 Retimer 芯片,例如 Astera Labs在 AI 加速器中配置了 4 顆 Retimer 芯片。目前譜瑞、Astera labs、瀾起科技是 PCIe Retimer 藍海市場中的三家主要廠商,占據領先地位。
高速串行接口芯片,針對 AI 服務器中 PCIe 帶寬限制對于 GPU 間通信帶來的阻礙,以 NVIDIA NVLink 為代表的高速接口芯片應運而生。全球各大芯片廠商均在關注高速接口的相關技術,除了NVIDIA的 NVLink 之外,AMD 的 Infinity Fabric 和 Intel 的 CXL(Compute Express Link)等也為服務器內部的高速串聯(lián)提供了解決方案。
來源:方正證券
內存接口芯片,按功能分為兩類,分別是寄存緩沖器(RCD)以及數據緩沖器(DB)。內存接口芯片是技術密集型行業(yè),需要通過 CPU、內存和 OEM 廠商的全方位嚴格驗證后,方可進行大規(guī)模使用,新的玩家很難介入。在 DDR5 世代,全球只有三家供應商可提供 DDR5 第一子代的量產產品,分別是瀾起科技、瑞薩電子(IDT)和 Rambus。
電源模塊相關芯片(PMIC芯片,3倍的價值量提升)
服務器內部主要使用模塊化的開關電源,具有體積小、功率密度高、轉換效率高和噪聲低等優(yōu)勢。中金預計全球服務器電源模塊的市場規(guī)模約150億元。全球主流電源廠商包括臺達電子、艾默生和光寶科技等,國內中國長城規(guī)模領先。截至目前,我國模塊電源商有上百家,格局分散,CR10小于60%。