• 正文
    • 英偉達,如何成為英偉達?
    • OpenAI造芯,到底是誰瘋了?
    • GPT7和暗硅效應
    • AI的黃金時代
  • 推薦器件
  • 相關推薦
申請入駐 產業(yè)圖譜

萬億造芯?OpenAI能否成為下一個英偉達?

2024/04/02
1482
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

從2023年底開始,英偉達開啟了暴漲模式,三個月翻了快一倍,女神節(jié)那天最高漲到926.69美元,總市值達到2.32萬億美元,僅次于微軟和蘋果,成為全球市值第三大的公司,而且只離蘋果一步之遙。單從數(shù)字來看,英偉達的2.32萬億市值已經超過地球上絕大多數(shù)國家的GDP,僅次于美中德日印英法,排名第八。

眼看英偉達富可敵國、遙遙領先,買了英偉達股票的人在財富暴漲的同時、期待著英偉達股價超過1000美元;沒買英偉達的人一邊說著泡沫太大,一邊祈禱這趟飛馳的列車什么時候能停一停讓他們上車。而整個科技圈和全球投資者都在尋找,看誰會成為下一個英偉達。

從傳統(tǒng)的芯片巨頭,到初創(chuàng)公司,再到互聯(lián)網大廠和人工智能公司,算力已經成了人工智能時代最重要的鏟子。誰能掌握鏟子的銷售權,誰就拿到了通往萬億市值的鑰匙。

今天要討論的這家公司,和芯片沒毛線關系。但在人工智能領域,它已經是像英偉達那樣遙遙領先的存在了。更有意思的是,它是算力這把鏟子的最大買家,或許也是英偉達最大的金主爸爸。

是的,這家公司就是OpenAI。OpenAI這個濃眉大眼的家伙,也要自己造芯片了,而且一出手就是七萬億美元。不僅要造芯,如今又傳出OpenAI要和微軟共建一個地表最強的AI數(shù)據(jù)中心,代號「星際之門」,耗資1150億美元。

這些操作,簡直和英偉達的布局一毛一樣。那么問題來了,OpenAI能否成為下一個英偉達?

英偉達,如何成為英偉達?

在詳細分析OpenAI的造芯前景之前,我們得先弄明白英偉達走到現(xiàn)在的高度,到底是因為什么原因、它到底做對了什么。先說結論,在我看來英偉達做對了四點,分別是領導者、技術、生態(tài)、運氣,缺一不可。

先說領導者。打工人肯定都有體會,一個靠譜的老大是多重要。不過我們這里說的領導者,顯然要更高一層,是帶領整個公司甚至行業(yè)發(fā)展的真正領袖。不用多說,英偉達老大黃仁勛應該是當前全球最炙手可熱、而且還在一線工作的科技領袖之一。

31年前,老黃在美國加州的一個小餐廳里創(chuàng)立英偉達,目標是要開拓一個「0億美元市場」,也就是從0到1進軍一個大家從未聽說過的領域,而不是在存量市場里不斷內卷。事實證明,正是因為老黃非凡的想象力和前瞻性,帶領英偉達踩中了過去三十年的幾乎所有風口,也把英偉達帶到了現(xiàn)在前所未有的高度。

所以對于科技領袖來說,最重要的就是「預見未來」的能力、以及開疆破土的勇氣。所有萬億美元的產業(yè),都是來自于0億美元的市場。這對于我們的創(chuàng)業(yè)者來說也是一個很重要的啟示。比如在ChatGPT出現(xiàn)之后,一堆初創(chuàng)公司去自研大模型,并不是說這沒有意義,而是或許這并不是個0億美元的市場。如何把握公司的未來方向,領導者起到的作用至關重要。

再來說技術和生態(tài)。這是英偉達遙遙領先的兩個最重要護城河,之前視頻里也說過多次了。一方面通過對GPU架構的不斷優(yōu)化,集成更多AI算力,讓GPU成為人工智能掘金路上不可或缺的鏟子。另一方面通過CUDA構建軟件和開發(fā)者生態(tài),培養(yǎng)加強AI從業(yè)者對英偉達GPU的依賴。

就像我們從小學中文;長大后是可以再學英語法語,但肯定不如母語用起來順手。技術和生態(tài)構成了一個不斷旋轉的飛輪,芯片和技術做的好,會吸引更多人來用,從而形成了生態(tài);生態(tài)做的好,用戶就習慣留在這里,同時提出更多需求,幫助下一代芯片再上一個臺階。其他公司想要成為下一個英偉達,技術和生態(tài)缺一不可。

最后再說運氣。不管是99%的努力加1%的運氣,還是1%的努力加99%的運氣,運氣本身都是取得成功的必要因素。英偉達之所以達到今天富可敵國的程度,很重要的原因就是踩中了過去三十年幾乎所有的風口。從游戲到云計算到數(shù)字貨幣挖礦到元宇宙到汽車再到現(xiàn)在的人工智能,無一例外。

但是,我想說的并不是創(chuàng)業(yè)公司要像「周處除三害」里的陳桂林一樣去找關圣帝笅杯占卜,而是要不斷提升好運到來的概率,這樣當運氣沒來時蟄伏、運氣一旦來到就能一把抓住。就像英偉達本質上并不是在追風口,而是構建GPU的基礎技術,讓它靈活到能適用于前面說的這么多領域,但又足夠強大,能成為風口到來時的唯一選擇。當然,運氣和產業(yè)本身的發(fā)展狀態(tài)、甚至和領導者的造勢能力也有很大關系。

所以,領導者、技術、生態(tài)、運氣這四點,是衡量一個公司未來發(fā)展的重要因素。接下來我們就用這個框架來看看,到底OpenAI能否成為下一個英偉達。

OpenAI造芯,到底是誰瘋了?

很多朋友應該會疑惑,OpenAI不是做大模型的人工智能公司嗎?他應該是英偉達的金主爸爸啊。但事實上在大模型領域,算力和模型,誰是爸爸誰是兒子還不一定。由于訓練一個大模型特別吃GPU算力,所有公司都在瘋狂買卡,這就形成了一個賣方占主導的市場。

強如OpenAI,雖然有微軟數(shù)據(jù)中心近乎all-in的強力支持,也逐漸遇到了算力瓶頸。要知道GPT3的訓練成本大概400萬美元,到了GPT4就飆升到1億,有人預估GPT-5的訓練成本會高達驚人的25億美元,其中絕大部分都要用來買英偉達的GPU算力。

于是,OpenAI的CEO Sam Altman大筆一揮,宣布要籌措7萬億美元自己造芯(后來他在Lex Freddman的播客里說「我從來沒說過7萬億」,Lex說「OK,但你說了8萬億」……)。聽到這個消息,我感覺不是他瘋了,就是我瘋了。根據(jù)他的說法,要用這筆錢徹底改造全球的半導體行業(yè)。所以他不止要做芯片設計,還要自己造晶圓廠。

7萬億美元是什么概念呢,網友也幫我們算了一筆賬,7萬億可以買下包括英偉達在內的全球前20名芯片公司,外加Meta,然后奧特曼還能剩下三千億美元,就是這么夸張。你把所有芯片公司都買了,搞個OpenChip公司自己玩就行了唄。為此,硅仙人Jim Keller現(xiàn)場打臉,在社交媒體隔空喊話,說這些事兒給我一萬億就搞定了。

話說回來,且不論7萬億美元造芯有多瘋狂,我覺得OpenAI造芯是在算力緊缺情況下的一個理智的選擇。那么套用我們的領導者-技術-生態(tài)-運氣框架,OpenAI能否成為下一個英偉達呢?領導者方面,Sam Altman可以說是現(xiàn)在全球科技圈最有名的八零后領袖。不管是ChatGPT、GPT應用商店,還是年初發(fā)布的Sora,OpenAI在他的帶領下已然成為了人工智能領域創(chuàng)業(yè)公司的王者公司。他自己的個性也很鮮明,把硅谷搞成了好萊塢,把OpenAI搞成了宮斗現(xiàn)場,還上演了熹貴妃歸來的大戲。不過和老黃相比,奧特曼個性有余、從容親和略顯不足。

所以領導者這一項,我給OpenAI四顆星。

再來看技術維度,OpenAI七萬億造芯到底能干成嗎?先看芯片架構的選擇。根據(jù)現(xiàn)在披露的非常有限的信息,我們不知道OpenAI是做專用芯片還是通用芯片,但我猜大概率是以AI專用芯片開始,可能會通過收購一些初創(chuàng)AI芯片公司快速起步,之前就有傳言說OpenAI看上了來自英國的Graphcore,這也是很多大廠自研芯片的常用套路。外加OpenAI的看家本領是大模型本身,因此會為芯片設計提供非常理想的應用和優(yōu)化的場景。所以如果OpenAI真的下場造芯,我毫不懷疑他們能設計出一個高性能的AI芯片。

不過,在奧特曼的七萬億規(guī)劃中,還包含芯片制造的部分,這就有點不靠譜了。當前芯片行業(yè)的主流模式是fabless、也就是無晶圓廠模式。這個模式的核心是絕大部分芯片公司只負責芯片設計,只有少數(shù)公司負責芯片制造,讓大家專注在擅長的領域、發(fā)揮各自的優(yōu)勢,不用既要又要還要,從而實現(xiàn)資源的合理分配。這種無晶圓廠模式也是芯片行業(yè)經過幾十年的發(fā)展分工逐漸形成的穩(wěn)定而高效的模式。

具體來看芯片制造,如今有高端芯片制造能力的公司只有三個:臺積電、三星和英特爾。這是個資本和技術極度密集且門檻極高的行業(yè),沒錢不行,只有錢也是萬萬不夠的,必須得有幾十年行業(yè)經驗和工程實踐的技術積累。這么說吧,如果你從來沒做過包子,想在你家小區(qū)旁邊開一家包子鋪應該都費勁。更不用說從來沒做過芯片的人上來就去蓋芯片廠了。這么深的水,我怕你把握不住。

也有分析說,奧特曼為了動用鈔能力彎道超車,打算搞加盟模式,也就是把錢給臺積電,請臺積電建廠和運營,只為OpenAI服務,硬生生把臺積電搞成7-11,果然有錢就是任性。

綜上,開啟買買買模式的OpenAI造芯,在技術維度我給四顆星。

GPT7和暗硅效應

再來看生態(tài)。OpenAI在人工智能領域有著夢幻開局,但先發(fā)優(yōu)勢能否轉化為像英偉達那樣的萬億市值和技術統(tǒng)治力,還取決于生態(tài)的發(fā)展和未來路線圖的設計,而這恰恰也是我認為最存疑的地方。

為什么這么說呢?四年前,OpenAI發(fā)表了一篇論文,提出了大語言模型的縮放定律(scaling law)。這個定律表明,只要對大語言模型投入更多算力和數(shù)據(jù)進行訓練,就能提高它下一個單詞的預測準確性。有人也把這個定律簡單描述為:scaling is all you need,好像只要不斷投算力和數(shù)據(jù),大模型就能不斷發(fā)展下去。

但事實真的是這樣嗎?有人做了一個計算,如果保持現(xiàn)在GPT1234發(fā)展的速度,到2030年左右的GPT7就需要全世界所有計算機提供算力、需要一個超過三峽大壩或者現(xiàn)在任何核電站的巨型發(fā)電廠提供能源,以及超過現(xiàn)在地球上所有的數(shù)據(jù),這顯然是不現(xiàn)實的。

OpenAI提出的縮放定律,讓我想到了芯片領域的兩個非常類似的縮放規(guī)律,一個是登納德縮放定律(Dennard Scaling Law),一個是阿姆達爾定律(Amdahl's Law)。登納德縮放定律認為,隨著晶體管體積的縮減,它們的工作電壓也會降低,從而使得芯片單位面積功耗保持不變。

也就是說,隨著芯片技術的發(fā)展,我們可以同樣的芯片面積上放更多晶體管,性能更高,但功耗不變;或者為了實現(xiàn)同樣的性能,芯片面積會更小、功耗會更低。阿姆達爾定律認為,要顯著提升一個程序的執(zhí)行速度,就需要盡可能減少他串行部分的執(zhí)行時間,同時增加并行代碼的比例。

因此十幾年前,芯片領域學術界和工業(yè)界的主要發(fā)展趨勢就是多核心架構。雖然這還沒有完全成為一個正式的全球性共識,但在當時,多核架構是非常熱門的研究方向。人們認為,如果可以找到編寫和運行并行軟件的方法,我們就能直接將處理器架構擴展到數(shù)千個核心,從而帶來芯片性能成百上千倍的提升。

然而,我們現(xiàn)在知道,這種趨勢是不能無限擴展的。2011年,德州大學奧斯汀分校的道格博格爾教授發(fā)表了一篇論文,提出并研究了所謂的“暗硅效應”。我的骨灰級老粉應該聽過這個概念,因為我的第一期視頻就講了這個,大家可以去考古一下,鏈接在「閱讀原文」中查看。

那么什么是暗硅效應呢?它指的是雖然我們可以不斷增加處理器核心的數(shù)量,但是由于能耗限制,我們卻無法讓這些計算核心同時工作。這就好像一幢大樓里有很多房間,但由于能耗限制,你無法同時開啟每個房間的燈光,使得這幢大樓在夜里看起來有很多黑暗的部分。這就是暗硅這個詞得名的原因。

暗硅效應的本質原因是,在后摩爾定律時代,晶體管的能效發(fā)展已經趨于停滯。這樣,即使人們開發(fā)出了并行軟件,并且不斷增加了核心數(shù)量,所帶來的性能提升也會非常有限。所以為了克服“暗硅效應”帶來的問題,業(yè)界還需要在其他的方面帶來更多進展,包括定制計算等等。道格博格爾之后也加入了微軟,并且領導了微軟的FPGA項目,這個就不多說了。

再回到OpenAI的大語言縮放定律,OpenAI萬億造芯的本質,其實就是奧特曼希望通過提供「無限的計算能力,帶來全能的人工智能」,但現(xiàn)在OpenAI的這種暴力堆算力和數(shù)據(jù)的方法,或許并不是實現(xiàn)超級人工智能的可行途徑。

再進一步,大模型究竟是人工智能的終點、還是人工智能發(fā)展過程中的一個重要節(jié)點,也是很多人一直在思考的問題。比如圖靈獎得主、人工智能教父之一的LeCun就公開反對OpenAI的自回歸生成模型的技術路線,并認為Sora「通過生成像素來模擬世界的行為,既浪費資源且注定會失敗」。

所以,生態(tài)部分我給OpenAI三星半。

AI的黃金時代

最后來看看運氣。前面說隨著芯片的縮放臨近極限,迫使人們不得不去尋找更多更高效的芯片設計方法,這反而促進了芯片行業(yè)的發(fā)展。圖靈獎得主John Hennessy和David Patterson也在此時提出了著名的論斷,未來十年會是體系結構的黃金時代。至少現(xiàn)在我們可以看到,在這個黃金年代中,英偉達是最大的贏家,沒有之一。

所以,當AI縮放定律走到盡頭時,是否也會開啟AI芯片的下一個黃金時代?從這個角度看,是不是OpenAI造芯的好日子還在后頭?芯片是個長周期行業(yè),從現(xiàn)在開始布局,少則兩三年,多則五六年才能看到結果。運氣方面OpenAI從來沒輸給過誰,它已經踩中了大模型這個超級大風口,而芯片,或許會成為OpenAI踩中的下一個風口。

所以,運氣方面,我給OpenAI四星半。

以上就是我對OpenAI造芯未來的想法,不知道你是否同意?你覺得OpenAI會成為下一個英偉達嗎?歡迎在評論區(qū)說說你的想法。感謝你一直看到這里,所以我給你準備了一個福利:我列了四個可能成為英偉達的公司,分別是AMD、谷歌、特斯拉、Tenstorrent,你希望我先講誰?把你的選擇寫在評論區(qū),我優(yōu)先安排。

(注:本文不代表老石任職單位的觀點。)

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
MCF5282CVM66 1 Freescale Semiconductor MCF5282 V2CORE 512KFLASH
$40.57 查看
ATXMEGA192D3-MH 1 Atmel Corporation RISC Microcontroller, 16-Bit, FLASH, AVR RISC CPU, 32MHz, CMOS, 9 X 9 MM, 1 MM HEIGHT, 0.50 MM PITCH, GREEN, MO-220VMMD, MLF-64
$5.62 查看
STM32F745IGT6 1 STMicroelectronics High-performance and DSP with FPU, Arm Cortex-M7 MCU with 1 Mbyte of Flash memory, 216 MHz CPU, Art Accelerator, L1 cache, SDRAM

ECAD模型

下載ECAD模型
$16.29 查看

相關推薦

登錄即可解鎖
  • 海量技術文章
  • 設計資源下載
  • 產業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄

微信公眾號“老石談芯”主理人,博士畢業(yè)于倫敦帝國理工大學電子工程系,現(xiàn)任某知名半導體公司高級FPGA研發(fā)工程師,從事基于FPGA的數(shù)據(jù)中心網絡加速、網絡功能虛擬化、高速有線網絡通信等領域的研發(fā)和創(chuàng)新工作。曾經針對FPGA、高性能與可重構計算等技術在學術界頂級會議和期刊上發(fā)表過多篇研究論文。