“時(shí)間機(jī)器”
狂歡的氣氛早早燃起。
當(dāng)?shù)貢r(shí)間2023年8月22日,2024財(cái)年第二財(cái)季財(cái)報(bào)發(fā)布前夕,英偉達(dá)的股價(jià)飆升8.47%,創(chuàng)下自5月25日以來的最大單日漲幅。據(jù)芝加哥期權(quán)交易所的數(shù)據(jù),2023年截至8月中旬,投資者已向英偉達(dá)相關(guān)期權(quán)注入超1000億美元,其中約60%的資金涉及可用于押注股價(jià)持續(xù)走高的看漲期權(quán)。除特斯拉外,還沒有其他股票曾收獲如此熱捧。
投資者的狂熱沒有踏空。8月23日發(fā)布的財(cái)報(bào)顯示,英偉達(dá)期內(nèi)實(shí)現(xiàn)收入135.1億美元,同比上漲101%,高于預(yù)期的111.9億美元;凈利潤61.9億美元,同比上漲843%;非美國通用會(huì)計(jì)準(zhǔn)則(non-GAAP)每股攤薄收益為2.70美元,同比上漲429%,高于預(yù)期的2.08美元。
分業(yè)務(wù)來看,AI芯片所在的數(shù)據(jù)中心業(yè)務(wù)貢獻(xiàn)突出。2024財(cái)年第二財(cái)季,數(shù)據(jù)中心業(yè)務(wù)營收達(dá)到創(chuàng)紀(jì)錄的103.2億美元,環(huán)比增長141%,同比增長171%。相比分析師預(yù)期的79.8億美元高出了29%。英偉達(dá)表示,這部分收入主要來自云服務(wù)商和大型消費(fèi)類互聯(lián)網(wǎng)公司。
“全球已經(jīng)安裝了價(jià)值約1萬億美元的數(shù)據(jù)中心,而這個(gè)上萬億美元的數(shù)據(jù)中心市場(chǎng)正在從通用計(jì)算向加速計(jì)算和生成式人工智能轉(zhuǎn)型,” 60歲的英偉達(dá)聯(lián)合創(chuàng)始人兼CEO黃仁勛在財(cái)報(bào)電話會(huì)議上宣稱,“一個(gè)新的計(jì)算時(shí)代已經(jīng)開啟?!?/p>
2023年5月底,上一財(cái)季財(cái)報(bào)發(fā)布后,高漲的股價(jià)已將英偉達(dá)推上神壇,使其成為美國第七家市值破萬億美元的公司。3個(gè)月后,它再度刷新紀(jì)錄且增勢(shì)不減。作為這輪生成式人工智能浪潮中重要的基建公司,英偉達(dá)正在成為這個(gè)“新時(shí)代”的主要受益者和推動(dòng)者。
時(shí)間回到大半個(gè)月前。8月8日晚,洛杉磯,穿著標(biāo)志性的黑色皮夾克、黑色T恤、黑色牛仔褲,黃仁勛時(shí)隔5年再度登上計(jì)算機(jī)圖形界頂級(jí)會(huì)議SIGGRAPH的舞臺(tái),宣布推出新一代GH200 Grace Hopper超級(jí)芯片(以下簡稱GH200)。
與2022年3月發(fā)布的H100相比,GH200專為人工智能大模型的訓(xùn)練和推理需求而打造。H100的架構(gòu)以GPU(圖形處理器)為主,GH200則將Nvidia Grace CPU(中央處理器)與 Hopper GPU 架構(gòu)結(jié)合起來,并配備了當(dāng)前全球最快的內(nèi)存HBM3E,不僅極大提升了帶寬,還顯著降低了互連功耗,將為運(yùn)行TB級(jí)數(shù)據(jù)應(yīng)用提供高達(dá)10倍的性能。
據(jù)悉,已投入量產(chǎn)的GH200將于本季度發(fā)貨,采用HBM3e內(nèi)存的第二代版本預(yù)計(jì)將于2024年第二季度發(fā)貨。在此之前,H100仍是市場(chǎng)需求最大的GPU產(chǎn)品。雖然老牌芯片巨頭AMD和英特爾接連加碼AI芯片,陸續(xù)推出對(duì)標(biāo)H100的產(chǎn)品,但當(dāng)前英偉達(dá)在AI芯片領(lǐng)域的市場(chǎng)份額仍超過八成。
三十年前,因?yàn)榭吹接螒蚴袌?chǎng)對(duì)3D圖形處理能力的需求,黃仁勛和其他兩位合伙人共同創(chuàng)建了英偉達(dá)。創(chuàng)立初期,公司的主要營收是向游戲玩家出售能提升畫面清晰度的顯卡。2003年,英偉達(dá)開始對(duì)傳統(tǒng)GPU進(jìn)行優(yōu)化設(shè)計(jì),旨在利用GPU的計(jì)算能力在非圖形處理領(lǐng)域進(jìn)行更通用的科學(xué)計(jì)算。一場(chǎng)更廣泛的創(chuàng)新革命的齒輪由此開始轉(zhuǎn)動(dòng)。
黃仁勛將深度學(xué)習(xí)和GPU的相遇形容為“命運(yùn)撞上了一點(diǎn)運(yùn)氣”,“創(chuàng)立英偉達(dá)是因?yàn)槲覀兿嘈湃祟悓?duì)計(jì)算速度的要求會(huì)越來越高。我們開發(fā)了一種非常擅長處理數(shù)據(jù)且有高通量計(jì)算能力的處理器,這恰恰使深度學(xué)習(xí)成為可能?!?/p>
2016年4月,英偉達(dá)發(fā)布了首款深度學(xué)習(xí)超級(jí)計(jì)算機(jī)DGX-1,其中搭載了8塊專為深度神經(jīng)網(wǎng)絡(luò)打造的GPU產(chǎn)品P100。4個(gè)月后,黃仁勛親自將一臺(tái)DGX-1送往舊金山一家成立不足一年的非營利性人工智能研究機(jī)構(gòu)。捐贈(zèng)儀式上,他用記號(hào)筆在這款售價(jià)12.9萬美元的機(jī)箱上寫道,“為了計(jì)算和人類的未來,我捐出世界上第一臺(tái)DGX-1。”這家受贈(zèng)機(jī)構(gòu)就是日后赫赫有名的OpenAI。正是基于 NVIDIA DGX 系統(tǒng),OpenAI訓(xùn)練出了ChatGPT。
算力是機(jī)器學(xué)習(xí)得以不斷突破極限的基礎(chǔ)。據(jù)黃仁勛介紹,在2021年推出的A100上需要7天完成的訓(xùn)練,在H100上僅需20個(gè)小時(shí)。隨著英偉達(dá)GPU在運(yùn)算性能和能效上的逐代提升,以此為算力支撐的大模型得以在參數(shù)上實(shí)現(xiàn)質(zhì)的飛躍。公開數(shù)據(jù)顯示,OpenAI于2018年推出的GPT參數(shù)為1.17億個(gè),而到2023年發(fā)布的GPT-3.5,參數(shù)規(guī)模已超過1750億個(gè)。
黃仁勛喜歡把GPU比作“時(shí)間機(jī)器”,“如果我們能讓某件事加速100倍,研究人員、醫(yī)生和藝術(shù)家就能看到未來”,“幫助這個(gè)時(shí)代的愛因斯坦和達(dá)芬奇?zhèn)兺瓿伤麄兊氖聵I(yè)就是我們公司的價(jià)值?!?/p>
“軍備競賽”
通用性、易用性和高性能是衡量AI芯片好壞的三個(gè)維度。英偉達(dá)能成為行業(yè)在AI算力上的首選,其護(hù)城河既體現(xiàn)在硬件性能,也在軟件生態(tài)。
黃仁勛很早就意識(shí)到協(xié)同完善的軟硬件生態(tài)是創(chuàng)造價(jià)值及壓制對(duì)手的關(guān)鍵。2006年,為了推廣GPU通用計(jì)算,英偉達(dá)開發(fā)了用于加速并行計(jì)算的軟件開發(fā)平臺(tái)CUDA,CUDA可以幫助開發(fā)人員更便捷地利用GPU加快計(jì)算應(yīng)用程序的速度。
CUDA平臺(tái)投入巨大,一度嚴(yán)重拖累了英偉達(dá)的利潤。最初的幾年里,黃仁勛背負(fù)了很大的壓力,“股東希望我們專注于提高盈利能力,但我們堅(jiān)信加速計(jì)算的時(shí)代即將來臨?!秉S仁勛將承受苦難視作追求愿景路上的必經(jīng)之痛。
十幾年來,CUDA逐漸滲透到包括AI在內(nèi)的各個(gè)通用計(jì)算領(lǐng)域,實(shí)現(xiàn)了從硬件層到軟件層的打通,且基于海量客戶,不斷實(shí)現(xiàn)性能優(yōu)化。如今,英偉達(dá)的軟硬件生態(tài)已經(jīng)形成“比較成熟的市場(chǎng)、標(biāo)準(zhǔn)和護(hù)城河”。競品要打開市場(chǎng),短期內(nèi)只能兼容CUDA生態(tài),長期則很可能因此而被限制創(chuàng)新潛能,淪為夯實(shí)CUDA生態(tài)的磚瓦。
2022年底,ChatGPT展現(xiàn)出的強(qiáng)大內(nèi)容生成能力震驚全球,成為現(xiàn)象級(jí)的消費(fèi)類AI應(yīng)用??萍季揞^應(yīng)勢(shì)而動(dòng),爭相布局大模型領(lǐng)域,其示范效應(yīng)引發(fā)了AI領(lǐng)域的軍備競賽。生成式人工智能的繁榮建立在算力基礎(chǔ)上,訓(xùn)練大模型無疑是昂貴的,特別是在供不應(yīng)求的狀況下。據(jù)硅谷風(fēng)投巨頭a16z測(cè)算,一家企業(yè)若要構(gòu)建并運(yùn)行自己的數(shù)據(jù)中心,每年需要花費(fèi)在基礎(chǔ)設(shè)施上的支出將超過5000萬美元。一些大模型初創(chuàng)公司前腳籌集了數(shù)十億美元的風(fēng)險(xiǎn)投資,其中的八九成轉(zhuǎn)身便被投入購買算力。
錯(cuò)失大機(jī)會(huì)的恐懼讓算力成為科技圈的“最硬通貨”。市場(chǎng)對(duì)英偉達(dá)芯片的需求激增,遠(yuǎn)遠(yuǎn)超過了供應(yīng)?!癏100的供應(yīng)自2023年4月初起便日益緊張,哪怕現(xiàn)在立刻下單,到貨也要等到來年一二季度,” CoreWeave負(fù)責(zé)人8月初在接受《巴倫科技》采訪時(shí)表示。CoreWeave此前的主要業(yè)務(wù)是加密貨幣挖礦,如今面向市場(chǎng)提供GPU租賃服務(wù)。
就連最初掀起這波熱潮的公司OpenAI也無法獲得足量的英偉達(dá)高性能GPU。2023年5月,在參加美國參議院司法委員會(huì)聽證會(huì)時(shí),OpenAI CEO薩姆·奧特曼就表示并不希望人們過多地使用ChatGPT,因?yàn)椤拔覀儧]有足夠的GPU”,這也影響了ChatGPT的持續(xù)優(yōu)化。
芯片行業(yè)是個(gè)由一系列瓶頸構(gòu)成的相互依存的網(wǎng)絡(luò)。英偉達(dá)的主營業(yè)務(wù)是設(shè)計(jì)和銷售圖形處理器和系統(tǒng)芯片,并提供開發(fā)環(huán)境、工具和系統(tǒng)。以H100為例,其中使用到的高帶寬內(nèi)存(HBM)由韓國企業(yè)SK海力士供應(yīng),后者是目前唯一量產(chǎn)HBM3的供應(yīng)商。H100的制造則被委托給臺(tái)積電。除了HBM3供應(yīng)吃緊,臺(tái)積電的CoWoS封裝產(chǎn)能同樣是關(guān)鍵瓶頸。據(jù)悉,臺(tái)積電正在積極擴(kuò)大CoWoS封裝產(chǎn)能,其2024年產(chǎn)能的四成已被英偉達(dá)提前預(yù)訂。
除硅谷巨頭外,中國的大型互聯(lián)網(wǎng)企業(yè)是AI芯片的另一大去向。據(jù)英國《金融時(shí)報(bào)》8月初的報(bào)道,中國互聯(lián)網(wǎng)巨頭今明兩年AI芯片的訂單價(jià)值達(dá)50億美元。針對(duì)這一數(shù)據(jù),英偉達(dá)向第一財(cái)經(jīng)回應(yīng)稱:“消費(fèi)互聯(lián)網(wǎng)公司和云服務(wù)提供商每年在數(shù)據(jù)中心組件方面投入金額達(dá)數(shù)十億美元,通常都會(huì)提前幾個(gè)月下訂單。”
“過去兩年的降本增效中,一些云計(jì)算平臺(tái)減少了GPU采購,儲(chǔ)備不足。此外,誰也不敢保證,今天能買的高性能 GPU,明天會(huì)不會(huì)就受到新的限制?!?023年6月,一位業(yè)內(nèi)人士在接受《晚點(diǎn) LatePost》采訪時(shí)表示。
2022年8月,美國商務(wù)部對(duì)英偉達(dá)的最新兩代GPU A100和H100實(shí)施出口管制,禁止向中國企業(yè)銷售。同年10月,美國商務(wù)部正式出臺(tái)了針對(duì)中國大陸的半導(dǎo)體出口管制新規(guī),對(duì)先進(jìn)芯片、軟件以及用于生產(chǎn)先進(jìn)芯片的各種半導(dǎo)體制造設(shè)備的對(duì)華出口提出了許可限制。
英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)收入的20%至25%來自中國市場(chǎng)。為了降低政策影響,英偉達(dá)迅速推出了A100的替代產(chǎn)品A800和H800。根據(jù)公開資料,特供版的單卡算力幾乎不變,但集群卡間高速互聯(lián)的帶寬分別下降了四分之一和一半左右,會(huì)限制AI模型的訓(xùn)練速度。按照彭博社的說法,同樣的 AI 任務(wù),H800要比H100多耗費(fèi)10%到30%的時(shí)間。
《華爾街日?qǐng)?bào)》6月底曾援引知情人士消息稱,美國正在考慮對(duì)向中國出口人工智能芯片實(shí)施新的限制,將禁止在沒有許可證的情況下對(duì)華銷售A800芯片,并將一些低算力芯片納入限制范圍。包括英偉達(dá)在內(nèi)的美國半導(dǎo)體行業(yè)曾多次就政府的對(duì)華限制政策發(fā)聲?!爸袊袌?chǎng)是全球最大的市場(chǎng)之一。一旦GPU禁售政策實(shí)施,美國半導(dǎo)體行業(yè)將永久失去在這里競爭和領(lǐng)先的機(jī)會(huì)。”英偉達(dá)首席財(cái)務(wù)官科萊特·克雷斯在最近的財(cái)報(bào)電話會(huì)議上表示。
“數(shù)據(jù)、算法、算力是人工智能的三大核心要素。中國擁有海量數(shù)據(jù),近年在算法上突飛猛進(jìn),美國卡不了這兩塊,就卡算力。算法是基于算力的,把算力卡下來,算法就難以進(jìn)一步優(yōu)化,數(shù)據(jù)再多也沒用。”一名熟悉中美半導(dǎo)體政策的資深人士在接受《財(cái)新》采訪時(shí)表示。
在管控可能持續(xù)加碼的陰霾下,半導(dǎo)體芯片國產(chǎn)替代的需求凸顯。雖然在通用GPU賽道上,過去數(shù)年國內(nèi)也陸續(xù)涌現(xiàn)出一批初創(chuàng)企業(yè),但在產(chǎn)品的成熟度和性價(jià)比、商業(yè)化的驗(yàn)證和落地、客戶基礎(chǔ)和軟件生態(tài)等方面,這些企業(yè)仍與英偉達(dá)差距明顯。
在《芯片戰(zhàn)爭》的作者、美國塔夫茨大學(xué)副教授克里斯·米勒看來,雖然中國企業(yè)取得了一些有意義的成功,但幾乎每一項(xiàng)重大進(jìn)步都會(huì)遭到美國新的出口管制,“這使得中國推動(dòng)半導(dǎo)體自給自足的努力更加重要,但也更加困難和昂貴。”
神話與變數(shù)
2017年,創(chuàng)業(yè)第24個(gè)年頭,為慶祝股價(jià)突破百元,黃仁勛在左臂文上了公司的標(biāo)志“綠眼睛”。此后的5年間,英偉達(dá)的股價(jià)從每股100美元飆升至超490美元。2023年以來,英偉達(dá)的股價(jià)已上漲兩倍多,持股3.5%的黃仁勛也成為全球科技行業(yè)財(cái)富增長最快的人之一。
1963年,黃仁勛出生在臺(tái)北。他的父親是化學(xué)工程師,母親在小學(xué)任教。70年代初,臺(tái)灣時(shí)局動(dòng)蕩,一家人遷往泰國。然而,越南戰(zhàn)事正酣,泰國亦被牽涉其中。1973年,泰國爆發(fā)騷亂,考慮到孩子們的未來,黃父設(shè)法把9歲的黃仁勛和大他一歲的哥哥送到美國投奔叔叔。
叔叔英文不好,誤讀了招生信息,將本應(yīng)去預(yù)科學(xué)校的兄弟倆送到了肯塔基州一所專門接收問題青少年的寄宿學(xué)校。據(jù)黃仁勛回憶,學(xué)生們大多會(huì)隨身攜帶小刀,一旦發(fā)生沖突,總會(huì)有人受傷。他的室友剛從少管所出來,是個(gè)身上帶著刀疤的男孩。放學(xué)后,孩子們會(huì)被分配各種工作,黃仁勛需要打掃男廁所,他的哥哥則要趕往煙草農(nóng)場(chǎng)干活。
年少的黃仁勛沒有因此頹靡,而是找到了適合自己的生存之道。他會(huì)幫助一位年長的室友學(xué)習(xí)數(shù)學(xué),還加入了學(xué)校的游泳隊(duì)?!肮适碌慕Y(jié)局是我喜歡在那里的時(shí)光,這是一段美妙的學(xué)習(xí)經(jīng)歷,”黃仁勛學(xué)會(huì)了如何面對(duì)不可控的外部環(huán)境,并找到在混亂中前行的方法。
在俄勒岡州立大學(xué)學(xué)習(xí)電氣工程專業(yè)期間,為了改變內(nèi)向的性格,黃仁勛在一家名叫“Denny's”的連鎖餐廳做兼職服務(wù)員。這家餐廳不僅見證了一位金牌銷售員的誕生。1993年,黃仁勛30歲生日那天,也是在這家餐廳的一張餐桌上,他和兩位好友決定離職創(chuàng)業(yè)。從斯坦福大學(xué)碩士畢業(yè)后,黃仁勛先后在AMD、LSI Logic工作。工程師出身又有銷售和管理經(jīng)驗(yàn)的黃仁勛被推選為CEO。30年后,他成為全球任職時(shí)間最長的科技公司CEO之一。
在黃仁勛看來,創(chuàng)業(yè)和人生一樣,是“榮耀”和“悲劇”的永恒交替,成功的關(guān)鍵是當(dāng)事情沒有按預(yù)期發(fā)展時(shí),你是否能正視錯(cuò)誤、及時(shí)糾錯(cuò)、謙卑求助并持續(xù)向前。
20世紀(jì)90年代,創(chuàng)立不久的英偉達(dá)因?yàn)殚_發(fā)方向偏離市場(chǎng)主流,不得不更換技術(shù)路徑。然而競爭對(duì)手的產(chǎn)品發(fā)布在即,他們必須在數(shù)月之內(nèi)拿出足夠有競爭力的新產(chǎn)品。從合作方處力爭來的資金僅夠支撐9個(gè)月。為確保芯片的所有功能在投產(chǎn)前萬無一失,黃仁勛斥資100萬美元買下一臺(tái)模擬機(jī),用“公司3個(gè)月的壽命”換來了反復(fù)測(cè)試的機(jī)會(huì)。RIVA 128最終順利面世,這是一款專門用于在windows操作系統(tǒng)中渲染3D圖形的軟件。破釜沉舟的黃仁勛贏得了一次扭轉(zhuǎn)公司命運(yùn)的機(jī)會(huì)。
然而變數(shù)再度襲來。微軟發(fā)布的游戲編程接口DirectX可支持32種圖形渲染模式,而RIVA 128只能提供其中的8種。黃仁勛和團(tuán)隊(duì)跑遍了全球的主要游戲開發(fā)商,輪番游說,“你喜歡RIVA128的很多優(yōu)點(diǎn),所以沒其他的24種模式也還好吧。你要是用了它們,我們就死定了?!边@是一場(chǎng)艱難的勝利。發(fā)布后的4個(gè)月,RIVA 128的出貨量超過百萬臺(tái),成為英偉達(dá)的首款熱門產(chǎn)品,也為其后續(xù)的產(chǎn)品開發(fā)提供了資金。
2020年,英偉達(dá)首次在市值上實(shí)現(xiàn)對(duì)英特爾的超越,成為美國市值最高的芯片廠商。在接受媒體采訪時(shí),被祝賀聲環(huán)繞的黃仁勛描述著自己從未遠(yuǎn)離的危機(jī)感,“每天早上我都在驚慌中醒來,我有很多工作要做,我有一家公司需要拯救。我們有很多合作伙伴和企業(yè),我們不想讓他們失望。那種感覺永遠(yuǎn)不會(huì)消失?!?/p>
對(duì)于“增長神話”的源起和消散,黃仁勛并不陌生。
2017年比特幣暴漲引發(fā)“挖礦”狂潮,帶動(dòng)顯卡銷量和價(jià)格大幅上揚(yáng)。彼時(shí),在數(shù)字貨幣市場(chǎng)搶占了超七成份額的英偉達(dá)市值同樣屢創(chuàng)新高??蓛H僅一年后,加密貨幣的幣值便經(jīng)歷數(shù)輪崩塌。不僅與區(qū)塊鏈相關(guān)的GPU收入同比大幅下降,大量二手顯卡也回流市場(chǎng),進(jìn)一步影響了游戲玩家對(duì)庫存GPU的需求,一度導(dǎo)致英偉達(dá)的市值在4個(gè)月內(nèi)遭遇“腰斬”。
2021年,“元宇宙”概念興起,又逢加密貨幣幣值回彈,英偉達(dá)股價(jià)在當(dāng)年11月創(chuàng)下歷史新高。這輪上漲同樣未能延續(xù)太久。一年后,“元宇宙”發(fā)展陷入困境,加密貨幣的行情再度跳水,英偉達(dá)的股價(jià)于2022年10月跌至歷史新低,同比跌幅近70%。次月,ChatGPT發(fā)布,英偉達(dá)股價(jià)開始掉頭拉漲,增長神話開啟新的篇章。
這輪人工智能熱潮會(huì)持續(xù)到明年么?并非所有分析師都持樂觀態(tài)度。部分觀點(diǎn)認(rèn)為,為了規(guī)避錯(cuò)失良機(jī)的風(fēng)險(xiǎn),很多企業(yè)和機(jī)構(gòu)會(huì)對(duì)GPU進(jìn)行過度投資,然而越過某個(gè)時(shí)點(diǎn),他們終究需要謹(jǐn)慎評(píng)估如此昂貴的投入是否真的能幫他們賺到錢,而后過度投資之勢(shì)便會(huì)暫停甚至逆轉(zhuǎn)。此外,為了減少對(duì)英偉達(dá)的依賴,提高議價(jià)能力,大型云服務(wù)商等已經(jīng)開始在內(nèi)部積極推進(jìn)定制AI芯片的研發(fā)。大客戶們的下場(chǎng)也讓這個(gè)原本就競爭激烈的賽道更為擁擠。
科技的潮頭總是一波接一波,層波疊浪間翻滾著人類的好奇、欲望與盲從,裹挾著技術(shù)和經(jīng)濟(jì)的周期更迭,以及地緣政治的云譎波詭。作為“在淘金潮里賣鏟子的人”,如何創(chuàng)造、選擇和駕乘海浪,是不變的課題。而對(duì)于黃仁勛來說,企業(yè)經(jīng)營理念和人生態(tài)度極其相似,“當(dāng)你無法分辨自己是在尋找食物還是逃避成為食物時(shí),奔跑就好了。”