虛擬貨幣熄火,元宇宙風停,自動駕駛還待爆發,ai大模型又如狂風驟雨一般襲來。而任憑風雨驟變,作為算力供應商,英偉達始終是那個“受益者”。
作者 | 胡描 編輯 | 羅麗娟
在這場ai大模型的戰局裡,參戰者眾,海外有openai、微軟、谷歌,國內百度、阿里、華為、商湯等也紛紛加入。而藏在戰局裡的gpu巨頭英偉達,掌握着“算力”命門,成為了“戰爭”中的最大受益者。
英偉達a100、h100,是當前為ai大模型提供算力的“主力”。
在當前,幾乎所有ai企業都在求購相關的gpu。甚至企業所擁有的a100、h100數量,已經成為了行業判斷企業大模型能力的重要指標之一。
而a100與h100的價格也水漲船高。據中國企業家報道,從去年年底到現在,a100的單價漲超50%,從之前約5萬元漲到了近10萬元。另據著名遊戲開發者約翰·卡馬克在推特上透露,h100的價格漲到了超過4萬美金。特供中國內地的a800,當前也處在國內廠商排隊拿貨,而常常無貨的狀態。
在過去三十年間,英偉達繞開了“摩爾定律”,並以比“摩爾定律”快3倍的“黃氏定律”,在gpu領域率先站穩腳跟。又將gpu從圖形專用計算芯片,用在了其他通用計算方面。
英偉達創始人兼ceo黃仁勛 圖片來源:網絡
待英特爾、amd等老牌芯片商家反應過來時,英偉達已經幾乎“統治”了高端顯卡領域。而憑藉著算力優勢,英偉達趕上了自動駕駛、虛擬貨幣、元宇宙等多個風口,如今,也成為ai大模型風口中至關重要的參與者。
截至當前,英偉達的市值約6870億美元,已遠超英特爾、amd,成為了僅次於蘋果、微軟、谷歌和亞馬遜的美國科技公司市值top5。
而在未來很長一段時間裡,ai算力或許還會是英偉達的天下。
1
被英偉達“壟斷”算力的ai時代
a100是什麼?為什麼它成為了國內外科技、互聯網廠商布局ai大模型“軍備”競爭中的重要一環?這還得從ai大模型的“地基”談起。
訓練ai大模型的核心有三塊:算法、算力、數據。
其中,算力就像基礎設施。如支撐起電器運轉的電力,當冰箱、空調、烤箱等多個電器一起使用,家庭用電、工業用電、農業用電一同加碼,也需要提高電力負荷,否則難以支撐起用電量。算力之於ai大模型的原理也是如此。
以openai研發的gpt大語言模型為例,它需要大量的計算能力,gpu是主要的算力產出工具。而英偉達推出的a100芯片則是支撐起gpt的“主力”gpu。公開數據顯示,gpt-3具有1750億個參數,45tb的訓練數據,並由上萬枚a100芯片支撐。
與openai團隊有過接觸的氪信科技創始人兼ceo朱明傑曾告訴全天候科技:“openai的突破,本質上是第一次用了上萬張a100的卡,並搭載巨大數據量。”而如果缺乏高性能的芯片,ai大模型的訓練效率也將大大降低。
gpt-3已經證明了a100在ai大模型訓練中的作用,它能夠同時執行許多簡單的計算,這對於ai的訓練和使用神經網絡模型十分重要。在當前,企業所擁有的a100數量,已經成為了行業判斷企業大模型能力的重要指標之一。
aigc風口之下,新老玩家紛紛布局ai大模型,企業對gpu需求量劇增。
目前,openai並沒有公布gpt-4的參數規模,不過有推測認為,gpt-4的參數量是gpt-3的10倍以上。那麼,gpt-4的算力需求也呈指數級上升,所需要的gpu數量也將超過此前。
有消息稱,當前微軟gpu數量告急,需要用gpu的團隊被告知,必須經過特殊渠道申請,因為“公司的大量gpu需要用於支持bing的最新ai功能和gpt的模型訓練”。
在去年3月,英偉達又發布了hopper h100,相比於a100,h100的理論性能提升了6倍。h100直到近期才開始大規模量產,而微軟、谷歌、甲骨文等雲計算服務已開始批量部署。最近幾個季度中,微軟、甲骨文為其人工智能和雲服務購買了數萬個英偉達的a100和h100 gpu。
作為openai最初的創始人之一,馬斯克作在2018年從該公司的董事會卸任。在今年,馬斯克一面與一眾ai專家、行業高管呼籲暫停訓練比gpt-4模型更強大的人工智能系統,一面“口嫌體正直”,計劃成立ai公司與openai抗衡。
一份報告顯示,twitter已經採購了大約1萬張gpu。馬斯克承認這一點,“在這一點上,似乎所有人和他們的狗都在購買gpu。”馬斯克說,“twitter和特斯拉肯定在購買gpu。”
而巨大的需求量也使得a100、h100的價格猛漲。
著名遊戲開發者約翰·卡馬克上周在推特上稱,上周五至少有8枚h100芯片在ebay上售賣,價格從39995美元到46000美元不等。而a100,據中國企業家報道,從去年年底到現在,在國內其單價漲了超過50%,從之前約5萬元漲到了近10萬元。
a100、h100均面向企業用戶,較少在公開市場零售,也因此存在一定炒作空間。
事實上,要訓練ai大模型,搭建算力的資金成本也成為了巨大的門檻。行業專家曾推測,國內如果要訓練一個gpt-3級別的大模型,僅僅芯片一項,最小投入就得近10億元人民幣。
而無論如何,英偉達都是那個最大贏家。據new street research的數據,英偉達佔據了可用於機器學習的圖形處理器市場的95%份額。
今年以來英偉達在二級市場上的表現
今年以來,英偉達的股價、市值翻了近一倍。股價從年初的140美元/股左右,漲到了當前的276.67美元/股(截至4月18日美股收盤)。市值達到了6870億美元,躋身美國科技公司市值top5,僅次於蘋果、微軟、谷歌和亞馬遜。
相較於其競爭對手英特爾(市值1328億美元)、amd(市值1445億美元),英偉達的市值也高出了一大截。
2
為什麼是英偉達?
追溯這場由openai掀起的ai大模型之爭的開端,或許要從2016年,英偉達創始人兼ceo黃仁勛向openai捐贈了一台ai超算電腦說起。
那是一台裝載了8塊p100(英偉達上一代gpu)芯片的超級計算機dgx-1。彼時,這台dgx-1價值超過百萬,它的算力已經可以把openai一年的訓練時間,壓縮到一個月。
圖片來源:網絡
在它的機箱上,黃仁勛寫下了這樣一句話:“為了計算和人類的未來,我捐出世界上第一台dgx-1。”
這場ai革命,似乎從那時開始,就已經註定。
在過去的半個多世紀中,英特爾聯合創始人戈登·摩爾提出的“摩爾定律”主導着半導體行業發展,即:“當價格不變時,集成電路上可容納的晶體管數目約每隔18-24個月便會增加一倍,性能也將提升一倍”。
1993年,30歲的黃仁勛創立英偉達,彼時行業里龍頭林立,新生的英偉達並沒有任何優勢。黃仁勛想到的破局點之一便是:“解決那些摩爾定律無法解決的,或者說在摩爾定律時代不可能被解決的問題。”
這便是尋求加速計算,即用特製的設備來為cpu的運算工作減負提速,具體落地便是堆算力、造顯卡處理圖像,也就是做gpu。
cpu與gpu是兩個不同的方向。cpu負責的是整個電腦主板的序時性複雜運算,單個cpu就包含了控制元件、基礎運算單元(alu)、緩存(cache)等等。
而gpu在成為通用類芯片前,只需負責圖像處理的並時性簡單運算。這也使得gpu提高性能的速度可以做到比cpu更快。
黃仁勛隨之提出了“黃氏定律”,即:gpu每6個月性能提升一倍。相比摩爾定律的每18個月性能提升一倍,快了3倍。
圖片來源:網絡
在過去數年中,隨着芯片製程工藝逐漸觸達天花板,“摩爾定律”似乎也在逐步失效。黃仁勛多次喊出,“摩爾定律”的時代已經結束了,而屬於加速計算和ai的時代到來了。
在上個90年代的顯卡之爭中,英偉達率先活了下來。彼時,全球還有數十家大公司在顯卡市場上競爭,而到了90年末,只剩下三家——英偉達、ati(被amd收購),以及英特爾。
英特爾長久以來都是芯片領域的龍頭,但憑藉其全球pc主板市場的壟斷地位,英特爾的注意力一直放在cpu而非gpu。gpu的競爭,實際上是英偉達和amd的競爭。
在遊戲顯卡領域,英偉達與amd交戰多年,產品各有優劣。英偉達通過與台積電的深度合作,逐步成為顯卡業的世界第一。但真正讓英偉達脫穎而出的,還是其將gpu用在了通用計算上。
在2006年,英偉達推出cuda開發平台(通用並行計算架構)。搭載gpu的工具集,通過cuda編程,能夠讓多個gpu並行運算,從而大幅提升計算性能。
在早期, gpu 的作用只是為了加速圖形渲染,時常用於遊戲領域。而在cuda的加持之下,gpu脫離了圖像處理的單一用途,開始真正具備通用計算的能力,並逐步被用到了ai的深度學習之中。
在過去,行業內外都無法理解為什麼英偉達要做cuda,在推出cuda的十年間,整個華爾街一直在質疑英偉達,“為什麼你們做了這項投入,卻沒有人使用它?”“它的估值為零”。
如今,行業早已認識到了cuda的價值。而擁有cuda支持的英偉達的gpu,也成為了ai訓練的首選。
目前,英偉達已經是無可爭議的ai芯片市場領導者。據omdia估計,截至2020年,它在此類ai處理器中的份額約為80%。amd是gpu行業的第二大玩家,市場份額約為20%。而英特爾的佔比僅有不到1%的份額。
英偉達的野心還不止如此,它似乎還想“贏家通吃”。
在上個月的gtc大會上,英偉達又推出了一項新的ai超級計算服務——dgx cloud雲服務。它可以讓企業快速訪問為生成式人工智能和其他開創性應用訓練高級模型所需的基礎設施和軟件。
簡單理解,就是通過這個雲平台,用戶可以直接調用英偉達的超級計算機dgx的ai算力,而不是去“堆”a100、h100。
目前,英偉達與微軟azure、谷歌ocp、oracle oci等其他雲廠商一起託管dgx cloud基礎設施。黃仁勛還表示,未來中國也可以採用這項服務,中國創業公司可以期待阿里、百度、騰訊提供的底層算力服務。
3
誰能打敗英偉達?
事實上,不僅是在今年這場ai大模型的狂風驟雨中出盡了風頭,英偉達憑藉著對ai算力的“壟斷”,也成為了許多行業風口背後的算力“供應商”。
在虛擬貨幣爆火的那幾年中,“挖礦”成為了一個熱鬧的灰色產業,英偉達的rtx 3070顯卡一度是“挖礦”的主力。彼時,市場對顯卡的需求不斷提升,也曾帶動英偉達相關芯片的銷售。
不過現在這早已是過去式。英偉達首席技術官michael kagan在近日表示,加密貨幣礦工購買了大量的英偉達硬件,但“除了投機之外,加密行業還沒有任何真實世界可用的實例。”
在元宇宙火起來之時,英偉達也高調地站了出來。
黃仁勛曾多次公開表示:“人工智能和計算機圖形學的結合將為元宇宙提供動力,即互聯網的下一次演變。”
而無論是構建元宇宙的虛實場景,還是通過ai技術維持元宇宙自主運轉,都需要3d圖形處理管線、ai計算等能力的支持。並且,英偉達的omniverse平台,也能夠協助用戶在虛擬世界中進行協同工作,建造數字孿生世界,比如進行汽車、建築的設計製造等。
還有自動駕駛,早在2015年,英偉達便推出了汽車業務,研發並交付自動駕駛芯片。
在2019年,英偉達推出了大算力芯片orin系列。目前,orin芯片也已成了很多主機廠的首選,前三十家新能源車企的二十家、以及越來越多自動駕駛初創公司宣布搭載orin平台。在過去幾年的gtc大會上,英偉達都會把汽車業務進展情況作為重點去介紹。
不過,英偉達在自動駕駛領域正在受到挑戰。在當前,越來越多的車企為了實現更好的性能優化,將一體化自研作為攻克的方向。如特斯拉,在2019年便自研了fsd芯片,“蔚小理”們同樣在加緊自研進程。
虛擬貨幣熄火,元宇宙風停,自動駕駛還待爆發,ai大模型又如狂風驟雨一般襲來。行業潮起潮落,雲捲雲舒,但英偉達無疑都是“受益者”。英偉達吃飽了ai算力的紅利。
近年來,越來越多的芯片巨頭們也反應了過來,紛紛加碼支持ai的專業芯片。
圖片來源:半導體行業觀察
有消息稱,在去年12月,英特爾將圖形芯片部門一分為二:一個專註於個人電腦,另一個專註於數據中心和人工智能。在今年,英特爾ceo基辛格也時常談論起ai,他表示,英特爾擁有一套廣泛的芯片解決方案來應對生成式ai的機會。
amd也在為ai量身定製cpu、圖形芯片和其他硬件,同時押注於大型雲計算公司對這些硬件的需求。
谷歌的布局更早,在2016年時,谷歌宣布為ai研究開發了機器學習的專屬芯片tpu。今年的mlperf基準測試中,谷歌的tpuv4贏了英偉達的a100芯片,成為業界大新聞。
近日,據the information報道,微軟已經計劃推出自己的人工智能芯片。據悉,這些芯片是為訓練大語言模型等軟件而設計。微軟希望這款芯片的性能比其斥資數億美元從其他供應商側購置的芯片性能更優,這樣就可以為價值高昂的人工智能工作節省成本。至於推出時間,尚未有明確說法。
不過,英偉達已經佔據着絕對的統治地位。美國銀行分析師vivek arya表示,到2027年,生成式ai每年可為整個人工智能芯片市場增加200億美元,而英偉達應該能夠保持至少 65% 的ai芯片市場份額。
隨着ai大模型的快速成長,這對於其他芯片企業來說,無疑也是巨大的機會。
便如30年前英偉達選擇了加速計算,繞開了與英特爾等芯片巨頭正面硬剛,最終實現彎道超車。
誰也無法預測,是否也有人另尋他途,最終超越英偉達。