煉大模型最佳GPU英偉達H100，全部賣空了！
即使現在立即訂購，也要等2024年Q1甚至Q2才能用上。
這是與英偉達關系密切的云廠商CoreWeave對華爾街日報透露的最新消息。
從4月初開始，供應就變得異常緊張。僅僅一周之內，預期交貨時間就從合理水平跳到了年底。
全球最大云廠商亞馬遜AWS也證實了這一消息，CEO Adam Selipsky近期表示：
A100和H100是最先進的……即使對于AWS來說也很難獲得。
更早時候，馬斯克還在一場訪談節目中也說過：GPU現在比d品還難獲得。
如果找“黃牛”買，溢價高達25%。
如Ebay上的價格已從出廠價約36000美元漲到了45000美元，而且貨源稀少。
這種形勢下，國內的百度、字節、阿里、騰訊等大型科技公司也向英偉達下了總計50億美元的A800等芯片訂單。
其中只有10億美元的貨能今年內交付，另外80%也要等2024年才行。
那么現有高端GPU都賣給誰了？這一波產能又是卡在了哪？
H100賣給誰，老黃說了算
ChatGPT爆發以來，擅長訓練大模型的英偉達A100、H100成了香餑餑。
甚至H100已經可以作為初創公司的一種資產，找投資基金獲得抵押貸款。
OpenAI、meta為代表的AI公司，亞馬遜、微軟為代表的云計算公司，私有云Coreweave和Lambda，以及所有想煉自家大模型的各類科技公司，需求量都巨大。
然而賣給誰，基本是英偉達CEO黃仁勛說了算。
據The Information消息，H100這么緊缺，英偉達把大量的新卡分配給了CoreWeave，對亞馬遜微軟等老牌云計算公司限量供應。
（英偉達還直接投資了CoreWeave。）
外界分析是因為這些老牌公司都在開發自己的AI加速芯片、希望減少對英偉達的依賴，那老黃也就成全他們。
老黃在英偉達內部還把控了公司日常運營的方方面面，甚至包括“審查銷售代表準備對小型潛在客戶說什么話”。
全公司約40名高管直接向老黃匯報，這比meta小扎和微軟小納的直接下屬加起來還多。
一位英偉達前經理透露，“在英偉達，黃仁勛實際上是每一款產品的首席產品官。”
前陣子，還傳出老黃干了一件夸張的事：要求一些小型云計算公司提供他們的客戶名單，想了解GPU的最終使用者是誰。
外界分析，此舉將使英偉達更了解客戶對其產品的需求，也引起了對英偉達可能利用這些信息謀取額外利益的擔憂。
也有人認為，還有一層原因是老黃想知道誰真的在用卡，而誰只是囤卡不用。
為什么英偉達和老黃現在有這么大的話語權？
主要是高端GPU供需太不平衡，根據GPU Utils網站的測算，H100缺口高達43萬張。
作者Clay Pascal根據各種已知信息和傳言估計了AI行業各參與者近期還需要的H100數量。
AI公司方面：
OpenAI可能需要5萬張H100來訓練GPT-5
meta據說需要10萬
InflectionAI的2.2萬張卡算力集群計劃已公布
主要AI初創公司如Anthropic、Character.ai、歐洲的MistraAI和HelsingAI需求各自在1萬數量級。
云計算公司方面：
大型公有云里，亞馬遜、微軟、谷歌、甲骨文都按3萬算，共12萬
以CoreWeave和Lambda為代表的私有云加起來總共需要10萬
加起來就是43.2萬了。
這還沒算一些摩根大通、Two Sigma等也開始部署自己算力集群的金融公司和其他行業參與者。
那么問題來了，這么大的供應缺口，就不能多生產點嗎？
老黃也想啊，但是產能被卡住了。
產能這次卡在哪里？
其實，臺積電已經為英偉達調整過一次生產計劃了。
不過還是沒能填補上如此巨大的缺口。
英偉達DGX系統副總裁兼總經理Charlie Boyle稱，這次并不是卡在晶圓，而是臺積電的CoWoS封裝技術產能遇到了瓶頸。
與英偉達搶臺積電產能的正是蘋果，要在9月發布會之前搞定下一代iPhone要用的A17芯片。
而臺積電方面近期表示，預計需要1.5年才能使封裝工藝積壓恢復正常。
CoWoS封裝技術是臺積電的看家本領，臺積電之所以能擊敗三星成為蘋果的獨家芯片代工廠靠的就是它。
這項技術封裝出的產品性能高、可靠性強，H100能擁有3TB/s(甚至更高)的帶寬正是得益于此。
CoWoS全名叫Chip-on-Wafer-on-Substrate，是一種在晶圓層面上的芯片集成技術。
這項技術可以將多個芯片封裝到厚度僅有100μm的硅中介層上。
據介紹，下一代中介層面積將達到6倍reticle，也就是約5000mm2。
目前為止，除了臺積電，沒有哪家廠商擁有這個水平的封裝能力。
雖然CoWoS的確強悍，但沒有它就不行嗎？其他廠商能不能代工呢？
先不說老黃已經表示過“不考慮新增第二家H100代工廠”。
從現實上看，可能也真的不行。
英偉達此前曾和三星有過合作，但后者從未給英偉達生產過H100系列產品，甚至其他5nm制程的芯片。
據此有人推測，三星的技術水平可能無法滿足英偉達對尖端GPU的工藝需求。
至于英特爾……他們的5nm產品好像還遲遲沒有問世。
既然讓老黃換生產廠家行不通，那用戶直接改用AMD怎么樣？
AMD，Yes？
如果單論性能的話，AMD倒的確是慢慢追上來了。
AMD最新推出的MI300X，擁有192GB的HBM3內存、5.2TB/s的帶寬，可運行800億參數模型。
而英偉達剛剛發布的DGX GH200，內存為141GB的HBM3e，帶寬則為5TB/s。
但這并不意味著AMD能馬上填補N卡的空缺——
英偉達真正的“護城河”，在于CUDA平臺。
CUDA已經建立起一套完整的開發生態，意味著用戶要是購買AMD產品，需要更長時間來進行調試。
一名某私有云公司的高管表示，沒人敢冒險花3億美元實驗部署10000個AMD GPU。
這名高管認為，開發調試的周期可能至少需要兩個月。
在AI產品飛速更新換代的大背景下，兩個月的空檔期對任何一家廠商來說可能都是致命的。
不過微軟倒是向AMD伸出了橄欖枝。
此前有傳聞稱 ，微軟準備和AMD共同開發代號為“雅典娜”的AI芯片。
而更早之前，MI200發布時，微軟第一個宣布采購，并在其云平臺Azure上部署。
比如前一陣MSRA的新大模型基礎架構RetNet就是在512張AMD MI200上訓練的。
在英偉達占據幾乎整個AI市場的格局下，可能需要有人帶頭沖鋒，先整個大型AMD算力集群打樣，才有人敢于跟進。
不過短時間內，英偉達H100、A100還是最主流的選擇。
One More Thing
前一陣蘋果發布最高支持192GB內存新款M2 Ultra芯片的時候，還有不少從業者暢享過用它來微調大模型。
畢竟蘋果M系列芯片的內存顯存是統一的，192GB內存就是192GB顯存，可是80GB H100的2.4倍，又或者24GB RTX4090的8倍。
然鵝，有人真的把這臺機器買到手后，實際測試訓練速度還不如英偉達RTX3080TI，微調都不劃算，訓練就更別想了。
畢竟M系列芯片的算力部分不是專門針對AI計算優化的，光大顯存也沒用。
煉大模型，看來主要還是得靠H100，而H100又求之不得。
面對這種情況，網絡上甚至流傳著一首魔性的“GPU之歌”。
很洗腦，慎入。
