AMD 計劃於今年晚些時候推出其最新的旗艦 AI 加速器 MI325X，旨在提供更高的帶寬。這一發布標誌着 AMD 正在跟隨 Nvidia 的腳步，將“Instinct”系列加速器的發布周期調整為每年一次。 根據目前掌握的信息，Instinct MI325X 與 Nvidia 的 H200 相當相似，它是去年 12 月 AMD 在 Advancing AI 活動中詳細介紹的 GPU 的增強版本，採用了 HBM3e 內存。這款部件由八個計算芯片、四個 I/O 芯片和八個內存芯片組成，通過 2.5D 和 3D 封裝技術組合在一起，堪稱 AMD 有史以來最複雜的設計之一。 儘管即將推出的芯片由 CDNA 3 GPU 驅動，但在浮點運算每秒（FLOPS）方面並沒有實質性的提升。該芯片仍保持 1.3 petaFLOPS 的 BF/FP16 性能，或者在降至 FP8 時達到 2.6 petaFLOPS。需要指出的是，MI325X 在任何給定的精度下都比 H200 更快。 AMD 似乎在不斷擴大其相對於 Nvidia 的內存優勢。MI300X 在發布時擁有 192GB 的 HBM3 內存，比 H100 多出兩倍，比即將推出的 H200 多出 51GB。而 MI325X 更是將加速器的內存容量提升至 288GB，比 H200 多出兩倍，比 Nvidia 在今年春季 GTC 上揭曉的 Blackwell 芯片多出 50%。 MI325X 轉向 HBM3e 還將提升內存帶寬至 6TB/sec。雖然與 MI300X 的 5.3TB/sec 相比只增加了 1.3 倍，未能達到最初希望的 8TB/sec，但仍然超越了 Nvidia 的 Blackwell GPU。 關於 MI325X 的詳細內存配置，我們將需要等到今年晚些時候才能揭曉。 內存容量和帶寬已成為 AI 推理的主要瓶頸。在使用 8 位精度進行計算時，每十億個參數需要大約 1GB 的內存。因此，MI325X 能夠容納 2500 億參數模型，或在八個 GPU 系統中接近 2 萬億參數模型，同時仍有空間存儲關鍵的值緩存。 儘管硬件支持 FP8 是 MI300X 發布時的主要賣點之一，但 AMD 通常在其基準測試中側重於半精度（FP16）性能。在去年底與 Nvidia 針對基準測試真實性的爭論中，我們了解到原因。對於許多基準測試，AMD 依賴於 vLLM——一個對 FP8 數據類型沒有穩定支持的推理庫。這意味着在推理過程中，MI300X 只能使用 FP16。 除非 AMD 能夠克服這一限制，否則在 H200 上運行 FP8 模型將需要 MI325X 使用兩倍的內存，從而消除其 288GB 巨大容量可能帶來的任何優勢。更重要的是，H200 在 FP8 浮點性能上將比 MI325X 在 FP16 時更高。 雖然 AMD 更傾向於與 Nvidia 的 Hopper 一代產品進行比較，但更值得關注的是即將推出的 Blackwell 系列，據稱這些芯片將於今年晚些時候開始進入市場。在其 B200 配置中，1000W 的 Blackwell 部件承諾提供高達 4.5 petaFLOPS 的 FP8 和 2.25 petaFLOPS 的 FP16 性能，192GB 的 HBM3e 內存，以及 8TB/sec 的帶寬。 儘管如此，堅持使用 FP/BF16 數據類型進行訓練和推理仍然具有一定的價值。早些時候發布的 Gaudi3 擁有 192GB 的 HBM2e 內存和雙芯片設計，能夠輸出 1.8 petaFLOPS 的 FP8 和 FP16 性能。這使其比 H100/200 高出 1.85 倍，比 MI300X/325X 高出 1.4 倍。 當然，這種情況可能並不會一直如此。大量的研究工作已經投入到稀疏模型的訓練中，尤其是對於 Nvidia 和晶圓級競爭者 Cerebras 而言。至少對於推理來說，支持稀疏浮點數學最終可能對 AMD 和 Nvidia 都有利。 MI300A 是一個獨特的類別。Nvidia 的 Grace Hopper 和 Grace Blackwell 超級芯片是完全不同的設計——它們不共享內存，也不太依賴於先進的封裝技術。與此同時，Intel 的 Falcon Shores XPU 原計劃像 AMD 的 MI300A 一樣共同封裝 CPU 和 GPU，但最終轉而採用 Habana-Gaudi 加上 Xe 圖形處理器。 儘管人工智能被炒得很熱，但還沒有真正見到哪家公司因為人工智能服務而賺大錢。自動駕駛在 2017 年時預測幾年後就可以商用，但至今仍未真正實現商業化。在人工智能領域，或許買 GPU 會是更好的商業模式，比如Sell GPUs特別是AI加速器。
|
