【人工智能】集結10萬顆H100 GPU!馬斯克xAI建全球最強AI訓練集群
馬斯克(Elon Musk)在社交平台X 宣布,旗下人工智能(AI)初創 xAI 聯同 X 及英偉達(Nvidia)攜手建立、用於訓練AI 的「孟菲斯超級集群」(Memphis Supercluster),在周一(22日)於美國孟菲斯正式投入訓練。
馬斯克稱「孟菲斯超級集群」為「全球最強用於AI訓練的集群」,在單一 RDMA 框架上配備了10萬顆液冷(liquid-cooled)英偉達H100繪圖處理器(GPU)。
據TOP500計畫對全球超級電腦每年進行2次的排名顯示,截至今年6月,超級電腦排名頭3位分別為HPE Cray與AMD建立的Frontier (3.78萬顆AMD GPU)、HPE Cray與Intel 建立的Aurora(6萬顆Intel GPU),以及Microsoft與英偉達建立的 Eagle(1.44萬顆輝達H100 GPU)。若以硬件規模或算力而論,「孟菲斯超級集群」應為世界最強。
有份為「孟菲斯超級集群」提供液冷散熱系統的超微電腦(SMCI),其公司創辦人兼行政總裁梁見後(Charles Liang)也在社交平台X 表示,很高興能跟馬斯克一同創造歷史,團隊為了達標,在執行上必須儘可能完美、快速、高效而且環保。
跟據馬斯克期後在社交平台X上發表的帖文,「孟菲斯超級集群」將負責訓練「世上最強AI」,如無意外訓練對象包括下一代聊天機械人Grok 3及背後的大型語言模型(LLM)。馬斯克又預計「世上最強AI」將在今年底前訓練完成。