這不,英特爾近日公開了自己的Aurora genAI模型,據稱參數量高達1萬億。
給超算準備的大模型
用英特爾自己的話來說,Aurora genAI由英特爾、HPE和Argonne聯手開發。未來將用于科學計算領域,包括生物學、癌癥、大氣科學、天文學、高分子化學等多個領域。
為什么是“科學計算領域”?因為這個AI大模型名字的來源就是臺超級計算機——Aurora。
自打2021年,英特爾就宣布為美國阿貢國家實驗室打造一臺Aurora超級計算機。這之后歷經多次更改計算平臺和工藝架構,所以遲遲不見落地,對其性能也是秘而不宣。
而在近日的德國漢堡舉行的高性能計算展上,英特爾終于正式揭露了這臺超算的一些參數。
Aurora超級計算機采用英特爾Xeon(至強)CPU Max和Xeon GPU Max系列芯片的支持,并將計算能力從最初的1 Exaflop(100億億次)提升至2 Exaflop(200億億次),使其與基于AMD芯片的Frontier超級計算機媲美(Frontier是目前已公布的地球上最強超級計算機)。
Aurora超算有10624個節點,每個節點2組CPU和6組GPU。CPU采用Sapphire Rapids-SP架構,總共21248個;GPU采用Intel的最強Ponte Vecchio,總共63744個。
Aurora genAI就是Aurora超級計算機的配套模型。Aurora genAI 模型以 Megatron 和 DeepSpeed 為基礎,其規模達到了 1 萬億參數,相比之下 ChatGPT 的規模僅為 1750 億參數,當然還遠不及GPT4的百萬億參數。
Aurora genAI 模型將在通用文本、科學文本、科學數據和與該領域相關的代碼上進行訓練。按照設想,它的潛在應用范圍大概是:
推動清潔能源聚變研究
催化劑研究
癌癥研究
航空航天研究
神經科學研究
宇宙學研究等
押寶AI芯片,對決英偉達
據英特爾自己介紹,由于英特爾數據中心GPU Max系列處理器的加持,實現了超過英偉達(NVIDIA)A100和AMD Instinct MI250X加速器的最快SimpleFOMP性能。英特爾也強調這款系統的表現會優于使用英偉達H100芯片的HPC。
眾所周知,現在各個大模型訓練算力幾乎全部來自英偉達的A100和H100GPU。
所以從公布的信息中,能發覺英特爾不是單純地在說這臺超算的能力,而是矛頭直指GPU霸主英偉達。
當然理想是美好的。和英偉達比起來,英特爾在AI芯片業務的市場份額幾乎為零。
2021年英特爾宣布Aurora超算時,對在上面應用的“Ponte Vecchio”旗艦數據中心GPU寄予厚望。但之后項目不斷跳票,讓英特爾失去了先機。
現在英特爾將希望押注在全新的“Falcon Shores GPU”身上,它是在Aurora超算上使用的“Ponte Vecchio”的 Max 系列 GPU 繼任者。
這也代表了英特爾關于如何構建下一代超級計算芯片的思維轉變。他們決定暫時擱置將 CPU 和 GPU 集成到 XPU的戰略計劃,專心搞好Falcon Shores,應對接下來的挑戰。
英特爾既有遠慮,又有近憂。
根據英特爾的計劃,Falcon Shores GPU最快也要2025年投產。而另外一個宿敵AMD將在今年晚些時候推出他們的Instinct MI300芯片,這被AMD視作挑戰英偉達H100的殺手锏,并將為勞倫斯利弗莫爾國家實驗室的 2 exaflops(峰值)超級計算機 El Capitan 提供動力。
此外,微軟、谷歌、亞馬遜也都開始下場研發AI芯片。粗略統計,這三家已經推出或計劃發布8款服務器和AI芯片。雖然英特爾貴為芯片龍頭,但在AI領域畢竟涉獵未深。面對這幾位巨頭的持續發力,英特爾真的壓力山大。
而在幾年之后Falcon Shores成功出世之時,真正的強敵英偉達又會拿出怎樣的“核彈”來結束這場對決,還是未知數。