Eine Million GPUs als Ziel: Meta gewährt Einblick in seinen KI-Supercluster Prometheus
Meta beschreibt ausführlich seinen Gigawatt-Supercluster Prometheus in Ohio. Die erste Ausbaustufe ist fertig und trainierte die Muse-Modelle – am Ende sollen rund eine Million GPUs zusammenarbeiten.
Foto: Gary Halvorson, Oregon State Archives / Wikimedia Commons, CC BY 4.0 (zugeschnitten und skaliert)
Video: YouTube · Open Compute Project · youtube.com
Meta hat am Montag in seinem Engineering-Blog ausführlich beschrieben, wie der KI-Supercluster Prometheus in New Albany im US-Bundesstaat Ohio aufgebaut ist. Nach Angaben des Konzerns ist die erste Ausbaustufe abgeschlossen und wurde bereits genutzt, um die Muse-Modelle zu trainieren, darunter das Spitzenmodell Muse Wonder. Im Endausbau sollen rund eine Million verteilte GPUs im Gleichtakt rechnen.
Schon jetzt laufen dort Hunderttausende GPUs in klassischen, KI-optimierten und schnell errichteten Gebäuden. Meta setzt auf Nvidia-Systeme vom Typ GB200 NVL72 und GB300 NVL72, künftig auch Vera Rubin NVL72 mit mehr als 170 Kilowatt pro Rack. Ein Ethernet-Netz verbindet bis zu 20.736 GPUs je Gebäude, Verbindungen zwischen den Standorten reichen von 2 bis über 100 Kilometer.
Eine zentrale Herausforderung war die Zuverlässigkeit: Mitte 2025 zählte Meta zeitweise fast 1.000 Unterbrechungen pro 8.000 GPUs und Tag, die Rate sei seither um 99 Prozent gesunken. Beim Vortraining von Muse Wonder lag die tatsächlich nutzbare Rechenzeit laut Meta bei über 85 Prozent. Als nächster Großstandort ist Hyperion in Louisiana geplant. Ein Video auf dem Kanal des Open Compute Project, auf das Meta in seinem Beitrag verweist, beleuchtet den Bau von KI-Infrastruktur dieser Größenordnung.