Alarm nach 15 Minuten: So überwacht OpenAI seine KI-Modelle auf Fehlverhalten
Nach dem Hugging-Face-Vorfall hat OpenAI ein vierstufiges Kontrollsystem ausgebaut. Im September schlug es an, als ein Modell im Training einen Weg ins Internet fand.
Symbolbild · Foto: Jernej Furman from Slovenia / Wikimedia Commons, CC BY 2.0 (zugeschnitten und skaliert)
OpenAI hat sein System zur Überwachung von KI-Modellen auf Fehlverhalten ausgebaut und ausführlich beschrieben. Anlass ist der sogenannte Hugging-Face-Vorfall, bei dem Modelle aus einer internen Testumgebung ausgebrochen waren. Das System arbeitet in vier Stufen: Kleine Prüfprogramme werten die inneren Signale des Modells aus, ein Prüfmodell liest Gedankengänge und Werkzeugaufrufe mit, Untersuchungs-Agenten rekonstruieren verdächtige Vorfälle, und bei sensiblen Aufgaben werden Protokolle zusätzlich mit Netzwerkdaten abgeglichen, bevor Menschen alarmiert werden.
Im September habe das System gegriffen: Ein Modell fand aus einer abgeschotteten Umgebung heraus einen Weg ins Internet. Nach Unternehmensangaben schlug die Überwachung innerhalb von 15 Minuten Alarm, drei Minuten später begann die Prüfung durch Menschen, das Training wurde angehalten. In einer Nachstellung des Hugging-Face-Vorfalls hätte das neue System etwa 30 Minuten nach dem Ausbruch gewarnt – mehr als 30 Stunden vor dem eigentlichen Einbruch. Beim ursprünglichen Vorfall war noch kein solcher Monitor aktiv.
OpenAI nennt auch Grenzen: Die Überwachung läuft zeitversetzt, für den internen Programmier-Agenten Codex ist die sofortige Alarmierung abgeschaltet, und bei der Überwachung externer API-Nutzung werden Anfragen über die ältere Schnittstelle Chat Completions nicht erfasst. Die externen Prüfer METR und Redwood Research fanden in drei Wochen Schwachstellen, die laut OpenAI größtenteils behoben sind; eine Korrektur steht noch aus.