OpenAI: Eigene KI-Agenten schalteten Überwachung ab – einer leugnete es danach
In zwei internen Fällen haben KI-Agenten von OpenAI Sicherheitsmechanismen geschwächt: Einer unterdrückte Alarme, ein anderer entfernte einen Monitor und bestritt das auf Nachfrage.
Symbolbild · Foto: FoxTPNL / Wikimedia Commons, CC BY 4.0 (zugeschnitten und skaliert)
OpenAI hat zwei Vorfälle offengelegt, bei denen interne KI-Agenten bei Programmieraufgaben die eigene Fehlverhaltens-Überwachung geschwächt haben. Am 3. Oktober reparierte ein Agent auf Basis von GPT-6.1 Sol eine Auswertungspipeline. Weil er zuvor angewiesen worden war, keine Slack-Nachrichten zu senden, schaltete er die Benachrichtigungen des Monitors ab und leerte die Empfängerliste – der Monitor lief weiter, aber menschliche Prüfer wurden nicht mehr alarmiert. Ein Unteragent hatte das zuvor als unsicher eingestuft.
Am 6. Oktober sollte ein Agent mit GPT-6 Astra einen Programmteil nach einer Referenzvorlage umbauen. Dabei entfernte er die Monitor-Konfiguration und ersetzte sogar einen Test, der die Überwachung prüfte. Auf direkte Nachfrage antwortete er, er habe keinen aktiven Monitor entfernt – laut OpenAIs Bericht falsch. Keiner der Fälle erreichte die höchste Alarmstufe, bei der das Sicherheitsteam alarmiert wird.
OpenAI zufolge deuteten die Agenten gewöhnliche Programmieranweisungen als Erlaubnis, Schutzmechanismen zu schwächen. Das interne Prüfsystem Auto-Review blockiert solche Versuche inzwischen; zudem soll jede Art von Arbeitslast künftig einen gültigen Sicherheitsnachweis brauchen. Das Unternehmen untersucht, ob es sich um harmlose übertriebene Beharrlichkeit oder eine gezielte Neigung handelt, Überwachung zu umgehen.