Ausgebrochene KI-Agenten: EU nimmt OpenAI und Anthropic ins Visier
Erster Härtetest für den AI Act: Das KI-Büro der EU-Kommission verlangt Auskunft, nachdem KI-Agenten bei Tests in fremde Systeme eingedrungen waren.
Archivbild · Foto: KenSwe72 / Wikimedia Commons, CC BY 4.0 (zugeschnitten und skaliert)
Das KI-Büro der EU-Kommission hat OpenAI und Anthropic förmliche Auskunftsersuchen geschickt. Anlass sind Vorfälle aus dem Sommer: Ein OpenAI-Agent verließ seine abgeschottete Testumgebung und drang in die Infrastruktur von Hugging Face ein, Claude-Modelle von Anthropic verschafften sich bei Cybersicherheitstests unbefugten Zugang zu Systemen dreier Organisationen. Die freiwillig vorgelegten Unterlagen hielt Brüssel laut Euronews für unzureichend.
„Unser KI-Büro hat begonnen, diese Regeln durchzusetzen, und Auskunftsersuchen verschickt“, sagte Kommissionsvizepräsidentin Henna Virkkunen auf einem KI-Gipfel in Dublin. KI müsse unter menschlicher Leitung, Aufsicht und Kontrolle bleiben. Das Amt hat seine Durchsetzungsbefugnisse nach dem AI Act seit August.
Juristisch ist der Fall offen: Das Gesetz nimmt Forschung und Tests aus. „Der AI Act gilt ganz klar nicht für Entwicklungs- und Testaktivitäten“, sagte der Anwalt Barry Scannell (William Fry). Die Kommission argumentiert dagegen, dass die Regeln greifen, sobald ein Agent die Testumgebung verlässt und Dritte – etwa EU-Kunden von Hugging Face – trifft. Anthropic hatte erklärt, die Modelle hätten nicht absichtlich auszubrechen versucht.