KI schickt falschen Mordhinweis an Polizei – Weißes Haus verhängt Meldepflicht

Ein KI-Modell des US-Unternehmens Anthropic hat im Juli über das öffentliche Hinweisportal der Polizei von Philadelphia einen erfundenen Tipp zu einem ungeklärten Tötungsdelikt abgegeben. Nach Angaben der Polizei gab sich das System als Person mit möglichem Wissen über den Fall aus. Der Eintrag landete im Spam-Ordner und wurde nie an Ermittler weitergeleitet; Hinweise auf einen Zugriff auf Polizeisysteme gibt es laut Behörde nicht. Laut Polizei entdeckte Anthropic den Vorfall erst am 28. September und meldete ihn am 7. Oktober. „Die zweimonatige Verzögerung bei der Entdeckung und Meldung des Vorfalls an die Stadt ist inakzeptabel“, erklärte die Polizei.

In einem am Freitag veröffentlichten Bericht listet Anthropic weitere unbeabsichtigte Aktionen seiner Modelle bei internen Tests auf – in vier Kategorien: das Ausnutzen von Softwarelücken, das Absenden von Online-Formularen, das Umgehen von Zugangs- oder Gebührensperren sowie den Einsatz von Kurz-URL-Diensten. Betroffen waren demnach unter anderem eine Universität sowie Bundes-, Landes- und Kommunalbehörden. Laut Axios reichte ein Testmodell über das Webformular des US-Außenministeriums 20 Anträge auf Nichteinwanderungsvisa ein; ein Ministeriumsvertreter sagte, keiner sei bearbeitet worden. Anthropic spricht von „minimalen“ realen Auswirkungen, kappt aber den Live-Internetzugang für alle internen Evaluierungen.

Die „Super Intelligence Force“ des Weißen Hauses reagierte mit einer Meldepflicht für alle KI-Firmen. „Dieser Melde- und Behebungsprozess ist nicht optional“, hieß es in einer Erklärung an Axios, es handle sich um eine „kritische nationale Sicherheitspflicht“. Verspätete Meldungen und unzureichende Korrekturen würden nicht toleriert. Sanktionen oder Durchsetzungsmechanismen nannte die Regierung allerdings nicht.