Ein Eintrag für alle: KI-Firmen wollen gemeinsames Nein zum Training achten
OpenAI, Google, Microsoft und Anthropic wollen ein neues Signal in der Datei robots.txt beachten. Website-Betreiber können damit das KI-Training mit ihren Inhalten auf einen Schlag ablehnen.
Symbolbild · Foto: Arzhel Younsi / Wikimedia Commons, CC BY-SA 4.0 (zugeschnitten und skaliert)
Vier der größten KI-Entwickler wollen ein gemeinsames Signal unterstützen, mit dem Website-Betreiber der Nutzung ihrer Inhalte für das KI-Training widersprechen können. Es handelt sich um den Eintrag „__usage_ai-training“ in der Datei robots.txt, die Suchmaschinen und anderen Crawlern seit Jahrzehnten Regeln vorgibt. Bisher mussten Betreiber jeden Crawler einzeln aussperren. Der Vorschlag stammt aus einem Entwurf bei der Internet-Standardisierungsorganisation IETF, den Anthropic-Mitarbeiter Kevin Kelley am Freitag vorgelegt hat.
Die Umsetzung erfolgt unterschiedlich schnell. Anthropic hat nach eigenen Angaben bereits damit begonnen, OpenAI kündigt die Unterstützung für die kommenden Monate an. Google will das Signal 2027 beachten und es wie eine Sperre seines Crawlers Google-Extended behandeln. Microsoft kündigte für die Suchmaschine Bing zudem eine getrennte Kontrolle für die Nutzung von Seiten in Live-Antworten an.
Der Eintrag gilt nur für das Training von KI-Modellen, nicht für die Aufnahme in Suchmaschinen oder das Abrufen von Inhalten in Echtzeit. Die Einhaltung ist freiwillig, ein Durchsetzungsmechanismus fehlt. Der Entwurf ist noch kein offizieller Standard.