robots.txt für KI-Crawler: GPTBot, ClaudeBot und Co. steuern

Was die robots.txt eigentlich ist

Die robots.txt ist eine schlichte Textdatei, die im Wurzelverzeichnis deiner Domain liegt, also unter deinedomain.de/robots.txt. Jeder Bot, der deine Seite besuchen will, ruft diese Datei zuerst ab und liest daraus, welche Bereiche er betreten darf und welche nicht. Das Prinzip ist uralt und stammt aus den 1990er-Jahren, als es vor allem um klassische Suchmaschinen ging. Neu ist, dass heute auch KI-Crawler wie GPTBot oder ClaudeBot dieselbe Datei auswerten.

Wichtig ist das Verständnis, dass die robots.txt eine Bitte ist, kein Türschloss. Sie enthält Anweisungen, an die sich seriöse Bots halten, weil ihre Betreiber es so vereinbart haben. Ein Bot, der die Datei ignoriert, wird technisch nicht gehindert. Für die großen KI-Anbieter gilt aber, dass sie ihre Crawler öffentlich dokumentieren und die Regeln respektieren, weil Missachtung schnell zum Reputationsproblem würde.

Der Aufbau ist bewusst einfach gehalten. Du benennst mit User-agent einen bestimmten Bot und legst darunter mit Disallow oder Allow fest, was gilt. Ein Sternchen als User-agent spricht alle Bots an. Genau diese Einfachheit macht die Datei mächtig: In wenigen Zeilen steuerst du das Verhalten von Dutzenden Crawlern, ohne eine einzige Zeile Programmcode zu schreiben.

Warum KI-Crawler ein eigenes Thema sind

Klassische Suchmaschinen-Bots lesen deine Seite, um sie in den Index aufzunehmen und in den Ergebnissen anzuzeigen. Im Gegenzug schicken sie dir Besucher. KI-Crawler funktionieren anders: Sie sammeln Inhalte, um Sprachmodelle zu trainieren oder um Fragen direkt in einem Chat zu beantworten. Ein Nutzer bekommt dann die Antwort, ohne deine Seite je zu besuchen. Der klassische Deal aus Sichtbarkeit gegen Traffic gerät dadurch ins Wanken.

Deshalb stellen sich für KI-Crawler andere Fragen als für Google. Ein Online-Shop möchte vielleicht, dass seine Produktbeschreibungen in KI-Antworten auftauchen, aber nicht, dass sein hart erarbeiteter Ratgeber-Content einfach ins Training wandert. Eine Anwaltskanzlei will womöglich gar nicht, dass Mandanteninformationen von einem Modell verarbeitet werden. Ein Verlag wiederum verkauft Lizenzen und will kostenloses Absaugen unterbinden. Die Interessen sind je nach Branche völlig verschieden.

Ein zweiter Punkt ist die Trennung der Zwecke. Manche Anbieter nutzen getrennte Bots für Training und für Live-Antworten. OpenAI etwa fährt GPTBot fürs Training und einen separaten User-Agent für Antworten im ChatGPT-Kontext. Diese Aufteilung erlaubt dir feine Entscheidungen: Du kannst das Training blockieren, aber zulassen, dass deine Inhalte in Echtzeit-Antworten mit Quellenangabe erscheinen.

Die wichtigsten KI-Bots und ihre Namen

Damit deine Regeln greifen, musst du die korrekten User-Agent-Namen kennen. Ein Tippfehler führt dazu, dass die Regel ins Leere läuft und der Bot ungehindert crawlt. Die Namen ändern sich gelegentlich, und neue Bots kommen hinzu, deshalb lohnt ein regelmäßiger Blick in die offiziellen Dokumentationen der Anbieter. Verlasse dich nicht auf abgeschriebene Listen aus Foren, denn dort schleichen sich schnell veraltete oder falsche Bezeichnungen ein.

Zu den derzeit relevantesten gehören die folgenden Crawler. Beachte, dass ein Anbieter mehrere Bots betreiben kann, je nachdem ob es um Training, Indexierung oder Live-Antworten geht.

Wenn du unsicher bist, welche Bots deine Seite tatsächlich besuchen, hilft ein Blick in die Server-Logs. Dort siehst du die User-Agent-Kennungen der echten Zugriffe und kannst deine robots.txt gezielt darauf abstimmen, statt auf Verdacht Dutzende Namen einzutragen, von denen die Hälfte nie vorbeikommt.

• GPTBot – Crawler von OpenAI, sammelt Inhalte fürs Modelltraining
• OAI-SearchBot – OpenAI-Bot für Such- und Antwortfunktionen in ChatGPT
• ClaudeBot – Crawler von Anthropic für das Training der Claude-Modelle
• Claude-Web / Claude-User – Anthropic-Zugriffe im Kontext von Nutzeranfragen
• Google-Extended – steuert die Nutzung durch Googles KI-Produkte, getrennt vom normalen Googlebot
• PerplexityBot – Crawler der Antwortmaschine Perplexity
• CCBot – Crawler von Common Crawl, dessen Datensatz viele Modelle als Trainingsquelle nutzen
• Bytespider – Crawler von ByteDance, oft mit hohem Abrufvolumen
• Meta-ExternalAgent – Crawler von Meta für KI-Trainingszwecke

Konkrete Regeln, die du direkt übernehmen kannst

Der einfachste Fall: Du willst einen bestimmten Bot komplett aussperren. Dafür schreibst du den Namen unter User-agent und setzt Disallow auf einen einzelnen Schrägstrich. Der Schrägstrich steht für die gesamte Domain. Beispiel: User-agent: GPTBot gefolgt von Disallow: /. Damit ist GPTBot deine komplette Seite untersagt. Diesen Block wiederholst du für jeden weiteren Bot, den du blockieren möchtest.

Oft willst du differenzierter vorgehen. Ein Bildungsanbieter etwa möchte seine öffentlichen Kursbeschreibungen freigeben, aber den internen Mitgliederbereich und Downloads schützen. Dann erlaubst du den Bot grundsätzlich und sperrst nur einzelne Pfade: Disallow: /mitglieder/ und Disallow: /downloads/. Alles andere bleibt zugänglich. Diese Kombination aus gezielten Disallow-Zeilen und optionalen Allow-Ausnahmen gibt dir feine Kontrolle, ohne die ganze Seite zu blockieren.

Achte auf die Syntax-Details. Pfade sind pro Zeile anzugeben, jeder Bot-Block wird durch eine Leerzeile getrennt, und die Reihenfolge der Blöcke spielt keine Rolle. Ein häufiger Fehler ist, mehrere Bots in eine einzige User-agent-Zeile zu quetschen. Das funktioniert nicht zuverlässig. Schreibe lieber pro Bot einen eigenen sauberen Block, auch wenn die Datei dadurch länger wird.

• Alle KI-Bots blockieren: einzelne Blöcke je Bot mit Disallow: /
• Ganze Seite für alle sperren: User-agent: * plus Disallow: / – Vorsicht, das trifft auch Google
• Nur einen Ordner schützen: Disallow: /pfad/ unter dem jeweiligen Bot
• Ausnahme erlauben: Allow: /pfad/oeffentlich/ nach einem breiteren Disallow

Die ehrlichen Grenzen der robots.txt

Die robots.txt schützt nicht, sie signalisiert. Bots, die sich nicht an die Regeln halten, ignorieren deine Einträge einfach. Gerade weniger bekannte oder aggressiv arbeitende Crawler tun das regelmäßig. Wenn Inhalte wirklich vertraulich sind, gehören sie hinter eine Anmeldung oder eine serverseitige Zugriffssperre, nicht in ein öffentliches Verzeichnis mit einem Disallow-Eintrag. Der Disallow verhindert das Crawlen, aber nicht den direkten Aufruf durch jeden, der die URL kennt.

Ein zweiter Trugschluss betrifft bereits trainierte Modelle. Sperrst du GPTBot heute aus, betrifft das nur künftige Abrufe. Inhalte, die vor der Sperre bereits gelesen wurden, sind aus einem trainierten Modell nicht mehr zu entfernen. Die robots.txt wirkt also nach vorne, nicht rückwirkend. Wer erst spät reagiert, hat unter Umständen schon einen Großteil seines Contents in verschiedenen Trainingsdaten verteilt.

Drittens ändert eine Blockade nichts an Inhalten, die andere über dich veröffentlichen. Wird dein Unternehmen in Presseartikeln, Verzeichnissen oder Foren beschrieben, landen diese fremden Texte weiter in Modellen, egal was deine eigene robots.txt sagt. Du steuerst nur den Zugriff auf deine Domain, nicht das gesamte Bild, das über dich im Netz existiert.

Blockieren oder zulassen: die strategische Abwägung

Die reflexhafte Antwort vieler Betreiber lautet, alle KI-Bots zu sperren. Das ist bequem, aber selten die beste Entscheidung. Immer mehr Menschen suchen Informationen direkt in KI-Assistenten statt in klassischen Suchmaschinen. Wer dort nicht auftaucht, weil er alles blockiert hat, wird in diesen Antworten schlicht nicht genannt. Für ein Handwerksunternehmen oder eine lokale Praxis kann das bedeuten, in einer wachsenden Zahl von Nutzeranfragen unsichtbar zu bleiben.

Sinnvoll ist deshalb, zwischen Training und Antwort zu unterscheiden. Viele Betreiber sperren reine Trainings-Bots wie GPTBot oder CCBot, lassen aber die Antwort- und Such-Bots zu, die Inhalte live abrufen und in der Regel mit Quellenverweis zitieren. So schützt du deinen Content vor dem stillen Absaugen ins Training und bleibst trotzdem in den KI-Antworten präsent, die dir potenziell Sichtbarkeit und Anfragen bringen.

Die richtige Wahl hängt vom Geschäftsmodell ab. Ein Verlag, der von Lizenzen lebt, hat gute Gründe für harte Sperren. Ein Dienstleister, der Kunden gewinnen will, profitiert eher davon, gefunden zu werden. Triff die Entscheidung bewusst und dokumentiere sie, statt eine kopierte Standardkonfiguration zu übernehmen, die zu einem ganz anderen Fall passt.

Umsetzung, Test und laufende Pflege

Die Datei legst du als reine Textdatei mit dem Namen robots.txt im Wurzelverzeichnis ab, sodass sie unter deinedomain.de/robots.txt erreichbar ist. Ein Aufruf im Browser zeigt dir sofort, ob sie korrekt ausgeliefert wird. Bei vielen Content-Management-Systemen bearbeitest du sie über eine SEO-Erweiterung oder direkt per Datei-Zugriff. Achte darauf, dass keine Weiterleitung und kein Fehlercode ausgeliefert wird, sonst ignorieren Bots die Regeln.

Nach jeder Änderung solltest du prüfen, ob sie wirkt. Ein einfacher Weg ist, die Datei aufzurufen und die Blöcke Zeile für Zeile gegen deine Absicht abzugleichen. Wirklich belastbar wird die Kontrolle aber erst über die Server-Logs: Dort siehst du, welche Bots tatsächlich zugreifen und ob ein gesperrter Crawler weiterhin auftaucht. Bleibt ein blockierter Bot präsent, hältst du entweder den falschen Namen fest oder der Bot ignoriert die Regel.

Behandle die robots.txt als lebendes Dokument. Anbieter benennen Bots um, neue Crawler erscheinen, und deine eigene Strategie ändert sich. Ein fester Termin, etwa quartalsweise, um die offiziellen Bot-Listen und deine eigenen Logs zu prüfen, hält die Datei aktuell. So vermeidest du, dass ein vor zwei Jahren eingerichteter Block heute wirkungslos ist, weil der zugehörige Bot längst unter anderem Namen unterwegs ist.