robots.txt
Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Sie funktioniert wie ein Aushang am Eingang: Suchmaschinen- und KI-Crawler lesen sie zuerst und richten sich (freiwillig) nach den Regeln. Sie steuert den Zugriff, nicht die Indexierung selbst.
Warum die robots.txt für KI-Sichtbarkeit zählt
Immer mehr KI-Systeme wie ChatGPT, Perplexity oder Google AI Overviews schicken eigene Crawler los, um Webseiten zu lesen und später in Antworten zu zitieren. Diese Crawler prüfen zuerst deine robots.txt. Sperrst du sie dort aus, taucht deine Marke in KI-Antworten seltener oder gar nicht auf. Umgekehrt gilt: Wer wichtige Seiten offen hält, erhöht die Chance, als Quelle genannt zu werden. Die robots.txt ist damit ein stiller Türsteher für deine KI-Sichtbarkeit. Viele Betreiber wissen gar nicht, dass eine alte, restriktive Datei aus SEO-Zeiten heute KI-Crawler blockiert. Ein bewusster Umgang entscheidet also mit darüber, ob dich Sprachmodelle überhaupt finden und weiterempfehlen können.
Wie die robots.txt technisch funktioniert
Die Datei liegt immer unter deine-domain.de/robots.txt und besteht aus einfachen Regelblöcken. Jeder Block beginnt mit User-agent (dem Namen des Crawlers), gefolgt von Disallow (verbotene Pfade) oder Allow (erlaubte Pfade). Ein Sternchen als User-agent gilt für alle Crawler. Wichtig: Die robots.txt ist eine Bitte, kein technisches Schloss. Seriöse Crawler halten sich daran, unseriöse ignorieren sie. Zusätzlich lässt sich der Pfad zur XML-Sitemap eintragen, damit Crawler alle wichtigen Seiten schneller finden. Die Datei verhindert das Crawlen, aber nicht zwingend die Indexierung: Ist eine gesperrte Seite anderswo verlinkt, kann sie trotzdem im Index landen – ohne Inhalt. Für echtes Ausblenden brauchst du ein noindex-Meta-Tag.
Häufige Fehler
Der teuerste Fehler ist ein pauschales Disallow: / , das versehentlich die ganze Website sperrt – oft ein Überbleibsel aus der Entwicklungsphase, das beim Livegang vergessen wurde. Ebenso riskant: KI-Crawler wie GPTBot blockieren, obwohl man in KI-Suchen sichtbar sein will. Ein weiterer Klassiker ist der Glaube, robots.txt schütze sensible Daten. Das Gegenteil stimmt, denn die Datei ist öffentlich einsehbar und verrät gesperrte Pfade sogar Neugierigen. Auch Tippfehler in Pfaden oder ein falscher Speicherort (nicht im Wurzelverzeichnis) machen die Datei wirkungslos. Prüfe deine robots.txt regelmäßig, am besten mit dem Testwerkzeug der Google Search Console, und dokumentiere jede Änderung sauber.
Bezug zu KI-Empfehlungen und GEO
In der Generative Engine Optimization (GEO) geht es darum, von KI-Assistenten als Quelle zitiert und empfohlen zu werden. Die robots.txt ist dabei die erste Weiche. Nur was ein KI-Crawler lesen darf, kann in ein Sprachmodell einfließen oder in Echtzeit abgerufen werden. Es lohnt sich, gezielt zu entscheiden: Welche KI-Crawler lässt du zu, welche nicht? Manche Betreiber öffnen bewusst für GPTBot und Perplexity, sperren aber Trainings-Crawler, die keinen Sichtbarkeits-Nutzen bringen. Wichtig ist die Balance zwischen Reichweite und Kontrolle. Ergänzend gewinnt die llms.txt an Bedeutung, eine Datei, die KI-Systemen strukturiert erklärt, welche Inhalte besonders relevant sind. Beide Dateien zusammen bilden das technische Fundament deiner KI-Sichtbarkeit.
Beispiel
Ein Online-Shop für Fahrradzubehör bemerkt, dass er in ChatGPT-Antworten nie als Quelle auftaucht, obwohl er ausführliche Ratgeber hat. Ein Blick in die robots.txt zeigt: Beim letzten Relaunch blieb die Regel User-agent: * mit Disallow: / stehen, die aus der Testphase stammte. Der gesamte Shop war für alle Crawler gesperrt. Nach dem Entfernen dieser Zeile und dem Eintrag der Sitemap dürfen KI- und Suchmaschinen-Crawler die Ratgeberseiten wieder lesen. Wenige Wochen später wird der Shop in KI-Antworten zu Fahrradpflege als Quelle genannt.
Häufige Fragen
Kann ich mit der robots.txt gezielt einzelne KI-Crawler blockieren?
Ja. Du legst einen eigenen Regelblock an, etwa User-agent: GPTBot gefolgt von Disallow: / , um genau diesen Crawler auszusperren. Andere Crawler bleiben davon unberührt. Bedenke aber, dass du damit auch deine KI-Sichtbarkeit für dieses System reduzierst.
Verhindert die robots.txt, dass meine Seite in Google erscheint?
Nicht zuverlässig. Die Datei stoppt nur das Crawlen. Eine gesperrte, aber extern verlinkte Seite kann trotzdem im Index landen, dann ohne Inhaltsvorschau. Willst du eine Seite sicher ausblenden, nutze ein noindex-Meta-Tag statt der robots.txt.