This article is currently only available in German.
Crawling
Crawling ist der automatisierte Prozess, bei dem ein Programm – ein sogenannter Crawler oder Bot – systematisch Webseiten aufruft, deren Inhalte ausliest und Links folgt, um weitere Seiten zu entdecken. Suchmaschinen und KI-Systeme nutzen Crawling, um zu erfassen, welche Inhalte im Netz existieren. Ohne Crawling bleibt eine Seite für Maschinen unsichtbar und kann später weder indexiert noch in Antworten zitiert werden.
Warum Crawling zählt
Crawling ist der erste Schritt einer langen Kette. Bevor eine Seite in Google auftaucht oder von einem KI-Assistenten empfohlen wird, muss ein Crawler sie überhaupt gefunden und gelesen haben. Wird deine Seite nicht gecrawlt, existiert sie für Maschinen schlicht nicht – egal wie gut der Inhalt ist. Für KI-Sichtbarkeit gilt das doppelt: Sprachmodelle beziehen ihr Wissen entweder aus Trainingsdaten oder aus Live-Abrufen. In beiden Fällen steht am Anfang ein Crawler, der deine Inhalte einsammelt. Deshalb entscheidet die Crawlbarkeit deiner Website mit darüber, ob du in Suchergebnissen und in KI-Antworten überhaupt eine Chance auf Sichtbarkeit hast.
Wie Crawling funktioniert
Ein Crawler startet mit einer Liste bekannter URLs, ruft jede Seite ab und analysiert den Quelltext. Enthaltene Links werden zur Warteschlange hinzugefügt, sodass sich der Crawler von Seite zu Seite hangelt. Dabei beachtet er Regeln aus der Datei robots.txt, die festlegt, welche Bereiche er betreten darf. Eine XML-Sitemap hilft ihm, alle wichtigen Seiten zuverlässig zu finden. Wie oft und wie tief gecrawlt wird, hängt vom sogenannten Crawl-Budget ab – der Menge an Ressourcen, die ein Bot deiner Seite zuweist. Schnelle Ladezeiten, saubere interne Verlinkung und klare URL-Strukturen sorgen dafür, dass der Crawler effizient arbeitet und keine Seite übersieht.
Häufige Fehler
Viele Sichtbarkeitsprobleme entstehen schon beim Crawling. Ein versehentlicher Eintrag in der robots.txt kann ganze Verzeichnisse blockieren. Inhalte, die erst per JavaScript nachgeladen werden, sieht mancher Crawler gar nicht. Fehlerhafte Weiterleitungen, endlose Parameter-URLs oder falsche Statuscodes verschwenden Crawl-Budget und lassen wichtige Seiten unentdeckt. Auch fehlende interne Verlinkung ist tückisch: Wenn keine andere Seite auf einen Inhalt verweist, findet ihn der Crawler oft nie. Prüfe deshalb regelmäßig in der Google Search Console, welche Seiten abgerufen werden. Ein sauberer technischer Unterbau ist die Grundlage dafür, dass gute Inhalte überhaupt eine Bühne bekommen.
Bezug zu KI-Empfehlungen
KI-Systeme wie ChatGPT, Perplexity oder Google AI Overviews setzen auf spezialisierte KI-Crawler wie GPTBot, um aktuelle Webinhalte zu erfassen. Diese Bots funktionieren technisch ähnlich wie klassische Suchmaschinen-Crawler, verfolgen aber ein anderes Ziel: Sie sammeln Material, aus dem später Antworten und Zitate entstehen. Wer in KI-Antworten genannt werden will, muss diesen Crawlern den Zugang erlauben und gut strukturierte, maschinenlesbare Inhalte anbieten. Blockierst du KI-Crawler in der robots.txt, schließt du dich möglicherweise von Empfehlungen aus. Umgekehrt kann eine klare Freigabe kombiniert mit sauberer Struktur deine Chance erhöhen, als Quelle in generativen Suchergebnissen aufzutauchen.
Example
Stell dir eine kleine Buchhandlung mit Onlineshop vor. Die Inhaberin veröffentlicht wöchentlich Buchtipps, wundert sich aber, dass keiner davon bei Google erscheint. Beim Blick in die robots.txt zeigt sich der Grund: Der gesamte Blog-Ordner ist versehentlich für Crawler gesperrt. Der Google-Bot durfte die Artikel nie lesen. Nach dem Entfernen der Sperre und dem Einreichen einer aktuellen XML-Sitemap crawlt und indexiert Google die Beiträge innerhalb weniger Tage. Kurz darauf tauchen die ersten Buchtipps in den Suchergebnissen auf – und werden sogar in einer KI-Antwort als Quelle zitiert.
Common questions
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist das Auslesen einer Seite durch einen Bot. Indexierung ist der nächste Schritt: Dabei wird der erfasste Inhalt in die Datenbank der Suchmaschine aufgenommen, sodass er in Ergebnissen erscheinen kann. Nur was gecrawlt wurde, kann indexiert werden – aber nicht alles Gecrawlte landet automatisch im Index.
Kann ich steuern, welche Crawler meine Seite besuchen?
Ja. Über die Datei robots.txt legst du fest, welche Bots welche Bereiche betreten dürfen. Du kannst einzelne Crawler wie GPTBot gezielt erlauben oder ausschließen. Beachte aber: robots.txt ist eine Anweisung, kein technischer Zwang. Seriöse Crawler halten sich daran, garantiert erzwingen lässt sich der Ausschluss so nicht.