Kostenlose Analyse

Startseite › Ratgeber › robots.txt für KI-Crawler einstellen: GPTBot, ClaudeBot und Co.

robots.txt für KI-Crawler einstellen: GPTBot, ClaudeBot und Co.

17. November 2026 · 7 Min. Lesezeit · Sustain Impact Redaktion

Wenn Sie in ChatGPT, Claude oder Perplexity genannt werden wollen, lassen Sie in der robots.txt die Such- und Abruf-Bots dieser Dienste zu: OAI-SearchBot und ChatGPT-User, Claude-SearchBot und Claude-User, PerplexityBot und Perplexity-User. Die Trainings-Crawler GPTBot und ClaudeBot sowie das Google-Token Google-Extended regeln Sie getrennt davon. Das ist eine Entscheidung über das Modelltraining, nicht über Ihre Sichtbarkeit in der Suche. Googlebot und Bingbot sperren Sie nicht: Ohne Googlebot fehlen Sie auch in Googles KI-Übersichten, ohne Bingbot im Bing-Index, dessen Richtlinien auch für Copilot-Antworten gelten.

Welche KI-Crawler gibt es und was macht jeder einzelne?

Die großen Anbieter trennen inzwischen sauber nach drei Aufgaben: Inhalte für das Training sammeln, einen Suchindex aufbauen und eine Seite abrufen, weil ein Mensch gerade eine Frage gestellt hat. Für jede Aufgabe gibt es einen eigenen Namen, den Sie in der robots.txt ansprechen können.

OpenAI (ChatGPT)

Laut der Crawler-Dokumentation von OpenAI gilt:

Wichtig ist ein Satz aus derselben Dokumentation: Jede Einstellung ist unabhängig von den anderen. Sie können also OAI-SearchBot erlauben, um in der Suche zu erscheinen, und GPTBot sperren.

Anthropic (Claude)

Anthropic beschreibt in seinem Hilfeartikel zu den Crawlern drei Bots: ClaudeBot für das Training, Claude-User für Abrufe auf Nutzerfrage und Claude-SearchBot für die Qualität der Suchergebnisse. Anthropic gibt an, dass alle die Anweisungen in der robots.txt beachten. Wer Claude-User oder Claude-SearchBot sperrt, kann laut Anthropic an Sichtbarkeit in Suchantworten verlieren. Zusätzlich unterstützt Anthropic die nicht standardisierte Anweisung Crawl-delay, um die Abrufhäufigkeit zu drosseln.

Perplexity

Laut Perplexity zeigt PerplexityBot Websites in den Suchergebnissen an und verlinkt sie. Er wird nach Angaben des Unternehmens nicht für das Training von Basismodellen eingesetzt. Perplexity-User ruft Seiten auf, wenn ein Nutzer fragt, und ignoriert die robots.txt dabei in der Regel, weil der Abruf vom Nutzer ausgeht.

Google und Microsoft

Google-Extended ist laut Google kein eigener Crawler, sondern ein Token. Es steuert, ob Inhalte für das Training künftiger Gemini-Modelle und als Antwortgrundlage in den Gemini-Apps genutzt werden. Auf die Aufnahme in die Google-Suche und das Ranking hat es keinen Einfluss. Für die KI-Übersichten und den KI-Modus der Google-Suche ist dagegen die robots.txt für Googlebot maßgeblich, wie Google auf der Seite zu KI-Funktionen in der Suche schreibt.

Microsoft geht einen anderen Weg. Nach den im Februar 2026 überarbeiteten Bing-Richtlinien, über die das Search Engine Journal berichtet, steuern Sie die Nutzung in Copilot über Meta-Angaben auf der Seite: NOARCHIVE schließt Inhalte von Copilot-Antworten aus, NOCACHE beschränkt Copilot auf Adresse, Titel und Textausschnitt.

Wie viele deutsche Websites sperren KI-Crawler?

Erstaunlich wenige. Eine Auswertung von Ahrefs hat für August 2026 die robots.txt von 24.550 zufällig ausgewählten Hosts mit .de-, .at- und .ch-Endung untersucht. Ergebnis:

Ahrefs hat dabei nur die robots.txt ausgewertet, keine Firewalls oder Bot-Schutz im Netzwerk. Verlage schützen ihre Texte, weil diese ihr Produkt sind. Für einen Handwerksbetrieb, eine Kanzlei oder einen B2B-Zulieferer ist die Lage umgekehrt: Sie wollen, dass Ihre Antworten auf Kundenfragen gelesen und zitiert werden.

Welche Einstellung ist für Ihr Unternehmen sinnvoll?

In der Praxis gibt es drei Varianten:

  1. Alles offen. Alle KI-Bots dürfen lesen. Das ist für die meisten Unternehmen, die neue Kunden gewinnen wollen, die naheliegende Wahl.
  2. Suche ja, Training nein. Sie erlauben OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und PerplexityBot, sperren aber GPTBot, ClaudeBot und Google-Extended. Sie bleiben in den Suchfunktionen auffindbar, widersprechen aber der Nutzung fürs Training.
  3. Alles zu. Sinnvoll nur, wenn Ihre Inhalte selbst das verkaufte Produkt sind, etwa bei Verlagen.

Ob eine Sperre der Trainings-Crawler die spätere Nennung in Antworten beeinflusst, haben die Anbieter nicht dokumentiert. Belegt ist nur, was die Dokumentationen sagen: Bei OpenAI und Google wirkt die Trainingssperre nicht auf die Suche.

So sieht eine saubere robots.txt für Variante 2 aus

Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren Zeilen „User-agent“, darunter folgen die Regeln. Ein Beispiel, Zeile für Zeile:

Die Such- und Abruf-Bots müssen Sie nicht eigens nennen, sie fallen unter die allgemeine Gruppe mit dem Stern. Dabei gelten einige Regeln, die oft übersehen werden:

Was die robots.txt nicht kann

Die robots.txt ist eine Bitte, kein Schloss. RFC 9309 hält fest, dass die Regeln keine Form der Zugangsberechtigung sind. Google schreibt in seiner Einführung zur robots.txt, dass seriöse Crawler sie befolgen, andere aber möglicherweise nicht, und dass eine gesperrte Seite trotzdem im Index landen kann, wenn andere Seiten auf sie verlinken. Wer eine Seite aus der Google-Suche heraushalten will, braucht noindex oder einen Passwortschutz.

Auch umgekehrt gibt es Fallstricke. Viele Firewalls und Bot-Schutzdienste blockieren unbekannte Bots unabhängig von der robots.txt. Dann steht in Ihrer Datei „erlaubt“, aber der Bot erhält trotzdem eine Fehlermeldung. OpenAI und Perplexity veröffentlichen ihre IP-Bereiche als Listen, damit Sie echte Bots in solchen Systemen freigeben können. Anthropic weist darauf hin, dass das Sperren von IP-Adressen keine verlässliche Abmeldung ist. Mehr zu den Ursachen, warum KI-Assistenten ein Unternehmen nicht nennen, lesen Sie in Warum nennt ChatGPT mein Unternehmen nicht?.

Checkliste: robots.txt für KI-Crawler prüfen

  1. Rufen Sie ihre-domain.de/robots.txt im Browser auf und prüfen Sie jede Subdomain.
  2. Suchen Sie nach einer Pauschalsperre aus „User-agent: *“ und „Disallow: /“. Sie sperrt alle Bots aus, auch Googlebot.
  3. Entscheiden Sie bewusst zwischen den drei Varianten oben.
  4. Prüfen Sie, dass Googlebot und Bingbot nicht gesperrt sind. Warum Bing für ChatGPT wichtig ist, erklären wir unter Bing und IndexNow.
  5. Wiederholen Sie allgemeine Sperren in jeder bot-spezifischen Gruppe.
  6. Tragen Sie Ihre Sitemap in die robots.txt ein.
  7. Kontrollieren Sie Firewall und Bot-Schutz Ihres Hosters, ob KI-Bots dort geblockt werden.
  8. Prüfen Sie nach einigen Tagen in den Server-Logs, ob OAI-SearchBot, Claude-SearchBot und PerplexityBot Ihre Seiten tatsächlich abrufen.

Eine llms.txt ersetzt die robots.txt übrigens nicht. Was diese Datei kann und was nicht, steht in llms.txt: was die Datei kann und ob Sie sie brauchen.

Fazit

Für die meisten Unternehmen gilt: Such- und Abruf-Bots der KI-Dienste zulassen, über das Training bewusst entscheiden und Googlebot sowie Bingbot nie aussperren. Die robots.txt ist schnell geändert, aber Fehler wie Pauschalsperren oder ein Bot-Schutz beim Hoster bleiben oft lange unbemerkt. Ob KI-Crawler Ihre Website heute tatsächlich erreichen, prüft Sustain Impact in einer kostenlosen Analyse.

Häufige Fragen

Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?

Nein. GPTBot sammelt laut OpenAI Inhalte für das Training der Modelle. Für die Suche in ChatGPT ist OAI-SearchBot zuständig, und OpenAI schreibt ausdrücklich, dass jede Einstellung unabhängig von der anderen ist.

Beeinflusst Google-Extended meine Platzierung bei Google?

Nein. Google schreibt, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Ranking-Signal dient. Das Token steuert nur, ob Inhalte für das Training und die Antwortgrundlage von Gemini genutzt werden dürfen.

Halten sich alle KI-Bots an die robots.txt?

Nicht immer. OpenAI schreibt, dass für den nutzergesteuerten ChatGPT-User die robots.txt-Regeln möglicherweise nicht gelten, und Perplexity schreibt, dass Perplexity-User sie in der Regel ignoriert. Anthropic gibt an, dass seine Bots die robots.txt beachten.

Wo muss die robots.txt liegen?

Im Hauptverzeichnis der Domain unter /robots.txt, kleingeschrieben. Sie gilt nur für den jeweiligen Host, also braucht jede Subdomain ihre eigene Datei.

Wie lange dauert es, bis eine Änderung wirkt?

OpenAI nennt für OAI-SearchBot etwa 24 Stunden. Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen.

Quellen

  1. OpenAI – Overview of OpenAI Crawlers
  2. Anthropic – Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Perplexity – Perplexity Crawlers
  4. Google Search Central – Google's common crawlers
  5. Google Search Central – AI features and your website
  6. Google Search Central – How Google interprets the robots.txt specification
  7. Google Search Central – Introduction to robots.txt
  8. IETF – RFC 9309: Robots Exclusion Protocol
  9. Ahrefs – KI-Bot-Blockraten in der DACH-Region
  10. Search Engine Journal – Bing Adds GEO To Official Guidelines

Weiterlesen