KI-Crawler erlauben oder blockieren: robots.txt und Cloudflare

Viele Unternehmen investieren in Inhalte für ChatGPT, Perplexity und Googles KI-Übersichten – und sperren die zuständigen Crawler gleichzeitig aus, ohne es zu wissen. Häufige Ursachen sind eine pauschale Regel in der robots.txt oder eine Standardeinstellung im CDN. Dieser Beitrag zeigt, welche Bots es gibt, wofür sie stehen und wie Sie Ihre Einstellungen bewusst treffen.

Welche KI-Crawler gibt es und wofür sind sie da?

Die großen Anbieter trennen inzwischen zwischen Crawlern für die Suche, für nutzergesteuerte Abrufe und für das Training von Modellen. Diese Trennung ist der wichtigste Hebel: Sie können in KI-Suchen sichtbar bleiben und trotzdem dem Training widersprechen.

Quellen: OpenAI, Anthropic, Perplexity, Google-Crawler, Google KI-Funktionen.

Zwei Details sind wichtig. Erstens: OpenAI gibt an, dass Änderungen für OAI-SearchBot rund 24 Stunden brauchen, bis sie wirken. Erlauben Sie GPTBot und OAI-SearchBot gemeinsam, kann OpenAI einen Crawl für beide Zwecke nutzen. Zweitens: Google-Extended ist kein eigener Crawler, sondern ein Steuer-Token. Gecrawlt wird mit den bestehenden Google-User-Agents (Google).

Welche Bots sollten Sie erlauben?

Wenn Sie in KI-Antworten zitiert werden wollen, erlauben Sie mindestens Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot und PerplexityBot. Ob Sie Trainings-Crawler zulassen, ist eine geschäftliche Entscheidung, keine technische.

Für die meisten B2B-Unternehmen im Mittelstand hat sich diese Abwägung bewährt:

• Suchcrawler erlauben: Sie bestimmen, ob Ihre Seiten als Quelle in KI-Antworten auftauchen können.
• Nutzergesteuerte Abrufe erlauben: Fragt ein Interessent ChatGPT oder Claude nach Ihrer Produktseite, sollte die Seite abrufbar sein.
• Training abwägen: Wer Fachwissen öffentlich teilt, profitiert oft davon, dass Modelle die eigene Marke und Kompetenz kennen. Wer exklusive Inhalte schützen will, sperrt GPTBot, ClaudeBot und Google-Extended. Einen belegten Zusammenhang zwischen Training und späteren Zitationen gibt es bisher nicht.

Wie sieht eine passende robots.txt aus?

Eine robots.txt, die KI-Suche erlaubt und Training sperrt, besteht aus wenigen klaren Gruppen. Passen Sie Pfade wie /intern/ an Ihre Website an.

# Suche und nutzergesteuerte Abrufe: erlaubt
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /intern/

# Modelltraining: gesperrt (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Alle übrigen Crawler
User-agent: *
Allow: /
Disallow: /intern/

Sitemap: https://www.example.de/sitemap.xml

Beachten Sie: Ein Crawler folgt nur der spezifischsten Gruppe, die auf ihn passt. Regeln aus User-agent: * gelten nicht zusätzlich für Bots mit eigener Gruppe – deshalb steht Disallow: /intern/ in beiden Gruppen. Prüfen Sie nach jeder Änderung, ob die Datei unter /robots.txt mit Statuscode 200 erreichbar ist.

Was macht Cloudflare mit KI-Crawlern?

Cloudflare blockiert KI-Crawler seit dem 1. Juli 2025 für neue Domains standardmäßig. Wenn Ihre Website hinter Cloudflare liegt, kann eine korrekte robots.txt also wirkungslos sein, weil der Bot schon am CDN abgewiesen wird.

Cloudflare hat die Umstellung am 1. Juli 2025 als „Content Independence Day“ angekündigt; laut MIT Technology Review gilt die Standardsperre für neue Kunden, einzelne Bots lassen sich gezielt freigeben. Für die Steuerung gibt es zwei Werkzeuge:

1. AI Crawl Control: Im Dashboard sehen Sie, welche KI-Dienste Ihre Seiten abrufen, und können pro Crawler „Allow“ oder „Block“ setzen. Außerdem zeigt Cloudflare, welche Bots Ihre robots.txt beachten. Ein Bezahlmodell pro Crawl („Pay per crawl“) befindet sich in einer privaten Beta.
2. Managed robots.txt: Cloudflare erzeugt auf Wunsch eigene Direktiven und stellt sie Ihrer vorhandenen robots.txt voran. Die Beispieldatei sperrt unter anderem GPTBot, ClaudeBot und Google-Extended. Zusätzlich setzt Cloudflare sogenannte Content Signals, standardmäßig search=yes, ai-train=no.

So gehen Sie vor:

1. Öffnen Sie im Cloudflare-Dashboard Ihrer Domain den Bereich AI Crawl Control.
2. Prüfen Sie für jeden Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot), ob er erlaubt ist.
3. Kontrollieren Sie, ob die Managed robots.txt aktiv ist, und rufen Sie anschließend Ihre /robots.txt im Browser auf, um das Ergebnis zu sehen.
4. Wiederholen Sie die Prüfung bei Firewall-Regeln oder Bot-Schutz anderer Anbieter, etwa Ihres Hosters.

Was bringt eine llms.txt?

Nach aktueller Datenlage wenig. Die llms.txt ist ein Vorschlag für eine Markdown-Datei, die KI-Systemen die wichtigsten Inhalte einer Website zusammenfasst – ein verbindlicher Standard ist sie nicht.

Eine Auswertung von Serverlogs durch Ahrefs ergab laut PPC Land, dass 97 Prozent der untersuchten llms.txt-Dateien im Mai 2026 keine einzige Anfrage erhielten. SE Ranking fand bei rund 300.000 Domains keinen messbaren Zusammenhang zwischen llms.txt und der Häufigkeit von KI-Zitationen. Google nennt für KI-Übersichten und KI-Modus ausdrücklich keine zusätzlichen KI-Textdateien als Voraussetzung (Google). Wenn Sie eine llms.txt anlegen möchten, ist das unschädlich – erwarten Sie davon aber keine Wirkung.

Fazit

Ob Sie in KI-Antworten auftauchen, entscheidet sich zuerst an der Tür: robots.txt, CDN und Firewall. Erlauben Sie die Such-Crawler, entscheiden Sie bewusst über Trainings-Crawler und prüfen Sie Cloudflare-Standardeinstellungen, bevor Sie in Inhalte investieren. Ob Ihre Website für KI-Crawler erreichbar ist, prüfen wir im kostenlosen KI-Sichtbarkeits-Audit.