OAI-SearchBot.
Aktualisiert am · Auch: OpenAI SearchBot, ChatGPT Search Crawler
OpenAI betreibt laut eigener Dokumentation mehrere Bots mit unterschiedlichen Aufgaben. Für die Sichtbarkeit in ChatGPT ist OAI-SearchBot der wichtigste: Er baut die Grundlage dafür, dass ChatGPT Ihre Seiten in Suchantworten verlinken kann. OpenAI empfiehlt ausdrücklich, ihn zuzulassen, wenn eine Website in Suchergebnissen erscheinen soll.
Warum ist das wichtig?
Viele Websites sperren KI-Crawler pauschal – per robots.txt, Firewall oder CDN-Standardeinstellung. Damit verschwinden sie aus ChatGPT-Suchantworten, oft ohne dass es jemand bemerkt. Wichtig sind drei Details aus der OpenAI-Dokumentation:
- Änderungen an der robots.txt für OAI-SearchBot brauchen etwa 24 Stunden, bis sie wirken.
- Erlauben Sie GPTBot und OAI-SearchBot gemeinsam, kann OpenAI einen Crawl für beide Zwecke verwenden.
- Der Bot ChatGPT-User ruft Seiten auf, wenn ein Nutzer in ChatGPT danach fragt. Für ihn gelten robots.txt-Regeln laut OpenAI unter Umständen nicht, und er entscheidet nicht über die Aufnahme in die Suche.
| Bot | Zweck |
|---|---|
| OAI-SearchBot | Suche in ChatGPT |
| GPTBot | Training der Basismodelle |
| ChatGPT-User | Abruf auf Nutzeranfrage |
Beispiel
Ein hypothetischer Anbieter von Industrieventilen wundert sich, dass ChatGPT bei Produktfragen nur Händler, nie den Hersteller selbst verlinkt. Die Prüfung ergibt: Die Website liegt hinter Cloudflare, und dort sind KI-Crawler blockiert. Das Team gibt OAI-SearchBot in AI Crawl Control frei, lässt GPTBot bewusst gesperrt und ergänzt eine passende Gruppe in der robots.txt:
User-agent: OAI-SearchBot
Allow: /
Ob die Seiten danach zitiert werden, misst das Team über ein festes Prompt-Set.
Abgrenzung
OAI-SearchBot ist nicht mit einer llms.txt zu verwechseln: Die robots.txt-Freigabe ist eine notwendige Voraussetzung, die llms.txt nach heutiger Datenlage ohne messbaren Effekt.