Was sind KI-Crawler?
KI-Crawler sind Programme von KI-Anbietern wie OpenAI, Anthropic oder Perplexity. Sie rufen Webseiten ab – genau wie der Googlebot.
Jeder Crawler meldet sich mit einem Namen, dem User-Agent. Über diesen Namen kannst du ihn in deiner robots.txt erlauben oder sperren.
Such-Bots und Training-Bots: der wichtige Unterschied
Suche & Antworten
OAI-SearchBot, Claude-SearchBot und PerplexityBot bauen den Suchindex der KI-Assistenten auf. ChatGPT-User, Claude-User und Perplexity-User rufen eine Seite live ab, wenn jemand im Chat danach fragt. Sperrst du diese Bots, kann die KI deinen Shop kaum finden, zitieren oder verlinken.
Training
GPTBot, ClaudeBot und CCBot sammeln Texte für das Training von KI-Modellen. Google-Extended und Applebot-Extended sind keine eigenen Crawler, sondern Namen, mit denen du Google und Apple die Nutzung für KI untersagst. Laut OpenAI, Anthropic, Google und Apple hat das Sperren der Training-Namen keinen Einfluss darauf, ob du in ihrer Suche erscheinst.
So erlaubst oder sperrst du KI-Bots in der robots.txt
Die robots.txt liegt im Hauptverzeichnis deines Shops, z. B. deinshop.de/robots.txt. In vielen Shopsystemen bearbeitest du sie im Backend oder über ein SEO-Plugin.
Jeder Bot folgt nur dem Block mit seinem Namen. Gibt es keinen, gilt der Block „User-agent: *“. Innerhalb eines Blocks gewinnt die längste passende Regel.
Diese Vorlage erlaubt die Such-Bots und sperrt das Training. Den zweiten Block kannst du weglassen, wenn du Training erlauben willst:
# KI-Suche & Antworten erlauben User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User Allow: / # KI-Training sperren (optional) User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot Disallow: /
Was die robots.txt nicht zeigt
Manche Hoster, Firewalls und CDNs blocken KI-Bots direkt auf dem Server. Cloudflare bietet dafür z. B. eigene Einstellungen für KI-Crawler. Solche Sperren stehen nicht in der robots.txt.
Dein Shop kann also laut robots.txt „erlaubt“ sein und trotzdem für KI-Bots gesperrt. Prüfe im Zweifel die Bot-Einstellungen bei deinem Hoster oder CDN.
Was ist llms.txt?
llms.txt ist ein Vorschlag aus dem Jahr 2024: eine Textdatei im Hauptverzeichnis (deinshop.de/llms.txt), die KI-Systemen in Markdown erklärt, was auf deiner Seite steht und welche Seiten wichtig sind.
Sie ist kein offizieller Standard. Ob und wie die KI-Anbieter sie nutzen, ist offen. Sie schadet aber nicht und ist schnell angelegt.