Krátká odpověďAI roboti se dělí na dvě skupiny. Vyhledávací (OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot, Googlebot) stahují stránky, aby je AI mohla citovat a doporučit. Tréninkoví (GPTBot, ClaudeBot, Google-Extended, CCBot) sbírají data pro učení modelů. Každého jde v robots.txt povolit nebo zakázat zvlášť.
Vyhledávací roboti (rozhodují o doporučeních)
- OAI-SearchBot: vyhledávání v ChatGPT.
- PerplexityBot: Perplexity.
- Claude-SearchBot: vyhledávání v Claude.
- Bingbot: Bing a Microsoft Copilot.
- Googlebot: Google včetně AI přehledů a Režimu AI.
Tréninkoví roboti (učení modelů)
- GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl), meta-externalagent.
Roboti na pokyn uživatele
ChatGPT-User nebo Claude-User otevřou stránku, když o to uživatel v chatu požádá. OpenAI uvádí, že protože jde o akci uživatele, pravidla robots.txt se na ně nemusí vztahovat.
Jak je na tom váš web?
Zjistěte zdarma za 10 vteřin, jestli váš web umí přečíst a doporučit ChatGPT a Google AI.