Demander un devis Devis

robots

Le répertoire des robots

42 robots nommés, chez 12 éditeurs : ce que fait chacun, s’il obéit à robots.txt, et comment le reconnaître.

RobotÉditeurUsageObéit à robots.txt
Amazonbot Amazon Collecte pour l’entraînement Oui
Amzn-SearchBot Amazon Exploration pour un moteur Oui
Amzn-User Amazon Récupération à la demande Sans engagement écrit
Claude-SearchBot Anthropic Exploration pour un moteur Oui
Claude-User Anthropic Récupération à la demande Oui
ClaudeBot Anthropic Collecte pour l’entraînement Oui
Applebot Apple Exploration pour un moteur Oui
Applebot-Extended Apple Collecte pour l’entraînement Oui
Bytespider ByteDance Exploration pour un moteur Sans engagement écrit
CCBot Common Crawl Autre usage Oui
DuckAssistBot DuckDuckGo Récupération à la demande Oui
DuckDuckBot DuckDuckGo Exploration pour un moteur Oui
AdsBot-Google Google Contrôle publicitaire Oui
AdsBot-Google-Mobile Google Contrôle publicitaire Oui
Google-Agent Google Récupération à la demande Non
Google-CloudVertexBot Google Autre usage Oui
Google-Extended Google Collecte pour l’entraînement Oui
Google-GeminiNotebook Google Récupération à la demande Non
Google-InspectionTool Google Autre usage Oui
Googlebot Google Exploration pour un moteur Oui
Googlebot Smartphone Google Exploration pour un moteur Oui
Googlebot-Image Google Exploration pour un moteur Oui
Googlebot-News Google Exploration pour un moteur Oui
Googlebot-Video Google Exploration pour un moteur Oui
GoogleOther Google Autre usage Oui
Mediapartners-Google Google Contrôle publicitaire Oui
Storebot-Google Google Exploration pour un moteur Oui
facebookexternalhit Meta Autre usage Oui
Meta-ExternalAds Meta Contrôle publicitaire Oui
Meta-ExternalAgent Meta Collecte pour l’entraînement Oui
Meta-ExternalFetcher Meta Récupération à la demande Sans engagement écrit
Meta-WebIndexer Meta Exploration pour un moteur Oui
bingbot Microsoft Exploration pour un moteur Oui
MistralAI-Index Mistral AI Exploration pour un moteur Sans engagement écrit
MistralAI-Training Mistral AI Collecte pour l’entraînement Oui
MistralAI-User Mistral AI Récupération à la demande Sans engagement écrit
ChatGPT-User OpenAI Récupération à la demande Sans engagement écrit
GPTBot OpenAI Collecte pour l’entraînement Oui
OAI-AdsBot OpenAI Contrôle publicitaire Sans engagement écrit
OAI-SearchBot OpenAI Exploration pour un moteur Oui
Perplexity-User Perplexity Récupération à la demande Non
PerplexityBot Perplexity Exploration pour un moteur Oui

« Obéit à robots.txt » rapporte ce que l’éditeur écrit dans sa documentation, relue le jour indiqué sur chaque fiche. « Sans engagement écrit » veut dire que l’éditeur ne le dit pas, ou qu’il écrit que ses règles peuvent ne pas s’appliquer : cela ne veut pas dire que le robot désobéit.

À identifier

Un robot inconnu dans vos journaux ? Envoyez-nous sa signature.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.