ClaudeBot
Robot d’Anthropic qui collecte des contenus web susceptibles de contribuer à l’entraînement de ses modèles.
Anthropic écrit que le bloquer signale que les contenus futurs du site doivent être exclus de ses jeux de données d’entraînement. Ses robots respectent robots.txt, et l’éditeur dit prendre en compte Crawl-delay, extension non standard du fichier. Le refus se déclare dans robots.txt, sur chaque sous-domaine : Anthropic prévient que bloquer ses adresses IP n’est pas un moyen fiable de s’exclure.
Depuis le 30 octobre 2026, selon la même page, Anthropic reconnaît aussi un signal générique « pas d’entraînement », issu des travaux du groupe AIPREF de l’IETF ; une règle qui nomme ClaudeBot reste prioritaire sur ce signal. Bloquer ClaudeBot ne retire pas un site des réponses de Claude, qui dépendent de Claude-SearchBot et de Claude-User.
Le sujet, traité en entier
La fiche pratique de ClaudeBot dans le répertoire des robots →
Source Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?