Robot d’entraînement
Aussi : training crawler
Robot qui collecte des pages web pour constituer les données d’entraînement d’un modèle d’IA, sans lien avec une recherche en cours.
GPTBot chez OpenAI, ClaudeBot chez Anthropic, MistralAI-Training chez Mistral, Meta-ExternalAgent chez Meta en sont des exemples documentés. Google et Apple procèdent autrement : Google-Extended et Applebot-Extended ne sont pas des robots mais des jetons de robots.txt, qui disent si les pages explorées par le robot habituel peuvent servir à l’entraînement.
L’expression est descriptive : aucun texte ne la normalise, et chaque éditeur a sa formulation. Interdire un tel robot dans robots.txt est sans effet sur la présence dans les réponses de recherche du même éditeur, qui passent par d’autres agents. C’est un choix de principe ou de négociation, pas un réglage de visibilité ; il vaut pour les collectes à venir, pas pour les modèles déjà entraînés.