Robot d’IA
Aussi : AI crawler · crawler IA
Programme par lequel un éditeur d’IA télécharge des pages web, pour entraîner un modèle, bâtir un index ou répondre à un utilisateur.
Le terme recouvre trois usages que les éditeurs séparent et confient à des agents distincts. OpenAI, par exemple, documente GPTBot pour l’entraînement, OAI-SearchBot pour la recherche de ChatGPT et ChatGPT-User pour les pages ouvertes à la demande d’un utilisateur. Anthropic, Mistral, Meta ou Amazon suivent un découpage voisin, chacun avec ses noms.
« Bloquer les robots d’IA » ne veut donc rien dire tant qu’on n’a pas dit lesquels : refuser un robot d’entraînement ne retire pas un site des réponses, refuser un robot de recherche le fait. Chaque jeton se règle séparément dans robots.txt, et se vérifie dans les journaux du serveur ou du CDN. Les noms changent : la liste à jour est celle de la documentation de chaque éditeur, pas celle d’un article.