Robot d’exploration
Aussi : crawler · spider · bot · robot d’indexation
Programme qui télécharge automatiquement des pages web pour le compte d’un moteur de recherche, d’un outil ou d’un éditeur de modèle d’IA.
Un robot envoie des requêtes HTTP comme un navigateur, mais sans personne derrière : il lit la réponse, en extrait les liens et recommence. Il s’annonce par un en-tête User-Agent et, s’il suit le protocole, consulte robots.txt avant d’explorer. Google distingue trois familles parmi les siens : les robots communs, qui respectent toujours robots.txt lors d’une exploration automatique ; les robots à usage particulier, liés à un produit ; les récupérateurs déclenchés par un utilisateur.
« Robot d’indexation » est un synonyme courant mais inexact : le robot télécharge, l’indexation vient après et relève d’un autre système. La distinction qui pèse aujourd’hui est celle de l’usage. Alimenter un index de recherche, collecter des données d’entraînement ou aller chercher une page à la demande d’un utilisateur ne se règlent pas par le même jeton.