Demander un devis Devis

Robot d’exploration

Aussi : crawler · spider · bot · robot d’indexation

Programme qui télécharge automatiquement des pages web pour le compte d’un moteur de recherche, d’un outil ou d’un éditeur de modèle d’IA.

Un robot envoie des requêtes HTTP comme un navigateur, mais sans personne derrière : il lit la réponse, en extrait les liens et recommence. Il s’annonce par un en-tête User-Agent et, s’il suit le protocole, consulte robots.txt avant d’explorer. Google distingue trois familles parmi les siens : les robots communs, qui respectent toujours robots.txt lors d’une exploration automatique ; les robots à usage particulier, liés à un produit ; les récupérateurs déclenchés par un utilisateur.

« Robot d’indexation » est un synonyme courant mais inexact : le robot télécharge, l’indexation vient après et relève d’un autre système. La distinction qui pèse aujourd’hui est celle de l’usage. Alimenter un index de recherche, collecter des données d’entraînement ou aller chercher une page à la demande d’un utilisateur ne se règlent pas par le même jeton.

Le sujet, traité en entier

Source Google — Overview of Google crawlers and fetchers

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.