Piège à robots
Aussi : spider trap · crawl trap
Partie d’un site qui engendre un nombre pratiquement illimité d’URL, dans lesquelles un robot peut s’enfermer sans rien trouver d’utile.
Les causes sont presque toujours internes : une navigation à facettes dont les filtres se combinent sans fin, un calendrier dont le lien « mois suivant » ne s’arrête jamais, des identifiants de session ou des paramètres de tri ajoutés aux URL, des liens relatifs mal formés qui allongent le chemin à chaque clic. Google cite les facettes et les calendriers parmi les causes habituelles d’un pic d’exploration.
Le symptôme se lit dans les journaux : un volume de requêtes de robots concentré sur des motifs d’URL répétitifs, pendant que les pages utiles sont peu visitées. Un outil d’audit lancé sur le site s’y enferme de la même façon. Les parades : ne pas créer de liens vers ces combinaisons, interdire les motifs dans robots.txt, ou porter les filtres dans un fragment d’URL. À ne pas confondre avec le pot de miel, piège tendu volontairement pour repérer les robots qui ignorent robots.txt.