robots.txt
Aussi : fichier robots.txt · protocole d’exclusion des robots · Robots Exclusion Protocol · REP
Fichier texte placé à la racine d’un site, qui indique aux robots les chemins qu’ils peuvent ou non explorer.
Le protocole date de 1994 et a été normalisé en 2022 par la RFC 9309. Le fichier se compose de groupes : une ou plusieurs lignes User-agent, puis des règles Allow et Disallow. Il ne vaut que pour l’hôte, le protocole et le port où il est servi ; chaque sous-domaine a le sien. Un robot applique le groupe qui le nomme, à défaut le groupe User-agent: *.
Trois limites. La RFC l’écrit : ces règles ne sont pas une autorisation d’accès, un robot les suit parce que son éditeur s’y engage. Interdire l’exploration n’est pas interdire l’indexation : une URL bloquée peut apparaître dans Google, sans description, si d’autres pages y renvoient. Et un noindex posé sur une page bloquée n’est jamais lu. Pour sortir une page des résultats, il faut la laisser explorer.