Demander un devis Devis

robots.txt

Aussi : fichier robots.txt · protocole d’exclusion des robots · Robots Exclusion Protocol · REP

Fichier texte placé à la racine d’un site, qui indique aux robots les chemins qu’ils peuvent ou non explorer.

Le protocole date de 1994 et a été normalisé en 2022 par la RFC 9309. Le fichier se compose de groupes : une ou plusieurs lignes User-agent, puis des règles Allow et Disallow. Il ne vaut que pour l’hôte, le protocole et le port où il est servi ; chaque sous-domaine a le sien. Un robot applique le groupe qui le nomme, à défaut le groupe User-agent: *.

Trois limites. La RFC l’écrit : ces règles ne sont pas une autorisation d’accès, un robot les suit parce que son éditeur s’y engage. Interdire l’exploration n’est pas interdire l’indexation : une URL bloquée peut apparaître dans Google, sans description, si d’autres pages y renvoient. Et un noindex posé sur une page bloquée n’est jamais lu. Pour sortir une page des résultats, il faut la laisser explorer.

Le sujet, traité en entier

Source RFC 9309 — Robots Exclusion Protocol

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.