Faux
« Bloquer une page dans robots.txt la fait sortir de Google »
Verdict : faux
Faux. Google écrit que robots.txt n’est pas un mécanisme pour tenir une page hors de ses résultats : le fichier interdit l’exploration, pas l’indexation. Une adresse bloquée peut rester affichée si d’autres pages y renvoient. Et le noindex posé sur une page bloquée n’est jamais lu, puisque le robot n’ouvre pas la page.
D’où vient l’idée
Le raisonnement se tient : un moteur ne peut pas montrer ce qu’il n’a pas lu. Et il se vérifie souvent. Une page que robots.txt interdit et vers laquelle aucun lien ne pointe a peu de chances d’apparaître, et son texte ne sera jamais affiché. Pour les fichiers image, vidéo et audio, la consigne suffit même : Google indique qu’un blocage dans robots.txt les empêche d’apparaître dans ses résultats.
L’erreur consiste à étendre ce cas aux pages web. Disallow règle une seule chose : le droit de demander une URL. La présence de cette URL dans l’index se décide ailleurs.
Ce que Google écrit
Son introduction à robots.txt le dit dès le premier paragraphe : le fichier sert surtout à éviter de surcharger un site de requêtes, et ce n’est pas un mécanisme pour tenir une page web hors de Google. Plus bas : une page interdite peut tout de même être indexée si d’autres sites y renvoient, et son adresse apparaître dans les résultats, avec éventuellement le texte des liens qui y mènent. La Search Console range ce cas sous le motif « Indexée malgré le blocage par le fichier robots.txt ».
La page consacrée à noindex ajoute le piège : si robots.txt bloque la page, le robot ne verra jamais la règle noindex qu’elle porte, et la page peut rester dans les résultats. Cumuler les deux consignes annule la seconde.
Ce qu’on en fait
- Sortir une page de l’index : retirer le
Disallow, poser unnoindex— balise<meta name='robots' content='noindex'>ou en-têteX-Robots-Tag—, puis attendre que Googlebot repasse. - Protéger un contenu confidentiel : une authentification.
robots.txtest un fichier public, et la RFC 9309 rappelle que ses règles ne sont pas une autorisation d’accès. - Épargner des requêtes au serveur — filtres, tris, paramètres sans fin : c’est l’usage pour lequel
Disallowest fait.
Le contrôle se fait dans la Search Console : l’inspection d’URL dit si l’adresse est indexée et si son exploration est autorisée. Ces pages ne décrivent que Google ; chaque autre robot applique robots.txt selon l’engagement de son éditeur.
Le sujet, traité en entier
Sources
- Google — Introduction to robots.txt Rôle du fichier ; page interdite pouvant rester indexée ; cas des fichiers image, vidéo et audio. Ne décrit que Google. Ouverte le 20 novembre 2026.
- Google — Block Search indexing with noindex Encadré « Important » : le noindex d’une page bloquée par robots.txt n’est jamais vu. Ouverte le 20 novembre 2026.
- Aide Search Console — Page indexing report Motif « Indexée malgré le blocage par le fichier robots.txt ». Ouverte le 20 novembre 2026.
- RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Les règles ne sont pas une forme d’autorisation d’accès. Ouverte le 20 novembre 2026.
Page revue le