Demander un devis Devis

Faux

« On peut écrire une règle noindex dans le fichier robots.txt »

Verdict : faux

Faux pour Google, qui écrit ne pas permettre de spécifier la règle noindex dans le fichier robots.txt. La règle se pose dans une balise meta robots ou dans l’en-tête HTTP X-Robots-Tag, et la page doit rester explorable pour qu’elle soit lue. L’idée a une origine : jusqu’au 1er septembre 2019, le code de Google traitait cette ligne sans l’avoir jamais documentée.

D’où vient l’idée : une ligne tolérée jusqu’en 2019

Ceux qui l’ont appliquée n’ont pas rêvé. Dans un billet du 2 juillet 2019, publié au moment où Google ouvrait le code de son analyseur de robots.txt, l’équipe explique avoir étudié l’usage des règles absentes du projet de norme — crawl-delay, nofollow, noindex. Elle rappelle qu’elles n’ont jamais été documentées par Google et annonce, pour le 1er septembre 2019, le retrait du code qui les gérait. Les tutoriels écrits avant cette date circulent encore.

La confusion a aussi sa logique : robots.txt est « le fichier des robots », on s’attend à tout y régler. Il ne gouverne pourtant que l’exploration. L’indexation se règle ailleurs.

Ce que Google écrit aujourd’hui

Sa page sur le blocage de l’indexation décrit deux façons de poser la règle, par balise <meta> et par en-tête de réponse HTTP, puis écrit : « Google ne permet pas de spécifier la règle noindex dans le fichier robots.txt. » Sa page sur l’interprétation de robots.txt donne la liste des champs acceptés : user-agent, allow, disallow et sitemap.

Ce verdict porte sur Google, dont nous avons ouvert la documentation. Nous n’avons pas vérifié le comportement des autres moteurs.

Ce qu’on fait à la place

  • Page HTML : une balise meta robots de valeur noindex dans le <head>.
  • PDF, image, tout fichier sans <head> : l’en-tête de réponse X-Robots-Tag: noindex, posé dans la configuration du serveur.
  • Jamais avec un Disallow sur la même adresse. Google le précise : si la page est bloquée par robots.txt, le robot ne voit pas la règle, et la page peut continuer à s’afficher dans les résultats.
  • Une ligne Noindex: restée dans un robots.txt se retire. Elle est sans effet sur Google et donne une fausse assurance.

La règle n’agit qu’une fois lue. Google prévient que le passage du robot peut prendre des mois pour une page peu visitée ; l’outil d’inspection d’URL permet de demander une nouvelle exploration, et de vérifier ce que Google a retenu pour une adresse qu’on croyait exclue.

Le sujet, traité en entier

Sources

  1. Google Search Central — Bloquer l’indexation dans la recherche avec noindex Deux façons de poser la règle ; noindex non pris en charge dans robots.txt ; page à ne pas bloquer par robots.txt ; délai de prise en compte et outil d’inspection d’URL. Version française rouverte le 20 novembre 2026.
  2. Google Search Central Blog — Remarque sur les règles non acceptées dans le fichier robots.txt (2 juillet 2019) Règles jamais documentées par Google (crawl-delay, nofollow, noindex) ; retrait au 1er septembre 2019 du code qui les gérait. Version française ouverte le 20 novembre 2026.
  3. Google — Comment Google interprète la spécification robots.txt Champs acceptés dans robots.txt : user-agent, allow, disallow, sitemap. Ne décrit que Google. Version française ouverte le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.