X-Robots-Tag
Aussi : en-tête X-Robots-Tag
En-tête de réponse HTTP qui porte les mêmes règles que la balise meta robots, utile pour les fichiers qui ne sont pas du HTML.
Le serveur l’ajoute à sa réponse : X-Robots-Tag: noindex a le même effet qu’une balise meta robots noindex. Il accepte les mêmes règles, peut être répété ou en combiner plusieurs séparées par des virgules, et peut ne viser qu’un robot : X-Robots-Tag: googlebot: nofollow. Son intérêt premier est de régler l’indexation de ressources sans head — PDF, images, vidéos.
Il se configure dans le serveur web, le CDN ou l’application, ce qui permet de l’appliquer d’une seule règle à tout un répertoire ou à un type de fichier. C’est aussi ce qui le rend dangereux : absent du code source de la page, un noindex oublié dans une configuration peut désindexer un site sans que rien ne le signale à l’écran. curl -sI suivi de l’URL affiche les en-têtes et lève le doute.
Source Google — Robots meta tag, data-nosnippet, and X-Robots-Tag specifications