Balise meta robots
Aussi : meta robots · balise robots
Balise placée dans l’en-tête HTML d’une page pour dire aux moteurs s’ils peuvent l’indexer, suivre ses liens et en afficher un extrait.
Elle s’écrit dans le head : une balise meta dont l’attribut name vaut robots et dont l’attribut content liste des règles séparées par des virgules — noindex, nofollow, nosnippet, max-snippet:50. La valeur robots s’adresse à tous les robots ; Google reconnaît en plus googlebot et googlebot-news pour ne viser que les siens. Sans balise, rien n’est restreint : écrire index, follow n’ajoute rien.
Elle agit page par page, là où robots.txt agit sur des chemins, et elle règle l’indexation et l’affichage, pas l’exploration. Pour être lue, la page doit rester explorable : une règle posée sur une URL interdite dans robots.txt n’est jamais vue. Quand plusieurs règles se contredisent, Google applique la plus restrictive. Pour un PDF ou une image, qui n’ont pas de head, le même réglage passe par l’en-tête HTTP X-Robots-Tag.
Source Google — Robots meta tag, data-nosnippet, and X-Robots-Tag specifications