lexique
Exploration et indexation
Robots, directives, plans de site, codes de réponse. 90 termes, par ordre alphabétique.
- AdsBot-Google
- Robot de Google Ads qui visite les pages de destination des annonces pour en contrôler la qualité.
- Allow
- Règle de robots.txt qui autorise l’exploration d’un chemin, le plus souvent pour ouvrir une exception dans un répertoire interdit.
- Analyse de logs
- Étude des journaux d’un serveur web pour savoir quelles URL les robots ont réellement demandées, quand, et avec quelle réponse.
- API Indexing
- API de Google qui permet de signaler directement l’ajout ou le retrait de pages d’offres d’emploi ou de vidéos diffusées en direct.
- Applebot
- Robot d’exploration d’Apple, dont les données alimentent la recherche de Spotlight, de Siri et de Safari.
- Balise meta robots
- Balise placée dans l’en-tête HTML d’une page pour dire aux moteurs s’ils peuvent l’indexer, suivre ses liens et en afficher un extrait.
- Bingbot
- Robot d’exploration de Microsoft Bing, qui télécharge les pages destinées à l’index de ce moteur.
- Budget de crawl
- Ensemble des URL d’un site que Google peut et veut explorer, compte tenu de la capacité du serveur et de l’intérêt qu’il porte au site.
- Cache Google
- Copie d’une page que Google conservait et rendait consultable depuis ses résultats ; la fonction a été retirée en 2024.
- Canonicalisation
- Processus par lequel un moteur choisit, parmi plusieurs URL au contenu identique ou très proche, celle qui représentera le groupe.
- Code 200
- Code de réponse HTTP indiquant que la requête a abouti et que le serveur renvoie le contenu demandé.
- Code 304
- Code de réponse HTTP indiquant que la ressource n’a pas changé depuis la dernière visite, et que le serveur ne la renvoie donc pas.
- Code 410
- Code de réponse HTTP indiquant qu’une ressource a été retirée du serveur, et que ce retrait est vraisemblablement définitif.
- Code de réponse HTTP
- Nombre à trois chiffres par lequel un serveur indique le résultat d’une requête : succès, redirection, erreur du client ou du serveur.
- Contrôles d’extrait
- Ensemble des règles par lesquelles un éditeur limite ce qu’un moteur peut afficher d’une page : texte, image ou aperçu vidéo.
- Crawl
- Parcours automatique des pages du web par le robot d’un moteur, qui télécharge leur contenu en suivant les liens et les sitemaps.
- Crawl-delay
- Directive non standard de robots.txt qui demande à un robot d’espacer ses requêtes ; Google l’ignore, d’autres robots la respectent.
- data-nosnippet
- Attribut HTML qui exclut un passage précis d’une page des extraits affichés par Google, sans toucher au reste du contenu.
- Découverte d’URL
- Étape par laquelle un moteur apprend l’existence d’une adresse, avant même de l’explorer : par un lien, un sitemap ou une soumission.
- Demande d’exploration
- Intérêt qu’un moteur porte à l’exploration d’un site, fonction des URL qu’il lui connaît, de leur popularité et de leur ancienneté.
- Demande d’indexation
- Action par laquelle le propriétaire d’un site demande à Google, depuis Search Console, d’explorer à nouveau une URL précise.
- Désindexation
- Sortie d’une page de l’index d’un moteur, voulue par l’éditeur du site ou subie à la suite d’une erreur ou d’une décision du moteur.
- Détectée, actuellement non indexée
- Statut de Search Console pour une URL que Google connaît mais qu’il n’a pas encore explorée.
- Disallow
- Règle de robots.txt qui interdit aux robots du groupe concerné d’explorer les URL dont le chemin commence par la valeur indiquée.
- En-tête HTTP
- Ligne d’information qui accompagne une requête ou une réponse HTTP, sous la forme d’un nom et d’une valeur.
- Erreur 401
- Code de réponse HTTP indiquant que la ressource demandée exige une authentification que la requête n’a pas fournie.
- Erreur 403
- Code de réponse HTTP indiquant que le serveur a compris la requête mais refuse d’y donner suite.
- Erreur 404
- Code de réponse HTTP indiquant que le serveur n’a rien trouvé à l’adresse demandée, sans dire si cette absence est durable.
- Erreur 429
- Code de réponse HTTP indiquant que le client a envoyé trop de requêtes dans un intervalle de temps donné.
- Erreur 500
- Code de réponse HTTP indiquant que le serveur a rencontré une situation imprévue qui l’a empêché de traiter la requête.
- Erreur 502
- Code de réponse HTTP renvoyé par un serveur intermédiaire qui a reçu une réponse invalide du serveur situé derrière lui.
- Erreur 503
- Code de réponse HTTP indiquant que le serveur est momentanément incapable de traiter la requête, pour surcharge ou maintenance.
- Erreur 504
- Code de réponse HTTP renvoyé par un serveur intermédiaire qui n’a pas reçu à temps la réponse du serveur situé derrière lui.
- Erreur 522
- Code d’erreur propre à Cloudflare, renvoyé quand son réseau n’obtient pas de réponse du serveur d’origine dans le délai imparti.
- Erreur d’exploration
- Échec d’un robot à obtenir une page qu’il a demandée, quelle qu’en soit la cause : réseau, serveur, code d’erreur ou interdiction.
- Erreur DNS
- Échec de la résolution du nom de domaine d’un site : le robot ne parvient pas à obtenir l’adresse IP du serveur à contacter.
- Erreurs 4xx
- Famille de codes HTTP par lesquels un serveur signale que la requête ne peut pas être satisfaite telle qu’elle a été formulée.
- Erreurs 5xx
- Famille de codes HTTP par lesquels un serveur signale qu’il n’a pas su traiter une requête pourtant valide.
- Explorabilité
- Aptitude d’un site à être parcouru par les robots : ses pages sont accessibles, reliées par des liens et servies sans erreur.
- Explorée, actuellement non indexée
- Statut de Search Console pour une page que Google a téléchargée mais qu’il n’a pas retenue dans son index.
- Fichier de logs
- Fichier dans lequel un serveur web consigne chaque requête reçue : adresse IP, date, URL demandée, code de réponse, agent utilisateur.
- File d’attente de rendu
- File dans laquelle Google place les pages explorées en attendant que ses ressources permettent d’en exécuter le JavaScript.
- Fréquence de crawl
- Rythme auquel un robot revient demander une même URL ou un même groupe de pages, mesuré dans les journaux du serveur.
- Google-InspectionTool
- Robot employé par les outils de test de Google, dont l’inspection d’URL de Search Console et le test des résultats enrichis.
- Googlebot
- Nom générique des deux robots d’exploration de la recherche Google, l’un simulant un mobile, l’autre un ordinateur.
- Googlebot Smartphone
- Robot de Google qui explore le web en simulant un utilisateur sur mobile, et d’où vient l’essentiel de ses requêtes d’exploration.
- Googlebot-Image
- Robot de Google qui explore les images pour Google Images, Discover et les fonctions de recherche qui affichent des visuels.
- If-Modified-Since
- En-tête de requête HTTP par lequel un client demande une ressource seulement si elle a changé depuis une date donnée.
- Index
- Base de données dans laquelle un moteur de recherche enregistre les pages qu’il a retenues, et d’où il tire ses résultats.
- Index bloat
- Situation d’un site dont le moteur a indexé un grand nombre de pages sans valeur de recherche, en plus de ses pages utiles.
- Index de sitemaps
- Fichier XML qui regroupe les adresses de plusieurs sitemaps afin de les déclarer aux moteurs en une seule fois.
- Index inversé
- Structure de données qui associe à chaque mot la liste des documents où il apparaît, et qui permet à un moteur de répondre vite.
- Index mobile-first
- Principe selon lequel Google indexe et classe un site d’après sa version mobile, explorée avec son robot pour smartphone.
- Indexabilité
- Aptitude d’une page à entrer dans l’index d’un moteur : rien, dans sa réponse ni dans son code, ne s’y oppose.
- Indexation
- Étape où un moteur analyse une page explorée et décide de l’enregistrer dans son index pour pouvoir l’afficher dans ses résultats.
- Indexation en deux vagues
- Expression de praticiens pour dire que Google indexe d’abord le HTML reçu, puis le contenu produit par JavaScript, après le rendu.
- IndexNow
- Protocole ouvert par lequel un site signale aux moteurs participants qu’une URL vient d’être ajoutée, modifiée ou supprimée.
- Inspection d’URL
- Outil de Search Console qui montre ce que Google sait d’une URL : son état d’indexation, sa dernière exploration, sa version canonique.
- Last-Modified
- En-tête de réponse HTTP par lequel un serveur indique la date à laquelle la ressource renvoyée a été modifiée pour la dernière fois.
- lastmod
- Champ facultatif d’un sitemap qui indique la date de dernière modification de la page ou du fichier qu’il accompagne.
- Limite de capacité d’exploration
- Plafond que Google se fixe pour explorer un site sans le surcharger, calculé d’après la façon dont le serveur répond.
- max-image-preview
- Règle de la balise robots qui fixe la taille maximale de l’aperçu d’image qu’un moteur peut afficher pour une page.
- max-snippet
- Règle de la balise robots qui plafonne, en nombre de caractères, la longueur de l’extrait de texte qu’un moteur peut afficher.
- Noarchive
- Règle de la balise robots qui interdisait l’affichage d’une copie en cache ; Google ne s’en sert plus, Bing lui donne un autre rôle.
- Noindex
- Règle qui demande aux moteurs de ne pas afficher une page dans leurs résultats, posée par balise meta robots ou par en-tête HTTP.
- Nosnippet
- Règle de la balise robots qui interdit aux moteurs d’afficher un extrait de texte ou un aperçu vidéo de la page dans leurs résultats.
- Outil de suppression d’URL
- Outil de Search Console qui masque temporairement des URL d’un site dans les résultats de Google, pour six mois environ.
- Page active
- Page qui a reçu au moins une visite venue d’un moteur de recherche sur une période donnée, souvent trente jours.
- Page orpheline
- Page qu’aucun lien interne ne permet d’atteindre : elle existe, mais la navigation du site n’y mène pas.
- Piège à robots
- Partie d’un site qui engendre un nombre pratiquement illimité d’URL, dans lesquelles un robot peut s’enfermer sans rien trouver d’utile.
- Plan du site HTML
- Page d’un site, destinée d’abord aux visiteurs, qui présente des liens vers ses rubriques et ses principales pages.
- Rapport d’indexation des pages
- Rapport de Search Console qui répartit les URL connues de Google entre pages indexées et non indexées, avec le motif de chaque exclusion.
- Rendu
- Opération par laquelle un moteur exécute le JavaScript d’une page, comme le ferait un navigateur, pour obtenir son contenu final.
- Ressources bloquées
- Fichiers nécessaires à l’affichage d’une page — scripts, feuilles de style, images — que robots.txt interdit aux robots de charger.
- Retry-After
- En-tête de réponse HTTP qui indique au client combien de temps attendre avant de renouveler sa requête.
- Robot d’exploration
- Programme qui télécharge automatiquement des pages web pour le compte d’un moteur de recherche, d’un outil ou d’un éditeur de modèle d’IA.
- robots.txt
- Fichier texte placé à la racine d’un site, qui indique aux robots les chemins qu’ils peuvent ou non explorer.
- Scraping
- Extraction automatisée du contenu de pages web par un programme, pour le réutiliser ou l’analyser ailleurs.
- Sitemap d’images
- Sitemap enrichi de balises qui signalent à Google les images présentes sur chaque page, y compris celles qu’il trouverait mal seul.
- Sitemap Google Actualités
- Sitemap réservé aux articles d’actualité récents, qui indique à Google le nom de la publication, la langue, la date et le titre de chacun.
- Sitemap vidéo
- Sitemap enrichi de balises qui décrivent les vidéos hébergées sur les pages d’un site : titre, description, vignette, emplacement du fichier.
- Sitemap XML
- Fichier qui liste les URL d’un site à l’intention des moteurs, avec pour chacune des informations facultatives comme la date de modification.
- Soft 404
- Page qui affiche un message d’erreur ou un contenu vide tout en répondant par un code de succès, et que Google traite comme une erreur.
- Statistiques sur l’exploration
- Rapport de Search Console qui décrit l’activité des robots de Google sur un site : volume de requêtes, réponses reçues, état de l’hôte.
- Taux de crawl
- Part des pages d’un site qu’un robot de moteur a effectivement explorées sur une période, d’après les journaux du serveur.
- User-agent
- Chaîne par laquelle un navigateur ou un robot s’identifie dans une requête HTTP ; par extension, le nom qui le désigne dans robots.txt.
- Vérification de Googlebot
- Contrôle qui établit qu’une requête se réclamant de Googlebot vient bien de Google, par DNS inversé ou par plages d’adresses IP.
- Web invisible
- Partie du web que les moteurs de recherche n’indexent pas, parce que leurs robots ne peuvent pas ou ne doivent pas y accéder.
- Web Rendering Service
- Composant de Googlebot qui charge les pages dans un Chromium sans interface et en exécute le JavaScript avant l’indexation.
- X-Robots-Tag
- En-tête de réponse HTTP qui porte les mêmes règles que la balise meta robots, utile pour les fichiers qui ne sont pas du HTML.
Et sur votre site ?
Cette question se pose chez vous ?
Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.
Voir le diagnostic
Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.