robots.txt, pare-feu, CDN, limitation de débit : ce que chaque robot reçoit réellement, lu dans les journaux.
SEO technique
Ce qu’un robot ne peut ni atteindre ni lire n’existe pour aucun moteur.
Ce service vérifie, pièces à l’appui, ce que les robots obtiennent de votre site : quelles URL ils demandent, quel code de réponse ils reçoivent, quel HTML ils lisent. Il se termine par des tickets recettés, pas par un rapport.
Le périmètre s’est élargi. À Googlebot et Bingbot s’ajoutent les robots des éditeurs de modèles, chacun avec son rôle. Chez OpenAI, OAI-SearchBot alimente la recherche de ChatGPT, GPTBot collecte pour l’entraînement, ChatGPT-User agit à la demande d’un utilisateur, et chaque réglage est indépendant des autres. Anthropic et Perplexity documentent une séparation comparable. Bloquer « les robots d’IA » d’un seul geste, c’est prendre le risque de fermer la recherche en voulant fermer l’entraînement.
Sur le rendu, un point n’est pas documenté : ni la page d’OpenAI ni celle d’Anthropic ne disent si leurs robots exécutent JavaScript. Google l’exécute, en différé, et recommande malgré cela le rendu côté serveur, au motif que tous les robots ne savent pas le faire. Nous travaillons avec l’hypothèse prudente : ce qui n’est pas dans le HTML initial est tenu pour absent.
Ce que recouvre le SEO technique
Cinq contrôles, menés sur vos gabarits et vérifiés dans vos journaux serveur plutôt que déduits de la configuration.
HTML initial contre DOM rendu, gabarit par gabarit. Contenu, liens, title, canonical, JSON-LD : tout ce qui dépend de JavaScript est listé.
Codes de réponse, redirections, canoniques, noindex, sitemaps. Les URL que vous voulez voir indexées, celles qui le sont, et l’écart.
JSON-LD valide, conforme au contenu visible, limité aux types que la page justifie. Google n’exige aucun balisage particulier pour ses fonctions d’IA.
LCP, INP et CLS sur données de terrain — pour l’INP, web.dev place le seuil « bon » à 200 ms au 75ᵉ centile. Profondeur de clic des pages qui comptent.
Dans quel ordre
L’accès d’abord, parce que tout le reste en dépend. La recette en production clôt le travail ; sans elle, un ticket fermé ne prouve rien.
- 01
Recueillir
Un crawl complet ou échantillonné selon la taille du site, un export de Search Console, et au moins trente jours de journaux serveur.
- 02
Contrôler l’accès
Quels robots passent, sur quelles URL, avec quels codes. La RFC 9309 demande à un robot de tenir tout le site pour interdit quand le
robots.txtest injoignable ou renvoie une erreur serveur : une panne de ce seul fichier suspend l’exploration. - 03
Comparer le rendu
Chaque gabarit est chargé avec et sans JavaScript. Les écarts sont documentés par des captures et des extraits de code.
- 04
Classer
Chaque anomalie reçoit une gravité, un nombre d’URL concernées et une estimation d’effort faite avec vos développeurs. Ce qui n’a pas de conséquence démontrable est écarté.
- 05
Rédiger les tickets, puis recetter
Un ticket par correction, dans votre outil. Après mise en production, nous vérifions chaque correction sur le site réel et nous la clôturons — ou non.
Ce que vos développeurs reçoivent
Six livrables :
un tableur : passages par robot, par répertoire et par code de réponse, sur la période fournie.
par gabarit : ce qui figure dans le HTML initial, ce qui n’apparaît qu’après exécution de JavaScript.
dans Jira, Linear ou GitHub : contexte, URL d’exemple, comportement attendu, critère de recette.
la version proposée, chaque règle justifiée, robot par robot.
types retenus par gabarit, code JSON-LD d’exemple, résultat des validateurs.
la liste des corrections vérifiées en production, avec la date et la preuve.
Ce que vous devez fournir
- Les journaux du serveur ou du CDN, sur trente jours au moins, avec l’agent utilisateur et le code de réponse.
- Un accès en lecture à Search Console et, si vous l’utilisez, à Bing Webmaster Tools.
- Un interlocuteur technique qui connaît le déploiement : serveur, CDN, pare-feu, framework.
- Un accès à l’outil de tickets, et du temps de développement réservé. Sans lui, les tickets attendront.
- Un environnement de préproduction accessible, pour tester avant la mise en ligne.
Ce que le service ne couvre pas
- Le développement des corrections. Nous spécifions et nous recettons ; vos équipes ou votre intégrateur développent.
- Le contenu des pages : voir l’ingénierie de la citation et le content engineering.
- Les liens entrants. Leur acquisition relève des relations presse numériques et du Public Brand Network ; l’examen d’un profil de liens se demande à part.
- Les migrations, qui se cadrent séparément : table de correspondance des URL, redirections permanentes, suivi. Google recommande de conserver les redirections au moins un an.
Quand ne pas l’acheter
- Votre site compte quelques dizaines de pages en HTML statique, indexées sans difficulté. Un contrôle rapide suffit ; un audit complet serait disproportionné.
- Vous craignez pour votre budget de crawl. Google destine ce sujet aux sites d’environ un million de pages et plus, ou de dix mille pages et plus quand le contenu change chaque jour ; en dessous, il indique qu’un sitemap à jour et le suivi du rapport d’indexation suffisent.
- Aucun développeur ne pourra traiter les tickets dans les mois qui viennent. L’audit sera périmé avant d’être appliqué.
- Une refonte complète est prévue. Mieux vaut intervenir sur ses spécifications que sur le site qui va disparaître.
Le sujet, traité en entier
Sources
- OpenAI — Documentation des robots d’exploration (OAI-SearchBot, GPTBot, ChatGPT-User) Rôle de chaque robot et indépendance des réglages. La page ne mentionne pas l’exécution de JavaScript. Consultée le 19 novembre 2026.
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Rôle de
ClaudeBot,Claude-UseretClaude-SearchBot. La page ne mentionne pas l’exécution de JavaScript. Consultée le 19 novembre 2026. - Perplexity — Perplexity Crawlers Séparation entre
PerplexityBotetPerplexity-User. Consultée le 19 novembre 2026. - Google Search Central — Understand the JavaScript SEO basics Traitement en trois phases (exploration, rendu, indexation), file d’attente de rendu, et recommandation du rendu côté serveur parce que tous les robots n’exécutent pas JavaScript. Consultée le 19 novembre 2026.
- IETF — RFC 9309, Robots Exclusion Protocol Septembre 2022. Les règles ne valent pas autorisation d’accès ; un
robots.txtinjoignable impose de supposer une interdiction complète, un code 4xx autorise l’exploration. Consultée le 19 novembre 2026. - Google Search Central — AI features and your website Aucun balisage ni fichier particulier n’est requis pour les fonctions d’IA de Google ; les données structurées doivent correspondre au texte visible. Consultée le 19 novembre 2026.
- web.dev — Interaction to Next Paint (INP) Seuils de l’INP : bon jusqu’à 200 ms, médiocre au-delà de 500 ms, évalués au 75ᵉ centile des chargements. Page mise à jour le 2 septembre 2025. Consultée le 19 novembre 2026.
- Google Search Central — Large site owner’s guide to managing your crawl budget Public visé par le guide (ordres de grandeur donnés par Google comme estimation) et consigne pour les sites plus petits. Consultée le 19 novembre 2026.
- Google Search Central — Règles concernant le spam dans la recherche Google Définition du spam de liens, dont l’achat ou la vente de liens à des fins de classement. Consultée le 19 novembre 2026.
- Google Search Central — Site moves with URL changes Table de correspondance des URL, redirections permanentes, conservation des redirections pendant un an au moins, en règle générale. Consultée le 19 novembre 2026.
Et maintenant
Vérifier ce que les robots obtiennent réellement de votre site
Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.