Demander un devis Devis

guide · 8 étapes

Mener un audit technique pour l’AI Search

L’ordre des contrôles, la commande à lancer, le livrable de chaque étape.

Rédigé le

Un audit technique pour l’AI Search vérifie une chose avant toutes les autres : que les robots des assistants atteignent vos pages et y trouvent le texte. Un contenu que le robot ne reçoit pas ne sera ni indexé ni cité, quelle que soit sa qualité.

Ce guide donne l’ordre des contrôles, la commande ou le rapport à utiliser à chaque étape, et la forme du rapport final. Les règles de fond sont dans le manuel : Accès des robots, Rendu JavaScript, Données structurées.

À la fin Un rapport d’audit : un tableau d’accès par robot, une liste d’écarts de rendu, une liste d’anomalies de statut, et un ordre de correction.

01Dresser la liste des robots, et décider

Chaque éditeur publie plusieurs robots, qui n’ont pas le même rôle. Les distinguer est une décision d’entreprise avant d’être un réglage : refuser un robot d’entraînement et refuser un robot de recherche n’ont pas les mêmes conséquences.

ÉditeurRobotRôle selon l’éditeurrobots.txt
OpenAIGPTBotCollecte pouvant servir à l’entraînement des modèlesPris en compte
OpenAIOAI-SearchBotFaire apparaître les sites dans la recherche de ChatGPTPris en compte
OpenAIChatGPT-UserRequête déclenchée par un utilisateurPeut ne pas s’appliquer
AnthropicClaudeBotCollecte pouvant contribuer à l’entraînementPris en compte
AnthropicClaude-SearchBotQualité des résultats de recherchePris en compte
AnthropicClaude-UserRequête déclenchée par un utilisateurPris en compte
PerplexityPerplexityBotFaire apparaître les sites dans les résultats de PerplexityPris en compte
PerplexityPerplexity-UserRequête déclenchée par un utilisateurGénéralement ignoré
GoogleGoogle-ExtendedJeton de contrôle pour l’entraînement de Gemini ; pas de robot distinctJeton à déclarer
Robots documentés par leurs éditeurs. Pages consultées le 19 novembre 2026 ; elles changent, relisez-les.

OpenAI précise qu’un site qui refuse OAI-SearchBot n’est pas montré dans les réponses de recherche de ChatGPT. Côté Google, Google-Extended ne joue aucun rôle dans la recherche : les AI Overviews et l’AI Mode dépendent de Googlebot et des règles habituelles.

Livrable Un tableau de décision : pour chaque robot, autorisé ou refusé, par qui, pour quelle raison.

02Lire robots.txt comme le lirait chaque robot

Ouvrez /robots.txt et cherchez, pour chaque robot du tableau, le groupe qui s’applique à lui : son nom s’il est déclaré, sinon le groupe User-agent: *. Un Disallow: / hérité d’une ancienne règle générale est le cas à débusquer. Vérifiez aussi que le fichier répond en 200, et pas par une page d’erreur.

Deux limites. Le protocole n’est pas un contrôle d’accès : la RFC 9309 écrit que ses règles « are not a form of access authorization ». Et un changement n’est pas instantané : OpenAI et Perplexity indiquent un délai d’environ 24 heures avant sa prise en compte.

Livrable Le tableau précédent, complété d’une colonne : ce que robots.txt dit réellement à chaque robot.

03Tester le CDN et le pare-feu

Un robot autorisé par robots.txt peut être refusé avant d’atteindre le serveur, par une règle du CDN ou du pare-feu applicatif. Ces réglages changent : la documentation de Cloudflare, par exemple, décrit des politiques d’accès par catégorie — recherche, entraînement, agents — dont les valeurs par défaut ont évolué entre 2025 et 2026. Ne supposez rien : ouvrez la console de votre fournisseur et lisez la règle active.

Puis testez de l’extérieur, en vous présentant sous le nom du robot :

Test par agent utilisateur
  • curl -s -o /dev/null -w "%{http_code}" -A "GPTBot" https://www.exemple.fr/une-page
  • Un 200 dit que la règle ne filtre pas sur le nom du robot. Un 403 ou une page de vérification dit que le blocage est là.
  • Limite du test : il part de votre adresse IP, pas de celles du robot. Une règle fondée sur les plages d’adresses ne se voit que dans les journaux.

Livrable Pour chaque robot : le code de réponse obtenu, et la règle du CDN qui l’explique.

04Lire les journaux

Les journaux du serveur ou du CDN sont la seule source qui dise ce qui passe réellement. Sur trente jours, extrayez les requêtes dont l’agent utilisateur contient le nom d’un des robots, et comptez par robot : le nombre de requêtes, la répartition des codes de réponse, les pages demandées.

  • Aucune requête d’un robot que vous autorisez : il est bloqué en amont, ou il ne vous connaît pas.
  • Des 403, des 429 ou des 5xx : une règle de filtrage, une limite de débit, ou un serveur qui ne tient pas la charge.
  • Beaucoup de 404 : des liens internes ou des sitemaps qui pointent vers des pages disparues.

Un agent utilisateur se falsifie. OpenAI, Anthropic et Perplexity publient les plages d’adresses de leurs robots : comparez-y un échantillon des requêtes avant de conclure. Les journaux contiennent des adresses IP ; travaillez dans le cadre de conservation fixé avec la personne chargée de la protection des données.

Livrable Un tableau par robot : requêtes, codes de réponse, pages les plus demandées, anomalies.

05Comparer le HTML reçu et la page affichée

Aucun des trois éditeurs ne dit, dans la documentation de ses robots, s’ils exécutent JavaScript : ce point n’est pas documenté. La seule mesure publique que nous connaissions est une étude de Vercel et MERJ publiée le 17 décembre 2024 sur le trafic de leur réseau, qui conclut qu’aucun des grands robots d’IA observés n’exécutait alors JavaScript. Elle est ancienne, et vient d’un hébergeur, pas d’un éditeur de modèles. Google, de son côté, recommande toujours le rendu côté serveur ou le prérendu, en rappelant que « tous les robots n’utilisent pas forcément JavaScript ».

La conduite prudente consiste à vérifier que l’essentiel est dans le HTML initial. Pour chaque gabarit de page — fiche produit, article, page de catégorie, page locale — récupérez le HTML brut avec curl, et comparez-le à la page affichée dans le navigateur :

  • le titre, le h1 et le texte principal ;
  • les prix, les disponibilités, les avis ;
  • les contenus d’onglets et d’accordéons ;
  • les liens internes et la balise canonical ;
  • le JSON-LD, s’il est injecté par script.

Livrable Par gabarit, la liste de ce qui manque dans le HTML brut.

06Contrôler statuts, canoniques et contrôles d’extrait

Sur un échantillon de pages de chaque gabarit, relevez le code de réponse, la cible de la balise canonical, les redirections et les directives robots de la page. Pour Google, la condition d’apparition dans les AI Overviews et l’AI Mode est celle de la recherche : la page doit être indexée et pouvoir être affichée avec un extrait. « Il n’y a aucune exigence technique supplémentaire », écrit sa documentation.

Conséquence pratique : un noindex oublié, ou un nosnippet posé pour une autre raison, retire aussi la page de ces surfaces. Google cite nosnippet, data-nosnippet, max-snippet et noindex comme les commandes qui limitent ce qui est affiché à partir de vos pages. Son guide plus récent sur l’IA générative ajoute une condition : le site doit être inclus dans les fonctionnalités d’IA générative dans la Search Console. Vérifiez ce réglage.

Livrable La liste des pages en anomalie : code, canonique, directive, et la correction attendue.

07Vérifier le balisage sans en attendre trop

Google écrit : « Vous n’avez pas besoin d’ajouter de données structurées schema.org particulières » pour apparaître dans ses fonctionnalités d’IA, pas plus que de fichiers lisibles par machine. L’étude d’Ahrefs sur 1 885 pages (11 mai 2026) ne mesure aucun gain de citations après ajout de balisage, sur des pages déjà très citées.

Le contrôle porte donc sur l’exactitude, pas sur la quantité : le balisage décrit-il ce que la page affiche ? Un prix, un horaire ou un auteur balisé qui contredit le texte visible est une erreur à corriger. Et ne produisez plus de balisage FAQ pour l’affichage : le journal des mises à jour de la documentation de Google indique que ce résultat enrichi n’apparaît plus dans la recherche depuis le 7 mai 2026.

Livrable La liste des balisages inexacts ou sans objet.

08Rédiger le rapport, dans l’ordre des corrections

Le rapport suit l’ordre de l’audit, qui est aussi celui des corrections : l’accès avant le rendu, le rendu avant les statuts, les statuts avant le balisage. Chaque anomalie s’écrit comme un ticket : la page ou le gabarit, ce qui est constaté, la preuve (commande, ligne de journal, capture), ce qui est attendu, et la manière de vérifier après correction.

Rejouez les étapes 3 à 5 après chaque mise en production importante et après tout changement de CDN.

Livrable Le rapport, et les tickets dans l’outil de l’équipe technique.

Sources

  1. OpenAI — Overview of OpenAI Crawlers Rôle de GPTBot, OAI-SearchBot et ChatGPT-User, effet d’un refus, délai de prise en compte, plages d’adresses publiées. Consultée le 19 novembre 2026.
  2. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Rôle de ClaudeBot, Claude-User et Claude-SearchBot ; prise en compte de robots.txt. Consultée le 19 novembre 2026.
  3. Perplexity — Perplexity Crawlers Rôle de PerplexityBot et de Perplexity-User ; ce dernier ignore généralement robots.txt. Consultée le 19 novembre 2026.
  4. Google — Robots d’exploration communs de Google Rôle du jeton Google-Extended, sans effet sur l’inclusion ni le classement dans la recherche. Consultée le 19 novembre 2026.
  5. Google Search Central — Fonctionnalités d’IA et votre site Web Conditions d’apparition dans les AI Overviews et l’AI Mode, query fan-out, comptage dans la Search Console, absence de balisage requis. Consultée le 19 novembre 2026.
  6. Google Search Central — Guide Google pour optimiser les fonctionnalités d’IA générative dans la recherche Google Page mise à jour le 13 juillet 2026. Source des citations sur le découpage du contenu, les variantes de requêtes et les fichiers lisibles par machine. Ne vaut que pour la recherche Google.
  7. Google Search Central — Comprendre les bases du SEO JavaScript Recommandation du rendu côté serveur ou du prérendu. Consultée le 19 novembre 2026.
  8. Vercel et MERJ — The rise of the AI crawler 17 décembre 2024. Étude d’un hébergeur sur le trafic de son réseau, pas une documentation d’éditeur de modèles. Les comportements ont pu changer depuis.
  9. Cloudflare — AI Crawler and Agent access policies Documentation consultée le 19 novembre 2026. Les valeurs par défaut annoncées ont varié selon les dates : seul le réglage lu dans votre console fait foi.
  10. RFC 9309 — Robots Exclusion Protocol Septembre 2022. Le protocole n’est pas une autorisation d’accès.
  11. Google Search Central — Latest Google Search Documentation Updates Entrée de mai 2026 sur la fin du résultat enrichi FAQ à compter du 7 mai 2026.
  12. Ahrefs — Does Schema Markup Improve AI Citations? Reprise de la bibliothèque du blog. 11 mai 2026, 1 885 pages, fenêtre de 30 jours. Limite énoncée par les auteurs : des pages déjà très citées dans les AI Overviews.

Passer à la pratique

Appliquer cela à votre site ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.