Demander un devis Devis

Cloudflare : bloquer les robots d’IA sans bloquer Googlebot

Depuis septembre 2026, Cloudflare règle les robots d’IA par comportement. Choisir « Block » pour l’entraînement arrête aussi Googlebot, Bingbot et Applebot. Les réglages à vérifier, et comment contrôler leur effet.

· · révisé le · 8 min de lecture

Illustration sur fond orange : une page de texte sombre avec un passage surligné en jaune, reliée par une ligne claire à un petit carré.

Cloudflare règle l’accès des robots d’IA par comportement : Search pour les robots qui indexent, Agent pour ceux qui agissent en temps réel pour une personne, Training pour ceux qui collectent des données d’entraînement. Le réglage se trouve sous Security > Settings, rubrique « AI Crawler and Agent access policies », sur tous les plans, gratuit compris.

Le point à contrôler en premier : depuis le 15 septembre 2026, l’action « Block » appliquée à l’entraînement arrête aussi Googlebot, Bingbot et Applebot, qui servent à la fois la recherche et l’entraînement. Pour refuser l’entraînement sans sortir de Google, Cloudflare propose l’action « Disallow ». La vérification se fait en trois temps : l’écran, le robots.txt servi, puis les événements de sécurité et les journaux.

Trois comportements, quatre actions

Chaque comportement reçoit une action, et cette action vaut pour les robots vérifiés qui ont ce comportement comme pour les robots non vérifiés qui s’en rapprochent. C’est ce qu’écrit la page « AI Crawler and Agent access policies », mise à jour le 2 novembre 2026.

  • Search : robots qui collectent ou indexent le contenu pour répondre plus tard à des questions.
  • Agent : outils qui agissent en temps réel pour une personne, comme les robots de récupération des assistants ou les agents qui pilotent un navigateur. Cloudflare recommande de laisser passer les agents personnels.
  • Training : robots qui collectent des contenus pour entraîner ou affiner des modèles, robots mixtes compris.

Les actions sont Block (refus sur toute la zone), Block on pages with ads (refus sur les seules pages où Cloudflare détecte de la publicité), Allow et, pour l’entraînement seulement, Disallow, qui exprime le refus dans robots.txt. Cloudflare rappelle que ces directives sont volontaires : un robot peut les ignorer. Quand Bot Preference Sync est activé, Disallow bloque aussi les robots d’entraînement au niveau du réseau de Cloudflare, robots mixtes exceptés.

À côté de ces politiques, le produit AI Crawl Control permet d’autoriser ou de bloquer un robot nommé. D’après sa documentation, chaque blocage crée ou met à jour une règle personnalisée du pare-feu de la zone ; sur le plan gratuit, la détection repose sur l’agent utilisateur.

Les réglages par défaut : la documentation et l’écran

Les valeurs par défaut ont changé en 2026, et deux sources de Cloudflare ne les décrivent pas de la même façon. Le billet du 1er juillet 2026 a ouvert les trois comportements à tous les clients et annoncé de nouvelles valeurs par défaut au 15 septembre 2026.

  • Nouveaux domaines, selon la documentation : Search, Agent et Training sur Allow, modifiables après l’inscription.
  • Nouveaux domaines, selon le billet du 15 septembre 2026 : deux préréglages, choisis à l’inscription. Site sans publicité : tout sur Allow. Site qui vit de la publicité : Search sur Allow, Training sur Disallow, Agent sur Block on pages with ads. Bot Preference Sync est activé dans les deux cas.
  • Domaines existants : un domaine qui n’avait pas activé l’ancien réglage « Block AI bots » passe à Allow partout. Un domaine qui l’avait activé, en Block ou en Block on pages with ads, passe à Search sur Allow, Training sur Disallow, Agent sur Block on pages with ads.

Retenez la troisième ligne : un domaine qui bloquait « les robots d’IA » en 2025 refuse peut-être aujourd’hui, sur ses pages avec publicité, les agents qui ouvrent une page à la demande d’un utilisateur. Selon nous, ChatGPT-User répond à la définition d’Agent ; la page de Cloudflare ne le nomme pas. L’écran Security > Settings, filtré sur « Bot traffic », est la seule source fiable pour votre zone.

Le risque : couper la recherche sans le savoir

Le blocage de l’entraînement peut retirer un site de Google, de Bing et d’Apple. Googlebot, Bingbot et Applebot sont des robots mixtes : le même robot sert la recherche et l’entraînement. Le billet du 15 septembre 2026 l’écrit sans détour : Block et Block on pages with ads s’appliquent désormais à ces robots, et Block les empêche d’atteindre le site, recherche comprise. La documentation le confirme : les actions de Training valent aussi pour les robots mixtes.

Disallow évite ce piège. Il publie un refus d’entraînement dans robots.txt et laisse ces robots explorer pour la recherche. Google et Apple proposent chacun un jeton distinct pour l’entraînement, Google-Extended et Applebot-Extended, et déclarent, d’après le billet de Cloudflare, que le refuser ne change pas le classement ; le comparatif Google-Extended ou Googlebot détaille le cas de Google. Une réserve pour Bing : Cloudflare indique que Disallow ne transmet pas encore de refus d’entraînement à Bing, Microsoft visant un support dans robots.txt début 2027.

Le même risque existe dans l’autre sens pour les assistants. Un Search sur Block ferme la porte aux robots de recherche des assistants. Selon notre lecture, OAI-SearchBot en fait partie ; c’est de lui que dépend la présence dans la recherche de ChatGPT : voir apparaître dans ChatGPT. Le chapitre accès des robots du manuel décrit les deux niveaux, fichier et pare-feu, et le comparatif robots.txt ou pare-feu dit quand employer l’un ou l’autre.

Le robots.txt que Cloudflare écrit à votre place

Cloudflare peut modifier le robots.txt que reçoivent les robots, sans toucher à votre serveur. D’après la page « robots.txt setting », le contenu géré apparaît quand Bot Preference Sync est activé et qu’au moins une politique est sur Block, Block on pages with ads ou, pour l’entraînement, Disallow. Il est placé en tête de votre fichier, entre deux commentaires « BEGIN Cloudflare Managed content » et « END Cloudflare Managed Content » ; si vous n’avez pas de fichier, Cloudflare en crée un.

  • Avec Training sur Disallow, l’exemple de la documentation pose Disallow: / pour Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent.
  • Le groupe User-Agent: * reçoit une ligne Content-signal: search=yes, ai-train=no, use=reference. Les Content Signals déclarent des usages admis (search, ai-input, ai-train) sans rien verrouiller ; le champ use est en test.
  • La Search Console peut signaler ces lignes comme « Syntax not understood ». Cloudflare dit n’avoir observé aucun effet sur l’exploration ni sur le référencement.

Le paiement à l’exploration relève d’AI Crawl Control. La documentation de Pay per crawl le donne en bêta fermée au 22 novembre 2026 : un robot qui signale son intention de payer reçoit la page, les autres reçoivent une réponse 402 avec le tarif. Un robot bloqué par le pare-feu ou la gestion des robots reste bloqué, ces règles passant avant.

Vérifier ce que reçoivent réellement les robots

Un réglage se vérifie à son effet, dans cet ordre.

  1. L’écran. Security > Settings, filtre « Bot traffic », « AI Crawler and Agent access policies » : notez l’action de chaque comportement et l’état de Bot Preference Sync. Dans AI Crawl Control, le tableau des robots montre, pour chacun, les requêtes acceptées et refusées et les infractions à robots.txt.
  2. Le fichier servi. curl -s https://www.votresite.fr/robots.txt montre ce que reçoivent les robots, bloc géré par Cloudflare compris. Le testeur de règles robots.txt dit ensuite quel groupe s’applique à Googlebot ou à OAI-SearchBot pour une URL donnée.
  3. Les événements de sécurité. Onglet Events de la page Analytics de la zone : ajoutez un filtre sur le champ User agent (valeur sans guillemets ni joker) et lisez l’action appliquée dans les journaux échantillonnés. D’après la documentation des Security Events, les données sont conservées 31 jours, et l’on interroge 30 jours au plus sur les plans Free, Pro et Business.
  4. Les journaux du serveur d’origine. Ils ne contiennent que ce que Cloudflare a laissé passer : on y vérifie que Googlebot, Bingbot et OAI-SearchBot reçoivent des 200 sur les pages qui comptent. L’analyseur de journaux pour les robots d’IA compte les passages par robot et par code.
  5. Le test en direct de la Search Console. L’outil d’inspection d’URL récupère la page en temps réel avec Google-InspectionTool et indique si la récupération a réussi (« Page fetch »). Un échec sur une page qui s’affiche normalement désigne un filtre en amont. Google précise que ce test ne garantit pas l’indexation, et le robot qui l’effectue n’est pas Googlebot.

Le réglage selon ce que vous voulez

  • Rester dans la recherche et les assistants, refuser l’entraînement : Search sur Allow, Training sur Disallow, Bot Preference Sync activé, Agent sur Allow. Pour un site qui veut être cité sans nourrir l’entraînement, c’est la configuration que nous retenons.
  • Tout laisser passer : les trois comportements sur Allow. Le robots.txt est alors servi sans modification.
  • Écarter un robot précis : un blocage nommé dans AI Crawl Control, plutôt qu’un Block sur un comportement entier qui emporte les robots mixtes.

Refaites ces contrôles après tout changement de formule, de CDN ou de règle de pare-feu : Cloudflare a modifié ces réglages le 1er juillet puis le 15 septembre 2026. Ce contrôle fait partie de notre audit SEO technique.

Sources

  1. Cloudflare Docs — AI Crawler and Agent access policies Documentation de l’éditeur, mise à jour le 2 novembre 2026. Comportements Search, Agent, Training ; actions Block, Block on pages with ads, Allow, Disallow ; Allow par défaut pour les nouveaux domaines ; actions de Training étendues aux robots mixtes ; chemin Security > Settings. Consultée le 22 novembre 2026.
  2. Cloudflare Docs — robots.txt setting Mise à jour le 2 novembre 2026. Conditions d’ajout du contenu géré, insertion en tête du fichier, robots listés dans l’exemple, ligne Content-signal, champ use en test, avertissement « Syntax not understood » de la Search Console, disponibilité sur tous les plans. Consultée le 22 novembre 2026.
  3. Cloudflare Blog — Your site, your rules: new AI traffic options for all customers Billet du 1er juillet 2026, mis à jour le 15 juillet 2026. Trois catégories ouvertes à tous les plans, nouvelles valeurs par défaut au 15 septembre 2026. Consultée le 22 novembre 2026.
  4. Cloudflare Blog — Have it both ways: stay discoverable in search while disallowing AI training Billet du 15 septembre 2026. Block appliqué à Applebot, Bingbot et Googlebot ; Disallow AI Training ; table de migration ; préréglages des nouveaux domaines ; réserve sur Bing jusqu’au support annoncé par Microsoft pour début 2027. Consultée le 22 novembre 2026.
  5. Cloudflare Docs — Manage AI crawlers Mise à jour le 28 juillet 2026. Autorisation ou blocage par robot, règle personnalisée du pare-feu créée à chaque blocage, détection par agent utilisateur sur le plan gratuit, réponse 403 ou 402. Consultée le 22 novembre 2026.
  6. Cloudflare Docs — What is Pay Per Crawl? Mise à jour le 28 juillet 2026. Fonction en bêta fermée, réponse 402 avec tarif, priorité des règles du pare-feu et de la gestion des robots. Consultée le 22 novembre 2026.
  7. Cloudflare Docs — Security Events Mise à jour le 2 octobre 2026. Emplacement (Analytics > Events), filtre par agent utilisateur, journaux échantillonnés, conservation de 31 jours et fenêtre de requête par plan. Consultée le 22 novembre 2026.
  8. Aide Search Console — Outil d’inspection d’URL Source primaire, non datée. Test en direct réalisé par Google-InspectionTool, champ « Page fetch », absence de garantie d’indexation, quota quotidien. Consultée le 22 novembre 2026.

Passer à la pratique

Appliquer cela à votre site ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.