Cloudflare : bloquer les robots d’IA sans bloquer Googlebot
Depuis septembre 2026, Cloudflare règle les robots d’IA par comportement. Choisir « Block » pour l’entraînement arrête aussi Googlebot, Bingbot et Applebot. Les réglages à vérifier, et comment contrôler leur effet.
Cloudflare règle l’accès des robots d’IA par comportement : Search pour les robots qui indexent, Agent pour ceux qui agissent en temps réel pour une personne, Training pour ceux qui collectent des données d’entraînement. Le réglage se trouve sous Security > Settings, rubrique « AI Crawler and Agent access policies », sur tous les plans, gratuit compris.
Le point à contrôler en premier : depuis le 15 septembre 2026, l’action « Block » appliquée à l’entraînement arrête aussi Googlebot, Bingbot et Applebot, qui servent à la fois la recherche et l’entraînement. Pour refuser l’entraînement sans sortir de Google, Cloudflare propose l’action « Disallow ». La vérification se fait en trois temps : l’écran, le robots.txt servi, puis les événements de sécurité et les journaux.
Trois comportements, quatre actions
Chaque comportement reçoit une action, et cette action vaut pour les robots vérifiés qui ont ce comportement comme pour les robots non vérifiés qui s’en rapprochent. C’est ce qu’écrit la page « AI Crawler and Agent access policies », mise à jour le 2 novembre 2026.
- Search : robots qui collectent ou indexent le contenu pour répondre plus tard à des questions.
- Agent : outils qui agissent en temps réel pour une personne, comme les robots de récupération des assistants ou les agents qui pilotent un navigateur. Cloudflare recommande de laisser passer les agents personnels.
- Training : robots qui collectent des contenus pour entraîner ou affiner des modèles, robots mixtes compris.
Les actions sont Block (refus sur toute la zone), Block on pages with ads (refus sur les seules pages où Cloudflare détecte de la publicité), Allow et, pour l’entraînement seulement, Disallow, qui exprime le refus dans robots.txt. Cloudflare rappelle que ces directives sont volontaires : un robot peut les ignorer. Quand Bot Preference Sync est activé, Disallow bloque aussi les robots d’entraînement au niveau du réseau de Cloudflare, robots mixtes exceptés.
À côté de ces politiques, le produit AI Crawl Control permet d’autoriser ou de bloquer un robot nommé. D’après sa documentation, chaque blocage crée ou met à jour une règle personnalisée du pare-feu de la zone ; sur le plan gratuit, la détection repose sur l’agent utilisateur.
Les réglages par défaut : la documentation et l’écran
Les valeurs par défaut ont changé en 2026, et deux sources de Cloudflare ne les décrivent pas de la même façon. Le billet du 1er juillet 2026 a ouvert les trois comportements à tous les clients et annoncé de nouvelles valeurs par défaut au 15 septembre 2026.
- Nouveaux domaines, selon la documentation : Search, Agent et Training sur Allow, modifiables après l’inscription.
- Nouveaux domaines, selon le billet du 15 septembre 2026 : deux préréglages, choisis à l’inscription. Site sans publicité : tout sur Allow. Site qui vit de la publicité : Search sur Allow, Training sur Disallow, Agent sur Block on pages with ads. Bot Preference Sync est activé dans les deux cas.
- Domaines existants : un domaine qui n’avait pas activé l’ancien réglage « Block AI bots » passe à Allow partout. Un domaine qui l’avait activé, en Block ou en Block on pages with ads, passe à Search sur Allow, Training sur Disallow, Agent sur Block on pages with ads.
Retenez la troisième ligne : un domaine qui bloquait « les robots d’IA » en 2025 refuse peut-être aujourd’hui, sur ses pages avec publicité, les agents qui ouvrent une page à la demande d’un utilisateur. Selon nous, ChatGPT-User répond à la définition d’Agent ; la page de Cloudflare ne le nomme pas. L’écran Security > Settings, filtré sur « Bot traffic », est la seule source fiable pour votre zone.
Le risque : couper la recherche sans le savoir
Le blocage de l’entraînement peut retirer un site de Google, de Bing et d’Apple. Googlebot, Bingbot et Applebot sont des robots mixtes : le même robot sert la recherche et l’entraînement. Le billet du 15 septembre 2026 l’écrit sans détour : Block et Block on pages with ads s’appliquent désormais à ces robots, et Block les empêche d’atteindre le site, recherche comprise. La documentation le confirme : les actions de Training valent aussi pour les robots mixtes.
Disallow évite ce piège. Il publie un refus d’entraînement dans robots.txt et laisse ces robots explorer pour la recherche. Google et Apple proposent chacun un jeton distinct pour l’entraînement, Google-Extended et Applebot-Extended, et déclarent, d’après le billet de Cloudflare, que le refuser ne change pas le classement ; le comparatif Google-Extended ou Googlebot détaille le cas de Google. Une réserve pour Bing : Cloudflare indique que Disallow ne transmet pas encore de refus d’entraînement à Bing, Microsoft visant un support dans robots.txt début 2027.
Le même risque existe dans l’autre sens pour les assistants. Un Search sur Block ferme la porte aux robots de recherche des assistants. Selon notre lecture, OAI-SearchBot en fait partie ; c’est de lui que dépend la présence dans la recherche de ChatGPT : voir apparaître dans ChatGPT. Le chapitre accès des robots du manuel décrit les deux niveaux, fichier et pare-feu, et le comparatif robots.txt ou pare-feu dit quand employer l’un ou l’autre.
Le robots.txt que Cloudflare écrit à votre place
Cloudflare peut modifier le robots.txt que reçoivent les robots, sans toucher à votre serveur. D’après la page « robots.txt setting », le contenu géré apparaît quand Bot Preference Sync est activé et qu’au moins une politique est sur Block, Block on pages with ads ou, pour l’entraînement, Disallow. Il est placé en tête de votre fichier, entre deux commentaires « BEGIN Cloudflare Managed content » et « END Cloudflare Managed Content » ; si vous n’avez pas de fichier, Cloudflare en crée un.
- Avec Training sur Disallow, l’exemple de la documentation pose
Disallow: /pour Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent. - Le groupe
User-Agent: *reçoit une ligneContent-signal: search=yes, ai-train=no, use=reference. Les Content Signals déclarent des usages admis (search,ai-input,ai-train) sans rien verrouiller ; le champuseest en test. - La Search Console peut signaler ces lignes comme « Syntax not understood ». Cloudflare dit n’avoir observé aucun effet sur l’exploration ni sur le référencement.
Le paiement à l’exploration relève d’AI Crawl Control. La documentation de Pay per crawl le donne en bêta fermée au 22 novembre 2026 : un robot qui signale son intention de payer reçoit la page, les autres reçoivent une réponse 402 avec le tarif. Un robot bloqué par le pare-feu ou la gestion des robots reste bloqué, ces règles passant avant.
Vérifier ce que reçoivent réellement les robots
Un réglage se vérifie à son effet, dans cet ordre.
- L’écran. Security > Settings, filtre « Bot traffic », « AI Crawler and Agent access policies » : notez l’action de chaque comportement et l’état de Bot Preference Sync. Dans AI Crawl Control, le tableau des robots montre, pour chacun, les requêtes acceptées et refusées et les infractions à
robots.txt. - Le fichier servi.
curl -s https://www.votresite.fr/robots.txtmontre ce que reçoivent les robots, bloc géré par Cloudflare compris. Le testeur de règles robots.txt dit ensuite quel groupe s’applique à Googlebot ou àOAI-SearchBotpour une URL donnée. - Les événements de sécurité. Onglet Events de la page Analytics de la zone : ajoutez un filtre sur le champ User agent (valeur sans guillemets ni joker) et lisez l’action appliquée dans les journaux échantillonnés. D’après la documentation des Security Events, les données sont conservées 31 jours, et l’on interroge 30 jours au plus sur les plans Free, Pro et Business.
- Les journaux du serveur d’origine. Ils ne contiennent que ce que Cloudflare a laissé passer : on y vérifie que Googlebot, Bingbot et
OAI-SearchBotreçoivent des 200 sur les pages qui comptent. L’analyseur de journaux pour les robots d’IA compte les passages par robot et par code. - Le test en direct de la Search Console. L’outil d’inspection d’URL récupère la page en temps réel avec Google-InspectionTool et indique si la récupération a réussi (« Page fetch »). Un échec sur une page qui s’affiche normalement désigne un filtre en amont. Google précise que ce test ne garantit pas l’indexation, et le robot qui l’effectue n’est pas Googlebot.
Le réglage selon ce que vous voulez
- Rester dans la recherche et les assistants, refuser l’entraînement : Search sur Allow, Training sur Disallow, Bot Preference Sync activé, Agent sur Allow. Pour un site qui veut être cité sans nourrir l’entraînement, c’est la configuration que nous retenons.
- Tout laisser passer : les trois comportements sur Allow. Le
robots.txtest alors servi sans modification. - Écarter un robot précis : un blocage nommé dans AI Crawl Control, plutôt qu’un Block sur un comportement entier qui emporte les robots mixtes.
Refaites ces contrôles après tout changement de formule, de CDN ou de règle de pare-feu : Cloudflare a modifié ces réglages le 1er juillet puis le 15 septembre 2026. Ce contrôle fait partie de notre audit SEO technique.
Sources
- Cloudflare Docs — AI Crawler and Agent access policies Documentation de l’éditeur, mise à jour le 2 novembre 2026. Comportements Search, Agent, Training ; actions Block, Block on pages with ads, Allow, Disallow ; Allow par défaut pour les nouveaux domaines ; actions de Training étendues aux robots mixtes ; chemin Security > Settings. Consultée le 22 novembre 2026.
- Cloudflare Docs — robots.txt setting Mise à jour le 2 novembre 2026. Conditions d’ajout du contenu géré, insertion en tête du fichier, robots listés dans l’exemple, ligne Content-signal, champ use en test, avertissement « Syntax not understood » de la Search Console, disponibilité sur tous les plans. Consultée le 22 novembre 2026.
- Cloudflare Blog — Your site, your rules: new AI traffic options for all customers Billet du 1er juillet 2026, mis à jour le 15 juillet 2026. Trois catégories ouvertes à tous les plans, nouvelles valeurs par défaut au 15 septembre 2026. Consultée le 22 novembre 2026.
- Cloudflare Blog — Have it both ways: stay discoverable in search while disallowing AI training Billet du 15 septembre 2026. Block appliqué à Applebot, Bingbot et Googlebot ; Disallow AI Training ; table de migration ; préréglages des nouveaux domaines ; réserve sur Bing jusqu’au support annoncé par Microsoft pour début 2027. Consultée le 22 novembre 2026.
- Cloudflare Docs — Manage AI crawlers Mise à jour le 28 juillet 2026. Autorisation ou blocage par robot, règle personnalisée du pare-feu créée à chaque blocage, détection par agent utilisateur sur le plan gratuit, réponse 403 ou 402. Consultée le 22 novembre 2026.
- Cloudflare Docs — What is Pay Per Crawl? Mise à jour le 28 juillet 2026. Fonction en bêta fermée, réponse 402 avec tarif, priorité des règles du pare-feu et de la gestion des robots. Consultée le 22 novembre 2026.
- Cloudflare Docs — Security Events Mise à jour le 2 octobre 2026. Emplacement (Analytics > Events), filtre par agent utilisateur, journaux échantillonnés, conservation de 31 jours et fenêtre de requête par plan. Consultée le 22 novembre 2026.
- Aide Search Console — Outil d’inspection d’URL Source primaire, non datée. Test en direct réalisé par Google-InspectionTool, champ « Page fetch », absence de garantie d’indexation, quota quotidien. Consultée le 22 novembre 2026.
À lire ensuite
Secteurs
SEO Black Friday : ce qui se joue encore la dernière semaine
Le Black Friday tombe le 27 novembre 2026. Ce qui se règle encore cette semaine : l’adresse de la page, les prix et la disponibilité dans la page, le balisage et le flux, puis le sort de la page.
Stratégie
Core update novembre 2026 : ce que Google annonce et comment lire votre trafic
Google a lancé le 10 novembre 2026 une mise à jour principale, mondiale et toutes langues, annoncée pour deux semaines au plus. Ce que dit la fiche officielle, et comment lire votre trafic d’ici là.
Mesure
Search Console IA générative : lire le rapport pas à pas
Le rapport sur les performances dans l’IA générative compte des impressions dans les Aperçus IA et le Mode IA, sans clics ni requêtes. Comment l’ouvrir, le lire et le croiser avec le rapport « Web ».