OpenAI · Collecte pour l’entraînement
GPTBot
Ce qu’il fait
GPTBot est le robot avec lequel OpenAI explore des contenus qui peuvent servir à entraîner ses modèles d’IA générative. Il se règle dans robots.txt : l’interdire signale que les pages du site ne doivent pas servir à cet entraînement. Ce refus est sans effet sur la recherche de ChatGPT, qui dépend d’OAI-SearchBot.
- Jeton
robots.txt GPTBot- Obéit à
robots.txt - Oui, d’après son éditeur
- Signature
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot- Le reconnaître
- OpenAI publie les plages d’adresses IP de ce robot : openai.com/gptbot.json. La signature s’imite : c’est l’adresse IP de la requête qu’on croise avec ce fichier.
- Pour le refuser
User-agent: GPTBot Disallow: /
Ce qu’il fait, et pour quel produit
OpenAI le présente comme le robot qui sert à rendre ses modèles de fondation d’IA générative plus utiles et plus sûrs : il explore des contenus qui peuvent servir à leur entraînement. Ce n’est ni le robot de la recherche de ChatGPT, rôle d’OAI-SearchBot, ni l’agent qui ouvre une page à la demande d’un utilisateur, rôle de ChatGPT-User.
Ce que le refuser change, et ne change pas
OpenAI l’écrit ainsi : interdire GPTBot indique que les contenus du site ne doivent pas servir à l’entraînement de ses modèles de fondation. Le refus porte sur l’entraînement, et sur lui seul. L’éditeur précise que chaque réglage est indépendant des autres et donne lui-même l’exemple : autoriser OAI-SearchBot pour paraître dans les résultats de recherche tout en interdisant GPTBot.
Deux limites. La page ne dit rien des contenus collectés avant le refus. Et elle indique que, si un site autorise les deux robots, OpenAI peut se contenter d’une seule exploration pour les deux usages : le nombre de passages de GPTBot ne mesure donc pas ce qui a été collecté.
Le lire dans les journaux
L’exemple de signature porte GPTBot/1.4, et OpenAI prévient que le numéro de version peut changer : un filtre cherche GPTBot, pas la chaîne entière. Quand le robot demande robots.txt, un marqueur robots.txt peut s’ajouter à la signature, pour distinguer ces requêtes dans des journaux qui n’enregistrent pas les chemins.
Dans le fichier, un groupe User-agent: GPTBot remplace le groupe User-agent: *, il ne s’y ajoute pas : c’est la règle de la RFC 9309. Un groupe d’une seule ligne retire donc à ce robot toutes les règles générales.
Le sujet, traité en entier
Sources
- OpenAI — Overview of OpenAI Crawlers Documentation officielle, lue dans un navigateur le 20 novembre 2026. Rôle de GPTBot, effet d’un Disallow, indépendance des réglages, exploration unique quand les deux robots sont autorisés, exemple de signature (GPTBot/1.4), marqueur robots.txt, adresse du fichier d’adresses IP.
- RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Reprise du manuel, chapitre « Accès des robots » : un robot applique le groupe qui le nomme et, à défaut seulement, le groupe général ; le fichier ne vaut que pour l’hôte où il est servi.
Page revue le