llms.txt est-il le robots.txt des IA ?
Ce qui départage
Non. robots.txt est un protocole normalisé par l’IETF, la RFC 9309, que les éditeurs de robots déclarent suivre : il dit ce qu’un robot peut explorer. llms.txt est une proposition, qui indique à un agent quelles pages lire ; il n’autorise ni n’interdit rien, et Google écrit que sa recherche ignore ces fichiers. L’auteur de la proposition écrit lui-même que les deux n’ont pas le même objet.
| Critère | llms.txt | robots.txt |
|---|---|---|
| Statut | Une proposition, publiée par son auteur sur llmstxt.org. | Un protocole de 1994, normalisé par l’IETF en 2022 : la RFC 9309. |
| Ce qu’il dit | Quelles pages lire : un titre, un résumé, des listes de liens commentés. | Quels chemins un robot peut ou non explorer. |
| Format | Markdown : # Titre, > Résumé, ## Section, puis une liste de liens commentés. | Groupes de règles : User-agent: *, puis Disallow: /prive/. |
| Emplacement | /llms.txt, à la racine ou dans un sous-dossier. | /robots.txt, à la racine de chaque hôte. |
| Qui déclare le lire | La recherche Google écrit l’ignorer ; les pages d’OpenAI, d’Anthropic et de Perplexity sur leurs robots ne décrivent aucun traitement. | Google, OpenAI, Anthropic et Perplexity documentent le jeton auquel leurs robots répondent. |
| Effet sur l’accès | Aucun : il n’autorise ni n’interdit rien. | Une demande que le robot suit ; pas un verrou. |
Pourquoi on les confond
Le nom est calqué, l’emplacement aussi : un fichier texte à la racine du site, adressé à des machines. La proposition le reconnaît : le choix d’un nom de fichier convenu suit l’exemple de /robots.txt et de /sitemap.xml. De là à y voir « le robots.txt des IA », il n’y a qu’un pas, que son auteur ne franchit pas : il écrit que les deux fichiers ont des objets différents.
Ce qui les sépare : une règle d’accès, un sommaire
robots.txt dit ce qu’un robot peut explorer. Le protocole, défini en 1994, est une norme de l’IETF depuis 2022, la RFC 9309, et les éditeurs de robots documentent le jeton auquel ils répondent. Deux lignes suffisent à poser une règle : User-agent: GPTBot, puis Disallow: /.
llms.txt ne règle aucun accès. C’est un fichier Markdown : un titre (# Nom du site), un résumé en citation (> Ce que fait le site), puis des sections (## Documentation) qui listent des liens, chacun suivi d’une note. D’après son auteur, un agent s’en sert à la demande, quand il a besoin d’une information en aidant un utilisateur. Rien n’oblige un robot à le lire.
Ce que la confusion coûte
- Un refus écrit au mauvais endroit. Le format décrit par la proposition ne prévoit aucune consigne d’interdiction : une ligne de refus glissée dans
llms.txtn’engage aucun robot. Le refus s’écrit dansrobots.txt. - Une ouverture supposée. Publier un
llms.txtn’autorise rien : un robot bloqué parrobots.txtou par le pare-feu le reste. - Un effet attendu sur Google. Son guide sur l’IA générative range ces fichiers parmi ce qu’on peut ignorer : sa recherche ne les utilise pas, et en tenir un n’aide ni ne nuit.
Le fichier garde un usage : offrir à des agents un index lisible, celui d’une documentation technique par exemple. C’est un service rendu à qui choisit de le lire, pas un réglage.
Le sujet, traité en entier
Sources
- llmstxt.org — The /llms.txt file Texte de la proposition, en version 2 : auteur, publication le 3 septembre 2024, modification le 10 août 2026, format et emplacement du fichier, distinction faite par l’auteur avec robots.txt, usage à la demande par un agent. Reprise de la FAQ, relue le 20 novembre 2026.
- RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Méthode définie en 1994, statut de norme, règles qui ne valent pas autorisation d’accès. Reprise du lexique, relue le 20 novembre 2026.
- Google Search Central — Optimizing your website for generative AI features on Google Search Section « Mythbusting » : la recherche Google n’utilise pas les fichiers llms.txt et les ignore ; en tenir un n’aide ni ne nuit. Ne vaut que pour la recherche Google. Reprise de la FAQ, relue le 20 novembre 2026.
- OpenAI — Overview of OpenAI Crawlers Citée pour ce qu’elle ne dit pas : aucun traitement de llms.txt par les robots décrits. Même constat sur les pages d’Anthropic et de Perplexity consacrées à leurs robots, relues le 20 novembre 2026 ; ces sites publient en revanche un llms.txt pour leur propre documentation.
Page revue le