Demander un devis Devis

Meta · Exploration pour un moteur

Meta-WebIndexer

Ce qu’il fait

Robot de Meta qui parcourt le web pour améliorer la qualité des résultats de recherche de Meta AI. Meta écrit que l’autoriser dans robots.txt l’aide à citer un site et à y renvoyer dans les réponses de son assistant. Il est distinct du robot d’entraînement, Meta-ExternalAgent.

Jeton robots.txt
meta-webindexer
Obéit à robots.txt
Oui, d’après son éditeur
Signature
meta-webindexer/1.1
Le reconnaître
Meta ne documente aucun moyen de le vérifier : sa page ne publie ni plages d’adresses ni méthode par DNS inverse pour ce robot.
Pour le refuser
User-agent: meta-webindexer
Disallow: /

Le robot que Meta rattache aux réponses de Meta AI

D’après la page de Meta, Meta-WebIndexer parcourt le web pour améliorer la qualité des résultats de recherche de Meta AI : l’éditeur dit analyser les contenus en ligne pour rendre son assistant plus pertinent et plus exact. Une phrase s’adresse directement aux sites : l’autoriser dans robots.txt aide Meta à citer leurs contenus et à y renvoyer dans les réponses de Meta AI. La page ne décrit ni l’index constitué, ni la fréquence de passage, ni le rendu du JavaScript.

Ce que le refuser change

Meta ne formule que le versant positif. La lecture inverse se fait avec prudence : un site qui interdit ce robot renonce à ce que Meta présente comme une aide à sa citation, sans que l’éditeur écrive qu’il disparaît pour autant des réponses. Ce refus ne dit rien de l’entraînement, qui relève de Meta-ExternalAgent : les deux décisions se prennent séparément, et une règle écrite pour l’un ne vaut pas pour l’autre.

Un point reste flou. La description de Meta-ExternalAgent mentionne elle aussi une indexation directe de contenus, et Meta n’explique pas ce qui la sépare de celle-ci.

Le reconnaître dans les journaux

La signature publiée est meta-webindexer/1.1, en minuscules, seule ou suivie de l’adresse de la documentation entre parenthèses. L’exemple de robots.txt donné par Meta ne le nomme pas, mais la règle s’écrit comme pour les autres : un groupe User-agent: meta-webindexer, lu avec un cache qui peut durer 24 heures. Meta ne publie pas d’adresses IP pour ce robot : la chaîne, falsifiable, est le seul indice.

Le sujet, traité en entier

Sources

  1. Meta for Developers — Meta Web Crawlers Rôle de Meta-WebIndexer, phrase sur la citation et les liens dans les réponses de Meta AI, chaînes d’agent utilisateur, cache de 24 heures. Page datée du 21 mai 2026. Elle répond par une erreur à une requête sans en-têtes de navigateur ; lue en texte brut, avec ces en-têtes, le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.