User-agent
Aussi : agent utilisateur · UA
Chaîne par laquelle un navigateur ou un robot s’identifie dans une requête HTTP ; par extension, le nom qui le désigne dans robots.txt.
Le mot recouvre deux choses. L’en-tête HTTP User-Agent porte une chaîne libre décrivant le logiciel qui émet la requête ; c’est elle qu’enregistrent les journaux du serveur. La ligne User-agent de robots.txt, elle, attend un jeton court — Googlebot, bingbot, GPTBot —, où la RFC n’admet que des lettres, le tiret et le tiret bas, et que le robot compare à son propre nom sans tenir compte de la casse, pour savoir quel groupe de règles lui revient.
Les deux ne coïncident pas toujours. Certains jetons n’ont aucune chaîne propre : Google-Extended ne figure dans aucune requête, il se lit seulement dans robots.txt. Et l’en-tête se falsifie avec une simple option de curl : il déclare une identité, il ne la prouve pas. La preuve passe par l’adresse IP, que l’éditeur du robot publie ou permet de vérifier par DNS inversé.