Analyse de logs
Aussi : log analysis · analyse des journaux serveur
Étude des journaux d’un serveur web pour savoir quelles URL les robots ont réellement demandées, quand, et avec quelle réponse.
C’est la source qui montre le passage des robots tel qu’il a eu lieu, et non tel qu’un outil le simule. On y filtre les requêtes par agent utilisateur — en vérifiant l’identité des robots par leur adresse IP —, puis on compte : requêtes par jour, par robot, par code de réponse, par rubrique ou par gabarit. Elle vaut pour Googlebot comme pour les robots des assistants IA, que Search Console ne montre pas.
Elle répond à des questions précises : les pages stratégiques sont-elles explorées, le robot se perd-il dans des URL de filtres, reçoit-il des 5xx ou des 429, suit-il les redirections d’une migration. Deux limites. Si un CDN ou un pare-feu répond en amont, les requêtes rejetées n’atteignent pas le serveur d’origine : c’est leur journal qu’il faut lire. Et un robot absent des journaux n’est pas forcément bloqué ; il peut ne pas être venu.