Erreurs 5xx
Aussi : erreurs serveur
Famille de codes HTTP par lesquels un serveur signale qu’il n’a pas su traiter une requête pourtant valide.
La faute est du côté du serveur ou de ce qui se trouve devant lui : application en panne (500), mandataire qui reçoit une réponse invalide (502), surcharge ou maintenance (503), mandataire qui n’obtient pas de réponse à temps (504). Les CDN y ajoutent des codes qui leur sont propres, comme le 522 de Cloudflare.
Ce sont les erreurs qui pèsent le plus sur l’exploration. Google indique que les 5xx, comme le 429, font ralentir temporairement ses robots, en proportion du nombre d’URL en erreur ; que le contenu renvoyé est ignoré ; que les URL déjà indexées sont conservées un temps, puis retirées si l’erreur persiste. Quand le serveur répond de nouveau en 2xx, le rythme remonte progressivement. La surveillance se fait dans les journaux, par robot, et dans le rapport « Statistiques sur l’exploration » de Search Console.
Le sujet, traité en entier
Source Google — How HTTP status codes affect Google’s crawlers