Demande d’exploration
Aussi : crawl demand
Intérêt qu’un moteur porte à l’exploration d’un site, fonction des URL qu’il lui connaît, de leur popularité et de leur ancienneté.
Google écrit que chaque robot a sa propre demande. Pour Googlebot, trois facteurs dominent. L’inventaire perçu : sans indication contraire, Google tente d’explorer toutes les URL qu’il connaît du site, doublons et pages supprimées compris. La popularité : les URL les plus populaires sur le web sont explorées plus souvent. L’ancienneté : ses systèmes repassent assez souvent pour saisir les changements. Un événement comme une migration fait monter la demande, le temps de retraiter le contenu sous ses nouvelles URL.
Des trois, Google désigne l’inventaire comme le facteur sur lequel un site a le plus de prise : moins il y a d’URL sans intérêt à explorer, plus les passages portent sur les pages utiles. C’est la moitié « veut » du budget de crawl ; l’autre, la limite de capacité, dépend du serveur. Une demande faible ne se corrige donc pas en renforçant le serveur.