CCBot
Aussi : Common Crawl
Robot de Common Crawl, fondation à but non lucratif qui constitue et publie une archive ouverte de pages web.
Il s’identifie par la chaîne CCBot/2.0 et alimente un dépôt de données d’exploration que chacun peut consulter et analyser. Common Crawl indique la règle de robots.txt qui empêche l’exploration d’un site, et signale que d’autres robots usurpent parfois son nom : les vrais passages viennent de plages d’adresses dédiées, vérifiables par DNS inverse.
Ce n’est pas le robot d’un éditeur de modèles, et c’est ce qui rend la décision particulière. Une fois une page versée dans l’archive, un tiers peut la réutiliser, y compris pour entraîner un modèle, sans jamais visiter le site. Autoriser ou bloquer CCBot revient donc à se prononcer sur des usages qu’on ne verra pas dans ses journaux.
La fiche pratique de CCBot dans le répertoire des robots →
Source Common Crawl — CCBot