Scraping
Aussi : web scraping · extraction de données
Extraction automatisée du contenu de pages web par un programme, pour le réutiliser ou l’analyser ailleurs.
La technique est celle d’un robot d’exploration — télécharger des pages, en lire le HTML —, mais le but diffère : le robot d’un moteur collecte pour indexer et renvoyer vers la source, le scraper extrait des données précises pour un usage propre. Relevé de prix chez des concurrents, veille, constitution de jeux de données ; le suivi de positions repose lui-même sur l’extraction des pages de résultats.
Le mot ne dit rien de la légitimité de l’opération, qui dépend de ce qui est pris, de ce qu’on en fait, des conditions d’utilisation du site et du droit applicable. Côté site, le scraping se voit dans les journaux : beaucoup de requêtes, depuis peu d’adresses, sans égard pour robots.txt, parfois sous un faux agent utilisateur. robots.txt n’y peut rien, puisqu’il ne contraint personne ; la réponse passe par le pare-feu applicatif et la limitation de débit. Republier tel quel un contenu ainsi extrait est un autre sujet : le contenu scrapé.