Table des matières
Vous souhaitez collecter des données de façon massive sur Internet, et vous vous intéressez au scraping de données ? Qu’il s’agisse de la mise en place d’un Web scraper pour sites d’actualités, pour la récupération de fiches produits sur des boutiques e-commerce, ou encore pour la simple collecte d’informations statistiques pour votre base de donnée, il est important de comprendre comment ça fonctionne avant de vous lancer.
Qu’est-ce que le web scraping (ou data scraping) ?
Le web scraping est un procédé qui consiste à collecter des données et des informations sur différents sites web afin de les combiner et de les agréger de manière structurée, soit dans un fichier Excel ou CSV, soit directement dans une base de données (MySQL, Access…), dans le but d’exploiter ces informations. Les applications sont nombreuses : pouvoir établir des statistiques sur un type de données, récupérer des informations commerciales stratégiques (prix pratiqués par les concurrents, référencement des produits dans un catalogue), ou encore, dans la technique dite du Growth Hacking, collecter des données sur des prospects afin de les approcher, en utilisant des annuaires d’entreprises comme Pappers.fr ou encore Societe.com.
Quelles sont les méthodes pour scraper des données ?
Passons en revue les différentes technologies permettant à la fois de scraper des données gratuitement, mais également à l’aide de logiciels de scrapping.
Il existe plusieurs types de scrapers, chacun ayant sa propre fonction :
Les spiders qui parcourent la toile
Les spiders, comme le bot de Google ou les copieurs de sites web comme Screamingfrog voire HTtrack, visitent votre site web et suivent de façon successives tous les liens hypertextes qu’ils croisent, et qui amènent vers d’autres pages, pour en collecter des données. Ils sont parfois utilisés pour le scraping ciblé afin de recueillir des données particulières, souvent en synchronisation avec un outil d’analyse HTML pour extraire les données nécessaires de chaque site Web (grâce à des données de type « Xpath » par exemple).
En ayant des connaissances avancées en programmation, il est donc possible de créer et configurer ces spiders pour qu’ils puissent analyser des milliers de pages web chaque jour.
Les scripts shell (fonctionnant sous Wget ou Curl) ou utilisant des frameworks (Requests, Jsoup, Scrapy…)
Les scripts Shell, disponibles par le biais des utilitaires Unix courants, sont parfois utilisés pour le scraping, tels que Wget ou Curl pour télécharger des pages et Grep (Regex) pour extraire les données nécessaires. Ce sont les plus basiques, mais aussi les plus vulnérables et donc les moins performants (n’utilisez jamais de regex pour analyser du HTML !). Par conséquent, pour l’éditeur de site web qui souhaite protéger son contenu, ils sont les plus faciles à casser et à compromettre
Les scripteurs et analyseurs HTML basés sur Jsoup, Scrapy et d’autres frameworks. Ils fonctionnent de la même manière que les scripts shell utilisant des regex, c’est-à-dire qu’ils collectent des données sur vos sites en fonction de modèles dans votre HTML, en ignorant généralement tout le reste.
Si votre site Web dispose d’une fonction de recherche, par exemple, ce type de scraper peut soumettre une requête HTTP pour une recherche, puis récupérer tous les liens de résultat et leurs titres dans la page de résultats HTML, parfois des centaines de fois pour des centaines de recherches différentes, pour obtenir spécifiquement les liens de résultat et leurs titres. Ce sont les plus typiques.
Les logiciels payants de scrapping de données
Enfin, la solution souvent utilisée par la majorité des entreprises, notamment lorsqu’il s’agit d’enrichir la bdd d’un CRM, est l’utilisation d’un logiciel de scrapping de données prêt à l’emploi, comme Bright Data : l’avantage est que vous n’avez rien à programmer, c’est du « plug and play », il vous suffit d’indiquer les données que vous souhaitez récupérer, puis le logiciel prend le relai et vous agrège les données de façon organisée sous format Excel, CSV, ou même directement dans votre base de données.
La plupart des outils de scraping vous proposent un essai gratuit : n’hésitez pas à en profiter pour vous familiariser avec l’outil afin de vous assurer qu’il conviendra à votre usage.