- \n
- \nD\u00e9fi<\/div>\nR\u00e9cup\u00e9ration rapide et pr\u00e9cise de donn\u00e9es provenant de sources multiples<\/div>\n<\/li>\n
- \n
Solution<\/div>\nMeilleures pratiques pour un scraping web robuste et r\u00e9silient<\/div>\n<\/li>\n- \n
Technologies et outils<\/div>\nMicrosoft Azure Cloud Services pour l'h\u00e9bergement, le r\u00e9glage et l'administration de l'infrastructure. Langage Python avec les biblioth\u00e8ques et les cadres n\u00e9cessaires (Azure-sdk, Scrapy, Selenium, etc.) pour le processus de scraping et de crawling des sites web.<\/div>\n<\/li>\n<\/ul>\n<\/div>\nClient<\/h2>\n
Le client est une organisation non commerciale qui soutient les petites entreprises et les entrepreneurs afro-am\u00e9ricains. Elle est fi\u00e8re de fournir des services qui aident les hommes d'affaires afro-am\u00e9ricains \u00e0 obtenir des subventions et \u00e0 r\u00e9ussir dans les concours.<\/p>\n
D\u00e9fi : extraction rapide et pr\u00e9cise de donn\u00e9es \u00e0 partir de sources multiples<\/h2>\n
Le client traite r\u00e9guli\u00e8rement d'\u00e9normes quantit\u00e9s de donn\u00e9es provenant de diverses sources. La gestion des donn\u00e9es est donc devenue une pr\u00e9occupation pour lui.<\/p>\n
Ils souhaitaient recueillir des offres d'emploi, des opportunit\u00e9s de mentorat et de r\u00e9seau pour les entrepreneurs afro-am\u00e9ricains talentueux sur diff\u00e9rents sites web et les publier sur leur propre plateforme. Ainsi, les entrepreneurs peuvent facilement d\u00e9couvrir des entreprises d\u00e9tenues par des Afro-Am\u00e9ricains et aller les soutenir ou cr\u00e9er leur propre entreprise.<\/p>\n
ESSID Solutions a \u00e9t\u00e9 mis au d\u00e9fi de d\u00e9velopper une solution de scraping de donn\u00e9es solide pour le march\u00e9 du client.<\/p>\n
Solution : meilleures pratiques pour un web scraping robuste et r\u00e9silient<\/h2>\n
Notre \u00e9quipe d'ing\u00e9nieurs a mis \u00e0 profit son expertise en mati\u00e8re de grattage de donn\u00e9es pour permettre une collecte efficace de donn\u00e9es \u00e0 partir de diverses sources.<\/p>\n
![\"Sch\u00e9ma](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-scheme.png\")
<\/a><\/p>\nL'\u00e9quipe d'ESSID Solutions devait mettre en place l'infrastructure et le flux de code pour le client :<\/p>\n
- \n
- \n
Partie Git et CI\/CD<\/h3>\n
Pour la gestion du code, nous avons utilis\u00e9 le r\u00e9f\u00e9rentiel AzureDevOps avec une configuration de pipeline qui a permis \u00e0 notre \u00e9quipe de construire et de pousser des images Docker vers le registre en utilisant un agent de travail parall\u00e8le.<\/li>\n
- \n
Registre et logique App part<\/h3>\n
Ensuite, nous avons cr\u00e9\u00e9 Azure Docker Container Registry sur L'azur<\/a> pour stocker nos images docker.<\/p>\n
Ensuite, nous avons d\u00fb cr\u00e9er des instances docker \u00e0 partir d'images en utilisant Azure Logic app pour ex\u00e9cuter le code scraper en parall\u00e8le et s\u00e9par\u00e9ment.<\/li>\n
- \n
Pi\u00e8ce de raclage<\/h3>\n
Au cours de cette \u00e9tape, l'\u00e9quipe d'ESSID Solutions a cr\u00e9\u00e9 des instances de conteneurs avec des applications Logic. Ensuite, nous avons d\u00fb donner \u00e0 chaque conteneur l'acc\u00e8s aux ressources Azure et aux donn\u00e9es sensibles telles que les mots de passe, les cha\u00eenes de connexion, etc. qui \u00e9taient stock\u00e9es dans Azure KeyVault.<\/p>\n
![\"projet](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-write.png\")
<\/p>\nPour stocker les r\u00e9sultats des scrapeurs, notre \u00e9quipe a d\u00e9cid\u00e9 de cr\u00e9er un compte de stockage qui serait comme un dossier dans le nuage pour enregistrer les donn\u00e9es scrapp\u00e9es. Apr\u00e8s cela, nous avons pu d\u00e9marrer nos scrapeurs manuellement, mais nous avions besoin d'une certaine orchestration, d'une automatisation et d'un post-traitement.<\/li>\n
- \n
Data Factory et orchestration<\/h3>\n
Nos ing\u00e9nieurs ont ex\u00e9cut\u00e9 tous nos scraps avec des d\u00e9clencheurs temporels et dans un seul pipeline avec Azure Data Factory.<\/p>\n
- \n
- \n