- \n
- \nHerausforderung<\/div>\nSchnelles und genaues Scraping von Daten aus mehreren Quellen<\/div>\n<\/li>\n
- \n
L\u00f6sung<\/div>\nBew\u00e4hrte Verfahren f\u00fcr robustes und widerstandsf\u00e4higes Web Scraping<\/div>\n<\/li>\n- \n
Technologien und Werkzeuge<\/div>\nMicrosoft Azure Cloud Services f\u00fcr Infrastruktur-Hosting, Tuning und Verwaltung. Python-Sprache mit den erforderlichen Bibliotheken und Frameworks (Azure-sdk, Scrapy, Selenium usw.) f\u00fcr das Scraping und Crawling von Websites<\/div>\n<\/li>\n<\/ul>\n<\/div>\nKunde<\/h2>\n
Der Kunde ist eine nichtkommerzielle Organisation, die afroamerikanische Kleinunternehmen und Unternehmer unterst\u00fctzt. Sie sind stolz darauf, Dienstleistungen anzubieten, die afroamerikanischen Unternehmern helfen, Zusch\u00fcsse zu erhalten und bei Wettbewerben erfolgreich zu sein.<\/p>\n
Herausforderung: schnelles und genaues Scraping von Daten aus verschiedenen Quellen<\/h2>\n
Der Kunde hat regelm\u00e4\u00dfig mit riesigen Datenmengen zu tun, die aus verschiedenen Quellen stammen. Daher ist die Datenverwaltung f\u00fcr ihn zu einem Problem geworden.<\/p>\n
Sie wollten Jobangebote, Mentoren und Netzwerkm\u00f6glichkeiten f\u00fcr talentierte afroamerikanische Unternehmer von verschiedenen Websites zusammensuchen und auf ihrer eigenen Plattform ver\u00f6ffentlichen. So k\u00f6nnen Unternehmer auf einfache Weise Unternehmen im Besitz von Afroamerikanern entdecken und sie unterst\u00fctzen oder ihr eigenes Unternehmen gr\u00fcnden.<\/p>\n
ESSID Solutions wurde mit der Aufgabe konfrontiert, eine leistungsstarke L\u00f6sung f\u00fcr das Scraping von Daten f\u00fcr den Markt des Kunden zu entwickeln.<\/p>\n
L\u00f6sung: bew\u00e4hrte Verfahren f\u00fcr robustes und widerstandsf\u00e4higes Web Scraping<\/h2>\n
Unser Team von Ingenieuren hat sein Fachwissen im Bereich Data Scraping eingesetzt, um eine effektive Datenerfassung aus verschiedenen Quellen zu erm\u00f6glichen.<\/p>\n
![\"Website](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-scheme.png\")
<\/a><\/p>\nDas Team von ESSID Solutions sollte die Infrastruktur und den Codefluss f\u00fcr den Kunden einrichten:<\/p>\n
- \n
- \n
Git und CI\/CD Teil<\/h3>\n
F\u00fcr die Code-Verwaltung wurde das AzureDevOps-Repository mit einem solchen Pipeline-Setup verwendet, das es unserem Team erm\u00f6glichte, mithilfe eines parallelen Job-Agenten Docker-Images zu erstellen und in die Registry zu \u00fcbertragen.<\/li>\n
- \n
Registry und Logic App Teil<\/h3>\n
Als n\u00e4chstes haben wir Azure Docker Container Registry auf Azurblau<\/a> Portal, um unsere Docker-Images zu speichern.<\/p>\n
Dann mussten wir Docker-Instanzen aus Images erstellen, indem wir Azure Logic App verwendeten, um den Scraper-Code parallel und separat auszuf\u00fchren.<\/li>\n
- \n
Teil des Abstreifers<\/h3>\n
In dieser Phase erstellte das ESSID Solutions-Team Container-Instanzen mit Logic-Apps. Dann mussten wir jedem Container Zugriff auf Azure-Ressourcen und sensible Daten wie Kennw\u00f6rter, Verbindungszeichenfolgen usw. geben, die in Azure KeyVault gespeichert waren.<\/p>\n
![\"Abstreifer](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-write.png\")
<\/p>\nUm die Ergebnisse der Scraper zu speichern, beschloss unser Team, ein Speicherkonto einzurichten, das wie ein Cloud-Ordner zum Speichern der gescrapten Daten fungieren sollte. Danach waren wir in der Lage, unsere Scraper manuell zu starten, aber wir ben\u00f6tigten eine gewisse Orchestrierung, Automatisierung und Nachbearbeitung.<\/li>\n
- \n
Data Factory und Orchestrierungsteil<\/h3>\n
Unsere Ingenieure haben alle unsere Scraper mit Time-Trigger und in einer einzigen Pipeline mit Azure Data Factory ausgef\u00fchrt.<\/p>\n
- \n
- \n