- \n
- \nDesaf\u00edo<\/div>\nExtracci\u00f3n r\u00e1pida y precisa de datos de m\u00faltiples fuentes<\/div>\n<\/li>\n
- \n
Soluci\u00f3n<\/div>\nPr\u00e1cticas recomendadas para un raspado web robusto y resistente<\/div>\n<\/li>\n- \n
Tecnolog\u00edas y herramientas<\/div>\nMicrosoft Azure Cloud Services para el alojamiento, ajuste y administraci\u00f3n de la infraestructura. Lenguaje Python con las librer\u00edas y frameworks necesarios (Azure-sdk, Scrapy, Selenium, etc.) para el proceso de scraping y crawling de sitios web.<\/div>\n<\/li>\n<\/ul>\n<\/div>\nCliente<\/h2>\n
El cliente es una organizaci\u00f3n no comercial que presta apoyo a peque\u00f1as empresas y empresarios afroamericanos. Est\u00e1n orgullosos de prestar servicios que ayudan a los empresarios afroamericanos a conseguir subvenciones y alcanzar el \u00e9xito en los concursos.<\/p>\n
Reto: obtenci\u00f3n r\u00e1pida y precisa de datos de m\u00faltiples fuentes<\/h2>\n
El cliente maneja regularmente enormes cantidades de datos procedentes de diversas fuentes. As\u00ed que la gesti\u00f3n de datos se ha convertido en una preocupaci\u00f3n para ellos.<\/p>\n
Quer\u00edan recopilar ofertas de trabajo, tutor\u00eda y oportunidades de establecer redes para empresarios afroamericanos con talento de varios sitios web y publicarlas en su propia plataforma. As\u00ed, los empresarios pueden descubrir f\u00e1cilmente empresas de afroamericanos e ir a apoyarlas o localizar la suya propia.<\/p>\n
ESSID Solutions se enfrent\u00f3 al reto de desarrollar una s\u00f3lida soluci\u00f3n de raspado de datos para el mercado del cliente.<\/p>\n
Soluci\u00f3n: mejores pr\u00e1cticas para un raspado web robusto y resistente<\/h2>\n
Nuestro equipo de ingenieros ha aplicado su experiencia en el raspado de datos para permitir la recopilaci\u00f3n eficaz de datos de diversas fuentes.<\/p>\n
![\"Esquema](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-scheme.png\")
<\/a><\/p>\nEl equipo de ESSID Solutions deb\u00eda configurar la infraestructura y el flujo de c\u00f3digo para el cliente:<\/p>\n
- \n
- \n
Parte de Git y CI\/CD<\/h3>\n
Para la gesti\u00f3n del c\u00f3digo se utiliz\u00f3 el repositorio AzureDevOps con una configuraci\u00f3n de canalizaci\u00f3n que permiti\u00f3 a nuestro equipo crear y enviar im\u00e1genes Docker al registro mediante un agente de trabajo paralelo.<\/li>\n
- \n
Registro y aplicaci\u00f3n l\u00f3gica<\/h3>\n
A continuaci\u00f3n, creamos Azure Docker Container Registry en Azure<\/a> para almacenar nuestras im\u00e1genes Docker.<\/p>\n
A continuaci\u00f3n, necesit\u00e1bamos crear instancias Docker a partir de im\u00e1genes utilizando Azure Logic App para ejecutar el c\u00f3digo de scraper en paralelo y por separado.<\/li>\n
- \n
Pieza rascadora<\/h3>\n
Durante esta etapa, el equipo de ESSID Solutions cre\u00f3 instancias de contenedor con aplicaciones Logic. A continuaci\u00f3n, necesit\u00e1bamos dar acceso a cada contenedor a los recursos de Azure y a los datos confidenciales, como contrase\u00f1as, cadenas de conexi\u00f3n, etc., que se almacenaban en Azure KeyVault.<\/p>\n
![\"rascador](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-write.png\")
<\/p>\nPara almacenar los resultados de los raspadores, nuestro equipo decidi\u00f3 crear una cuenta de almacenamiento que ser\u00eda como una carpeta en la nube para guardar los datos raspados. Despu\u00e9s pudimos iniciar nuestros scrapers de forma manual, pero necesit\u00e1bamos algo de orquestaci\u00f3n, automatizaci\u00f3n y postprocesamiento.<\/li>\n
- \n
Data Factory y parte de orquestaci\u00f3n<\/h3>\n
Nuestros ingenieros ejecutaron todos nuestros scrapers con time-trigger y en una \u00fanica ejecuci\u00f3n de pipeline con Azure Data Factory.<\/p>\n
La tuber\u00eda principal se supon\u00eda que iniciar todos los contenedores con las solicitudes a trav\u00e9s de azure API, a continuaci\u00f3n, ejecute DataBricks<\/a> Cuadernos para procesar los datos recogidos.<\/p>\n
![\"orquestaci\u00f3n](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-run.png\")
<\/li>\n- \n
DataBricks<\/h3>\n
En esta fase, eliminamos todos los datos de los sitios web (ya que la carga incremental de datos de sitios web no es posible o dif\u00edcil) y procesamos\/guardamos todos los datos en la base de datos. Antes de cargar nuevos datos en la base de datos, borramos los existentes.<\/p>\n
Como resultado, el cliente ha obtenido una soluci\u00f3n de raspado de datos robusta que raspa datos de m\u00faltiples sitios y listados de negocios y recopila informaci\u00f3n sobre negocios fundados por afroamericanos que son \u00fatiles para los suscriptores de la plataforma del cliente.<\/li>\n<\/ol>\n
Resultado: optimizaci\u00f3n de la extracci\u00f3n de datos para reducir el tiempo de procesamiento<\/h2>\n
Nuestro equipo de cient\u00edficos e ingenieros de datos recurri\u00f3 a m\u00faltiples fuentes para satisfacer las necesidades de raspado de datos del cliente.<\/p>\n
Nuestra soluci\u00f3n ha capacitado al cliente de las siguientes maneras:<\/p>\n
- \n
- \n