- \n
- \nDesafio<\/div>\nRecolha r\u00e1pida e exacta de dados de v\u00e1rias fontes<\/div>\n<\/li>\n
- \n
Solu\u00e7\u00e3o<\/div>\nMelhores pr\u00e1ticas para uma recolha de dados da Web robusta e resistente<\/div>\n<\/li>\n- \n
Tecnologias e ferramentas<\/div>\nMicrosoft Azure Cloud Services para alojamento, afina\u00e7\u00e3o e administra\u00e7\u00e3o de infra-estruturas. Linguagem Python com as bibliotecas e estruturas necess\u00e1rias (Azure-sdk, Scrapy, Selenium, etc.) para o processo de recolha e rastreio de s\u00edtios Web<\/div>\n<\/li>\n<\/ul>\n<\/div>\nCliente<\/h2>\n
O cliente \u00e9 uma organiza\u00e7\u00e3o n\u00e3o comercial que presta apoio a pequenas empresas e empres\u00e1rios afro-americanos. Orgulham-se de fornecer servi\u00e7os que ajudam os empres\u00e1rios afro-americanos a obter subs\u00eddios e a obter sucesso em concursos.<\/p>\n
Desafio: recolha r\u00e1pida e exacta de dados de v\u00e1rias fontes<\/h2>\n
O cliente lida regularmente com grandes quantidades de dados provenientes de v\u00e1rias fontes. Por isso, a gest\u00e3o de dados tornou-se uma preocupa\u00e7\u00e3o para eles.<\/p>\n
Pretendiam recolher ofertas de emprego, orienta\u00e7\u00e3o e oportunidades de rede para empres\u00e1rios afro-americanos talentosos de v\u00e1rios s\u00edtios Web e public\u00e1-las na sua pr\u00f3pria plataforma. Assim, os empres\u00e1rios podem facilmente descobrir empresas pertencentes a afro-americanos e apoi\u00e1-las ou criar a sua pr\u00f3pria empresa.<\/p>\n
A ESSID Solutions foi desafiada a desenvolver uma solu\u00e7\u00e3o s\u00f3lida de recolha de dados para o mercado do cliente.<\/p>\n
Solu\u00e7\u00e3o: melhores pr\u00e1ticas para uma recolha de dados da Web robusta e resiliente<\/h2>\n
A nossa equipa de engenheiros aplicou a sua experi\u00eancia em recolha de dados para permitir uma recolha eficaz de dados de v\u00e1rias fontes.<\/p>\n
![\"Esquema](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-scheme.png\")
<\/a><\/p>\nA equipa da ESSID Solutions teve de configurar a infraestrutura e o fluxo de c\u00f3digo para o cliente:<\/p>\n
- \n
- \n
Parte Git e CI\/CD<\/h3>\n
Para a gest\u00e3o de c\u00f3digo, foi utilizado o reposit\u00f3rio AzureDevOps com uma configura\u00e7\u00e3o de pipeline que permitiu \u00e0 nossa equipa criar e enviar imagens docker para o registo utilizando um agente de trabalho paralelo.<\/li>\n
- \n
Registo e parte da aplica\u00e7\u00e3o l\u00f3gica<\/h3>\n
Em seguida, cri\u00e1mos o Registo de Contentores do Azure Docker em Azure<\/a> para armazenar as nossas imagens docker.<\/p>\n
Em seguida, precis\u00e1mos de criar inst\u00e2ncias de docker a partir de imagens utilizando a aplica\u00e7\u00e3o Azure Logic para executar o c\u00f3digo do raspador em paralelo e separadamente.<\/li>\n
- \n
Pe\u00e7a do raspador<\/h3>\n
Durante esta fase, a equipa da ESSID Solutions criou inst\u00e2ncias de contentores com aplica\u00e7\u00f5es Logic. Depois, precis\u00e1mos de dar a cada contentor acesso aos recursos do Azure e a dados sens\u00edveis, como palavras-passe, cadeias de liga\u00e7\u00e3o, etc., que estavam armazenados no Azure KeyVault.<\/p>\n
![\"projeto](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2023\/02\/case-data-scraping-solution-write.png\")
<\/p>\nPara armazenar os resultados dos scrapers, a nossa equipa decidiu criar uma conta de armazenamento que seria como uma pasta na nuvem para guardar os dados recolhidos. Depois disso, conseguimos iniciar os nossos scrapers de forma manual, mas precis\u00e1vamos de alguma orquestra\u00e7\u00e3o, automatiza\u00e7\u00e3o e p\u00f3s-processamento.<\/li>\n
- \n
F\u00e1brica de dados e parte de orquestra\u00e7\u00e3o<\/h3>\n
Os nossos engenheiros executaram todos os nossos scrapers com acionador de tempo e num \u00fanico pipeline executado com o Azure Data Factory.<\/p>\n
- \n
- \n