{"id":2857,"date":"2024-02-18T15:29:24","date_gmt":"2024-02-18T15:29:24","guid":{"rendered":"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/"},"modified":"2024-02-18T15:29:24","modified_gmt":"2024-02-18T15:29:24","slug":"data-lake-implementation-for-efficient-big-data-processing-and-visualization","status":"publish","type":"resource","link":"https:\/\/esisoc.com\/pt\/resource\/implementacao-de-data-lake-para-processamento-e-visualizacao-eficientes-de-grandes-volumes-de-dados\/","title":{"rendered":"Implementa\u00e7\u00e3o de Data Lake para processamento e visualiza\u00e7\u00e3o eficientes de Big Data"},"content":{"rendered":"<h2 style=\"text-align: center;\">Principais pormenores<\/h2>\n<p>Decis\u00f5es aceleradas baseadas em dados e KPIs melhorados.<\/p>\n<div>\n<ul>\n<li>\n<div>Desafio<\/div>\n<div> Encontrar uma abordagem eficiente para a recolha, an\u00e1lise, processamento e visualiza\u00e7\u00e3o de dados<\/div>\n<\/li>\n<li>\n<div>Solu\u00e7\u00e3o<\/div>\n<div> Solu\u00e7\u00e3o de BI para permitir a monitoriza\u00e7\u00e3o em tempo real dos fluxos de trabalho numa organiza\u00e7\u00e3o<\/div>\n<\/li>\n<li>\n<div>Tecnologias e ferramentas<\/div>\n<div>Apache NiFi, Cloudera CDH, Apache Oozie, Apache Spark, HDFS (raw, parquet), Apache Kudu, Apache Impala<\/div>\n<\/li>\n<\/ul>\n<\/div>\n<h2 style=\"text-align: center;\">Cliente<\/h2>\n<p>O Cliente \u00e9 uma empresa de servi\u00e7os de consultoria de gest\u00e3o sediada no Reino Unido que ajuda diferentes representantes do sector a gerir os seus dados comerciais. A solu\u00e7\u00e3o do Cliente \u00e9 uma plataforma orientada para a IA que permite aos utilizadores finais utilizar o motor de an\u00e1lise para extrair valor dos dados empresariais brutos. Esta plataforma ajuda a construir rela\u00e7\u00f5es comerciais criativas e a descobrir novas oportunidades de neg\u00f3cio.<\/p>\n<h2 style=\"text-align: center;\">Desafio: encontrar uma abordagem eficiente para a recolha, an\u00e1lise, processamento e visualiza\u00e7\u00e3o de dados<\/h2>\n<p>Ao operar em v\u00e1rios dom\u00ednios, incluindo finan\u00e7as, sa\u00fade, gest\u00e3o, consultoria, etc., o Cliente enfrentou inevitavelmente o desafio de gerir grandes volumes de dados brutos n\u00e3o estruturados e recorreu \u00e0 ESSID Solutions com a necessidade de construir lagos de dados e fornecer uma solu\u00e7\u00e3o de BI para um processamento de dados mais eficiente. O Cliente precisava de uma solu\u00e7\u00e3o para facilitar processos como a recolha, an\u00e1lise e visualiza\u00e7\u00e3o de dados.<\/p>\n<h2 style=\"text-align: center;\">Solu\u00e7\u00e3o: Solu\u00e7\u00e3o de Business Intelligence para permitir a monitoriza\u00e7\u00e3o em tempo real dos fluxos de trabalho numa organiza\u00e7\u00e3o<\/h2>\n<p>Um dos dom\u00ednios do cliente \u00e9 o sector banc\u00e1rio e financeiro. Os propriet\u00e1rios de empresas neste sector procuram continuamente uma abordagem fi\u00e1vel e coerente para gerir os dados. Esta abordagem est\u00e1 subjacente a todos os processos relacionados com <a href=\"http:\/\/localhost\/essidsolutions\/service\/custom-document-management-systems\">gest\u00e3o de documentos jur\u00eddicos<\/a>documentos empresariais, contratos com clientes, etc., para eliminar erros e criar confian\u00e7a nos consumidores.<\/p>\n<p>As empresas cooperam com o Cliente para poderem tirar partido de uma solu\u00e7\u00e3o baseada em IA para responder a quest\u00f5es comerciais fundamentais. Uma solu\u00e7\u00e3o orientada para os dados requer o envolvimento de cientistas de dados para trazer a sua experi\u00eancia e conhecimentos especializados em <a href=\"http:\/\/localhost\/essidsolutions\/service\/big-data-development\">trabalhar com grandes volumes de dados<\/a>.<\/p>\n<p>Quando armazenados num lago de dados, os dados fornecidos pelos utilizadores finais ficam dispon\u00edveis para a IA e podem ser explorados para fornecer aos utilizadores finais informa\u00e7\u00f5es valiosas sobre v\u00e1rias quest\u00f5es relacionadas com a gest\u00e3o de riscos, o trabalho em equipa, o estado do projeto, o calend\u00e1rio de trabalho, os tempos de inatividade, a gest\u00e3o de acidentes e muito mais.<\/p>\n<p>Uma forma simplificada e optimizada de processar dados \u00e9 o n\u00facleo de uma <a href=\"http:\/\/localhost\/essidsolutions\/service\/ai-consulting\">Solu\u00e7\u00e3o baseada em IA<\/a>. A ESSID Solutions foi desafiada a fornecer servi\u00e7os de ci\u00eancia de dados para melhorar o desempenho e a efici\u00eancia da solu\u00e7\u00e3o do Cliente.<\/p>\n<p>A equipa da ESSID Solutions iniciou um processo de desenvolvimento passo a passo para resolver o desafio do cliente e apresentar uma solu\u00e7\u00e3o robusta.<\/p>\n<p>1. As organiza\u00e7\u00f5es financeiras do Reino Unido adoptaram uma cadeia de fornecimento de documentos, que inclui as seguintes fases:<\/p>\n<ul>\n<li>Recolha de documentos<\/li>\n<li>Acumula\u00e7\u00e3o de documentos<\/li>\n<li>Processamento de encomendas<\/li>\n<\/ul>\n<p>Os documentos prov\u00eam de m\u00faltiplas fontes e em diferentes formatos. A natureza ca\u00f3tica dos documentos recolhidos e a falta de um reposit\u00f3rio comum impedem a extra\u00e7\u00e3o de valor dos grandes volumes de dados para outras utiliza\u00e7\u00f5es importantes.<\/p>\n<p>2. A equipa da ESSID Solutions trabalhou com dados n\u00e3o estruturados provenientes de diferentes fontes, tais como as listadas abaixo:<\/p>\n<ul>\n<li>Dados do projeto<\/li>\n<li>Reuni\u00f5es<\/li>\n<li>Identidade digital<\/li>\n<li>Hor\u00e1rio de trabalho<\/li>\n<li>Dados de inspe\u00e7\u00e3o<\/li>\n<li>Dados de perigo<\/li>\n<li>etc.<\/li>\n<\/ul>\n<p>Era necess\u00e1rio fornecer a solu\u00e7\u00e3o para transformar grandes volumes de dados brutos em informa\u00e7\u00f5es significativas.<\/p>\n<p>3. A ESSID Solutions desenvolveu lagos de dados para agregar dados em bruto em diferentes formatos e armazenar dados em ficheiros. Utiliz\u00e1mos os seguintes servi\u00e7os de c\u00f3digo aberto para disponibilizar os dados para an\u00e1lise e visualiza\u00e7\u00e3o:<\/p>\n<ul>\n<li>Apache NiFi para ingest\u00e3o de dados<\/li>\n<li>Cloudera CDH como uma plataforma de gest\u00e3o de dados<\/li>\n<li>Apache Oozie para fluxo de trabalho de processamento de dados<\/li>\n<li>O Apache Spark como motor de processamento de dados<\/li>\n<li>HDFS (raw e parquet) para armazenamento de dados<\/li>\n<li>Apache Kudu para an\u00e1lise de dados<\/li>\n<li>Apache Impala para an\u00e1lise de dados<\/li>\n<\/ul>\n<p>A implementa\u00e7\u00e3o do lago de dados ajudou a estruturar os dados comerciais, o que permitiu a utiliza\u00e7\u00e3o de componentes de c\u00f3digo aberto para fornecer uma solu\u00e7\u00e3o de BI que satisfizesse as necessidades do cliente.<\/p>\n<p>4. Uma vez que os utilizadores finais requerem um acesso f\u00e1cil aos dados em formas visualmente apelativas, a solu\u00e7\u00e3o do Cliente fornece uma interface de f\u00e1cil utiliza\u00e7\u00e3o. Os dados processados e classificados ficam dispon\u00edveis atrav\u00e9s de pain\u00e9is de controlo f\u00e1ceis de interagir. Estes pain\u00e9is de controlo utilizam os dados dos lagos de dados para permitir uma vis\u00e3o abrangente. Como resultado, a solu\u00e7\u00e3o facilita a monitoriza\u00e7\u00e3o em tempo real dos fluxos de trabalho empresariais numa organiza\u00e7\u00e3o e fornece uma vis\u00e3o visual para uma melhor tomada de decis\u00f5es.<\/p>\n<h2 style=\"text-align: center;\">Resultado: KPIs melhorados e impulso para o desenvolvimento comercial baseado em dados<\/h2>\n<p>O Cliente forneceu \u00e0 equipa da ESSID Solutions dados em bruto para serem utilizados no desenvolvimento de uma solu\u00e7\u00e3o de BI. Com base nos dados, apresentados pelo Cliente, e utilizando componentes open-source, a ESSID Solutions adaptou e entregou um MVP para responder \u00e0s principais necessidades dos utilizadores finais ao trabalhar com bases de dados e \u00e0s necessidades dos consumidores dos servi\u00e7os do Cliente numa solu\u00e7\u00e3o de BI eficiente.<\/p>\n<p>A solu\u00e7\u00e3o de data lake permite aos funcion\u00e1rios e gestores que trabalham no sector tomar decis\u00f5es aceleradas baseadas em dados, manter-se a par das tend\u00eancias do mercado, obter melhores KPI, identificar novas fontes de receitas e oportunidades de neg\u00f3cio.<\/p>\n<p>A nossa equipa forneceu servi\u00e7os de dados prontos a utilizar para ajudar os utilizadores finais a resolver problemas cr\u00edticos para a empresa e a promover a melhoria cont\u00ednua dos processos empresariais.<\/p>","protected":false},"excerpt":{"rendered":"<p>Detalhes principais Decis\u00f5es aceleradas baseadas em dados e KPIs melhorados. Desafio Encontrar uma abordagem eficiente para a recolha, an\u00e1lise, processamento e visualiza\u00e7\u00e3o de dados Solu\u00e7\u00e3o Solu\u00e7\u00e3o de BI para permitir a monitoriza\u00e7\u00e3o em tempo real de fluxos de trabalho numa organiza\u00e7\u00e3o Tecnologias e ferramentas Apache NiFi, Cloudera CDH, Apache Oozie, Apache Spark, HDFS (raw, parquet), Apache Kudu, Apache Impala Cliente O cliente \u00e9 uma empresa sediada no Reino Unido ... Ler mais <a title=\"Implementa\u00e7\u00e3o de Data Lake para processamento e visualiza\u00e7\u00e3o eficientes de Big Data\" class=\"read-more\" href=\"https:\/\/esisoc.com\/pt\/resource\/implementacao-de-data-lake-para-processamento-e-visualizacao-eficientes-de-grandes-volumes-de-dados\/\" aria-label=\"Leia mais sobre Data Lake Implementation for Efficient Big Data Processing and Visualization\">Ler mais<\/a><\/p>","protected":false},"featured_media":2858,"template":"","industry":[73],"expertise":[74,65,75,76],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.9 (Yoast SEO v21.9.1) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Data Lake Implementation for Efficient Big Data Processing and Visualization - ESISOC | ESSID Solutions<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/esisoc.com\/pt\/resource\/implementacao-de-data-lake-para-processamento-e-visualizacao-eficientes-de-grandes-volumes-de-dados\/\" \/>\n<meta property=\"og:locale\" content=\"pt_PT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Data Lake Implementation for Efficient Big Data Processing and Visualization\" \/>\n<meta property=\"og:description\" content=\"Key Details Accelerated data-driven decisions and improved KPIs. Challenge Find an efficient approach to data gathering, analyzing, processing, visualization Solution BI solution to enable real-time monitoring of workflows across an organization Technologies and tools Apache NiFi, Cloudera CDH, Apache Oozie, Apache Spark, HDFS (raw, parquet), Apache Kudu, Apache Impala Client The Client is a UK-based ... Ler mais\" \/>\n<meta property=\"og:url\" content=\"https:\/\/esisoc.com\/pt\/resource\/implementacao-de-data-lake-para-processamento-e-visualizacao-eficientes-de-grandes-volumes-de-dados\/\" \/>\n<meta property=\"og:site_name\" content=\"ESISOC | ESSID Solutions\" \/>\n<meta property=\"og:image\" content=\"https:\/\/esisoc.com\/wp-content\/uploads\/2024\/02\/19cc9372091f4af7ba48a77a2446d9d6.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"839\" \/>\n\t<meta property=\"og:image:height\" content=\"514\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Tempo estimado de leitura\" \/>\n\t<meta name=\"twitter:data1\" content=\"4 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/\",\"url\":\"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/\",\"name\":\"Data Lake Implementation for Efficient Big Data Processing and Visualization - ESISOC | ESSID Solutions\",\"isPartOf\":{\"@id\":\"https:\/\/esisoc.com\/#website\"},\"datePublished\":\"2024-02-18T15:29:24+00:00\",\"dateModified\":\"2024-02-18T15:29:24+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/#breadcrumb\"},\"inLanguage\":\"pt-PT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/esisoc.com\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Data Lake Implementation for Efficient Big Data Processing and Visualization\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/esisoc.com\/#website\",\"url\":\"https:\/\/esisoc.com\/\",\"name\":\"ESISOC | ESSID Solutions\",\"description\":\"Data Science Consulting and AI | Online Books, Videos, Courses and more\",\"publisher\":{\"@id\":\"https:\/\/esisoc.com\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/esisoc.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pt-PT\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/esisoc.com\/#organization\",\"name\":\"ESISOC | ESSID Solutions\",\"url\":\"https:\/\/esisoc.com\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/esisoc.com\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/esisoc.com\/wp-content\/uploads\/2024\/02\/logo-esisoc.png\",\"contentUrl\":\"https:\/\/esisoc.com\/wp-content\/uploads\/2024\/02\/logo-esisoc.png\",\"width\":350,\"height\":63,\"caption\":\"ESISOC | ESSID Solutions\"},\"image\":{\"@id\":\"https:\/\/esisoc.com\/#\/schema\/logo\/image\/\"}}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Data Lake Implementation for Efficient Big Data Processing and Visualization - ESISOC | ESSID Solutions","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/esisoc.com\/pt\/resource\/implementacao-de-data-lake-para-processamento-e-visualizacao-eficientes-de-grandes-volumes-de-dados\/","og_locale":"pt_PT","og_type":"article","og_title":"Data Lake Implementation for Efficient Big Data Processing and Visualization","og_description":"Key Details Accelerated data-driven decisions and improved KPIs. Challenge Find an efficient approach to data gathering, analyzing, processing, visualization Solution BI solution to enable real-time monitoring of workflows across an organization Technologies and tools Apache NiFi, Cloudera CDH, Apache Oozie, Apache Spark, HDFS (raw, parquet), Apache Kudu, Apache Impala Client The Client is a UK-based ... Ler mais","og_url":"https:\/\/esisoc.com\/pt\/resource\/implementacao-de-data-lake-para-processamento-e-visualizacao-eficientes-de-grandes-volumes-de-dados\/","og_site_name":"ESISOC | ESSID Solutions","og_image":[{"width":839,"height":514,"url":"https:\/\/esisoc.com\/wp-content\/uploads\/2024\/02\/19cc9372091f4af7ba48a77a2446d9d6.webp","type":"image\/webp"}],"twitter_card":"summary_large_image","twitter_misc":{"Tempo estimado de leitura":"4 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/","url":"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/","name":"Data Lake Implementation for Efficient Big Data Processing and Visualization - ESISOC | ESSID Solutions","isPartOf":{"@id":"https:\/\/esisoc.com\/#website"},"datePublished":"2024-02-18T15:29:24+00:00","dateModified":"2024-02-18T15:29:24+00:00","breadcrumb":{"@id":"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/#breadcrumb"},"inLanguage":"pt-PT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/esisoc.com\/resource\/data-lake-implementation-for-efficient-big-data-processing-and-visualization\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/esisoc.com\/"},{"@type":"ListItem","position":2,"name":"Data Lake Implementation for Efficient Big Data Processing and Visualization"}]},{"@type":"WebSite","@id":"https:\/\/esisoc.com\/#website","url":"https:\/\/esisoc.com\/","name":"ESISOC | ESSID Solutions","description":"Data Science Consulting and AI | Online Books, Videos, Courses and more","publisher":{"@id":"https:\/\/esisoc.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/esisoc.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"pt-PT"},{"@type":"Organization","@id":"https:\/\/esisoc.com\/#organization","name":"ESISOC | ESSID Solutions","url":"https:\/\/esisoc.com\/","logo":{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/esisoc.com\/#\/schema\/logo\/image\/","url":"https:\/\/esisoc.com\/wp-content\/uploads\/2024\/02\/logo-esisoc.png","contentUrl":"https:\/\/esisoc.com\/wp-content\/uploads\/2024\/02\/logo-esisoc.png","width":350,"height":63,"caption":"ESISOC | ESSID Solutions"},"image":{"@id":"https:\/\/esisoc.com\/#\/schema\/logo\/image\/"}}]}},"_links":{"self":[{"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/resource\/2857"}],"collection":[{"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/resource"}],"about":[{"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/types\/resource"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/media\/2858"}],"wp:attachment":[{"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/media?parent=2857"}],"wp:term":[{"taxonomy":"industry","embeddable":true,"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/industry?post=2857"},{"taxonomy":"expertise","embeddable":true,"href":"https:\/\/esisoc.com\/pt\/wp-json\/wp\/v2\/expertise?post=2857"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}