Analisando propostas

Google Lookerstudio - Revisar, corrigir e otimizar o dashboard da empresa

Publicado em 10 de Janeiro de 2024 dias na TI e Programação

Sobre este projeto

Aberto

Damanda para um arquiteto de dados
hoje temos 2 dashboards na empresa que buscam fontes de dados de 5 bases. A estrutura ta bem básica, o Swagger conecta na api da Bling e da Vnda e traz as informações, sem tratamento, salvando no bigquery. A partir dai o looker conecta no bigquery para a criação dos dashboards.

O que precisamos é organizar as rotinas e limpar os dados.
•⁠  ⁠A criação de uma camada raw que seria uma copia dos dados da api, salvando em um storage (o salvamento pode ser em parquet, avro, orc, ai podemos avaliar o melhor custo/desempenho, mas storage é o mais barato em geral)
•⁠  ⁠a partir da camada raw, um tratamento de etl, fazendo uma sanitização dos dados/colunas e ai sim salvando no bigquery. Essa etapa usaríamos alguma ferramenta própria, podemos seguir com o gcp podemos usar o DataFlow, em outras opções poderia ser usado até linguagem de programação direta, exemplo de python.

Contexto Geral do Projeto

Em resumo, hoje temos uma estrutura basica e o objetivo é organizar, fazer tratamentos e deixar mais leve para as consultas dos dashboards.

Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Pequeño
Isso é um projeto ou uma posição de trabalho? Um projeto
Disponibilidade requerida Meio período

Prazo de Entrega: 29 de Fevereiro de 2024

Habilidades necessárias