Evaluando propuestas

Google Lookerstudio - Revisar, corrigir e otimizar o dashboard da empresa

Publicado el 10 Enero, 2024 en Programación y Tecnología

Sobre este proyecto

Abierto

Damanda para um arquiteto de dados
hoje temos 2 dashboards na empresa que buscam fontes de dados de 5 bases. A estrutura ta bem básica, o Swagger conecta na api da Bling e da Vnda e traz as informações, sem tratamento, salvando no bigquery. A partir dai o looker conecta no bigquery para a criação dos dashboards.

O que precisamos é organizar as rotinas e limpar os dados.
•⁠  ⁠A criação de uma camada raw que seria uma copia dos dados da api, salvando em um storage (o salvamento pode ser em parquet, avro, orc, ai podemos avaliar o melhor custo/desempenho, mas storage é o mais barato em geral)
•⁠  ⁠a partir da camada raw, um tratamento de etl, fazendo uma sanitização dos dados/colunas e ai sim salvando no bigquery. Essa etapa usaríamos alguma ferramenta própria, podemos seguir com o gcp podemos usar o DataFlow, em outras opções poderia ser usado até linguagem de programação direta, exemplo de python.

Contexto general del proyecto

Em resumo, hoje temos uma estrutura basica e o objetivo é organizar, fazer tratamentos e deixar mais leve para as consultas dos dashboards.

Categoría Programación y Tecnología
Subcategoría Data Science
Tamaño del proyecto Pequeño
¿Es un proyecto o una posición? Un proyecto
Disponibilidad requerida A tiempo parcial

Plazo de Entrega: 29 Febrero, 2024

Habilidades necesarias