Evaluating bids

Google Lookerstudio - Revisar, corrigir e otimizar o dashboard da empresa

Published on the January 10, 2024 in IT & Programming

About this project

Open

Damanda para um arquiteto de dados
hoje temos 2 dashboards na empresa que buscam fontes de dados de 5 bases. A estrutura ta bem básica, o Swagger conecta na api da Bling e da Vnda e traz as informações, sem tratamento, salvando no bigquery. A partir dai o looker conecta no bigquery para a criação dos dashboards.

O que precisamos é organizar as rotinas e limpar os dados.
•⁠  ⁠A criação de uma camada raw que seria uma copia dos dados da api, salvando em um storage (o salvamento pode ser em parquet, avro, orc, ai podemos avaliar o melhor custo/desempenho, mas storage é o mais barato em geral)
•⁠  ⁠a partir da camada raw, um tratamento de etl, fazendo uma sanitização dos dados/colunas e ai sim salvando no bigquery. Essa etapa usaríamos alguma ferramenta própria, podemos seguir com o gcp podemos usar o DataFlow, em outras opções poderia ser usado até linguagem de programação direta, exemplo de python.

Project overview

Em resumo, hoje temos uma estrutura basica e o objetivo é organizar, fazer tratamentos e deixar mais leve para as consultas dos dashboards.

Category IT & Programming
Subcategory Data Science
Project size Small
Is this a project or a position? Project
Required availability Part time

Delivery term: February 29, 2024

Skills needed