Analisando propostas

Etl Pipeline + Python and Gcp

Publicado em 06 de Agosto de 2020 dias na TI e Programação

Sobre este projeto

Aberto

Preciso extrair dados de uma CSV em um Storage (Cloud Storage ou S3) utilizando Google Cloud Functions (por exemplo) gravando os dados no Big Query ou Spanner.

O CSV seria depositado no Storage a cada 30min (por exemplo, podendo ser mais ou menos).

Utilizar a Google Functions para disparar rotinas de Transform.

Contexto Geral do Projeto

A partir de dados extraídos por RPA, são gerados arquivos CSVs que devem ter os dados armazenados em banco de dados, para posterior visualização via Metabase / Visual Studio (esta parte de visualização está fora do escopo.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Cloud Storage (Dropbox, Google Drive, etc)
Funções necessárias Desenvolvedor, Outro
Outras funções necessárias Cloud

Prazo de Entrega: Não estabelecido

Habilidades necessárias

MySQL Amazon Web Services (AWS) API Python Google Cloud Platform ...

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por G.