Executando

[Trabalho Graduação] Api para upload de dados e armazenamento no Hdfs

Publicado em 07 de Junho de 2021 dias na TI e Programação

Sobre este projeto

Aberto

Criar uma api que receberá 3 parâmetros (origem, título, data) e um arquivo (csv, json, imagem, texto). As informações recebidas devem ser inseridas em tópicos Kafka.
Criar um consumidor que vai ler os tópicos do kafka e armazenar os dados no HDFS.
Os dados no HDFS devem ser estruturados na seguinte hierarquia de diretório: origem -> Ano -> Mes -> Dia -> Hora -> Minuto -> título -> arquivo.

De preferência utilizar Go Lang para API, Java e Spark para o consumidor.
É Necessário criar imagem docker para o Kafka, hdfs, api e consumidor.

Contexto Geral do Projeto

Trabalho prático de graduação

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Desenvolvedor

Prazo de Entrega: 17 de Junho de 2021

Habilidades necessárias

API Java Big Data Apache Hadoop Go/Golang

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por M. B.