Desenvolvimento de Data Lake em Vm usando Airflow, Spark, Python e Openmetadata

Descrição do Projeto:
Estamos buscando um desenvolvedor para criar um Data Lake dentro de uma máquina virtual (VM).

Principais Tecnologias Requeridas:
- Docker: para gerenciar e isolar os diferentes componentes do Data Lake, garantindo portabilidade e facilidade de gerenciamento.
- Apache Airflow: para orquestração de pipelines de dados
- Apache Spark: para processamento distribuído de grandes volumes de dados
- Python: para scripts e automações personalizadas de dados
- OpenMetadata: para governança e catalogação de dados

Requisitos do Projeto:

Criação do ambiente de VM: Configurar uma máquina virtual para hospedar o Data Lake.
Configuração do Apache Airflow: Estabelecer pipelines de dados para automatizar a ingestão e tratamento dos dados.
Implementação do Spark: Configurar Spark para processar grandes volumes de dados distribuídos.
OpenMetadata: Implementar o OpenMetadata para garantir uma governança de dados eficiente, incluindo o mapeamento, catalogação e rastreabilidade dos dados.
Segurança e Governança: Configurar acessos seguros e garantir a rastreabilidade e conformidade dos dados tratados no ambiente.
Testes e Documentação: Realizar testes de performance e garantir que todos os processos estão funcionando corretamente. Entregar documentação clara para o uso e manutenção do sistema.

Habilidades Necessárias:
Experiência comprovada com Docker, Airflow, Spark, Python e OpenMetadata
Conhecimento de arquitetura de Data Lakes e pipelines de dados
Familiaridade com tratamento e processamento de grandes volumes de dados
Habilidade para trabalhar com ambientes virtualizados (VMs)