About this project
it-programming / data-science-1
Open
Requisitos:
• No mínimo um ano de experiência com Web Scraping em Python utilizando requests (Selenium e outras bibliotecas que simulam navegadores ou rodam Javascript não atendem às necessidades do projeto)
• Conhecimento de arquitetura multithread/multiprocessos capazes de rodar de centenas a milhares de análises simultaneamente de forma escalável
• Habilidade de descobrir endpoints internos de sites via engenharia reversa e análise de tráfego utilizando ferramentas de desenvolvedor do navegador
• Noções de Proxy Rotativo para evitar bloqueios durante o processo de scraping
• Lógica de programação para análise de dados e criação de todo o processo de ETL
• Conhecimentos básicos sobre API REST
• Conhecimentos básicos de bash
• Boa capacidade de comunicação e trabalho em equipe
Diferenciais:
• Git
• Ter trabalhado em projetos de Web Scraping de redes sociais
• Conhecimentos sobre serviços da AWS como Lambda Functions, API Gateway, Step Functions, SES, RDS, entre outros
• Conhecimentos utilizando Pandas para geração automática de planilhas em Excel
• Noções de metodologias ágeis
• Conhecimento em Data Science / Machine Learning
• Conhecimentos de bancos relacionais e não relacionais: MongoDB, MySQL
Category IT & Programming
Subcategory Data Science
Is this a project or a position? Project
Required availability Full time
Project duration More than 6 months
Skills needed