Evaluating bids

Desenvolvedor Backend

Published on the May 04, 2021 in IT & Programming

About this project

Open

Requisitos:
•    No mínimo um ano de experiência com Web Scraping em Python utilizando requests (Selenium e outras bibliotecas que simulam navegadores ou rodam Javascript não atendem às necessidades do projeto)
•    Conhecimento de arquitetura multithread/multiprocessos capazes de rodar de centenas a milhares de análises simultaneamente de forma escalável
•    Habilidade de descobrir endpoints internos de sites via engenharia reversa e análise de tráfego utilizando ferramentas de desenvolvedor do navegador
•    Noções de Proxy Rotativo para evitar bloqueios durante o processo de scraping
•    Lógica de programação para análise de dados e criação de todo o processo de ETL
•    Conhecimentos básicos sobre API REST
•    Conhecimentos básicos de bash
•    Boa capacidade de comunicação e trabalho em equipe

Diferenciais:
•    Git
•    Ter trabalhado em projetos de Web Scraping de redes sociais
•    Conhecimentos sobre serviços da AWS como Lambda Functions, API Gateway, Step Functions, SES, RDS, entre outros
•    Conhecimentos utilizando Pandas para geração automática de planilhas em Excel
•    Noções de metodologias ágeis
•    Conhecimento em Data Science / Machine Learning
•    Conhecimentos de bancos relacionais e não relacionais: MongoDB, MySQL

Category IT & Programming
Subcategory Data Science
Is this a project or a position? Project
Required availability Full time

Project duration More than 6 months

Skills needed

Other projects posted by D.