Sobre este projeto
it-programming / web-development
Aberto
Estamos em busca de um desenvolvedor Python (pode ser outra linguagem se atender aos requisitos) experiente para criar automações de web scraping. O objetivo é coletar dados de diferentes fontes na internet, incluindo anúncios no Facebook Marketplace, notícias de sites específicos e vagas de emprego do Google.
Requisitos do Projeto
1. Scraping de Anúncios no Facebook Marketplace
- Dados a serem extraídos: título do anúncio, preço, link do anúncio, descrição, local, imagens, etc.
- Frequência: Coleta regular, preferencialmente com uma atualização diária e verificação de links.
2. Scraping de Notícias
- Sites-alvo: Específicos (serão fornecidos detalhes posteriormente).
- Dados a serem extraídos: Título da notícia, link, resumo, data de publicação, autor, etc.
- Frequência: Coleta regular, com uma atualização diária ou conforme novas notícias sejam publicadas.
3. Scraping de Vagas de Emprego no Google
- Dados a serem extraídos: Título da vaga, empresa, localização, descrição, requisitos, link para aplicação, etc.
- Frequência: Coleta regular, preferencialmente com uma atualização diária.
Habilidades e Experiência Necessárias
- Experiência comprovada em desenvolvimento de scripts de scraping utilizando Python.
- Experiência com automação de tarefas repetitivas na web.
- Capacidade de contornar mecanismos de proteção anti-scraping.
- Conhecimento de melhores práticas para scraping responsável, evitando sobrecarga em servidores.
- Experiência com manipulação e armazenamento de dados (json, csv, bancos de dados, etc.).
- Capacidade de documentar o código de forma clara e concisa.
Diferenciais
- Experiência com deploy de scripts em servidores para execução automática (cron jobs).
- Conhecimento em APIs e métodos de integração de dados.
- Familiaridade com processamento de imagens e análise de dados.
Entregáveis
- Scripts funcionais para as três tarefas de scraping detalhadas.
- Documentação detalhada sobre o uso e configuração dos scripts.
- Relatórios de erros e logs de execução.
Como se Candidatar
Interessados, por favor, enviem:
- Portfólio ou exemplos de trabalhos similares realizados.
- Proposta de preço e prazo estimado para conclusão do projeto.
- Breve descrição das ferramentas e tecnologias que pretende usar.
Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)
Funções necessárias Desenvolvedor
Prazo de Entrega: Não estabelecido
Habilidades necessárias