Analisando propostas

Desenvolvedor Python para Automação e Web Scraping

Publicado em 11 de Junho de 2024 dias na TI e Programação

Sobre este projeto

Aberto

Estamos em busca de um desenvolvedor Python (pode ser outra linguagem se atender aos requisitos) experiente para criar automações de web scraping. O objetivo é coletar dados de diferentes fontes na internet, incluindo anúncios no Facebook Marketplace, notícias de sites específicos e vagas de emprego do Google.

Requisitos do Projeto
1. Scraping de Anúncios no Facebook Marketplace
  - Dados a serem extraídos: título do anúncio, preço, link do anúncio, descrição, local, imagens, etc.
  - Frequência: Coleta regular, preferencialmente com uma atualização diária e verificação de links.

2. Scraping de Notícias
  - Sites-alvo: Específicos (serão fornecidos detalhes posteriormente).
  - Dados a serem extraídos: Título da notícia, link, resumo, data de publicação, autor, etc.
  - Frequência: Coleta regular, com uma atualização diária ou conforme novas notícias sejam publicadas.

3. Scraping de Vagas de Emprego no Google
  - Dados a serem extraídos: Título da vaga, empresa, localização, descrição, requisitos, link para aplicação, etc.
  - Frequência: Coleta regular, preferencialmente com uma atualização diária.

Habilidades e Experiência Necessárias
- Experiência comprovada em desenvolvimento de scripts de scraping utilizando Python.
- Experiência com automação de tarefas repetitivas na web.
- Capacidade de contornar mecanismos de proteção anti-scraping.
- Conhecimento de melhores práticas para scraping responsável, evitando sobrecarga em servidores.
- Experiência com manipulação e armazenamento de dados (json, csv, bancos de dados, etc.).
- Capacidade de documentar o código de forma clara e concisa.

Diferenciais
- Experiência com deploy de scripts em servidores para execução automática (cron jobs).
- Conhecimento em APIs e métodos de integração de dados.
- Familiaridade com processamento de imagens e análise de dados.

Entregáveis
- Scripts funcionais para as três tarefas de scraping detalhadas.
- Documentação detalhada sobre o uso e configuração dos scripts.
- Relatórios de erros e logs de execução.

Como se Candidatar
Interessados, por favor, enviem:
- Portfólio ou exemplos de trabalhos similares realizados.
- Proposta de preço e prazo estimado para conclusão do projeto.
- Breve descrição das ferramentas e tecnologias que pretende usar.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)
Funções necessárias Desenvolvedor

Prazo de Entrega: Não estabelecido

Habilidades necessárias