Analisando propostas

Crawler de marketplaces de Matcon

Publicado em 25 de Julho de 2024 dias na TI e Programação

Sobre este projeto

Aberto

Preciso fazer um crawler em 5 sites de ecommerce famosos, Leroy Merlin, Obramax, ABC, Amoedo e Telha Norte.

No fim, preciso ter:
- Nome do produto
- Nome do Fabricante
- Preço
- Informações extras disponveis do produto, podem variar por ecommerce.
- Data de coleta
- url do produto
- url da imagem do produto

a entrega deve consistir em
- usar bibliotecas estabelecidas para o crawler (scrapy, puppeteer, cheerio, etc)
- código do crawler
- docker para rodar o crawler
- crawler deve reportar erros e sucessos
- crawler deve reportar o tempo de execução (paginas por segundo)
- crawler deve mostrar o que está sendo coletado
- crawler deve implementar mecanismos de lidar com erros, começar de onde parou, etc ...
- Estrutura de configuração do banco de dados (sqlite ou pgsql) se preciso ou deve gerar um - - - arquivo json com o resultado de cada coleta
- deve implementar algum mecanismo como cache para reduzir chamadas desnecessárias e melhorar performance.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Alteração média
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho uma ideia geral
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)
Funções necessárias Desenvolvedor

Prazo de Entrega: Não estabelecido

Habilidades necessárias