Analisando propostas

Extração de dados de uma página, com pausa e continuação de onde parou

Publicado em 10 de Outubro de 2022 dias na TI e Programação

Sobre este projeto

Aberto

Estou querendo extrair dados de um site. Porém para extrair todos,  tenho que fazer por etapas, 1000 por vez por exemplo. Logo depois da extração, teria que pausar e salvar os dados para que na próxima extração, continuasse de onde parou. Pois se voltar do começo, o site pode bloquear a conta, pq vai carregar tudo de novo e mais a próxima extração.

Até pesquisei sobre um tal arquivo har gerado no inspector Google Chrome, mas não consegui colocar pra funcionar.

Uma ideia simples que tive foi de acessar os os dados e ir descendo a página para carregar mais até certo momento, por exemplo até 1000. A partir daí extraio esses carregados e continuo no outro dia, sem recarregar a página, pois se recarregar, volta tudo do começo.

Desvantagem: computador de tem ficar ligado 24h e não posso recarregar a página.

Contexto Geral do Projeto

Extração de dados pausando e retomando de onde parou.

Categoria TI e Programação
Subcategoria Outros
Tamanho do projeto Médio
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Não se aplica
Disponibilidade requerida Conforme necessário

Prazo de Entrega: Não estabelecido

Habilidades necessárias

HTML5 MySQL PHP Administrador de Redes Programação de Redes Python Instagram

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por M. G. F.