Realizado

Desenvolvimento de endpoint api Nodejs e Puppeteer Js para web scraping

Publicado em 14 de Junho de 2021 dias na TI e Programação

Sobre este projeto

Aberto

Desenvolver um endpoint em NodeJS utilizando a biblioteca Puppeteer JS que pode ser acessada a partir de uma api externa.
A requisição da api terá apenas três parâmetros:
url do endpoint: esta api ficará no meu servidor digitalocean
url que terá os dados coletados: url que terá os dados coletados
parâmetro da localização dos dados a serem coletados, dentro da url acima, no exemplo (vide image: parametros_coleta.png): a.heading.heading--secondary.brand-list_list_title

No caso acima a api retorna um arquivo Json, 100% Pure, mas na prática será uma lista com vários nomes. Vide imagem de nomes_coletados.png.


obs: nao vai ter captcha nao! so uma coisa q eu pensei agora e acho q vou precisar mudar no projeto. A extracao pode demorar muito, entao acho que api vai precisar "startar" e ficar extraindo e mandando para o MondoDB e enviar uma chave para a pessoa q fez a consulta. Ai a pessoa depois de um tempo, extrai o dados usando a chave e uma nova api.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)
Funções necessárias Desenvolvedor

Prazo de Entrega: Não estabelecido

Habilidades necessárias

JavaScript API Node.js MongoDB

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por G.