Evaluating bids

Web Crawler para Monitoramento de Notícias

Published on the February 13, 2020 in IT & Programming

About this project

Open

Estou procurando um profissional que possa construir um web crawler para monitorar em média 50 mil sites de notícias (portais e blogs no Brasil) diariamente e armazenar no meu servidor somente notícias que tiverem determinadas palavras chaves, preciso armazenar o título da notícia, data da notícia e o texto da notícia.

Atualmente tenho servidores na Amazon (aws), gostaria de manter toda infra na aws.

Gostaria de uma ideia de quantos servidores eu precisaria na AWS para suportar esta demanda.

Também preciso saber se para cada um dos sites monitorados, precisarei manualmente "mapear" para que consiga extrair a data, título e o texto da notícia ou se isso seria automático.

E por último, uma ideia de valor/tempo deste Job e se for o caso, um valor mensal para manter um suporte comigo.

Obrigado

Category IT & Programming
Subcategory Web development
What is the scope of the project? Medium-sized change
Is this a project or a position? Project
I currently have Not applicable
Required availability As needed
Roles needed Developer

Delivery term: Not specified

Skills needed