Especialista em webcrawler

About this project

Open

Estamos procurando um especialista em WebCrawler para desenvolver uma solução automatizada capaz de acessar informações de diferentes sites, incluindo aqueles protegidos por captcha. A ferramenta deverá ser capaz de coletar dados estruturados, integrá-los às bases de dados internas e automatizar o processo de coleta de informações periodicamente.

O projeto envolve o desenvolvimento de um WebCrawler com capacidade para se adaptar a diferentes padrões de páginas web, garantindo que o conteúdo seja coletado de forma eficaz. Estamos abertos à utilização de IA para lidar com captchas e melhorar a eficiência do crawler.

Project overview

A aplicação do WebCrawler será usada para obter informações de websites públicos e permitir um melhor aproveitamento dos dados coletados para fins internos. Já possuímos uma infraestrutura de banco de dados que irá armazenar as informações, e estamos buscando uma solução escalável que possa ser integrada a outros sistemas. Idealmente, o profissional deverá ter experiência em: - Desenvolvimento de crawlers usando tecnologias como Node.js ou Python; - Resolução de captchas, usando ferramentas como Anticaptcha ou IA; - Integração de crawlers com bancos de dados relacionais (ex: MongoDB); - Práticas de boa manutenção de código e documentação. Estamos à procura de um profissional comprometido e com disponibilidade para concluir o projeto em tempo hábil. Se você tem experiência em projetos semelhantes e gosta de desafios, por favor, entre em contato!

Category IT & Programming
Subcategory Web development
Is this a project or a position? Project
I currently have Not applicable
Required availability Part time
API Integrations Other (Other APIs)
Roles needed Developer

Project duration More than 6 months

Skills needed

API Node.js Python MongoDB

About this project

it-programming / web-development

Open

Other projects posted by H. C.