Webscraping Shopee

Contexto Geral do Projeto

A aplicação deve ser capaz de: Minerar Dados de Anúncios: - Realizar pesquisas na Shopee utilizando termos específicos (ex.: "Afiador de broca", "bola de ioga", etc.) E que também seja possível minerar através de códigos de vendedores. - Com base nos resultados da pesquisa, minerar os dados dos anúncios e suas respectivas variações (ex.: Diferentes tamanhos, cores, etc.). - Coletar o máximo de informações possíveis de cada anúncio, como título, descrição, preço, estoque, avaliações, etc. - Minerar Dados de Vendedores: - Implementar a capacidade de minerar dados de lojas inteiras utilizando o código de identificação do vendedor. - Extrair informações detalhadas de todos os produtos listados por esse vendedor, quando se fizer a logica para minerar o anuncio em si, pode ser aplicada a várias abordagens diferentes (pesquisa por termos, código de vendedor, etc...). Armazenamento de Dados: - Salvar todos os dados extraídos em um banco de dados SQLite inicialmente. Posteriormente, farei a migração para nosso servidor MySQL. Verificação de Informações Ocultas: - Verificar se existem informações ocultas nos anúncios que possam ser extraídas, similar ao que ocorre na API do MercadoLivre. Contorno de Bloqueios e Restrições: - Implementar soluções para contornar bloqueios e restrições de scraping, incluindo a obtenção de proxies e headers de páginas diferentes. Caso essa implementação seja muito complexa, posso realizar essa parte. - Contornar a solicitação de login nas páginas da Shopee, seja através de login automático via token ou automação, garantindo que não haja captchas para que a aplicação funcione de forma autônoma. Requisitos Técnicos: - A aplicação deve ser desenvolvida em Python. - Necessário experiência prévia com web scraping em e-commerces. - Utilização de bibliotecas para scraping, como BeautifulSoup, Scrapy ou Selenium. - Código bem documentado e organizado. Entrega e Funcionalidades Extras: - Fornecimento do código-fonte completo. - Possibilidade de execução periódica do scraping (opcional). - Interface simples para a configuração dos termos de pesquisa e execução do scraping (opcional). Se você tem experiência em projetos semelhantes e pode atender a esses requisitos, estou aberto a discutir o orçamento e o prazo de entrega. Aguardo suas propostas!

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Alteração média
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Desenvolvedor

Prazo de Entrega: Não estabelecido

Habilidades necessárias