Desenvolvimento de Algoritmo para Coleta de Questões Objetivas em Sites Oficiais de Bancas Examinadoras

Contexto Geral do Projeto

Requisitos Técnicos: Web Scraping: Utilização de tecnologias como Python (com bibliotecas como Beautiful Soup, Scrapy ou similares) para extrair dados de forma eficiente e automatizada. Automação de Processos: Configuração de scripts para que o algoritmo faça a coleta periódica de novas questões e as atualize no banco de dados. Banco de Dados: Estruturação de um banco de dados em MySQL, PostgreSQL ou MongoDB (a definir) para armazenar as questões de forma organizada e acessível. Integração: Possibilidade de integrar a coleta de dados com uma interface administrativa para visualização e gerenciamento das questões. Requisitos Desejáveis: Experiência com coleta de dados em portais brasileiros e conhecimento das particularidades de sites de órgãos públicos. Capacidade de adaptação para lidar com mudanças nos sites (ex.: Mudanças de layout que possam afetar o scraping). Comunicação clara e proatividade para sugerir soluções técnicas durante o desenvolvimento. Escopo do Projeto: Desenvolvimento do algoritmo de coleta de questões. Estruturação do banco de dados para armazenamento. Testes iniciais para verificar a precisão e a eficiência do scraping. Documentação completa do processo e do código desenvolvido.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Criar um novo site personalizado
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)
Funções necessárias Desenvolvedor, Gerente de projetos

Prazo de Entrega: Não estabelecido

Habilidades necessárias