Analisando propostas

Web scraping qconcursos(site de questoes)

Publicado em 17 de Janeiro de 2022 dias na TI e Programação

Sobre este projeto

Aberto

O objetivo é :
1º- Eu aplicar um filtro nas questoes Ex(https://www.qconcursos.com/questoes-de-concursos/questoes?discipline_ids%5B%5D=3&examining_board_ids%5B%5D=2&subject_ids%5B%5D=16321 )
2º - pegar todas questões desse filtro( C e E e tmb multiplas escolhas ) e as duas primeiras respostas para cada questão
3º - Exportar como html , para que eu possa imprimir

-preferencialmente pyton , mas se atingir o objetivo pd qlqr linguagem


___________________________________________________________________________
- Abaixo um  escopo do que eu comecei fazer, mas to sem tempo ( por isso imprimir as questões)
import requests
from bs4 import BeautifulSoup

url = 'https://www.qconcursos.com/questoes-de-concursos/questoes?discipline_ids%5B%5D=1&examining_board_ids%5B%5D=2&subject_ids%5B%5D=15970'
headers ={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
site = requests.get( url, headers=headers)
ultima_pagina= soup.find('a', class_='btn btn-default' ).getText()
for i in range(1,int(ultima_pagina)):
    url_page = f'https://www.qconcursos.com/questoes-de-concursos/questoes?discipline_ids%5B%5D=2&examining_board_ids%5B%5D=2&page={i}&subject_ids%5B%5D=15970'
    site = requests.get( url_page, headers=headers)
    soup = BeautifulSoup(site.content, 'html.parser')
    questoes = soup.find_all('div',class_='q-question-body')

    with open('arquivo.html','a',newline='',encoding='UTF-8')as f:
        for questao in questoes:
            quest = questao.find('div', class_='q-question-enunciation')
            f.write( str(quest))
            print(quest)

#1º falta a logica das questoes de multiplas escolhas
#2º falta a logica das duas primeiras resposta ( aqui tem um coplicador pois o site bloqueia robo e por isso nao dá para acessar a funçao .click()

Contexto Geral do Projeto

Web scraping qconcursos(site de questoes) -python

Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Pequeño
Isso é um projeto ou uma posição de trabalho? Um projeto
Disponibilidade requerida Conforme necessário

Prazo de Entrega: Não estabelecido