Construir toda estrutura de tabelas e campos no meu banco de dados MySql, e extrair os dados conforme especificado abaixo numa rotina diária.
Os dados devem ser tratados conforme especificados:
1)
https://br.investing.com/markets/brazil
e
https://br.investing.com/markets/united-states
Índices - Desempenho e Técnica
Título - Rendimento, Desempenho e Técnica
2) Buscar Lista das Ações Brasileiras E Americanas (tickers) e acessar os links (urls) de cada uma para as seguintes informaçõeS:
2.1)
https://br.investing.com/equities/weg-on-ej-nm-consensus-estimates
Preço-Alvo Médio (Qtd Analistas Compra, Qtd Neutro, Qtd Venda no quadro "consenso Geral")
2.2)
https://br.investing.com/equities/weg-on-ej-nm-technical
Extrair dados de Resumo, Ind Técnicos e Médias Móveis para Diário, Semanal e Mensal
3)
https://messari.io/asset/bitcoin/metrics/all
Diariamente Extrair todos os dados dessa página para Bitcoin e Etherium
3.1)
https://messari.io/screener/all-assets-D86E0735
4)
https://www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/consultas/boletim-diario/boletim-diario-do-mercado/
Para esse item, é possível exportar para csv antes de enviar ao banco de dados, ou inserir direto do site da b3.
=> Indicadores e Informativos => Participação de Investidores (Essa tabela tem que calcular uma coluna final de SOMA de compras e vendas e respectivos percentuais no ato da extração de dados. O crawling também deve extrair os dados dentro do mês (são dados acumulados) e ao término do mês, deixar a soma acumulada. Ou seja, enquanto está dentro do mês vigente (da data 'hoje'), ele faz UPDATE no banco de dados com os dados de cada dia de consulta. Quando fecha o mês, passa a fazer insert (no primeiro dia do mes) e depois update (até fechar o mes).
=> Evolução dos índices (lado direito, menu 3 pontos verticais, Exportar Csv para inserir no banco de dados).
5)
https://tradingeconomics.com/country-list/inflation-rate?continent=world (extrair somente last e reference)
https://tradingeconomics.com/forecast/government-bond-10y (extrair somente YIELD)
Criar uma colune que faça a conta para cada país "yield - inflation" e chamar de "juro real" (taxa de juros - inflação)
6) extrair lista completa de fundos imobiliários da fonte>
https://www.clubefii.com.br/fundo_imobiliario_lista (Observar campo "Valor Cota" que possui 3 informações no mesmo campo, e que ao extrair, deve ser desmembrada em 3 colunas (preço, variação, data/hora)
6.1)
https://www.clubefii.com.br/radar_profile_visualizacao.aspx?cod_pro=58734 (Este campo requer minha autenticação no site, que irei passar ao freelancer escolhido. Tem que usar acesso logado, e extrair toda tabela de dados referente a esta pesquisa.
Contexto Geral do Projeto
O projeto consiste em elaborar uma estrutura de tabelas no meu banco de dados cloud com acesso via máquina virtual Linux (linha de código somente, não possui ambiente gráfico pois é Oracle Cloud, estilo Amazon Web Services), e um sistema de bot de extração de dados e tratamento dos mesmos para inserção diária no banco.
O propósito é futuro uso num website (front end).
Prazo de Entrega: Não estabelecido