Evaluating bids

Disponibilização de base de dados

Published on the December 13, 2022 in IT & Programming

About this project

Open

Objetivo: Otimizar o acessos às bases de dados; Temos bases com grande volume de dados tanto em relação a quantidade como também em variedade de formatos de armazenamento (pdfs, csv, json). Para se ter uma noção a Hemeroteca Política Externa Brasileira (HPEB) tem quase 30 mil notícias; o NewsCloud tem mais de 3 milhões de notícias e é atualizado diariamente; e o IRjournalsBR de mais de 4 mil artigos e é atualizado periodicamente. Precisamos melhorar o acesso a estas informações para viabilizar uma análise de dados mais aprimorada e integrada. Para isso almejamos:
(1) Criar uma API para facilitar o consumo dos dados;
(2) Integração do Júpiter Notebook com bibliotecas de lidam com grande volume de dados
## Sugestões de bibliotecas (Spark, Dask, DuckDB, Python Elasticsearch Client)

Category IT & Programming
Subcategory Data Science
Project size Medium
Is this a project or a position? Project
Required availability As needed

Delivery term: Not specified

Skills needed

Other projects posted by R. D. A.