Evaluating bids

Otimização / Particionamento em banco de dados Mysql com 55 milhões de registros

Published on the October 17, 2018 in IT & Programming

About this project

Open

Nosso banco de dados (mysql 5,7) trabalha com tabela unica de produtos, essa recebe uma carga mensal por meio de importação de arquivos csv.
Dentro do sistema não temos crud, somente consulta nesta tabela. Ela hoje está com 55 milhões de registros e o crescimento é aproximadamente de 1 milhões a cada mês.

Ela não possui nenhum campo com chave primária, pois o arquivo importado não contempla.
Atualmente realizamos pesquisas de periodos, paises, NCM, quantidades e o desempenho é satisfatório, porém precisamos pesquisar as descrições dos produtos que contenham as palavras inseridas no filtro e é nesse ponto que 90% das pesquisa trava.
A descrição do produto é grande (tipo TEXT) e o produto a ser encontrado tem que conter todas as palavras digitadas no filtro.

Creio que a normalização do banco não é possível, devido a falta de relacionamento que temos entre os dados, entretanto, pensamos na possibilidade de trabalhar com o partition ou sharding, mas não sei também se resolveria.

Fico a disposição para maiores detalhes

Category IT & Programming
Subcategory Web development
What is the scope of the project? Small change or bug
Is this a project or a position? Project
I currently have I have specifications
Required availability As needed
Roles needed Developer, Other
Other roles needed DBA ou bons conhecimentos em banco de dados

Delivery term: October 19, 2018

Skills needed

Other projects posted by A. G.