Analisando propostas

Otimização / Particionamento em banco de dados Mysql com 55 milhões de registros

Publicado em 17 de Outubro de 2018 dias na TI e Programação

Sobre este projeto

Aberto

Nosso banco de dados (mysql 5,7) trabalha com tabela unica de produtos, essa recebe uma carga mensal por meio de importação de arquivos csv.
Dentro do sistema não temos crud, somente consulta nesta tabela. Ela hoje está com 55 milhões de registros e o crescimento é aproximadamente de 1 milhões a cada mês.

Ela não possui nenhum campo com chave primária, pois o arquivo importado não contempla.
Atualmente realizamos pesquisas de periodos, paises, NCM, quantidades e o desempenho é satisfatório, porém precisamos pesquisar as descrições dos produtos que contenham as palavras inseridas no filtro e é nesse ponto que 90% das pesquisa trava.
A descrição do produto é grande (tipo TEXT) e o produto a ser encontrado tem que conter todas as palavras digitadas no filtro.

Creio que a normalização do banco não é possível, devido a falta de relacionamento que temos entre os dados, entretanto, pensamos na possibilidade de trabalhar com o partition ou sharding, mas não sei também se resolveria.

Fico a disposição para maiores detalhes

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Desenvolvedor, Outro
Outras funções necessárias DBA ou bons conhecimentos em banco de dados

Prazo de Entrega: 19 de Outubro de 2018

Habilidades necessárias

Outro projetos publicados por A. G.