Analisando propostas

Melhoria em multi thread e query para postgre

Publicado em 13 de Julho de 2022 dias na TI e Programação

Sobre este projeto

Aberto

Olá tenho dois problema para solucionar, em um projeto:
1 - Existe uma função python que inserções com base em um sql com varios joins, a quantidade dos insert vai ate um valor de 1 milhão podendo ser reduzido, porem o select principal base desse insert varia de tabela para tabela mas em media 30 milhoes, porem cada joins agrega mais milhões hehe, problemão né...
Banco é postgresql na ultima versão, python versão 3.9.13 usando bibliote psycopg2 para manipulação do banco, ssd de 545Mbs leitura e 430Mbs gravação.
Gostaria de ter um maior desempenho.
2 - A função a cima usa um processo multi thread que acionada varios insert semelhantes ao de cima, porem com selects diferentes, foi ativado o multi thread para tentar melhorar a questão a cima, pois antes esse procedural, mas mesmo assim o aumento em desempenho foi baixo, usando biblioteca threading
Gostaria de ter um melhor desempenho multi threading.
Talvez resolvendo a primeira situação a segunda melhore tambem

Contexto Geral do Projeto

Melhoria em querys sql no postgre. Melhoria em multi thread do python. Estou a disposição qualquer duvida.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Desenvolvedor

Prazo de Entrega: Não estabelecido

Habilidades necessárias