Teste de performance no Elasticsearch

Atualmente possuo 3 servidores dedicados instalado apenas o ElasticSearch na sua última versão 7.8.0.

Os 3 servidores possuem as mesmas características:
- Processador Intel® Xeon® E-2278G
- 64GB RAM DDR4
- 1 x 480GB SSD (disco primário / sistema operacional)
- 2 x 3.84TB SSD (discos que armazena os dados do elasticsearch)
- CentOS Linux 8.2
- 1 gbps internal network

Tenho aproximadamente 10 TB de dados armazenados em um índice template. Esse índice está com uma regra de criação diária, ou seja, todo dia ele gera um novo índice.

Tenho uma ingestão diária de aproximadamente 80 milhões de documentos que dá aproximadamente 20 GB de dados (informação retirada no índice), sendo que há um aumento aproximado de 5% de dados inseridos nesse indice por mês. O tamanho de cada documento tem praticamente o mesmo tamanho.

Esse indice salva dados de acessos de diferentes sites que utiliza a nossa tecnologia na página. Esses dados de acesso não podem nunca ser deletados.

Todas as consultas realizadas no ElasticSearch são do tipo "terms aggregation" e "sum aggregation" utilizando o "composite aggregation" para a paginação dos relatorios. Nessas consultas utilizo o "bool->filter" para filtrar os resultados e seto o "size" sempre como 0 (zero) já que eu não utilizo os documentos em si e sim o resultado das agregações.

Sei que o numero de shards e ILM (rollover, priority, compression etc) variam de acordo com o dado que é inserido no Elastic e que a melhor forma de saber essas configurações é realizando alguns testes de performance com diferentes configurações para então encontrar a configuração ideal para o meu cluster. E é para exatamente isso que estou procurando esse profissional :-)

Caso você possua experiência com algum outro banco de dados e acredite que ele se adeque melhor para o meu modelo de negócio eu estou disposto a ouvir e testar também.

O prazo de entrega do projeto fica a seu critério, qualquer dúvida fico a disposição.