Realizado

Caletor Master e Coletor diário

Publicado em 24 de Julho de 2023 dias na TI e Programação

Sobre este projeto

Aberto

O Coletor Master é um executável em Python que será acionado manualmente durante a implantação do sistema na empresa. Ele tem como objetivo coletar dados de arquivos XML em um determinado grupo de pastas e subpastas em uma localização específica e enviá-los para um banco de dados na web. O que precisa ser ajustado e implementado é a possibilidade de configurar o caminho das pastas e a coleta de dados de forma segmentada para evitar sobrecarregar o servidor.

O Coletor Diário é um executável em Python que será executado automaticamente pelo cron diariamente, sem a necessidade de interação com o administrador do servidor. Ele deve buscar apenas a pasta correspondente ao dia atual em um caminho pré-fixado e seguir a lógica de salvamento de dados do Coletor Master no banco de dados.

Contexto Geral do Projeto

Funcionalidades: O usuário deve fornecer o caminho do diretório de onde os arquivos XML serão coletados através de um prompt de comando (console). O sistema deve investigar todas as pastas e subpastas contidas no caminho fornecido e coletar os dados dos arquivos XML encontrados. Para evitar sobrecarga do servidor, o Coletor Master deve buscar por uma quantidade de pastas por vez (por exemplo, 10 pastas e seus registros correspondentes) e enviar esses registros ao banco de dados. Após enviar os registros ao banco de dados, o Coletor Master deve salvar um log localmente indicando a quantidade de diretórios lidos e quantos registros foram enviados para o banco. O sistema deve registrar quais diretórios não foram lidos e quais arquivos apresentaram problemas na coleta de informações (por exemplo, arquivos que não continham os dados esperados). Implementar um contador de progresso (%), que indicará ao administrador o progresso da leitura dos arquivos e envio para o banco de dados. Incluir o campo "Description" para ser salvo junto com os demais dados coletados dos arquivos XML. Funcionalidades: O Coletor Diário deve buscar a pasta correspondente ao dia atual, no caminho pré-fixado no código. Usar a mesma arquitetura de coleta de dados e salvamento no banco de dados do Coletor Master. Criar um log local informando se não encontrar pastas correspondentes ao dia atual e se ocorrerem erros durante o salvamento dos dados no banco de dados. Incluir o campo "Description" para ser salvo junto com os demais dados coletados dos arquivos XML. Com essas implementações, tanto o Coletor Master quanto o Coletor Diário estarão prontos para realizar a coleta de dados dos arquivos XML e enviá-los para o banco de dados, mantendo logs de atividades e tratando situações de erro. A inclusão do campo "Description" também estará assegurada para ambos os casos.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Desenvolvedor

Prazo de Entrega: 02 de Agosto de 2023

Habilidades necessárias

MySQL Python

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por Danilo C.