Analisando propostas

Backend Php e/ou Python ler dados Csv e Pdf e gravar Server Mysql

Publicado em 26 de Setembro de 2023 dias na TI e Programação

Sobre este projeto

Aberto

Preciso ter um mapeamento das oportunidades de leilão de imóveis da CEF que são disponibilizadas quase que diariamente para me permitir fazer escolhas com dados.

Esse projeto resumidamente:
1. Permitir fazer carga de editais de leilões de imóveis da cef - 1 tabela no bd a partir de arquivo(s) pdf(s) em lote (anexo)
2. Diariamente o servidor precisa fazer download de 26 arquivos CSV (1 para cada estado do Brasil), tratar os dados e depois inseri-los em um banco de dados MySQL

obs: a tabela do imóvel é a mesma e as informações também

Contexto Geral do Projeto

Características: - 98% BackEnd, 2% FrontEnd - Linguagem PHP e/ou Python e Frontend (Node JS) - Servidor Localweb (Linux, MySQL) Detalhadamente: Etapa 1 - Carga de Dados 1 - Fazer 1 página web simples para selecionar lote de pdf de edital (anexo) 2 - processar arquivo a arquivo: - verificar se é um arquivo de edital válido - se dados não gravados e armazenar no bd (gravar dados em 1 tabela no mysql) os dados abaixo: - código licitação caixa: 8052/ 2023 - cpve/re - site do leiloeiro: www.XXXX.com.br – Data e hora da Sessão: 30/08/2023 - 10:00h – Data de divulgação do resultado: 06/09/2023 – Data da homologação e resultado final: 14/09/2023 - Dados de cada Imóvel (lista de imóveis) *** mais importante - se dados já existirem na base de dados anteriormente (sugiro hash do arquivo) deve mostrar o erro na tela e no arquivo de log e ir para o próximo arquivo do lote 3 - mostrar o processamento de cada arquivo em um campo texto com linhas e gravar log em arquivo com data e hora em uma pasta de logs do servidor etapa 2 - serviço diário no servidor: *** rodar rotina diariamente no server 23:15h todos os dias *** 1- efetuar download do arquivo csv de cada estado do brasil, pelo link: https://venda-imoveis.caixa.gov.br/listaweb/Lista_imoveis_XX.csv * Sendo XX o estado. 2- depois verificar a data do arquivo CSV (coluna D2). Se for igual ao BD abortar o processo naquele dia. Se for diferente, seguir o fluxo abaixo: 3 - tratar os dados a) Arrumar colunas desalinhadas. Na coluna H em alguns registros, onde deveria ter o "Preço" as vezes fica um pedaço da coluna G, desalinhando todas as próximas colunas. Corrigir isso b) Obter o tipo do imóvel na coluna "Descrição". Ex: Casa, apartamento, etc... C) Obter na mesma coluna "Descrição" o valor numerico da área privativa (ex: 45,9 m2), gravar 45.9 d) Obter na mesma coluna "Descrição" as características do imóvel (2 quartos, sala, cozinha...) E) Obter o CEP do imóvel, numero do item no edital, numero do edital e data do edital, se aceita financiamento, fgts afim de preencger toda a tabela imovel. Sugestão: link: https://venda-imoveis.caixa.gov.br/sistema/detalhe-imovel.asp?Hdnorigem=index&hdnimovel=xxxxxxxx sendo xxxxx o número do imóvel f) calcular o preço do m2 baseando-se na formula: custo m2 = valor de avaliação / m2 privativo g) atribuir codigo do banco como cef (codigo: 1) h) atribuir os campos modalidade e tipo de imovel (conforme informações nas tabelas auxiliares tipo_imovel e modalidade) 4- gravar dados no banco de dados caso tenha gravado algum dado no bd, ao final do procedimento enviar um e-mail (destinatário e texto configuráveis) 5- os arquivos csv utilizados para carga do bd podem ser excluídos após o processamento desses, caso contrário devem ficar em uma pasta organizada por cef\$uf\$dd-$mm-$aaaa e enviar um e-mail (configurável) com o erro observação: esse código deve ser exclusivo desse projeto e desse solicitante.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Alteração média
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Desenvolvedor

Prazo de Entrega: 31 de Outubro de 2023

Habilidades necessárias

Outro projetos publicados por E. F.