Evaluating bids

Scraping de dados web - complemento

Published on the March 15, 2024 in IT & Programming

About this project

Open

Preciso fazer alguns complementos em um algoritmo de scraping de dados que já esta implementado em uma VPS.

O algoritmo já faz scraping em 4 sites, porém preciso desses complementos:

1 Incluir mais um site para scraping de razão social e cnpj, e com esses dados entrar no (Banco Nacional de CNPJ), captar email e telefone e quando nao retornar nenhum dado, dessa base, deverá buscar email e telefone no google maps.

2 Os dados coletados devem ser inseridos nos bancos de dados existentes em txt e Excel, filtrando para que não se repitam.

3 O atual algoritmo já faz o scraping e envio de emails ao mesmo tempo, isso provavelmente gera lentidão, no processo, preciso que essas etapas sejam realizadas separadamente. Após o término da etapa de scraping, o usuário inicia no painel a próxima etapa de envios.

OBS. Se o banco de CNPJs, (muito pesado), que está causando a lentidão, implementar outra solução como por exemplo, buscar os dados de fornecedores cadastrados nos próprios sites de licitações, ou outra solução viável.

4 A configuração de envio dos emails já existe dentro do próprio algoritmo, porém preciso que seja inserida a opção de incluir anexo, inerir assinatura com imagem, editar a fonte de texto do email, e no corpo do email puxar automaticamente o nome fantasia ou razão social da empresa e tb dar a opção de configurar o teclado dentro da VPN, pq seguido se desconfigura.

Preciso que após cada scraping e envio de emails, seja retornando no painel/dasboard e tb através de relatórios em Excel, as quantidades de: Emails coletados no scraping, Emails enviados, Emails que não foram entregues e Emails abertos pelos usuários.
Já existe um painel onde os comandos são executados pelo usuário, e todas as ações existentes e novas devem ser feitos através desse painel, sem digitar textos para obter os dados.

5 Realizar testes para rodar todo o sistema durante 3 dias e fazer acompanhamento e solução de possíveis problemas por 30 dias, em caso de algum bug resolver sem custo adicional.

OBS. O projeto somente será considerado concluido e aceito, após a rodar 3 dias sem nenhum problema de lentidão ou qualquer tipo de bug ou erro.

OBS1: O banco de dados e código estão dentro da VPS.
OBS2: Tenho pressa na entrega e conclusão desse projeto, portanto se vc não tem tempo ou tem outros projetos em andamento, favor não se candidatar, pois estou tendo que fazer esse complemento do projeto, justamente pq o freelancer que iniciou o projeto, me deixou na mão com o prazo estourado várias vezes.

Category IT & Programming
Subcategory Web development
What is the scope of the project? Medium-sized change
Is this a project or a position? Project
I currently have I have specifications
Required availability As needed
API Integrations Other (Other APIs)
Roles needed Developer

Delivery term: March 29, 2024

Skills needed

Other projects posted by L. R.