About this project
it-programming / web-development
Open
Preciso fazer alguns complementos em um algoritmo de scraping de dados que já esta implementado em uma VPS.
O algoritmo já faz scraping em 4 sites, porém preciso desses complementos:
1 Incluir mais um site para scraping de razão social e cnpj, e com esses dados entrar no (Banco Nacional de CNPJ), captar email e telefone e quando nao retornar nenhum dado, dessa base, deverá buscar email e telefone no google maps.
2 Os dados coletados devem ser inseridos nos bancos de dados existentes em txt e Excel, filtrando para que não se repitam.
3 O atual algoritmo já faz o scraping e envio de emails ao mesmo tempo, isso provavelmente gera lentidão, no processo, preciso que essas etapas sejam realizadas separadamente. Após o término da etapa de scraping, o usuário inicia no painel a próxima etapa de envios.
OBS. Se o banco de CNPJs, (muito pesado), que está causando a lentidão, implementar outra solução como por exemplo, buscar os dados de fornecedores cadastrados nos próprios sites de licitações, ou outra solução viável.
4 A configuração de envio dos emails já existe dentro do próprio algoritmo, porém preciso que seja inserida a opção de incluir anexo, inerir assinatura com imagem, editar a fonte de texto do email, e no corpo do email puxar automaticamente o nome fantasia ou razão social da empresa e tb dar a opção de configurar o teclado dentro da VPN, pq seguido se desconfigura.
Preciso que após cada scraping e envio de emails, seja retornando no painel/dasboard e tb através de relatórios em Excel, as quantidades de: Emails coletados no scraping, Emails enviados, Emails que não foram entregues e Emails abertos pelos usuários.
Já existe um painel onde os comandos são executados pelo usuário, e todas as ações existentes e novas devem ser feitos através desse painel, sem digitar textos para obter os dados.
5 Realizar testes para rodar todo o sistema durante 3 dias e fazer acompanhamento e solução de possíveis problemas por 30 dias, em caso de algum bug resolver sem custo adicional.
OBS. O projeto somente será considerado concluido e aceito, após a rodar 3 dias sem nenhum problema de lentidão ou qualquer tipo de bug ou erro.
OBS1: O banco de dados e código estão dentro da VPS.
OBS2: Tenho pressa na entrega e conclusão desse projeto, portanto se vc não tem tempo ou tem outros projetos em andamento, favor não se candidatar, pois estou tendo que fazer esse complemento do projeto, justamente pq o freelancer que iniciou o projeto, me deixou na mão com o prazo estourado várias vezes.
Category IT & Programming
Subcategory Web development
What is the scope of the project? Medium-sized change
Is this a project or a position? Project
I currently have I have specifications
Required availability As needed
API Integrations Other (Other APIs)
Roles needed Developer
Delivery term: March 29, 2024
Skills needed