Web scraping centralizado

Sobre este proyecto

Abierto

Necesito realizar Web Scraping a 2 sitios que divulgan los precios, disponibilidad e información relevante de los productos una vez registrado al sitio.
Se requiere:
- Preparar el scraping en servidor centralizando (Linux).
- Que vía web uno consulte los productos (excel, separados por ; o la mejor alternativa).
- Revisar en una BD si dichos productos fueron consultados anteriormente (varaible configurable en cantidad de días)
- Ingresar a los sitios con una cuenta.
- Consultar por un producto (que no esten previamente consutaldos)
- Obtener el precio, disponibilidad y otra info relevante. (Hay que modificar un parámetro para obtener mejor resultado)
- Registrar dichos valores en la BD.
- Cambiar distribuidor dentro del mismo sitio.
- Entregar como resultado los productos consultados con la info obtenida.

Contexto general del proyecto

El objetivo del proyecto es obtener de forma centralizada la consulta masiva (unos 200 productos diarios). De información por diferentes usuarios. El sitio a consultar es el de Caterpillar para obtener precios, disponibilidad y otros (cambios de PN, equipos donde se utilizan etc.) Contamos con servidor Alamlinux 8 para que bot trabaje en dicho servidor y los usuarios puedan realizar consultas. La respuesta puede no ser instantánea (como ejemplo, se ingresan los productos a consultar durante el día y en la noche realiza las consultas en el sitio de Caterpillar o cada una hora, según se defina pensando en la mejor performance.)

Categoría Programación y Tecnología
Subcategoría Otros
Tamaño del proyecto Medio
¿Es un proyecto o una posición? Un proyecto
Actualmente tengo Tengo las especificaciones
Disponibilidad requerida Según se necesite
Integraciones de API Otros (Otras APIs)

Plazo de Entrega: 30 Noviembre, 2022

Habilidades necesarias

HTML5 MySQL PHP API HTML JavaScript Python

Sobre este proyecto

it-programming / others-5

Abierto