Evaluando propuestas

Crawling/Mirroring/Scrapping de website en Wayback Machine (archive.org)

Publicado el 19 Septiembre, 2018 en Programación y Tecnología

Sobre este proyecto

Abierto

Necesito descargar todo el contenido disponible de un sitio web que se encuentra archivado en Wayback Machine.
El freelancer deberá estar famliarizado con la herramientas de scripting necesarias para hacer scraping the paginas con ajax / jquery tables.
Es necesario descargar todo el contenido disponible (la ultima versión "valida" de cada pagina,  excluyendo redirects, 404, empty pages..
.), O al menos construir un listado con las URLs para ser descargadas luego.
Hay aproximadamente 88,700 paginas de de este sitio almacenadas actualmente en Wayback Machine.
Es ideal que el trabajo lo realice alguien que ya tenga experiencia haciendo un dump desde este sitio.

Posteriormente será necesario hacer scraping del contenido para luego reconstruir el sitio en wordpress (esto es otro proyecto)

Categoría Programación y Tecnología
Subcategoría Otros
Tamaño del proyecto Medio
¿Es un proyecto o una posición? Un proyecto
Actualmente tengo Tengo las especificaciones
Disponibilidad requerida Según se necesite
Integraciones de API Otros (Otras APIs)

Plazo de Entrega: No definido

Habilidades necesarias

Programación Web

¿Te gustaría comenzar a trabajar en este proyecto?

Ingresa con tu cuenta de Workana o Regístrate. ¡Potencia tu trabajo freelance!

Otros proyectos publicados por W. G.