Sobre este proyecto
it-programming / web-development
Abierto
Procesar automatizadamente con Chat GPT, texto de sitios web obtenido mediante un crawler. (Lo que esencialmente requiere combinar un crawler con la consulta a Chat GPT).
Detalles:
1) Crear en python o conseguir un crawler de libre uso (es decir, un sistema que, al indicarle una dirección url, comience a recorrer links de ese y otros sitios web).
1.1. Este crawler sólo necesita extraer texto (no así imágenes).
1.2. El crawler debe permitir indicarle un límite a la cantidad de texto a extraer de cada sitio (lo que buscamos es poder obtener una cantidad de texto determinada - aunque no total - de cada sitio). Por ejemplo: un máximo de 5000 palabras por sitio web (también se podría expresar en cantidad de caracteres).
1.3. De cada uno de los sitios web carwleados, el sistema debe guardar el texto de cada sitio, vinculado al sitio respectivo.
2. El sistema debe enviar automáticamente a Chat gpt el texto de cada sitio, permitiendo al usuario indicar el comando/instrucción a darle a gpt a fin de que procese los textos.
A modo de ejemplo, esos comandos/instrucciones que el usuario podrá determinar en cada uno del sistema, podrían ser: ¿En qué idioma está el siguiente texto? / ¿De qué tema trata el siguiente texto?, etc.
3) El sistema debe registrar las respuestas dadas por Chat GPT.
A fin de poder ser usado por un usuario común (sin conocimientos informáticos), el sistema debe contar con una interfaz amigable y ser ejecutable. A través de dicha interfaz el usuario: a) indicará las url a partir de las cuales comenzarán los procesos de crawling; b) indicará los prompts para que gpt procese los textos crawleados de cada sitio web; c) podrá consultar/ver los textos crawleados con indicación de su respectivo sitio web; d) podrá consultar/ver las respuestas de gpt a los prompts ingresados.
Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Cambio mediano
¿Es un proyecto o una posición? Un proyecto
Actualmente tengo Tengo las especificaciones
Disponibilidad requerida Según se necesite
Integraciones de API Otros (Otras APIs)
Roles necesarios Programador
Plazo de Entrega: 31 Diciembre, 2024
Habilidades necesarias