Sobre este proyecto
it-programming / data-science-1
Abierto
Desarrollo de ETL (Extract, Transform, Load) para tres fuentes de datos y varios reportes en Power BI en la nube. La misma tendrá la capacidad para actualizar la data automáticamente a través de un ETL (Extract, Transform, Load) utilizando herramientas de ETL como Python Pandas, Apache Airflow para extracción, transformación y carga de la data de tres fuentes para luego guardarlas en un Datawarehouse de MySQL en AWS Ec2 utilizando aws rdb. Las tablas serán guardadas con schema de dato. Luego se crearán los queries con Views (Tablas virtuales) las cuales tendrán los cubos de los reportes con la información que irá a PowerBI. Posteriormente se deben crear los reportes de visualización utilizando MS Power BI. Los reportes deben de contar con una estructura de usuarios y permisos según los clientes
- Proceso de Extracción automática desde tres de orígenes de datos para tres reportes utilizando Python Pandas y Apache Airflow.
- Las extracciones se harán automáticamente la cantidad de veces requeridas durante el día.
- Consolidación de la data en MySQL Datewarehouse en la nube de AWS.
- Transformación y limpieza de la data utilizando Python Pandas.
- Creación de data schema para las diferentes tablas en el Datawarehouse de MySQL. -Creación de Views (Tablas virtuales) en MySQL con los diferentes cubos para los reportes - Automatización de todo el proceso utilizando Apache Airflow (ETL).
- Diseño, creación y automatización de actualización de Dashboards en Power BI.
Categoría Programación y Tecnología
Subcategoría Data Science
Tamaño del proyecto Grande
¿Es un proyecto o una posición? Un proyecto
Disponibilidad requerida Según se necesite
Plazo de Entrega: No definido
Habilidades necesarias