Etl con Python y Spark, en Dockers

El programa realizado en spark  debería, dirigido por los metadatos
que se comentarán a continuación, ejecutar un proceso que cargará los orígenes
descritos, ejecutara una serie de transformaciones (en este caso lo definido como
dataflow: dos validaciones funcionales y técnicas de dos campos y añadir una columna)
y escribir los datos resultado , tanto los que han pasado la validación, como por otro
lado los que no las han pasado y el código de error que autoexplique porque no lo ha
pasado. Es muy importante que sea un programa que, o genera código leyendo
metadatos que posteriormente se ejecuta, o que cambie su comportamiento
dinámicamente via los metadatos propuestos y que no sea un desarrollo adhoc.