Una empresa guarda archivos CSV en Amazon S3. Un ingeniero de datos debe transformar los CSV y escribir los resultados en un nuevo bucket de S3. Las transformaciones requeridas son: renombrar una columna, eliminar columnas específicas, omitir la segunda fila de cada archivo, crear una nueva columna derivada de los valores de la primera fila y filtrar filas por una columna numérica. ¿Qué opción cumple estos requisitos con el menor esfuerzo de desarrollo?

AWS Glue DataBrew es una herramienta de preparación de datos visual que permite limpiar y normalizar datos sin escribir código. Las "recetas" de DataBrew son conjuntos de transformaciones que se pueden aplicar a los datos, lo que se alinea perfectamente con los requisitos de renombrar, eliminar columnas, omitir filas, crear columnas derivadas y filtrar filas. Esto minimiza el esfuerzo de desarrollo en comparación con la escritura de código Python. Las otras opciones implican mayor esfuerzo de desarrollo: Los trabajos de AWS Glue Python requieren escribir y mantener código. Un rastreador personalizado de AWS Glue está diseñado para inferir esquemas, no para transformar datos. Un flujo de trabajo de AWS Glue orquesta trabajos, pero los trabajos en sí (si son de Python) aún requieren codificación para las transformaciones.