Un ingeniero de datos extrae mensualmente datos de entrenamiento de Amazon Redshift a Amazon S3. El esquema de origen incluye TransactionTimestamp (timestamp), CardName (varchar) y CardNo (varchar). El ingeniero debe (1) eliminar las filas con CardNo = NULL, (2) dividir TransactionTimestamp en TransactionDate y TransactionTime, y (3) renombrar CardName a NameOnCard. La solución debe minimizar la configuración de la infraestructura, automatizarse mensualmente y generar una carga mínima en el clúster de Redshift. ¿Qué solución cumple estos requisitos?

La opción correcta es AWS Glue porque ofrece una solución sin servidor que minimiza la configuración de la infraestructura y permite la automatización mensual. AWS Glue Data Catalog puede conectarse directamente a Amazon Redshift como origen y a Amazon S3 como destino. Las transformaciones integradas de Glue (Filter para eliminar filas con CardNo = NULL, Map para dividir TransactionTimestamp y RenameField para CardName a NameOnCard) abordan los requisitos de transformación de datos de manera eficiente. Además, al ser un servicio gestionado, no impone carga adicional al clúster de Redshift para las transformaciones, solo para la lectura inicial. Las otras opciones son menos adecuadas: Un clúster de Amazon EMR requiere aprovisionamiento y gestión de infraestructura. Ejecutar consultas desde una instancia de Amazon EC2 con un cliente SQL es un proceso manual y propenso a errores, y no es escalable ni automatizable de forma nativa. Amazon Redshift Spectrum está diseñado para consultar datos en S3, no para escribir resultados de Redshift directamente a S3 con transformaciones complejas de forma programada y sin servidor para estas operaciones específicas.