Los datos de marketing de múltiples fuentes se cargan en un bucket de Amazon S3. Los trabajos de preparación de datos deben ejecutarse a intervalos regulares en paralelo, con algunos trabajos que deben ejecutarse en un orden específico más tarde. La empresa quiere eliminar la sobrecarga operativa para el manejo de errores de los trabajos, los reintentos y la gestión de estados. ¿Qué solución cumple estos requisitos?

La opción correcta es usar AWS Glue DataBrew con AWS Step Functions. DataBrew es un servicio de preparación de datos sin servidor que permite limpiar y normalizar datos sin código, ideal para los trabajos de preparación. Step Functions es un orquestador de flujos de trabajo que permite definir secuencias de pasos, manejar la lógica de reintentos, el manejo de errores y la gestión de estados de forma automática, cumpliendo con el requisito de eliminar la sobrecarga operativa y ejecutar trabajos en paralelo o en orden específico. Las otras opciones son menos adecuadas: AWS Lambda para procesar datos directamente tras la carga en S3 y Lambda programada: Aunque Lambda es sin servidor, no ofrece la misma capacidad de orquestación de flujos de trabajo complejos, manejo de estados y reintentos automáticos que Step Functions, ni la preparación de datos visual de DataBrew. Amazon Athena con EventBridge Scheduler: Athena es para consultas interactivas sobre datos en S3, no para la preparación y transformación de datos en sí. EventBridge Scheduler puede invocar Athena, pero no proporciona la orquestación robusta necesaria. AWS Data Pipeline: Es un servicio más antiguo y menos flexible que Step Functions para la orquestación de flujos de trabajo complejos y la gestión de estados. Además, la programación a una hora fija no permite la ejecución en paralelo o en orden específico de forma dinámica.