Diseñe un flujo de trabajo ETL diario con los siguientes requisitos: que se inicie cuando se carguen nuevos datos en S3; una vez que todas las cargas necesarias estén presentes, ejecute un trabajo ETL que una los nuevos datos con conjuntos de datos de varios terabytes en S3; que escriba los resultados de la unión de nuevo en S3; y que notifique a un administrador si algún trabajo falla. ¿Qué arquitectura cumple con estos requisitos?

La opción correcta utiliza un evento de S3 para activar Lambda, que inicia un flujo de trabajo de Step Functions. Step Functions es ideal para orquestar flujos de trabajo complejos, como esperar múltiples cargas de datos antes de proceder. AWS Glue es la herramienta más adecuada para realizar transformaciones ETL a gran escala, como unir conjuntos de datos de varios terabytes en S3. CloudWatch y SNS son los servicios estándar de AWS para monitoreo y notificación de fallos. Las otras opciones son menos adecuadas: Usar una instancia de SageMaker para ETL no es la forma más eficiente ni escalable para este tipo de tarea, especialmente con datos de varios terabytes. AWS Batch es para cargas de trabajo por lotes, pero no ofrece la orquestación de flujos de trabajo con esperas condicionales tan robusta como Step Functions. Encadenar funciones Lambda directamente para unir datos de varios terabytes no es práctico ni escalable, ya que Lambda tiene límites de tiempo de ejecución y memoria que harían inviable esta operación.