Projete um fluxo de trabalho diário de ETL com os seguintes requisitos: iniciar quando novos dados forem carregados no S3; uma vez que todos os uploads necessários estejam presentes, executar um trabalho de ETL que une os novos dados com conjuntos de dados de múltiplos terabytes no S3; gravar os resultados da união de volta no S3; e notificar um administrador se algum trabalho falhar. Qual arquitetura atende a esses requisitos?

A arquitetura correta utiliza um evento de upload do S3 para acionar uma função Lambda, que inicia um fluxo de trabalho do Step Functions. O Step Functions é ideal para orquestrar fluxos de trabalho complexos, como aguardar múltiplos uploads antes de prosseguir. O AWS Glue é a escolha apropriada para realizar a união de conjuntos de dados de múltiplos terabytes no S3, pois é um serviço ETL sem servidor e escalável. Alarmes do CloudWatch integrados ao SNS garantem notificações sobre falhas. As outras opções são menos adequadas: O Amazon SageMaker Notebooks não é a ferramenta principal para ETL em larga escala e não oferece a orquestração necessária para aguardar múltiplos uploads. O AWS Batch pode iniciar trabalhos, mas não oferece a orquestração de fluxo de trabalho condicional (aguardar todos os uploads) de forma tão integrada quanto o Step Functions. Encadeamento de funções Lambda diretamente para ler e unir conjuntos de dados de múltiplos terabytes não é eficiente nem escalável para grandes volumes de dados, e o Lambda tem limites de tempo de execução que seriam facilmente excedidos.