Progetta un workflow ETL giornaliero con i seguenti requisiti: avvio quando nuovi dati vengono caricati su S3; una volta che tutti i caricamenti necessari sono presenti, esegui un job ETL che unisce i nuovi dati con dataset multi-terabyte in S3; scrivi i risultati dell'unione nuovamente su S3; e notifica un amministratore se un job fallisce. Quale architettura soddisfa questi requisiti?

L'opzione corretta utilizza un evento S3 per attivare una Lambda, che a sua volta avvia un workflow AWS Step Functions. Step Functions è ideale per orchestrare processi complessi e gestire stati, permettendo di attendere il completamento di tutti i caricamenti necessari prima di procedere. AWS Glue è la scelta appropriata per job ETL su dataset multi-terabyte grazie alla sua scalabilità e ai connettori per S3. Gli allarmi CloudWatch con notifiche SNS sono lo standard per il monitoraggio e la segnalazione di fallimenti. L'opzione con SageMaker notebook non è ottimale per un workflow ETL automatizzato e scalabile. AWS Batch è più adatto per job computazionali intensivi e non gestisce nativamente l'orchestrazione complessa come Step Functions. Le funzioni Lambda incatenate non sono adatte per unire direttamente dataset multi-terabyte a causa dei limiti di esecuzione e memoria, e non offrono un meccanismo robusto per attendere più caricamenti.