Un'azienda carica quotidianamente dati in un bucket S3 e utilizza AWS Glue Data Catalog. Alcuni giorni, un report giornaliero viene eseguito prima che tutti i dati siano arrivati. L'ingegnere dei dati deve inviare un messaggio che identifichi eventuali dati incompleti a un argomento Amazon SNS esistente con un sovraccarico operativo minimo. Quale soluzione soddisfa questa esigenza?

La soluzione corretta sfrutta i workflow di AWS Glue per orchestrare i controlli di qualità dei dati. Glue è strettamente integrato con il Data Catalog e S3, rendendolo efficiente per l'elaborazione dei dati. La capacità di Glue di generare eventi EventBridge consente una notifica senza server e a basso sovraccarico all'argomento SNS esistente, soddisfacendo il requisito di un sovraccarico operativo minimo. Le altre opzioni introducono complessità o costi aggiuntivi non necessari. Apache Airflow (opzione 1) e Amazon EMR (opzione 2) sono soluzioni più robuste e costose per l'orchestrazione o l'elaborazione su larga scala, ma eccessive per il semplice invio di una notifica basata su un controllo di completezza. Le funzioni Lambda (opzione 4) sono valide per i controlli, ma l'orchestrazione con Step Functions aggiunge un livello di complessità che non è strettamente necessario quando i workflow di Glue possono gestire l'orchestrazione e la notifica in modo più integrato per questo caso d'uso.