Un data engineer ha sottoscritto un bucket S3 a un prodotto AWS Data Exchange che fornisce indicatori economici. L'ingegnere deve unire i dati economici in arrivo con una tabella esistente in Amazon Athena e completare tutte le trasformazioni entro 30-60 minuti. Quale soluzione conveniente soddisfa questi requisiti?

La soluzione corretta sfrutta un evento S3 per attivare una funzione Lambda, che a sua volta avvia un job AWS Glue. Questo approccio è efficiente perché AWS Glue è ottimizzato per l'elaborazione di grandi volumi di dati e le trasformazioni ETL, rendendolo ideale per unire i dati economici con la tabella Athena entro i tempi richiesti (30-60 minuti). La funzione Lambda agisce come un orchestratore leggero e conveniente. Le altre opzioni sono meno adatte: Configurare Kinesis e Firehose introduce complessità e costi aggiuntivi per lo streaming, quando i dati sono già disponibili su S3. SageMaker Data Wrangler è più orientato alla preparazione interattiva dei dati e potrebbe non essere la soluzione più conveniente o automatizzata per un'unione periodica e automatica. Il provisioning di un cluster Redshift è costoso e sovradimensionato per la semplice unione di dati e l'esportazione su S3, introducendo inoltre un ulteriore passaggio di esportazione.