Un ingegnere dei dati estrae i dati di training mensili da Amazon Redshift ad Amazon S3. Lo schema di origine include TransactionTimestamp (timestamp), CardName (varchar) e CardNo (varchar). L'ingegnere deve (1) rimuovere le righe con CardNo = NULL, (2) dividere TransactionTimestamp in TransactionDate e TransactionTime e (3) rinominare CardName in NameOnCard. La soluzione deve minimizzare la configurazione dell'infrastruttura, essere automatizzata mensilmente e imporre un carico minimo sul cluster Redshift. Quale soluzione soddisfa questi requisiti?

La soluzione AWS Glue è la più adatta perché soddisfa tutti i requisiti. AWS Glue è un servizio ETL serverless che minimizza la configurazione dell'infrastruttura. Permette di connettersi direttamente a Redshift, eseguire le trasformazioni richieste (filtrare CardNo = NULL, dividere TransactionTimestamp e rinominare CardName) utilizzando le sue funzionalità native e scrivere i dati su S3. La pianificazione mensile è integrata. Questo approccio riduce il carico su Redshift in quanto Glue gestisce l'elaborazione. Le altre opzioni sono meno ideali: Amazon EMR richiede il provisioning e la gestione di un cluster, aumentando la configurazione dell'infrastruttura. L'istanza Amazon EC2 con client SQL è un processo manuale e non automatizzato, oltre a essere meno efficiente per grandi volumi di dati. Amazon Redshift Spectrum è per interrogare dati esterni, non per scrivere direttamente da Redshift a S3 con trasformazioni complesse in un unico passaggio efficiente.