Un data scientist deve migrare un processo ETL on-premises su AWS. Il processo attuale viene eseguito in base a una pianificazione e utilizza PySpark per unire e formattare diverse grandi fonti di dati in un output consolidato per i processi a valle. I requisiti per la soluzione cloud sono: combinare più fonti, riutilizzare il codice PySpark esistente, eseguire il processo in base alla pianificazione esistente e ridurre al minimo il numero di server da gestire. Quale architettura soddisfa questi requisiti?

L'opzione corretta è AWS Glue. AWS Glue è un servizio ETL serverless che supporta PySpark, consentendo il riutilizzo del codice esistente. Può essere pianificato tramite trigger per soddisfare il requisito di esecuzione programmata e, essendo serverless, riduce al minimo la gestione dei server. I dati grezzi vengono archiviati in Amazon S3 e l'output elaborato viene scritto nuovamente in S3 per i processi a valle. L'opzione Amazon EMR richiede la gestione di un cluster persistente, contravvenendo al requisito di minimizzare i server da gestire. L'opzione AWS Lambda con re-implementazione in Python non riutilizza il codice PySpark esistente e potrebbe non essere adatta per grandi volumi di dati a causa dei limiti di esecuzione di Lambda. L'opzione Amazon Kinesis Data Analytics è per lo streaming di dati in tempo reale, non per processi ETL batch programmati su grandi fonti di dati esistenti.