Un'azienda sta migrando database SQL Server da EC2 ad Amazon RDS for SQL Server. Fino al completamento della migrazione, il team di analisi deve esportare quotidianamente grandi elementi di dati uniti in formato Apache Parquet su Amazon S3. Qual è la soluzione più efficiente dal punto di vista operativo?

La soluzione corretta è la più efficiente operativamente perché AWS Glue è un servizio completamente gestito per l'ETL, ideale per trasformare e caricare grandi volumi di dati in formati come Parquet. Creare una vista nel database SQL Server semplifica l'accesso ai dati richiesti. Il job Glue può leggere direttamente da questa vista, convertire in Parquet e scrivere su S3 con una pianificazione giornaliera, riducendo al minimo la gestione dell'infrastruttura. Le altre opzioni sono meno efficienti: L'opzione con SQL Server Agent e Lambda per la conversione da CSV a Parquet introduce passaggi intermedi e una logica di trasformazione distribuita, aumentando la complessità operativa. L'opzione con il crawler AWS Glue per leggere la vista è ridondante; un job Glue può leggere direttamente la vista senza la necessità di un crawler preliminare per questo specifico caso d'uso. L'opzione con la funzione Lambda per interrogare, trasformare e caricare i dati potrebbe essere limitata dalle risorse e dai tempi di esecuzione di Lambda per "grandi elementi di dati uniti", rendendola meno adatta rispetto a Glue per carichi di lavoro ETL pesanti.