Una flotta di dispositivi IoT scrive dati come file ORC in HDFS su un cluster Amazon EMR persistente. Gli analisti eseguono query SQL con Apache Presto sullo stesso cluster EMR. Le query scansionano grandi volumi, si completano sempre in meno di 15 minuti e vengono eseguite solo tra le 17:00 e le 22:00. L'azienda desidera una soluzione più conveniente che consenta comunque l'esecuzione di query SQL. Qual è la soluzione più conveniente e che soddisfa i requisiti?

La risposta corretta è archiviare i dati in Amazon S3, utilizzare AWS Glue Data Catalog e interrogare con Amazon Athena. Questa soluzione è la più conveniente perché sposta l'archiviazione dei dati da HDFS (che richiede risorse EMR persistenti) a S3, che è un servizio di archiviazione a oggetti più economico e scalabile. Athena è un servizio serverless che paga solo per le query eseguite e i dati scansionati, eliminando la necessità di un cluster EMR sempre attivo per le query. AWS Glue Data Catalog fornisce un metastore gestito per i dati in S3, permettendo ad Athena di interrogarli. Archiviare i dati in Amazon S3 e utilizzare Amazon Redshift Spectrum per interrogarli è meno conveniente perché Redshift Spectrum richiede un cluster Redshift, che ha costi fissi. Mantenere i dati in EMRFS sul cluster EMR e continuare a utilizzare Presto su Amazon EMR non è più conveniente perché mantiene il cluster EMR persistente, con costi elevati. Caricare i dati in Amazon Redshift ed eseguire query SQL in Amazon Redshift è costoso perché Redshift è un data warehouse basato su cluster, con costi elevati per l'ingestione e l'archiviazione di grandi volumi di dati.