Eine Flotte von IoT-Geräten schreibt Daten als ORC-Dateien in HDFS auf einem persistenten Amazon EMR-Cluster. Analysten führen SQL-Abfragen mit Apache Presto auf demselben EMR-Cluster aus. Abfragen scannen große Datenmengen, werden immer in weniger als 15 Minuten abgeschlossen und laufen nur zwischen 17:00 und 22:00 Uhr. Das Unternehmen wünscht sich eine kostengünstigere Lösung, die weiterhin SQL-Abfragen ermöglicht. Welche Lösung ist die kostengünstigste und erfüllt die Anforderungen?

Die Speicherung der Daten in Amazon S3 in Kombination mit AWS Glue Data Catalog und Amazon Athena ist die kostengünstigste Lösung. Amazon S3 bietet kostengünstigen Objektspeicher. Athena ist ein serverloser Abfragedienst, der nur für die gescannten Daten bezahlt wird, was ideal für die vorgegebenen Abfragezeiten (17:00-22:00 Uhr) und die Anforderung "kostengünstiger" ist. Der AWS Glue Data Catalog verwaltet die Metadaten der ORC-Dateien in S3, was die SQL-Abfragen mit Athena ermöglicht. Die anderen Optionen sind weniger kostengünstig: Amazon Redshift Spectrum ist zwar eine Option, aber Athena ist oft kostengünstiger für sporadische Abfragen, da Redshift Spectrum immer noch einen Redshift-Cluster erfordert. Das Beibehalten der Daten auf dem persistenten EMR-Cluster verursacht weiterhin Kosten für die EMR-Instanzen, auch wenn keine Abfragen ausgeführt werden, was nicht kostengünstig ist. Das Laden der Daten in Amazon Redshift wäre teurer, da Redshift ein Data Warehouse ist, das für kontinuierliche, intensive Abfragen optimiert ist und Cluster-Kosten verursacht, unabhängig von der Abfrageaktivität.