Een vloot IoT-apparaten schrijft gegevens als ORC-bestanden naar HDFS op een persistent Amazon EMR-cluster. Analisten voeren SQL-query's uit met Apache Presto op hetzelfde EMR-cluster. Query's scannen grote volumes, zijn altijd binnen 15 minuten voltooid en worden alleen uitgevoerd tussen 17.00 en 22.00 uur. Het bedrijf wil een kosteneffectievere oplossing die nog steeds SQL-query's mogelijk maakt. Welke oplossing is het meest kosteneffectief en voldoet aan de vereisten?

De meest kosteneffectieve oplossing is om de gegevens op te slaan in Amazon S3 en deze te bevragen met Amazon Athena, met behulp van de AWS Glue Data Catalog. Amazon S3 biedt duurzame en schaalbare opslag tegen lage kosten. Amazon Athena is een serverloze queryservice die alleen betaalt voor de gegevens die worden gescand, wat ideaal is voor de intermitterende querypatronen van 17.00 tot 22.00 uur. De AWS Glue Data Catalog zorgt voor een beheerde metadata-opslag. De andere opties zijn minder kosteneffectief: Amazon Redshift Spectrum is duurder dan Athena voor ad-hoc query's, omdat Redshift-clusters doorlopend kosten maken. Het behouden van het EMR-cluster is niet kosteneffectief omdat het cluster 24/7 draait, terwijl query's slechts 5 uur per dag worden uitgevoerd. Het laden van gegevens in Amazon Redshift is duurder vanwege de opslag- en compute-kosten van een Redshift-cluster, vooral voor gegevens die slechts intermitterend worden bevraagd.