Flota urządzeń IoT zapisuje dane jako pliki ORC w HDFS na trwałym klastrze Amazon EMR. Analitycy uruchamiają zapytania SQL za pomocą Apache Presto na tym samym klastrze EMR. Zapytania skanują duże ilości danych, zawsze kończą się w mniej niż 15 minut i są uruchamiane tylko między 17:00 a 22:00. Firma poszukuje bardziej ekonomicznego rozwiązania, które nadal umożliwia wykonywanie zapytań SQL. Które rozwiązanie jest najbardziej ekonomiczne i spełnia wymagania?

Przechowywanie danych w Amazon S3 z AWS Glue Data Catalog i odpytywanie za pomocą Amazon Athena jest najbardziej ekonomicznym rozwiązaniem. Amazon S3 oferuje bardzo niskie koszty przechowywania, a Athena jest usługą bezserwerową, co oznacza, że płacisz tylko za skanowane dane, bez kosztów utrzymania klastra. Jest to idealne dla obciążeń zapytań ad-hoc, które trwają krótko i są uruchamiane w określonych godzinach. Przechowywanie danych w Amazon S3 i używanie Amazon Redshift Spectrum do ich odpytywania jest droższe, ponieważ Redshift Spectrum wymaga działającego klastra Redshift. Pozostawienie danych w EMRFS na klastrze EMR i dalsze używanie Presto na Amazon EMR jest droższe, ponieważ klaster EMR musi być uruchomiony stale lub uruchamiany i zatrzymywany, co generuje koszty nawet w czasie bezczynności. Ładowanie danych do Amazon Redshift i uruchamianie zapytań SQL w Amazon Redshift jest również droższe ze względu na konieczność utrzymywania klastra Redshift i opłaty za przechowywanie danych w Redshift.