Une flotte d'appareils IoT écrit des données sous forme de fichiers ORC dans HDFS sur un cluster Amazon EMR persistant. Les analystes exécutent des requêtes SQL avec Apache Presto sur le même cluster EMR. Les requêtes scannent de grands volumes, se terminent toujours en moins de 15 minutes et ne s'exécutent qu'entre 17h00 et 22h00. L'entreprise souhaite une solution plus rentable qui permette toujours l'interrogation SQL. Quelle est la solution la plus rentable et qui répond aux exigences ?

La solution la plus rentable est de stocker les données dans Amazon S3 et d'utiliser Amazon Athena avec AWS Glue Data Catalog. S3 offre un stockage objet durable et économique, et Athena est un service de requête sans serveur qui ne facture que les données analysées, ce qui est idéal pour des requêtes sporadiques (entre 17h et 22h) et de courte durée (moins de 15 minutes). AWS Glue Data Catalog gère les métadonnées des fichiers ORC. Stocker les données dans Amazon S3 et utiliser Amazon Redshift Spectrum est moins rentable car Redshift Spectrum est souvent utilisé avec un cluster Redshift existant, ce qui implique des coûts fixes. Conserver les données dans EMRFS sur le cluster EMR persistant maintient les coûts élevés du cluster EMR, alors que les requêtes ne sont exécutées que pendant quelques heures par jour. Charger les données dans Amazon Redshift est coûteux car Redshift est un entrepôt de données provisionné, facturé à l'heure, même en l'absence de requêtes, ce qui n'est pas adapté à une utilisation intermittente.