Una flota de dispositivos IoT escribe datos como archivos ORC en HDFS en un clúster persistente de Amazon EMR. Los analistas ejecutan consultas SQL con Apache Presto en el mismo clúster de EMR. Las consultas escanean grandes volúmenes, siempre se completan en menos de 15 minutos y se ejecutan solo entre las 5 p. m. y las 10 p. m. La empresa desea una solución más rentable que aún permita las consultas SQL. ¿Qué solución es la más rentable y cumple con los requisitos?

La opción de almacenar los datos en Amazon S3, usar AWS Glue Data Catalog y consultar con Amazon Athena es la más rentable y cumple con los requisitos. Athena es un servicio de consulta sin servidor que permite ejecutar consultas SQL directamente sobre datos en S3, pagando solo por las consultas ejecutadas y la cantidad de datos escaneados. Esto elimina los costos de un clúster persistente de EMR que estaría inactivo la mayor parte del tiempo. AWS Glue Data Catalog proporciona un catálogo de metadatos gestionado para los archivos ORC en S3, lo que facilita que Athena los consulte. Las otras opciones son menos óptimas: Amazon Redshift Spectrum es una buena opción para consultar datos en S3, pero Redshift en sí mismo implica un clúster persistente y costos asociados, lo cual no es ideal para un uso intermitente. Mantener el clúster de EMR persistente es costoso, ya que el clúster estaría inactivo la mayor parte del día. Cargar los datos en Amazon Redshift implicaría un clúster persistente y costos de almacenamiento y computación más altos que S3 y Athena, especialmente para datos que solo se consultan en un horario específico.