Een gamingbedrijf verzamelt clickstream-events met Amazon Kinesis Data Streams en gebruikt Kinesis Data Firehose om JSON-bestanden naar Amazon S3 te leveren. Data scientists bevragen de meest recente data in Amazon Athena. Het bedrijf wil de Athena-querykosten verlagen zonder de bestaande datapijplijn opnieuw op te bouwen. Welke optie minimaliseert de beheerinspanning en voldoet tegelijkertijd aan de vereiste?

De correcte optie minimaliseert Athena-querykosten door Firehose te configureren om Parquet-bestanden te leveren met een YYYYMMDD-voorvoegsel en een grote buffergrootte. Parquet is een kolomgeoriënteerd formaat dat efficiënter is voor Athena-queries dan JSON, en grotere bestanden verminderen de overhead. Het YYYYMMDD-voorvoegsel maakt partitionering mogelijk, wat de hoeveelheid gescande data verder reduceert. Een Glue ETL-taak converteert historische JSON naar Parquet en past de bestaande Athena-tabel aan, waardoor de oplossing naadloos integreert. De andere opties zijn minder optimaal. Een Spark-taak (optie 2) introduceert complexiteit en beheerkosten van een EMR-cluster. Het gebruik van Kinesis Data Analytics (optie 3) voegt een extra service toe aan de pijplijn en is complexer dan de Firehose-functionaliteit. Een Lambda-functie (optie 4) voor conversie is minder schaalbaar en duurder dan de ingebouwde Firehose-functionaliteit.