Ein Gaming-Unternehmen sammelt Clickstream-Ereignisse mit Amazon Kinesis Data Streams und verwendet Kinesis Data Firehose, um JSON-Dateien an Amazon S3 zu liefern. Datenwissenschaftler fragen die neuesten Daten in Amazon Athena ab. Das Unternehmen möchte die Athena-Abfragekosten senken, ohne die bestehende Datenpipeline neu aufzubauen. Welche Option minimiert den Verwaltungsaufwand und erfüllt gleichzeitig die Anforderung?

Die Konfiguration von Firehose zur Ausgabe von Apache Parquet und die Festlegung eines benutzerdefinierten S3-Objektpräfixes (z. B. YYYYMMDD) sowie einer großen Puffergröße minimiert die Athena-Abfragekosten. Parquet ist ein spaltenorientiertes Format, das die Abfrageleistung verbessert und die gescannten Datenmengen reduziert, was direkt die Kosten senkt. Das Präfix ermöglicht eine effiziente Partitionierung in Athena, und eine große Puffergröße reduziert die Anzahl kleiner Dateien, die Athena verarbeiten muss. Der Glue ETL-Job für historische Daten konsolidiert kleine JSON-Dateien zu größeren Parquet-Dateien, was die Abfrageeffizienz weiter steigert und den Verwaltungsaufwand minimiert, da Firehose den Großteil der Konvertierung übernimmt. Die Option mit dem Spark-Job ist zu aufwendig, da sie einen temporären EMR-Cluster erfordert. Die Option mit Kinesis Data Stream und Apache Flink ist komplexer und teurer als die direkte Firehose-Konvertierung. Die Lambda-Option ist für große Datenmengen möglicherweise nicht effizient und erfordert mehr benutzerdefinierten Code.