Ein Unternehmen speichert tägliche Zeitreihen-Clickstream-Daten in Amazon S3 (Millionen von Zeilen pro Tag). ML-Ingenieure führen tägliche Berichte aus und analysieren Dreitages-Trends mit Amazon Athena. Daten müssen 30 Tage lang aufbewahrt werden, bevor sie archiviert werden. Welches Design bietet die höchste Datenabrufleistung?

Die Partitionierung der Zeitreihenobjekte nach Datumspräfix in S3 ist die effektivste Methode für Abfrageleistung und Datenmanagement. Amazon Athena scannt nur die relevanten Partitionen, was die Abfragezeiten erheblich verkürzt und die Kosten senkt. S3 Lifecycle-Richtlinien können dann einfach auf diese datumsbasierten Partitionen angewendet werden, um Daten, die älter als 30 Tage sind, automatisch in S3 Glacier Flexible Retrieval zu archivieren. Das Speichern aller Daten in einem Bucket ohne Partitionen würde Athena zwingen, den gesamten Datensatz zu scannen, was ineffizient ist. Das Kopieren von Dateien in separate Buckets mittels Lambda oder das Speichern jedes Tages in einem eigenen Bucket ist komplexer und teurer in der Verwaltung als die Partitionierung innerhalb eines Buckets.