Een bedrijf slaat dagelijks tijdreeks-clickstreamgegevens op in Amazon S3 (miljoenen rijen per dag). ML-engineers voeren dagelijkse rapporten uit en analyseren driedaagse trends met Amazon Athena. Gegevens moeten 30 dagen worden bewaard voordat ze worden gearchiveerd. Welk ontwerp levert de hoogste prestaties bij het ophalen van gegevens?

De juiste optie is het partitioneren van tijdreeks-objecten in S3 op datumprefix en het toepassen van S3 Lifecycle-beleid. Dit verbetert de prestaties van Athena aanzienlijk, omdat Athena minder gegevens hoeft te scannen wanneer query's worden uitgevoerd op specifieke datumbereiken (bijvoorbeeld de laatste drie dagen). Door te partitioneren op datum, kan Athena onnodige partities overslaan, wat resulteert in snellere query's en lagere kosten. S3 Lifecycle-beleid automatiseert het archiveren van oudere data naar S3 Glacier Flexible Retrieval, wat kosteneffectief is voor data die minder vaak wordt geraadpleegd na 30 dagen. De andere opties zijn minder efficiënt: Het bewaren van alle gegevens in één bucket zonder partities dwingt Athena om de volledige dataset te scannen voor elke query, wat traag en duur is. Handmatig verplaatsen is bovendien inefficiënt. Het gebruik van Lambda om bestanden naar aparte buckets te kopiëren is onnodig complex en duur; S3 Lifecycle-beleid kan dit direct op partities afhandelen. Het opslaan van elke dag in een aparte S3-bucket leidt tot een groot aantal buckets, wat de beheersbaarheid vermindert en de prestaties van Athena niet verbetert ten opzichte van partitionering binnen één bucket.