Un'azienda archivia quotidianamente dati clickstream di serie temporali in Amazon S3 (milioni di righe al giorno). Gli ingegneri ML eseguono report giornalieri e analizzano le tendenze degli ultimi tre giorni con Amazon Athena. I dati devono essere conservati per 30 giorni prima dell'archiviazione. Quale design offre le massime prestazioni di recupero dei dati?

La partizione degli oggetti per prefisso di data in S3 (ad esempio, s3://your-bucket/year=YYYY/month=MM/day=DD/) è la soluzione più performante per Athena. Athena scansiona solo i dati nelle partizioni pertinenti, riducendo significativamente la quantità di dati scansionati e migliorando le prestazioni delle query e riducendo i costi. L'applicazione di policy del ciclo di vita di S3 alle partizioni consente di spostare automaticamente i dati più vecchi di 30 giorni in S3 Glacier Flexible Retrieval, ottimizzando i costi di archiviazione. Mantenere tutti i dati in un unico bucket senza partizioni costringerebbe Athena a scansionare l'intero dataset per ogni query, risultando in prestazioni scarse e costi elevati. L'uso di Lambda per copiare file o l'archiviazione di dati in bucket separati per ogni giorno sono approcci meno efficienti. Copiare file con Lambda introduce complessità e costi aggiuntivi, mentre avere un bucket separato per ogni giorno aumenta la gestione e non offre i vantaggi di scansione selettiva delle partizioni di Athena.