Un'azienda finanziaria esegue Amazon Athena su un set di dati di dimensioni petabyte per un'applicazione di BI. Un job AWS Glue notturno aggiorna i dati una volta al giorno, mentre l'applicazione di BI richiede aggiornamenti orari per motivi di policy. L'obiettivo è ridurre i costi di Athena senza aggiungere infrastrutture e con un sovraccarico operativo minimo. Qual è l'opzione migliore?

L'utilizzo della funzionalità di riutilizzo dei risultati delle query di Amazon Athena è la soluzione migliore perché riduce i costi di Athena evitando di rieseguire query identiche. Athena memorizza i risultati delle query in S3 e, se una query viene eseguita di nuovo entro un certo periodo e i dati sottostanti non sono cambiati, Athena recupera i risultati memorizzati anziché rieseguire la query, riducendo i dati scansionati e quindi i costi. L'applicazione BI richiede aggiornamenti orari, ma i dati vengono aggiornati solo una volta al giorno, rendendo il riutilizzo dei risultati efficace per le query intermedie. Spostare i dati in S3 Glacier Deep Archive renderebbe i dati inaccessibili per Athena in tempo reale, rendendo l'opzione non valida. L'aggiunta di un cluster ElastiCache aumenterebbe l'infrastruttura e il sovraccarico operativo. La modifica del formato dei file in Apache Parquet è una buona pratica per l'ottimizzazione dei costi, ma non risolve il problema degli aggiornamenti orari con dati giornalieri e non è la migliore opzione per ridurre i costi senza aggiungere infrastrutture.