Een financiële onderneming draait Amazon Athena op een petabyte-schaal dataset voor een BI-applicatie. Een nachtelijke AWS Glue-taak ververst de data één keer per dag, terwijl de BI-app om beleidsredenen elk uur verversing vereist. Het doel is om de Athena-kosten te verlagen zonder extra infrastructuur en met minimale operationele overhead. Wat is de beste optie?

De query result reuse-functie van Amazon Athena is de beste optie omdat het de kosten verlaagt door te voorkomen dat Athena dezelfde data opnieuw scant voor identieke queries binnen een configureerbare tijdsperiode. Aangezien de BI-app elk uur verversing vereist, maar de onderliggende data slechts één keer per dag wordt ververst, zullen veel queries binnen dat uur identiek zijn. Dit bespaart aanzienlijk op scan-kosten zonder extra infrastructuur of operationele overhead. Het configureren van een S3 Lifecycle-beleid naar S3 Glacier Deep Archive is ongeschikt, omdat dit de data minder toegankelijk en duurder maakt voor frequente BI-queries. Een Amazon ElastiCache-cluster toevoegen introduceert extra infrastructuur en operationele overhead, wat in strijd is met de vereisten. Het wijzigen van het formaat naar Apache Parquet kan de queryprestaties verbeteren en de gescande data verminderen, maar het vereist een herverwerking van de data en biedt niet dezelfde directe kostenbesparing voor herhaalde queries als de query result reuse-functie, vooral wanneer de onderliggende data niet frequent verandert.