Ein Finanzunternehmen führt Amazon Athena für eine BI-Anwendung auf einem Petabyte-großen Datensatz aus. Ein nächtlicher AWS Glue-Job aktualisiert die Daten einmal pro Tag, während die BI-Anwendung aus Richtliniengründen stündliche Aktualisierungen erfordert. Ziel ist es, die Athena-Kosten zu senken, ohne zusätzliche Infrastruktur hinzuzufügen und mit minimalem Betriebsaufwand. Was ist die beste Option?

Die Wiederverwendung von Abfrageergebnissen in Amazon Athena ist die beste Option, da sie die Kosten senkt, indem sie verhindert, dass Athena dieselben Daten für wiederholte Abfragen scannt. Da die BI-Anwendung stündliche Aktualisierungen benötigt, aber die Daten nur einmal täglich vom Glue-Job aktualisiert werden, bleiben die Daten für die meisten Stunden unverändert. Athena kann die Ergebnisse früherer Abfragen verwenden, wenn die Daten nicht geändert wurden, was die Menge der gescannten Daten und somit die Kosten reduziert, ohne zusätzliche Infrastruktur hinzuzufügen oder den Betriebsaufwand zu erhöhen. Eine S3 Lifecycle-Richtlinie für Glacier Deep Archive ist ungeeignet, da sie den Zugriff auf die Daten erheblich verlangsamen und die stündlichen BI-Anforderungen nicht erfüllen würde. Ein Amazon ElastiCache-Cluster würde zusätzliche Infrastruktur und Betriebsaufwand bedeuten. Das Ändern des Dateiformats zu Apache Parquet würde zwar die Abfrageleistung verbessern und die Kosten senken, erfordert aber eine Änderung des bestehenden ETL-Prozesses (des Glue-Jobs), was nicht dem Ziel des minimalen Betriebsaufwands entspricht und möglicherweise nicht ausreicht, um die stündlichen Aktualisierungsanforderungen kosteneffizient zu erfüllen, wenn die Daten selbst nicht geändert werden.