Firma finansowa uruchamia Amazon Athena na zbiorze danych o rozmiarze petabajtów dla aplikacji BI. Codzienne zadanie AWS Glue odświeża dane raz dziennie, podczas gdy aplikacja BI wymaga godzinnych odświeżeń ze względu na zasady. Celem jest zmniejszenie kosztów Athena bez dodawania infrastruktury i przy minimalnym nakładzie operacyjnym. Jaka jest najlepsza opcja?

Ponowne wykorzystanie wyników zapytań Athena (Query Result Reuse) jest najlepszym rozwiązaniem, ponieważ pozwala na znaczne zmniejszenie kosztów poprzez unikanie ponownego skanowania danych dla często wykonywanych zapytań, które nie uległy zmianie. Athena przechowuje wyniki zapytań i używa ich ponownie, jeśli zapytanie i dane źródłowe są identyczne, co minimalizuje skanowane bajty i obniża koszty bez dodatkowej infrastruktury. Przeniesienie danych do S3 Glacier Deep Archive nie jest odpowiednie, ponieważ ta klasa pamięci masowej jest przeznaczona do długoterminowego archiwizowania danych z rzadkim dostępem, a nie do danych wymagających godzinnych odświeżeń. Dodanie Amazon ElastiCache zwiększyłoby złożoność operacyjną i koszty infrastruktury. Zmiana formatu plików na Apache Parquet jest dobrą praktyką optymalizacyjną, ale nie rozwiązuje bezpośrednio problemu kosztów związanych z częstym skanowaniem danych dla aplikacji BI, która wymaga godzinnych odświeżeń.