Firma zajmująca się grami zbiera zdarzenia clickstream za pomocą Amazon Kinesis Data Streams i używa Kinesis Data Firehose do dostarczania plików JSON do Amazon S3. Analitycy danych wysyłają zapytania do najnowszych danych w Amazon Athena. Firma chce zmniejszyć koszty zapytań Athena bez przebudowy istniejącego potoku danych. Która opcja minimalizuje wysiłek związany z zarządzaniem, jednocześnie spełniając wymagania?

Poprawna odpowiedź minimalizuje koszty zapytań Athena, ponieważ konwersja do Apache Parquet znacznie zmniejsza rozmiar danych i poprawia wydajność zapytań. Użycie dużego rozmiaru bufora w Firehose oraz prefiksu YYYYMMDD tworzy większe pliki i partycje, co redukuje liczbę skanowanych obiektów i metadanych. Zadanie AWS Glue ETL dla danych historycznych konsoliduje małe pliki JSON w większe pliki Parquet, co jest kluczowe dla optymalizacji kosztów Athena. ALTER TABLE ADD PARTITION aktualizuje tabelę Athena, aby uwzględnić nowe partycje. Pozostałe opcje są mniej optymalne: Tworzenie zadania Spark z efemerycznym klastrem EMR jest bardziej złożone i kosztowne w zarządzaniu. Użycie Kinesis Data Streams i Amazon Managed Service for Apache Flink wprowadza dodatkowe komponenty i złożoność do potoku. Dołączenie AWS Lambda do Firehose może być kosztowne przy dużym wolumenie danych i wprowadza dodatkową logikę do zarządzania.