Firma wysyła logi AWS WAF do Amazon S3 za pośrednictwem Amazon Kinesis Data Firehose. Zapytanie Amazon Athena jest uruchamiane raz dziennie, aby pobrać logi WAF z poprzednich 24 godzin. Chociaż dzienna objętość logów jest stabilna, zapytanie z czasem trwa coraz dłużej. Musisz zapobiec dalszemu wydłużaniu się czasu wykonywania zapytania, jednocześnie minimalizując narzut operacyjny. Które rozwiązanie spełnia te wymagania?

Poprawna odpowiedź to modyfikacja konfiguracji Kinesis Data Firehose i definicji tabeli Athena w celu partycjonowania danych według daty i godziny, a następnie zmiana zapytania Athena, aby odpytywało odpowiednie partycje. Partycjonowanie danych w S3 znacznie zmniejsza ilość danych skanowanych przez Athena, co przyspiesza zapytania i obniża koszty. Kinesis Data Firehose może automatycznie dodawać partycje do S3 na podstawie daty i godziny. Pozostałe opcje są mniej efektywne: Tworzenie funkcji Lambda do konsolidacji plików zwiększa narzut operacyjny i może być kosztowne. Wysyłanie logów do innego zasobnika S3 każdego dnia nie rozwiązuje problemu skanowania dużej ilości danych w ramach jednego zasobnika. Użycie Amazon Redshift do tabel zewnętrznych i Redshift Spectrum jest bardziej złożone i kosztowne niż partycjonowanie w Athena, a także wprowadza dodatkowy narzut operacyjny.