Sprzedawca internetowy przechowuje logi dostępu ALB w S3 i wysyła do nich zapytania za pomocą Amazon Athena. Inżynier utworzył niepodzieloną tabelę Athena, a czasy odpowiedzi na zapytania wydłużyły się wraz ze wzrostem ilości danych. Które podejście poprawi wydajność zapytań Athena przy najmniejszym wysiłku operacyjnym?

Prawidłowa odpowiedź to utworzenie crawlera AWS Glue, który używa klasyfikatora do określenia schematu i zapisze metadane partycji w AWS Glue Data Catalog. Crawlery AWS Glue automatycznie wykrywają schemat i partycje danych, co znacznie poprawia wydajność zapytań Athena, ponieważ Athena może skanować tylko niezbędne partycje. Jest to rozwiązanie o najmniejszym wysiłku operacyjnym, ponieważ Glue Crawler automatyzuje proces. Tworzenie zadania AWS Glue do wnioskowania schematu jest mniej efektywne, ponieważ crawler jest przeznaczony do automatycznego wykrywania schematów i partycji. Funkcja AWS Lambda do przekształcania danych do Parquet i dodawania partycji wymaga większego wysiłku operacyjnego i zarządzania kodem. Użycie Apache Hive do bucketingu jest niepotrzebnie złożone i nie jest natywnym rozwiązaniem dla logów ALB w S3 z Athena.