Firma świadcząca usługi finansowe buduje bezserwerowe jezioro danych na Amazon S3, które musi: umożliwiać wykonywanie zapytań na starych i nowych danych S3 za pomocą Amazon Athena i Redshift Spectrum, obsługiwać potoki ETL sterowane zdarzeniami oraz zapewniać łatwe odkrywanie metadanych. Które rozwiązanie spełnia te wymagania?

Prawidłowa odpowiedź spełnia wszystkie wymagania. AWS Glue crawler automatycznie kataloguje dane w S3, tworząc schematy i tabele w AWS Glue Data Catalog, który jest kompatybilny z Amazon Athena i Redshift Spectrum, umożliwiając łatwe odkrywanie metadanych. Zadania AWS Glue ETL są idealne do przetwarzania danych w jeziorze danych, a uruchamianie ich za pomocą AWS Lambda pozwala na tworzenie potoków sterowanych zdarzeniami (np. po dodaniu nowych plików do S3). Pozostałe opcje są nieprawidłowe, ponieważ: użycie AWS Batch zamiast AWS Glue ETL jest mniej optymalne dla zadań ETL w jeziorze danych; użycie zewnętrznego metastore Apache Hive komplikuje zarządzanie i integrację w AWS; a uruchamianie zadań za pomocą alarmów CloudWatch jest mniej elastyczne niż Lambda dla potoków sterowanych zdarzeniami.