Inżynier danych zasubskrybował zasobnik S3 do produktu AWS Data Exchange, który dostarcza wskaźniki ekonomiczne. Inżynier musi połączyć te przychodzące dane ekonomiczne z istniejącą tabelą w Amazon Athena i ukończyć wszystkie transformacje w ciągu 30–60 minut. Które ekonomiczne rozwiązanie spełnia te wymagania?

Poprawna odpowiedź to użycie zdarzenia S3 do wywołania funkcji Lambda, która uruchamia zadanie AWS Glue. Gdy nowe dane ekonomiczne zostaną dostarczone do zasobnika S3 przez AWS Data Exchange, zdarzenie S3 automatycznie wyzwoli funkcję Lambda. Ta funkcja Lambda może następnie uruchomić zadanie AWS Glue, które jest idealne do łączenia dużych zbiorów danych z tabelą Athena i wykonywania transformacji w wymaganym czasie (30-60 minut). AWS Glue to usługa ETL bezserwerowa, która efektywnie przetwarza dane. Pozostałe opcje są mniej optymalne: Kinesis Data Firehose jest przeznaczone do strumieniowania danych, a nie do łączenia istniejących tabel; Amazon SageMaker Data Wrangler jest narzędziem do przygotowywania danych, ale uruchamianie go z funkcji Lambda do łączenia z Athena jest nieefektywne; klaster Amazon Redshift jest kosztownym rozwiązaniem dla tego scenariusza i wprowadza niepotrzebną złożoność.