Firma posiada trzy spółki zależne, które korzystają z różnych silników hurtowni danych (Amazon Redshift, Teradata Vantage on AWS i Google BigQuery). Chcą skonsolidować dane w jeziorze danych S3 za pomocą Apache Iceberg. Nowy potok musi łączyć się z każdym źródłem, uruchamiać transformacje przy użyciu każdego silnika źródłowego, łączyć wyniki i zapisywać do Iceberg przy minimalnym wysiłku operacyjnym. Które podejście spełnia te wymagania przy najmniejszym obciążeniu operacyjnym?

Poprawna odpowiedź minimalizuje wysiłek operacyjny dzięki wykorzystaniu zapytań federacyjnych Amazon Athena. Athena pozwala na bezpośrednie zapytania do danych w Redshift, Teradata i BigQuery bez przenoszenia ich, co upraszcza integrację i redukuje złożoność potoku. Możliwość łączenia danych i wykonywania operacji MERGE na tabelach Iceberg za pomocą standardowego SQL w Athena jest bardzo efektywna. Pozostałe opcje są mniej optymalne: AWS Glue wymagałoby tworzenia i zarządzania skryptami ETL dla każdego źródła, co zwiększa wysiłek operacyjny. Amazon EMR wymagałby zarządzania klastrem Spark i pisania kodu PySpark, co jest bardziej złożone niż SQL. Amazon AppFlow jest przeznaczony głównie do transferu danych SaaS i nie oferuje natywnych możliwości transformacji i łączenia danych w tak elastyczny sposób jak Athena.