Analityk danych musi przeprowadzić migrację lokalnego procesu ETL do AWS. Obecny proces działa zgodnie z harmonogramem i wykorzystuje PySpark do łączenia i formatowania kilku dużych źródeł danych w jedno skonsolidowane wyjście dla kolejnych zadań. Wymagania dla rozwiązania chmurowego to: połączenie wielu źródeł, ponowne wykorzystanie istniejącego kodu PySpark, uruchamianie zgodnie z istniejącym harmonogramem oraz minimalizacja liczby serwerów do zarządzania. Która architektura spełnia te wymagania?

Poprawna odpowiedź to AWS Glue. AWS Glue to bezserwerowa usługa ETL, która natywnie obsługuje PySpark, co umożliwia ponowne wykorzystanie istniejącego kodu. Może być uruchamiana zgodnie z harmonogramem za pomocą wyzwalaczy, spełniając wymagania dotyczące harmonogramowania. Brak serwerów do zarządzania minimalizuje obciążenie operacyjne. Pierwsza opcja z Amazon EMR wymaga zarządzania klastrem EMR, co zwiększa liczbę serwerów do zarządzania, co jest sprzeczne z wymaganiami. Trwała natura klastra również nie jest optymalna dla sporadycznych zadań ETL. Trzecia opcja z AWS Lambda i bezpośrednim Pythonem wymagałaby przepisania logiki PySpark do czystego Pythona, co jest sprzeczne z wymaganiem ponownego wykorzystania istniejącego kodu PySpark. Lambda ma również ograniczenia czasowe i pamięciowe, które mogą być problematyczne dla dużych zadań ETL. Czwarta opcja z Amazon Kinesis Data Analytics jest przeznaczona do przetwarzania strumieniowego w czasie rzeczywistym, a nie do zaplanowanych zadań ETL na dużych, statycznych zbiorach danych. Wykorzystuje SQL, a nie PySpark, co uniemożliwia ponowne wykorzystanie kodu.