Zaprojektuj codzienny przepływ pracy ETL z następującymi wymaganiami: uruchamiaj się, gdy nowe dane zostaną przesłane do S3; po przesłaniu wszystkich potrzebnych danych uruchom zadanie ETL, które łączy nowe dane z wieloterabajtowymi zbiorami danych w S3; zapisz wyniki łączenia z powrotem do S3; i powiadom administratora, jeśli jakiekolwiek zadanie zakończy się niepowodzeniem. Która architektura spełnia te wymagania?

Prawidłowa odpowiedź spełnia wszystkie wymagania. Zdarzenie S3 wyzwala funkcję Lambda, która uruchamia AWS Step Functions. Step Functions może czekać na zakończenie wielu przesyłań i koordynować złożone przepływy pracy. AWS Glue jest odpowiedni do łączenia wieloterabajtowych zbiorów danych w S3. Amazon CloudWatch z powiadomieniami SNS zapewnia niezawodne powiadamianie o awariach. Nieprawidłowe opcje: SageMaker Notebooks nie są przeznaczone do automatycznych przepływów pracy ETL na dużą skalę i wymagają ręcznego zarządzania. AWS Batch jest przeznaczony do zadań wsadowych, ale nie zapewnia natywnego mechanizmu oczekiwania na wiele zdarzeń S3 ani koordynacji złożonego przepływu pracy ETL w sposób tak zintegrowany jak Step Functions. Łączenie funkcji Lambda w łańcuch do bezpośredniego odczytu i łączenia wieloterabajtowych zbiorów danych jest nieefektywne i może przekroczyć limity czasu i pamięci Lambda.