Firma niedawno przeprowadziła migrację do AWS Cloud i potrzebuje bezserwerowego rozwiązania do równoległego przetwarzania na dużą skalę, na żądanie, częściowo ustrukturyzowanego zbioru danych przechowywanego w Amazon S3 (logi, pliki multimedialne, transakcje, IoT). Rozwiązanie musi przetwarzać tysiące elementów równolegle. Która opcja zapewnia NAJWIĘKSZĄ efektywność operacyjną?

Stan AWS Step Functions Map w trybie Distributed jest idealny do przetwarzania na dużą skalę, ponieważ może równolegle przetwarzać miliony elementów, odczytując dane bezpośrednio z Amazon S3. Oferuje wbudowane funkcje obsługi błędów i ponawiania prób, co zwiększa efektywność operacyjną. Tryb Inline stanu Map jest przeznaczony do mniejszych zestawów danych (do 25 000 elementów). AWS Glue to usługa ETL, która wymaga konfiguracji zadań i klastrów, co jest mniej bezserwerowe i elastyczne niż Step Functions dla tego scenariusza. Użycie wielu funkcji Lambda bezpośrednio do przetwarzania tysięcy elementów wymagałoby złożonego zarządzania orkiestracją i obsługą błędów, co Step Functions oferuje natywnie.