Firma uruchamia niestandardową aplikację na instancjach EC2 w grupie Auto Scaling, która przetwarza rekordy w wielu sekwencyjnych, intensywnych obliczeniowo krokach. Każdy krok trwa do 5 minut. Obecnie, jeśli którykolwiek krok zakończy się niepowodzeniem, cały rekord musi zostać przetworzony od początku. Firma chce przetwarzać ponownie tylko te kroki, które zakończyły się niepowodzeniem, przy jak najmniejszym obciążeniu operacyjnym. Jaka jest najbardziej efektywna operacyjnie architektura, aby to osiągnąć?

Prawidłowa odpowiedź to AWS Step Functions z AWS Lambda, ponieważ Step Functions są zaprojektowane do orkiestracji złożonych, wieloetapowych przepływów pracy, takich jak opisany. Umożliwiają one definiowanie kroków, zarządzanie stanem między nimi i automatyczne ponawianie prób dla poszczególnych nieudanych kroków bez konieczności ponownego uruchamiania całego procesu. To minimalizuje obciążenie operacyjne i zapewnia efektywność. Pozostałe opcje są mniej optymalne: S3 Event Notifications z SNS i EC2: Wymagałoby to ręcznego zarządzania stanem i logiką ponawiania prób na instancjach EC2, co zwiększa obciążenie operacyjne. Kontenery na Fargate: Chociaż kontenery są dobre do uruchamiania aplikacji, Fargate nie zapewnia natywnie orkiestracji stanowych przepływów pracy ani automatycznego ponawiania prób dla poszczególnych kroków bez dodatkowej logiki. Kinesis Data Streams z AWS Lambda: Kinesis jest świetne do przetwarzania strumieniowego, ale nie jest przeznaczone do orkiestracji sekwencyjnych, stanowych przepływów pracy z zależnościami między krokami, co utrudniałoby zarządzanie ponownymi próbami.