Firma uruchamia wiele przepływów pracy ETL, które pobierają dane z operacyjnych baz danych do jeziora danych S3. Te przepływy pracy wykorzystują AWS Glue i Amazon EMR. Firma chce dodać zautomatyzowaną orkiestrację, minimalizując jednocześnie wysiłek ręczny i obciążenie operacyjne. Które rozwiązanie spełnia te cele przy NAJMNIEJSZYM obciążeniu operacyjnym?

AWS Step Functions to usługa bezserwerowa, która umożliwia orkiestrację rozproszonych aplikacji i mikrousług za pomocą wizualnych przepływów pracy. Może natywnie integrować się z AWS Glue i Amazon EMR, oferując automatyzację i minimalizując obciążenie operacyjne dzięki zarządzaniu stanem i obsłudze błędów. AWS Glue workflows są dedykowane do orkiestracji zadań Glue, ale mogą być mniej elastyczne w przypadku złożonych przepływów pracy obejmujących wiele usług. AWS Lambda functions są idealne do małych, bezserwerowych zadań, ale orkiestracja złożonych przepływów pracy za ich pomocą wymagałaby znacznego wysiłku w zarządzaniu stanem i logiką. Amazon MWAA (Apache Airflow) oferuje potężną orkiestrację, ale wymaga większego nakładu pracy operacyjnej na zarządzanie instancjami Airflow, co jest sprzeczne z celem minimalizacji obciążenia operacyjnego.