Inżynier danych musi zorganizować potok, który obejmuje pojedynczą funkcję AWS Lambda, po której następuje zadanie AWS Glue, i musi korzystać z usług zarządzanych przez AWS. Które podejście zapewnia to z najmniejszym obciążeniem operacyjnym?

AWS Step Functions to w pełni zarządzana usługa, która pozwala na orkiestrację złożonych przepływów pracy, takich jak sekwencyjne wywoływanie funkcji Lambda i zadań AWS Glue. Zapewnia najmniejsze obciążenie operacyjne, ponieważ AWS zarządza całą infrastrukturą, a użytkownik skupia się na logice przepływu. Pozostałe opcje są mniej optymalne: Wdrożenie Apache Airflow na Amazon EC2 lub EKS wiąże się ze znacznym obciążeniem operacyjnym związanym z zarządzaniem instancjami EC2/klastrami EKS, instalacją Airflow, jego konfiguracją, monitorowaniem i skalowaniem. Nie jest to usługa w pełni zarządzana w kontekście samego Airflow. Użycie przepływu pracy AWS Glue (AWS Glue Workflow) jest możliwe, ale Step Functions oferuje większą elastyczność i kontrolę nad logiką przepływu pracy, w tym obsługę błędów i ponowne próby, co czyni je lepszym wyborem dla złożonych orkiestracji.