Firma uruchamia obecnie Apache Airflow lokalnie w celu orkiestracji potoków danych, które obejmują kontrole jakości danych SQL. Chcą migrować do AWS, używając usług zarządzanych i minimalizując refaktoryzację. Które rozwiązanie osiągnie to przy najmniejszej zmianie kodu?

Prawidłowa odpowiedź to migracja do Amazon Managed Workflows for Apache Airflow (Amazon MWAA). MWAA to w pełni zarządzana usługa Apache Airflow, która minimalizuje refaktoryzację, ponieważ firma może przenieść swoje istniejące DAG-i Airflow i kod niemal bez zmian. Kontrole jakości danych SQL mogą być zaimplementowane jako zadania Airflow, co jest zgodne z obecnym podejściem. Pozostałe opcje wymagają znacznie większej refaktoryzacji lub nie wykorzystują w pełni usług zarządzanych: AWS Outposts jest przeznaczony dla obciążeń wymagających niskich opóźnień lokalnych i nie jest rozwiązaniem w pełni zarządzanym dla Airflow. Uruchamianie Airflow na instancjach EC2 (nawet z niestandardowym AMI) nadal wymaga zarządzania infrastrukturą, co jest sprzeczne z celem korzystania z usług zarządzanych. Przebudowa potoków na AWS Step Functions i AWS Lambda to całkowita refaktoryzacja, która wymagałaby przepisania logiki orkiestracji i kontroli jakości danych.