Инженер данных создал ETL-конвейер AWS Glue и должен просканировать таблицу в Microsoft SQL Server, затем записать результаты сканирования в S3 и организовать работу конвейера. Какая функция AWS обеспечивает эту возможность с наименьшими затратами?

AWS Glue workflows — это управляемый сервис для оркестровки нескольких заданий AWS Glue (ETL, сканирование) и триггеров в единый, последовательный поток. Он позволяет определить зависимости между заданиями и автоматизировать их выполнение, что идеально подходит для описанного сценария сканирования SQL Server, записи в S3 и организации конвейера. AWS Step Functions также может оркестрировать, но для Glue-заданий Glue workflows является более нативным и часто более экономичным решением. AWS Glue Studio — это графический интерфейс для создания заданий Glue, а не для их оркестровки. Amazon MWAA — это мощный инструмент оркестровки, но он более сложен и дорог для простых конвейеров Glue по сравнению с нативными Glue workflows.