Специалисту по данным необходимо перенести локальный процесс ETL в AWS. Текущий процесс выполняется по расписанию и использует PySpark для объединения и форматирования нескольких больших источников данных в один консолидированный вывод для последующих заданий. Требования к облачному решению: объединение нескольких источников, повторное использование существующего кода PySpark, запуск по существующему расписанию и минимизация количества управляемых серверов. Какая архитектура соответствует этим требованиям?

Правильный ответ — AWS Glue. AWS Glue — это бессерверный сервис ETL, который позволяет повторно использовать существующий код PySpark, что соответствует требованию сохранения логики PySpark. Он также поддерживает запуск заданий по расписанию через триггеры Glue и минимизирует количество управляемых серверов, так как является бессерверным. Хранение данных в Amazon S3 является стандартной практикой для озер данных. Другие варианты не подходят: Использование Amazon EMR с постоянным кластером требует управления серверами, что противоречит требованию минимизации. Переписывание логики PySpark на чистом Python для AWS Lambda не соответствует требованию повторного использования существующего кода PySpark и может быть неэффективным для больших объемов данных. Amazon Kinesis Data Analytics предназначен для потоковой обработки данных в реальном времени, а не для пакетной обработки по расписанию, и не поддерживает PySpark напрямую.