Компания переносит базы данных SQL Server с EC2 на Amazon RDS for SQL Server. До завершения миграции аналитическая группа должна ежедневно экспортировать большие объединенные элементы данных в формате Apache Parquet в Amazon S3. Какое решение является НАИБОЛЕЕ операционно эффективным?

Правильный ответ — создание представления SQL Server и использование AWS Glue. Создание представления SQL Server позволяет предварительно объединить данные, упрощая извлечение. AWS Glue — это бессерверный сервис ETL, который может напрямую подключаться к SQL Server, извлекать данные из представления и преобразовывать их в формат Parquet, а затем загружать в S3. Это решение является операционно эффективным, поскольку AWS Glue управляет инфраструктурой, а Parquet — это эффективный формат для аналитики. Неправильные варианты: Запуск SQL Server Agent с последующим преобразованием CSV в Parquet с помощью Lambda добавляет ненужные шаги и сложности, а также менее эффективно, чем прямое преобразование в Parquet. Использование AWS Glue crawler для чтения представления не требуется, так как AWS Glue job может напрямую читать из источника данных. Crawler используется для обнаружения схемы, а не для извлечения данных. Функция AWS Lambda с JDBC для извлечения и преобразования данных может быть сложной в управлении для больших объемов данных и требует большего объема пользовательского кода, чем AWS Glue.