Вам необходимо создать ETL-конвейер, который каждые 15 минут загружает файлы (CSV, JSON или Parquet) из 10 исходных систем в 10 таблиц Amazon Redshift. Все файлы попадают в один бакет S3; размеры файлов варьируются от 10 МБ до 20 ГБ. Конвейер должен быть устойчивым к изменениям схемы. Какие решения соответствуют этим требованиям? (Выберите два.)
Выберите ответ
Нажмите на вариант, чтобы проверить свой ответ.
Правильный ответ: Используйте правило Amazon EventBridge для вызова задания рабочего процесса AWS Glue каждые 15 минут. Настройте рабочий процесс AWS Glue так, чтобы он имел триггер по требованию, который запускает AWS Glue crawler, а затем запускает задание AWS Glue после успешного завершения работы crawler. Настройте задание AWS Glue для обработки и загрузки данных в таблицы Amazon Redshift., Настройте функцию AWS Lambda для вызова рабочего процесса AWS Glue при загрузке файла в бакет S3. Настройте рабочий процесс AWS Glue так, чтобы он имел триггер по требованию, который запускает AWS Glue crawler, а затем запускает задание AWS Glue после успешного завершения работы crawler. Настройте задание AWS Glue для обработки и загрузки данных в таблицы Amazon Redshift..
Почему это правильный ответ
Правильные варианты используют AWS Glue Workflow с AWS Glue Crawler и AWS Glue Job. AWS Glue Crawler автоматически определяет схему файлов (CSV, JSON, Parquet) и обновляет AWS Glue Data Catalog, что обеспечивает устойчивость к изменениям схемы. AWS Glue Job затем использует эту схему для обработки и загрузки данных в Amazon Redshift. AWS Glue Workflow оркестрирует этот процесс, запуская Crawler, а затем Job. Запуск по расписанию (EventBridge каждые 15 минут) или по событию (Lambda при загрузке файла) оба соответствуют требованиям. Неправильные варианты: Первый неправильный вариант не использует AWS Glue Crawler, что делает его неустойчивым к изменениям схемы. Третий неправильный вариант слишком сложен, так как использует две функции Lambda и EventBridge для оркестрации, когда AWS Glue Workflow может сделать это более эффективно. Четвертый неправильный вариант использует Amazon Kinesis Data Firehose, который предназначен для потоковой передачи данных, а не для пакетной обработки файлов размером до 20 ГБ, и не решает проблему изменений схемы.
Сдайте экзамен — без бесконечного поиска ответов
Получите все проверенные вопросы и объяснения для этого экзамена в одном месте и сэкономьте часы подготовки. 1000+ сертификаций · 20+ языков · начните бесплатно.
Сдайте экзамен быстрее → Карта не требуется