Инженер данных настроил AWS Glue Data Catalog для объектов в S3 и нуждается в инкрементальных обновлениях. Уведомления о событиях S3 отправляются в очередь SQS. Какая комбинация шагов обеспечивает инкрементальные обновления каталога с наименьшими операционными издержками? (Выберите два варианта)

Правильный ответ включает два варианта, обеспечивающие инкрементальные обновления с минимальными операционными издержками. Создание AWS Glue crawler, который читает события из очереди SQS, позволяет автоматически обнаруживать новые или измененные объекты в S3 и обновлять Data Catalog. Это минимизирует ручное вмешательство и обеспечивает актуальность метаданных. Использование функции AWS Lambda для прямого обновления Data Catalog на основе событий SQS также является эффективным решением. Lambda может быть настроена для обработки каждого события S3 из очереди, извлечения необходимой информации и вызова API Glue для обновления соответствующих таблиц. Запуск crawler по расписанию не является инкрементальным в реальном времени и может привести к задержкам. Ручной запуск crawler неэффективен и требует постоянного вмешательства. Использование AWS Step Functions для оркестрации может быть избыточным для простой задачи инкрементального обновления каталога, увеличивая сложность и операционные издержки.