Инженер данных подписал бакет S3 на продукт AWS Data Exchange, который предоставляет экономические показатели. Инженер должен объединить эти входящие экономические данные с существующей таблицей в Amazon Athena и выполнить все преобразования в течение 30–60 минут. Какое экономически эффективное решение соответствует этим требованиям?

Правильный ответ — использование события S3 для запуска функции Lambda, которая вызывает задание AWS Glue. Когда AWS Data Exchange доставляет новые данные в бакет S3, событие S3 автоматически запускает функцию Lambda. Эта функция Lambda затем инициирует задание AWS Glue, которое эффективно объединяет новые экономические данные с существующей таблицей Athena (хранящейся в S3) и записывает результат обратно в S3. Это решение экономически эффективно, поскольку вы платите только за фактическое использование Lambda и Glue, а также соответствует временным рамкам (30-60 минут) для преобразования данных. Другие варианты менее оптимальны: Настройка Kinesis для потоковой передачи данных является избыточной и более дорогой для пакетной доставки файлов из Data Exchange. Использование SageMaker Data Wrangler через Lambda для объединения с Athena не является типичным или эффективным шаблоном для автоматизированного ETL и может быть более сложным в реализации. Подготовка кластера Redshift является дорогостоящей и избыточной для данного сценария, так как данные уже находятся в S3 и могут быть обработаны с помощью бессерверных сервисов.