Разработайте ежедневный ETL-процесс со следующими требованиями: запускать его при загрузке новых данных в S3; после того как все необходимые загрузки будут выполнены, запустить ETL-задачу, которая объединяет новые данные с наборами данных размером в несколько терабайт в S3; записать результаты объединения обратно в S3; и уведомить администратора в случае сбоя какой-либо задачи. Какая архитектура соответствует этим требованиям?

Правильный вариант использует событие S3 для запуска Lambda, что соответствует требованию запуска при загрузке новых данных. AWS Step Functions идеально подходит для оркестрации сложных рабочих процессов, включая ожидание завершения всех загрузок и последовательное выполнение задач. AWS Glue — это управляемый сервис ETL, оптимизированный для обработки больших объемов данных (терабайты) в S3, что соответствует требованию объединения данных. Amazon CloudWatch с уведомлениями SNS обеспечивает надежное оповещение администратора о сбоях. Остальные варианты менее подходят: Запуск блокнота SageMaker для ETL менее масштабируем и эффективен для ежедневных автоматизированных процессов, чем Glue. AWS Batch больше подходит для пакетных вычислений, а не для оркестрации ETL-рабочих процессов, зависящих от событий S3 и требующих ожидания нескольких загрузок. Последовательный вызов Lambda для чтения и объединения терабайтных наборов данных неэффективен и может привести к превышению лимитов Lambda по времени выполнения и памяти.