Фирма, предоставляющая финансовые услуги, создает бессерверное озеро данных на Amazon S3, которое должно: позволять запрашивать старые и новые данные S3 с помощью Amazon Athena и Redshift Spectrum, поддерживать управляемые событиями ETL-конвейеры и обеспечивать простое обнаружение метаданных. Какое решение соответствует этим требованиям?

Правильный ответ — использование AWS Glue crawler для каталогизации данных S3, запуск заданий AWS Glue ETL с помощью AWS Lambda и использование AWS Glue Data Catalog для обнаружения метаданных. AWS Glue crawler автоматически обнаруживает схемы данных в S3 и заполняет AWS Glue Data Catalog, который служит централизованным хранилищем метаданных для Athena и Redshift Spectrum. Задания AWS Glue ETL идеально подходят для управляемых событиями конвейеров, а Lambda может запускать их при поступлении новых данных. AWS Glue Data Catalog обеспечивает легкое обнаружение метаданных. Другие варианты неверны, потому что: Использование AWS Batch для заданий ETL не является оптимальным для бессерверных управляемых событиями конвейеров по сравнению с AWS Glue ETL. Использование внешнего Apache Hive metastore усложняет архитектуру и не соответствует простоте AWS Glue Data Catalog, который является полностью управляемым сервисом. Запуск заданий с помощью Amazon CloudWatch alarms подходит для расписаний, но не для управляемых событиями конвейеров, где Lambda более эффективна.