Данные клиента ежедневно сохраняются в сжатых файлах, разделённых по датам, в S3. Ежемесячно аналитики загружают, проверяют и выгружают результаты в QuickSight. Инженер должен автоматически проверять качество данных перед их отправкой в QuickSight с МИНИМАЛЬНЫМИ операционными издержками. Какое решение подходит лучше всего?

Это решение наилучшим образом соответствует требованиям, поскольку AWS Glue Data Quality (DQ) предоставляет встроенные возможности для проверки качества данных с минимальными операционными издержками. Запуск Glue crawler ежемесячно обновляет AWS Glue Data Catalog, обеспечивая актуальность метаданных. Затем правила AWS Glue DQ могут быть применены непосредственно к этим данным для автоматической проверки качества перед отправкой в QuickSight. Это устраняет необходимость в написании и поддержке пользовательского кода для проверки качества данных. Другие варианты менее оптимальны: Использование задания AWS Glue с PySpark требует написания и поддержки пользовательского кода, что увеличивает операционные издержки. Функции AWS Lambda не предназначены для ежемесячной обработки больших объемов данных и требуют написания пользовательского кода. Настройка S3 для вызова Lambda при добавлении объектов не соответствует ежемесячному графику. Amazon SQS и CloudWatch Insights не предоставляют функциональность для оценки качества данных.