Партнер ежедневно помещает файл данных в бакет Amazon S3. Задание AWS Glue ETL ежедневно очищает и преобразует файл и записывает результат в Daily.csv в другом бакете S3. Иногда входящий файл пуст или содержит отсутствующие обязательные поля; в этом случае компания хочет сохранить CSV-файл предыдущего дня. Инженер должен убедиться, что файл предыдущего дня перезаписывается только тогда, когда новый ежедневный файл является полным и действительным. Какое решение позволит достичь этого с наименьшими усилиями?

AWS Glue Data Quality (DQ) позволяет непосредственно в задании ETL определять правила качества данных с помощью DQDL. Это позволяет проверять входящий файл на пустоту или отсутствие обязательных полей. Если файл не соответствует правилам, задание может быть настроено так, чтобы не перезаписывать предыдущий Daily.csv, сохраняя таким образом данные предыдущего дня. Это решение интегрировано в рабочий процесс Glue ETL и требует минимальных усилий. Остальные варианты менее эффективны: Использование AWS Lambda для проверки и заполнения полей усложняет архитектуру и требует дополнительной разработки. Изменение кода задания Glue ETL для заполнения отсутствующих полей не решает проблему полностью пустых файлов и может привести к записи некорректных данных. Использование Amazon Athena для очистки данных после записи не предотвращает перезапись файла предыдущего дня некорректными данными.