Инженер данных должен создать корпоративный каталог данных, охватывающий бакеты S3 и базы данных RDS, и этот каталог должен включать метаданные формата хранения. Какое решение требует наименьших усилий?

Правильный ответ — использование AWS Glue crawler с классификаторами. AWS Glue crawler автоматически сканирует источники данных, такие как S3 и RDS, определяет схемы данных и форматы хранения, а затем сохраняет эти метаданные в AWS Glue Data Catalog. Это минимизирует усилия, поскольку классификаторы Glue автоматически обнаруживают форматы данных. Другие варианты менее эффективны: Ручное добавление метаданных формата данных требует значительных усилий и подвержено ошибкам. Amazon Macie фокусируется на обнаружении конфиденциальных данных, а не на создании комплексного каталога с метаданными формата хранения. Написание пользовательских скриптов для сканирования и классификации данных — это трудоемкое и сложное решение, требующее постоянного обслуживания.