Компания, занимающаяся вопросами безопасности, хранит данные IoT в формате JSON в Amazon S3, где схема может меняться между обновлениями прошивки устройств. Команде аналитиков нужен каталог данных для индексации этих данных. Какое решение является наиболее экономически эффективным для предоставления каталога и обработки развивающихся схем?

Правильный ответ — создание AWS Glue Data Catalog с AWS Glue Schema Registry и задачей AWS Glue для оркестрации. AWS Glue Data Catalog является централизованным хранилищем метаданных, а Schema Registry позволяет управлять развивающимися схемами JSON, что критично для данных IoT с меняющейся прошивкой. Задача AWS Glue может автоматически обнаруживать и обновлять схемы, а также выполнять ETL-процессы для загрузки данных в Amazon Redshift Serverless, что является экономически эффективным и масштабируемым решением для аналитики. Создание подготовленного кластера Amazon Redshift и использование Redshift Spectrum менее экономически эффективно из-за необходимости управления кластером и потенциально более высоких затрат. Использование Amazon Athena с Apache Spark через Athena не предлагает встроенного управления схемами для развивающихся данных так эффективно, как Glue Schema Registry, и может быть дороже для сложных ETL-процессов. Использование AWS Lambda UDFs и AWS Step Functions для оркестрации усложняет решение и увеличивает операционные издержки по сравнению с управляемым сервисом AWS Glue.