Инженер данных должен очистить и подготовить несколько терабайт необработанных данных, хранящихся в Amazon S3, а затем загрузить обработанные данные в Amazon Redshift для аналитики. Аналитикам данных требуется возможность выполнять сложные запросы. Решение должно устранить необходимость в сложных ETL-пайплайнах и избежать управления инфраструктурой. Какой подход обеспечивает требуемую функциональность с НАИМЕНЬШИМИ операционными издержками?

Правильный ответ предлагает полностью управляемые бессерверные сервисы, минимизирующие операционные издержки. AWS Glue DataBrew — это бессерверный сервис для визуальной подготовки данных без написания кода, идеально подходящий для очистки терабайтов данных. AWS Glue — это бессерверный сервис ETL, который может загружать обработанные данные в Amazon Redshift, устраняя необходимость в сложной настройке инфраструктуры. Amazon Redshift — это хранилище данных, оптимизированное для сложных аналитических запросов. Остальные варианты менее оптимальны: Использование Amazon EMR требует управления кластерами. AWS Step Functions не является основным инструментом для загрузки данных в Redshift. Amazon QuickSight — это инструмент BI, а не основной сервис для выполнения сложных запросов к хранилищу данных. AWS Lambda не подходит для обработки терабайтов данных из-за ограничений по времени выполнения и памяти. Kinesis Data Firehose предназначен для потоковой передачи, а не для массовой загрузки обработанных данных. Amazon Athena подходит для запросов к данным в S3, но не к данным, уже загруженным в Redshift. AWS Glue для подготовки данных подходит, но AWS DMS предназначен для миграции баз данных, а не для регулярной загрузки обработанных данных. Amazon Redshift Spectrum позволяет запрашивать данные в S3, но требование — загрузить данные в Redshift для аналитики.