У вас есть данные IoT-датчиков почвы в таблице Amazon DynamoDB размером 10 ГБ и данные о погодных явлениях в виде JSON-файлов размером 5 ГБ в Amazon S3. Вы хотите подготовить этот объединенный набор данных для обучения модели Amazon SageMaker с наименьшими административными издержками. Какой подход лучше всего подходит для выполнения необходимой трансформации?

Правильный ответ — запустить AWS Glue crawlers для каталогизации данных, создать задание AWS Glue ETL для объединения наборов данных DynamoDB и S3, и записать результат в Amazon S3. AWS Glue — это бессерверный сервис ETL, который минимизирует административные издержки, автоматически обнаруживая схемы данных (с помощью crawlers) и предоставляя среду для преобразования данных (с помощью заданий ETL). Запись объединенных данных в S3 в формате CSV обеспечивает удобство для дальнейшего использования в Amazon SageMaker, поскольку S3 является предпочтительным хранилищем для SageMaker, а CSV — распространенным форматом. Запуск кластера Amazon EMR требует управления инфраструктурой, что увеличивает административные издержки. Запись результата в Amazon Redshift не является оптимальным решением, так как SageMaker обычно работает с данными из S3, а Redshift — это хранилище данных, а не промежуточное хранилище для обучения. Использование DynamoDB Streams и AWS Lambda для добавления данных к существующим файлам в S3 не подходит для объединения двух отдельных источников данных и может быть сложным для реализации и масштабирования.