Você tem dados de sensores de solo IoT em uma tabela do Amazon DynamoDB de 10 GB e dados de eventos climáticos como arquivos JSON de 5 GB no Amazon S3. Você deseja preparar este conjunto de dados combinado para treinar um modelo do Amazon SageMaker com o mínimo de sobrecarga administrativa. Qual abordagem melhor realiza a transformação necessária?

A opção correta é a mais eficiente e com menor sobrecarga administrativa. O AWS Glue é um serviço de ETL sem servidor que automatiza a descoberta de dados (com crawlers), a catalogação e a transformação. Ele pode facilmente ler dados do DynamoDB e do S3, combiná-los e gravar o resultado de volta no S3 em um formato adequado para o SageMaker (como CSV), sem a necessidade de gerenciar infraestrutura. A opção de iniciar um cluster Amazon EMR exige gerenciamento de infraestrutura, o que aumenta a sobrecarga administrativa. A opção de gravar os resultados em um cluster do Amazon Redshift adiciona um passo desnecessário, pois o Amazon SageMaker pode consumir dados diretamente do S3. A opção de usar o DynamoDB Streams e o AWS Lambda é inadequada para combinar grandes volumes de dados históricos e não é a ferramenta ideal para transformações complexas ou junções de conjuntos de dados.