Um engenheiro de ML deve mesclar e transformar dados semanais de duas fontes: arquivos CSV grandes no S3 (cada um com milhões de linhas) e um cluster Amazon Aurora. A saída mesclada deve ser gravada em outro bucket S3. Qual opção oferece isso com a MENOR sobrecarga operacional?

A opção de agendar um trabalho semanal do AWS Glue é a mais eficiente operacionalmente. O AWS Glue é um serviço de ETL (Extract, Transform, Load) totalmente gerenciado e serverless, que lida automaticamente com o provisionamento e o gerenciamento de recursos Apache Spark. Seus DynamicFrames otimizam as operações de dados, tornando a mesclagem e transformação de grandes volumes de dados mais simples e performática. Provisionar um cluster EMR transiente exige gerenciamento e configuração, aumentando a sobrecarga. Uma função Lambda não é ideal para executar código Spark em grandes volumes de dados, devido a limites de tempo e memória. O AWS Batch com instâncias EC2 requer que o engenheiro gerencie as instâncias e o ambiente Spark, o que também aumenta a sobrecarga operacional.