Uma empresa está migrando cargas de trabalho on-premises em escala de petabytes que usam Apache Pig, Oozie, Spark, HBase e Flink para a AWS e deseja menor sobrecarga operacional e opções serverless, mantendo desempenho igual ou superior. Qual serviço de ETL ela deve escolher?

Amazon EMR é a escolha correta porque ele suporta nativamente todas as tecnologias de código aberto mencionadas (Apache Pig, Oozie, Spark, HBase e Flink), facilitando a migração de cargas de trabalho em escala de petabytes. Embora não seja totalmente serverless, o EMR oferece gerenciamento de clusters simplificado, reduzindo significativamente a sobrecarga operacional em comparação com a manutenção on-premises. AWS Glue é um serviço ETL serverless, mas exigiria a reescrita das cargas de trabalho existentes que usam Pig, Oozie, HBase e Flink, o que não atende ao requisito de manter as tecnologias atuais. AWS Lambda é um serviço serverless para funções de curta duração e não é adequado para cargas de trabalho ETL em escala de petabytes. Amazon Redshift é um data warehouse e não um serviço ETL para processamento de dados brutos com as ferramentas especificadas.