Um cientista de dados deve migrar um processo ETL on-premises para a AWS. O processo atual é executado em um agendamento e usa PySpark para mesclar e formatar várias grandes fontes de dados em uma saída consolidada para trabalhos posteriores. Requisitos para a solução em nuvem: combinar várias fontes, reutilizar o código PySpark existente, executar no agendamento existente e minimizar o número de servidores a serem gerenciados. Qual arquitetura atende a esses requisitos?

A opção correta é o AWS Glue. Ele permite reutilizar o código PySpark existente, o que é um requisito fundamental, e pode ser agendado para executar no cronograma existente usando gatilhos. O Glue é um serviço sem servidor, minimizando a necessidade de gerenciar servidores, atendendo ao requisito de gerenciamento mínimo. A opção do Amazon EMR é incorreta porque, embora suporte PySpark e agendamento, requer o gerenciamento de um cluster EMR persistente, o que vai contra o requisito de minimizar o número de servidores a serem gerenciados. A opção do AWS Lambda é inadequada porque o Lambda tem limites de tempo de execução e memória, tornando-o inviável para processar grandes volumes de dados e exigiria a reescrita do código PySpark em Python puro, o que não é desejado. A opção do Amazon Kinesis Data Analytics é para processamento de streaming em tempo real com SQL, não para processamento em lote de PySpark, e não atende aos requisitos de reutilização de código ou agendamento de lote.