Dados de marketing de várias fontes são carregados em um bucket do Amazon S3. Os trabalhos de preparação de dados devem ser executados em intervalos regulares em paralelo, com alguns trabalhos que devem ser executados em uma ordem específica posteriormente. A empresa deseja eliminar a sobrecarga operacional para tratamento de erros de trabalho, novas tentativas e gerenciamento de estado. Qual solução atende a esses requisitos?

A combinação de AWS Glue DataBrew e AWS Step Functions é a solução mais adequada. O DataBrew é um serviço de preparação de dados sem servidor que permite limpar e normalizar dados sem escrever código, atendendo aos requisitos de preparação de dados. O AWS Step Functions permite orquestrar fluxos de trabalho complexos, incluindo execução paralela e sequencial de tarefas, tratamento de erros, novas tentativas e gerenciamento de estado, eliminando a sobrecarga operacional. A opção com AWS Lambda para processar dados no upload e em um agendamento regular não oferece a orquestração e o gerenciamento de estado robustos do Step Functions. O Amazon Athena é uma ferramenta de consulta interativa, não ideal para trabalhos de preparação de dados agendados e complexos. O AWS Data Pipeline é uma solução mais antiga e menos flexível para orquestração de fluxos de trabalho em comparação com o Step Functions, e a descrição de agendamento "uma vez à meia-noite" não atende aos requisitos de intervalos regulares e execução paralela/sequencial.