Um engenheiro de dados deve ingerir dados de streaming em tempo real e executar análises baseadas em tempo com janelas de até 30 minutos. A solução deve ser altamente tolerante a falhas e exigir o mínimo de sobrecarga operacional. Qual opção satisfaz esses requisitos?

A opção correta é usar o Amazon Managed Service for Apache Flink (anteriormente Amazon Kinesis Data Analytics) porque ele é projetado especificamente para processamento de streaming em tempo real e análises baseadas em tempo, como janelas de até 30 minutos. Ele oferece alta tolerância a falhas e baixa sobrecarga operacional por ser um serviço totalmente gerenciado. As funções AWS Lambda são mais adequadas para processamento de eventos pontuais ou microsserviços, não para agregações contínuas em janelas de tempo. Embora o Lambda possa ser usado com Kinesis Data Streams, ele exigiria mais esforço para implementar e manter a lógica de janelamento e tolerância a falhas em comparação com o Flink gerenciado. A menção de "dados que podem ocasionalmente conter duplicatas" na segunda opção é uma distração, pois o Flink pode lidar com isso, mas a principal razão para sua escolha é a capacidade de análise em tempo real com janelas.