Uma plataforma de podcast registra eventos de usuário de alto volume e executa um modelo de detecção de anomalias usando uma janela deslizante de 10 minutos. Cada evento precisa de pequenas transformações antes da inferência. Qual design de ingestão e pré-processamento de eventos oferece as transformações necessárias com o menor overhead operacional?

A opção correta é usar Amazon Kinesis Data Streams e Amazon Kinesis Data Analytics (Apache Flink). O Kinesis Data Streams é ideal para ingestão de eventos de alto volume em tempo real. O Kinesis Data Analytics, com Apache Flink, é projetado para processamento de streaming de dados em tempo real, incluindo transformações e agregação em janelas deslizantes (como a janela de 10 minutos necessária), com baixo overhead operacional. As outras opções são menos ideais: AWS AppSync e DynamoDB Streams introduzem latência e complexidade desnecessárias para processamento contínuo em tempo real de alto volume. Kinesis Data Firehose para S3 e AWS Glue são mais adequados para processamento em lote ou micro-lote, não para transformações em tempo real com janelas deslizantes. Amazon MSK com Lambda pode funcionar, mas o Kinesis Data Analytics oferece uma solução mais gerenciada e otimizada para processamento de janelas de streaming, reduzindo o overhead operacional em comparação com a gestão de código Lambda para lógica de janela.