Una plataforma de podcasts registra eventos de usuario de gran volumen y ejecuta un modelo de detección de anomalías utilizando una ventana móvil de 10 minutos. Cada evento necesita pequeñas transformaciones antes de la inferencia. ¿Qué diseño de ingesta y preprocesamiento de eventos proporciona las transformaciones requeridas con la menor sobrecarga operativa?

La opción correcta es ingerir eventos con Amazon Kinesis Data Streams y aplicar transformaciones en una aplicación de Amazon Kinesis Data Analytics (Apache Flink). Kinesis Data Streams es ideal para la ingesta de datos de gran volumen en tiempo real. Kinesis Data Analytics con Apache Flink permite procesar y transformar datos de streaming en ventanas de tiempo (como la ventana móvil de 10 minutos) con baja latencia y alta escalabilidad, minimizando la sobrecarga operativa. Las otras opciones son menos adecuadas: AWS AppSync con DynamoDB Streams y Lambda introduce latencia y complejidad adicionales para el procesamiento de ventanas móviles en tiempo real. Kinesis Data Firehose a S3 y AWS Glue es una solución para procesamiento por lotes, no para streaming en tiempo real con ventanas móviles. Amazon MSK con Lambda para transformaciones puede ser más complejo de gestionar y escalar para el procesamiento de ventanas en tiempo real en comparación con Kinesis Data Analytics.