Una empresa reentrena periódicamente modelos de ML utilizando nuevos datos de dispositivos de streaming. Necesitan un sistema de ingesta de alto rendimiento, duradero y escalable que pueda tolerar hasta 5 minutos de latencia de ingesta y aplicar transformaciones básicas durante la ingesta. ¿Qué enfoque proporciona la mayor eficiencia operativa?

La opción correcta utiliza Amazon Kinesis Data Streams para la ingesta de datos de streaming de alto rendimiento y durabilidad, ideal para múltiples productores y consumidores. Kinesis Data Firehose se encarga de consumir el stream, permitiendo transformaciones con una función Lambda antes de entregar los datos a Amazon S3, que es un almacenamiento duradero y escalable. Esta combinación ofrece eficiencia operativa al automatizar la ingesta y transformación, cumpliendo con los requisitos de latencia y escalabilidad. Las otras opciones son menos eficientes: Escribir directamente a S3 para datos de streaming puede ser ineficiente y complejo de gestionar a escala, además de que la reescritura a Kinesis y luego de nuevo a S3 añade latencia y complejidad innecesarias. Usar trabajos de AWS Glue activados por eventos de S3 para cada archivo de streaming puede ser costoso y tener una latencia más alta para el procesamiento en tiempo casi real. Conectar AWS Glue directamente a Kinesis Data Firehose no es una integración estándar y Firehose está diseñado para entregar a S3 directamente o a otros destinos, no para ser una fuente directa de Glue para transformaciones en streaming de esta manera.