Un proveedor de seguridad recibe telemetría cada 30 segundos de miles de endpoints globales. Los registros son de ~1 KB con 50 campos. Los datos se ingieren en Kinesis Data Streams y se deben producir resúmenes horarios para consultas de Athena que leerán entre 7 y 12 campos. ¿Qué enfoque requiere la menor personalización para transformar y almacenar los datos ingeridos?

La opción correcta es usar Kinesis Data Analytics porque está diseñado para procesar datos en tiempo real y realizar agregaciones complejas, como las agregaciones horarias requeridas, utilizando SQL estándar. Luego puede enviar los resultados transformados a S3 a través de Kinesis Data Firehose, que maneja la entrega y el almacenamiento de manera eficiente. Esto minimiza la personalización ya que Kinesis Data Analytics proporciona las capacidades de procesamiento y agregación directamente. Las otras opciones requieren más personalización: Usar AWS Lambda para leer y agregar cada hora implicaría una lógica de agregación compleja y gestión de estado en Lambda, lo que aumenta la complejidad. Lanzar un clúster de Amazon EMR de corta duración para transformar los resultados es una solución más pesada y costosa para una tarea de agregación continua que Kinesis Data Analytics puede manejar de forma nativa. Aplicar transformaciones con AWS Lambda antes de escribir en S3 a través de Firehose es posible, pero la agregación horaria requiere una gestión de estado que es más sencilla de implementar con Kinesis Data Analytics.