Una flota de instancias de Amazon EC2 ingiere datos JSON de fuentes on-premises a una velocidad de hasta 1 MB/s. Cuando una instancia EC2 se reinicia, los datos en tránsito se pierden. El equipo de ciencia de datos necesita realizar consultas casi en tiempo real de los datos ingeridos. ¿Qué solución proporciona consultas casi en tiempo real, es escalable y minimiza la pérdida de datos?

La opción correcta es publicar datos en Amazon Kinesis Data Streams y usar Kinesis Data Analytics para consultarlos. Kinesis Data Streams es ideal para la ingesta de datos en tiempo real y evita la pérdida de datos en tránsito, ya que los datos se almacenan de forma duradera antes de ser procesados. Kinesis Data Analytics permite consultas SQL casi en tiempo real directamente sobre los streams de datos, lo que satisface el requisito del equipo de ciencia de datos. Esta combinación es altamente escalable y minimiza la pérdida de datos. Las otras opciones son menos adecuadas: Kinesis Data Firehose con Redshift introduce latencia adicional y Redshift está optimizado para análisis de grandes volúmenes, no para consultas casi en tiempo real de streams. Almacenar en instancias EC2 o S3 y luego usar Athena introduce latencia y no es una solución de streaming en tiempo real. EBS y ElastiCache for Redis no son soluciones de streaming de datos en tiempo real para este caso de uso y Redis no está diseñado para consultas analíticas complejas sobre streams históricos.