Una empresa construyó un pipeline de ingesta de datos que utiliza Amazon Kinesis Data Firehose para enviar transacciones de ventas de comercio electrónico a Amazon OpenSearch Service. El intervalo de búfer de Firehose está configurado en 60 segundos. Un modelo lineal de OpenSearch produce pronósticos de ventas en tiempo real que aparecen en un panel de OpenSearch. La empresa requiere una latencia inferior a un segundo para el panel en tiempo real. ¿Qué cambio arquitectónico logrará ese requisito?

Para lograr una latencia inferior a un segundo, es crucial minimizar el tiempo que los datos permanecen en el búfer de Firehose. Configurar el búfer de Firehose en cero segundos (o el valor mínimo posible, que es 1 segundo) asegura que los datos se entreguen a OpenSearch Service casi instantáneamente. Ajustar el tamaño de lote utilizado por PutRecordBatch permite optimizar la cantidad de registros enviados en cada solicitud, equilibrando la latencia con la eficiencia de la API. Reemplazar Firehose con AWS DataSync no es adecuado, ya que DataSync está diseñado para transferencias de datos a gran escala y no para ingesta de datos en tiempo real con baja latencia. Aumentar el intervalo de búfer de Firehose de 60 a 120 segundos iría en contra del requisito de baja latencia, ya que los datos tardarían aún más en procesarse. Reemplazar Firehose con una cola de Amazon SQS requeriría una lógica adicional para consumir los mensajes de SQS y enviarlos a OpenSearch, lo que introduciría más complejidad y latencia.