Un'azienda ha creato una pipeline di acquisizione dati che utilizza Amazon Kinesis Data Firehose per inviare le transazioni di vendita e-commerce ad Amazon OpenSearch Service. L'intervallo del buffer di Firehose è impostato su 60 secondi. Un modello lineare di OpenSearch produce previsioni di vendita in tempo reale che vengono visualizzate su una dashboard di OpenSearch. L'azienda richiede una latenza inferiore al secondo per la dashboard in tempo reale. Quale modifica architetturale soddisferà questo requisito?

Per ottenere una latenza inferiore al secondo, è fondamentale che i dati vengano inviati a OpenSearch Service il più rapidamente possibile. Impostare il buffering di Firehose a zero (ovvero, disabilitare il buffering basato sul tempo) e ottimizzare la dimensione del batch di PutRecordBatch consente a Firehose di inviare i dati non appena disponibili, riducendo drasticamente la latenza. Sostituire Firehose con AWS DataSync non è appropriato per lo streaming in tempo reale, poiché DataSync è progettato per trasferimenti di dati su larga scala e non per flussi continui a bassa latenza. Aumentare l'intervallo del buffer di Firehose aumenterebbe ulteriormente la latenza, andando contro il requisito. Sostituire Firehose con una coda Amazon SQS introdurrebbe un meccanismo di accodamento che richiederebbe un componente aggiuntivo per elaborare e inviare i dati a OpenSearch, aumentando la complessità e potenzialmente la latenza.