Een bedrijf heeft een data-ingestiepipeline gebouwd die Amazon Kinesis Data Firehose gebruikt om e-commerce verkooptransacties naar Amazon OpenSearch Service te sturen. Het Firehose-bufferinterval is ingesteld op 60 seconden. Een lineair OpenSearch-model produceert realtime verkoopprognoses die op een OpenSearch-dashboard verschijnen. Het bedrijf vereist een latentie van minder dan een seconde voor het realtime dashboard. Welke architectonische wijziging zal aan die vereiste voldoen?

De vereiste voor een latentie van minder dan een seconde voor realtime dashboards is cruciaal. Kinesis Data Firehose introduceert inherent een buffertijd (hier 60 seconden), wat de realtime weergave belemmert. Door de Firehose-bufferinstellingen aan te passen naar nul buffering en de batchgrootte van PutRecordBatch af te stemmen, kan data vrijwel onmiddellijk naar OpenSearch Service worden gestuurd, wat de latentie aanzienlijk vermindert. Het vervangen van Firehose door een AWS DataSync-taak is ongeschikt, omdat DataSync is ontworpen voor grootschalige, periodieke dataoverdracht en niet voor realtime streaming. Het verhogen van het bufferinterval naar 120 seconden zou de latentie juist verhogen, wat tegen de vereiste ingaat. Het vervangen van Firehose door een Amazon SQS-wachtrij zou de data eerst in de wachtrij plaatsen, wat ook extra latentie introduceert voordat de data naar OpenSearch Service wordt verwerkt.