Een bedrijf bouwt near real-time dashboards voor tijdreeksgegevens die worden opgenomen in Amazon MSK. Een aangepaste pipeline verbruikt de stream en schrijft naar Amazon Keyspaces, Amazon OpenSearch Service en Avro-objecten in S3. Welke optie maakt gegevens beschikbaar voor de dashboards met de MINSTE latency?

De correcte optie is het aanmaken van OpenSearch Dashboards met behulp van de gegevens van OpenSearch Service. Amazon OpenSearch Service is geoptimaliseerd voor zoek- en analyseworkloads met lage latency, waardoor het ideaal is voor near real-time dashboards. OpenSearch Dashboards (voorheen Kibana) is de native visualisatietool voor OpenSearch Service en biedt de laagste latency voor het weergeven van gegevens die al in de service zijn geïndexeerd. De andere opties introduceren extra stappen of services die de latency verhogen. Het bevragen van Avro-objecten in S3 met Athena, zelfs met Managed Grafana of QuickSight, vereist het verwerken van gegevens uit objectopslag, wat inherent hogere latency heeft dan het direct visualiseren van geïndexeerde gegevens in OpenSearch Service. S3 Select is weliswaar efficiënter dan volledige scans, maar blijft een query op objectopslag. Het gebruik van Keyspaces als datacatalogus voor Athena is niet de primaire functie van Keyspaces en voegt complexiteit toe zonder de latency te verminderen voor dashboarding vanuit S3.