U hebt een serverloze, real-time ingestie- en analysepijplijn nodig voor grote hoeveelheden streaming JSON-events. De pijplijn moet gegevens bufferen, JSON converteren naar een kolomgeoriënteerd formaat dat is geoptimaliseerd voor queries zonder gegevensverlies, resultaten opslaan in een zeer beschikbare datastore, en analisten in staat stellen SQL-queries uit te voeren en BI-dashboards te verbinden. Welk ontwerp voldoet het beste aan deze vereisten?

De correcte optie beschrijft een robuuste, serverloze architectuur die voldoet aan alle vereisten. Het gebruik van een beheerde streaming delivery service (zoals Kinesis Data Firehose) met een Data Catalog (zoals AWS Glue Data Catalog) maakt het mogelijk om streaming JSON-events in te nemen, automatisch te converteren naar een kolomgeoriënteerd formaat (Parquet/ORC) voor efficiënte querying, en op te slaan in object storage (S3). Een serverloze SQL query engine (zoals Amazon Athena) kan vervolgens direct op S3 query's uitvoeren, en BI-tools kunnen via JDBC verbinding maken. Dit is kosteneffectief en schaalbaar. De andere opties zijn minder optimaal: Het schrijven van elk JSON-record naar object storage en vervolgens een serverloze functie triggeren voor conversie introduceert hogere latentie en complexiteit door de vele kleine objecten en functie-aanroepen. Het invoegen in een beheerde relationele database voor grote hoeveelheden streaming data is minder schaalbaar en duurder dan object storage voor analytische workloads. Een real-time SQL stream-processing service (zoals Kinesis Data Analytics) kan weliswaar converteren, maar de integratie met een Data Catalog voor schema-evolutie en de directe levering aan object storage met automatische formaatconversie is efficiënter via een delivery service.