Sie benötigen eine serverlose Echtzeit-Ingestion- und Analyse-Pipeline für hochvolumige Streaming-JSON-Ereignisse. Die Pipeline muss Daten puffern, JSON in ein für Abfragen optimiertes Spaltenformat konvertieren, ohne Daten zu verlieren, Ergebnisse in einem hochverfügbaren Datenspeicher speichern und Analysten das Ausführen von SQL-Abfragen und das Verbinden von BI-Dashboards ermöglichen. Welches Design erfüllt diese Anforderungen am besten?

Die korrekte Option beschreibt eine bewährte Architektur für Echtzeit-Streaming-Daten. Ein verwalteter Streaming-Delivery-Service (wie Kinesis Data Firehose) kann Daten aufnehmen, puffern und direkt in ein spaltenbasiertes Format (Parquet/ORC) konvertieren, indem er ein Schema aus einem Data Catalog (wie AWS Glue Data Catalog) verwendet. Dies erfüllt die Anforderungen an Pufferung, Konvertierung ohne Datenverlust und Speicherung in einem hochverfügbaren Objektspeicher (S3). Eine serverlose SQL-Abfrage-Engine (wie Amazon Athena) ermöglicht SQL-Abfragen und BI-Tool-Integration. Die Option mit der serverlosen Funktion für jeden Datensatz ist ineffizient und teuer bei hohem Volumen. Die Option, Daten in eine relationale Datenbank einzufügen, ist für hochvolumige Streaming-Daten ungeeignet und skaliert nicht gut. Die Option mit einem Echtzeit-SQL-Stream-Processing-Service ist zwar machbar, aber die genannte Lösung ist spezifischer und optimierter für die Konvertierung in Parquet/ORC vor der Speicherung in S3, was die Abfrageleistung verbessert.