Ein Unternehmen trainiert ML-Modelle regelmäßig mit neuen Streaming-Gerätedaten neu. Es benötigt ein hochdurchsatzfähiges, dauerhaftes und skalierbares Ingestion-System, das eine Ingestion-Latenz von bis zu 5 Minuten tolerieren und grundlegende Transformationen während der Ingestion anwenden kann. Welcher Ansatz bietet die höchste betriebliche Effizienz?

Die korrekte Option nutzt Kinesis Data Streams für die hochdurchsatzfähige und dauerhafte Erfassung von Streaming-Daten. Kinesis Data Firehose kann direkt von einem Kinesis Data Stream lesen, bietet eine einfache Möglichkeit zur Transformation mit einer Lambda-Funktion und liefert die Daten effizient und skalierbar an Amazon S3. Dies erfüllt alle Anforderungen: hohe Skalierbarkeit, Dauerhaftigkeit, akzeptable Latenz (bis zu 5 Minuten) und Transformation während der Erfassung. Die anderen Optionen sind weniger effizient: Direkte S3-Schreibvorgänge für Streaming-Daten sind ineffizient und führen zu vielen kleinen Objekten, was die Verwaltung erschwert. Die Weiterleitung an Kinesis nach S3-Ereignissen ist ein unnötiger Umweg. AWS Glue-Jobs sind für Batch-Verarbeitung optimiert und nicht ideal für die kontinuierliche, latenzarme Transformation von Streaming-Daten, die eine Latenz von bis zu 5 Minuten tolerieren. Das Verbinden eines AWS Glue-Jobs direkt mit Kinesis Data Firehose ist keine gängige oder effiziente Architektur für diese Anforderungen; Firehose ist bereits für die S3-Lieferung mit optionaler Transformation ausgelegt.