Die IoT-Sensoren eines Labors senden alle 10 Sekunden 100 KB große Payloads. Ein nachgeschalteter Prozess fragt alle 30 Sekunden einen Amazon S3-Bucket ab, um die Daten zu verbrauchen. Welche Architektur liefert die Daten mit der GERINGSTEN Latenz in S3?

Die Kinesis Client Library (KCL) ermöglicht es einer Anwendung, Daten direkt von Kinesis Data Streams zu lesen und diese dann mit einem benutzerdefinierten Pufferintervall von 5 Sekunden in S3 zu schreiben. Dies bietet die geringste Latenz, da die Daten direkt aus dem Stream verarbeitet und schnell in S3 geschrieben werden, was die 30-Sekunden-Abfrage des nachgeschalteten Prozesses berücksichtigt. Die Option mit Kinesis Data Streams und Kinesis Data Firehose mit Standard-Pufferintervall ist nicht optimal, da Firehose standardmäßig ein Pufferintervall von 60 Sekunden oder 1 MB verwendet, was zu höherer Latenz führt. Die Option, nur Kinesis Data Streams zu verwenden, liefert die Daten nicht direkt an S3; es wäre eine zusätzliche Komponente erforderlich, um die Daten aus dem Stream zu lesen und in S3 zu schreiben. Die Option mit Apache Flink und Kinesis Data Firehose mit 5-Sekunden-Pufferintervall wäre zwar schnell, aber Flink ist primär für die Datenanalyse gedacht und hier überdimensioniert, zudem würde Firehose immer noch eine zusätzliche Latenzschicht einführen.