Eine Bank sammelt große Mengen an Transaktionsdaten und streamt diese mittels PutRecord in Amazon Kinesis Data Streams. Zu bestimmten Zeiten treten Netzwerkausfälle auf, und der Dateningenieur benötigt eine Exactly-Once-Zustellungssemantik über die gesamte Verarbeitungspipeline hinweg. Welcher Ansatz würde dies erreichen?

Die einzige Möglichkeit, eine Exactly-Once-Zustellungssemantik in verteilten Systemen wie Kinesis Data Streams zu erreichen, ist die Implementierung von Idempotenz auf der Verbraucherseite. Kinesis Data Streams garantiert mindestens einmalige Zustellung, was bedeutet, dass Duplikate auftreten können, insbesondere bei Netzwerkausfällen oder Wiederholungsversuchen. Durch das Einbetten einer eindeutigen ID (z.B. UUID) in jeden Datensatz an der Quelle kann die nachgeschaltete Anwendung Duplikate erkennen und verwerfen. Die Aktualisierung der Checkpoint-Konfiguration in Apache Flink kann zwar die Wiederherstellung verbessern und die Wahrscheinlichkeit von Duplikaten reduzieren, garantiert aber keine Exactly-Once-Zustellung über die gesamte Pipeline hinweg, da Duplikate bereits vor dem Checkpoint entstehen könnten. Die Gestaltung der Datenquelle, um Duplikate zu vermeiden, ist ideal, aber nicht immer praktikabel oder ausreichend, um alle potenziellen Duplikate zu eliminieren, insbesondere bei externen Systemen oder Netzwerkausfällen. Der Wechsel zu Amazon EMR mit Apache Flink und Spark Streaming würde das zugrunde liegende Problem der mindestens einmaligen Zustellung nicht lösen, da diese Frameworks ebenfalls Idempotenz auf Anwendungsebene erfordern, um Exactly-Once zu gewährleisten.