Una banca raccoglie dati transazionali ad alto volume e li invia in streaming ad Amazon Kinesis Data Streams utilizzando PutRecord. Si verificano interruzioni di rete in determinati momenti e l'ingegnere dei dati necessita di una semantica di consegna exactly-once lungo l'intera pipeline di elaborazione. Quale approccio consentirà di raggiungere questo obiettivo?

La semantica "exactly-once" in un sistema distribuito è difficile da ottenere e spesso richiede un approccio end-to-end. L'opzione corretta affronta il problema alla radice: incorporare un ID univoco in ogni record alla sorgente consente all'applicazione a valle di identificare e scartare i duplicati, garantendo che ogni record venga elaborato una sola volta, anche in presenza di interruzioni di rete che potrebbero causare ritrasmissioni. Le altre opzioni sono meno efficaci: Aggiornare la configurazione del checkpoint di Flink può aiutare a prevenire l'elaborazione duplicata all'interno di Flink, ma non risolve il problema se i duplicati vengono inseriti in Kinesis Data Streams a monte. Progettare la sorgente dati per evitare inserimenti multipli è un obiettivo ideale, ma le interruzioni di rete possono comunque causare ritrasmissioni e duplicati a livello di client o di rete, rendendo questa soluzione insufficiente da sola. Smettere di usare Kinesis Data Streams e passare ad Amazon EMR non risolve intrinsecamente il problema della semantica "exactly-once"; EMR con Flink o Spark Streaming richiederebbe comunque meccanismi simili per la deduplicazione.