Une banque collecte des données transactionnelles à volume élevé et les diffuse en streaming dans Amazon Kinesis Data Streams à l'aide de PutRecord. Des pannes réseau se produisent à certains moments, et l'ingénieur de données a besoin d'une sémantique de livraison exactement une fois sur l'ensemble du pipeline de traitement. Quelle approche permettra d'atteindre cet objectif ?

La sémantique de livraison exactement une fois est difficile à garantir de bout en bout dans les systèmes distribués. La meilleure approche consiste à concevoir l'application de traitement pour qu'elle soit idempotente, c'est-à-dire qu'elle puisse gérer les enregistrements dupliqués sans effets secondaires. L'intégration d'un ID unique à chaque enregistrement à la source permet à l'application de traitement de détecter et de supprimer les doublons, garantissant ainsi qu'un enregistrement n'est traité qu'une seule fois logiquement, même s'il est livré plusieurs fois. Les points de contrôle dans Amazon Managed Service for Apache Flink aident à la reprise après sinistre mais ne garantissent pas l'élimination des doublons si les données sont envoyées plusieurs fois au flux. Empêcher les ingestions multiples dans Kinesis Data Streams est difficile à garantir en cas de pannes réseau. Remplacer Kinesis Data Streams par Amazon EMR ne résout pas intrinsèquement le problème de la sémantique exactement une fois sans une logique d'application similaire.