한 은행이 대량의 트랜잭션 데이터를 수집하여 PutRecord를 사용하여 Amazon Kinesis Data Streams로 스트리밍합니다. 특정 시간에 네트워크 중단이 발생하며, 데이터 엔지니어는 처리 파이프라인 전체에서 정확히 한 번(exactly-once) 전달 의미를 필요로 합니다. 어떤 접근 방식이 이를 달성할 수 있을까요?

정확히 한 번(exactly-once) 전달은 Kinesis Data Streams 자체적으로 보장하지 않습니다. Kinesis Data Streams는 최소 한 번(at-least-once) 전달을 보장합니다. 따라서 애플리케이션 수준에서 중복 제거 로직을 구현해야 합니다. 소스에서 각 레코드에 고유 ID를 삽입하고, 다운스트림 처리 과정에서 이 ID를 사용하여 중복 레코드를 식별하고 제거하는 것이 가장 효과적인 방법입니다. Amazon Managed Service for Apache Flink의 체크포인트는 장애 발생 시 데이터 손실을 줄이는 데