한 개발자가 Amazon SQS 표준 대기열에서 메시지를 처리하기 위해 AWS Lambda를 사용하는 마이크로서비스를 구축했습니다. Lambda 함수는 외부 API를 호출하여 각 SQS 메시지를 보강한 다음 데이터를 Amazon Redshift 테이블에 씁니다. 대기열은 초당 최대 1,000개의 메시지를 지원해야 합니다. 테스트 중에 중복 SQS 메시지가 처리되어 Redshift 테이블에 중복 행이 반복적으로 삽입되었습니다. 모든 중복 메시지는 1분 이내에 대기열에 추가되었습니다. 개발자는 이 문제를 어떻게 해결해야 할까요?

중복 메시지 처리 문제를 해결하려면 SQS FIFO 대기열로 전환하고 메시지 중복 제거를 활성화해야 합니다. FIFO 대기열은 메시지 순서를 엄격하게 유지하고 메시지 중복 제거를 지원하여 중복 메시지가 대기열에 전달되지 않도록 합니다. 1분 이내에 추가된 중복 메시지라는 조건은 FIFO 대기열의 중복 제거 기간(5분) 내에 해당하므로 효과적입니다. Lambda 함수의 최대 동시성을 낮추는 것은 처리량에는 영향을 주지만 중복 메시지 자체를 제거하지는 않습니다. Lambda 함수의 임시 로컬 스토리지(/tmp)는 휘발성이므로 메시지 ID를 안정적으로 추적하는 데 적합하지 않습니다. 메시지 그룹 ID는 FIFO 대기열에서 순서 유지를 위해 사용되지만, 표준 대기열에서는 중복 제거를 활성화할 수 없으므로 이 옵션은 유효하지 않습니다.