날씨 데이터 솔루션은 Lambda 함수와 통합된 API Gateway REST API를 통해 수천 개의 스테이션으로부터 텔레메트리를 수신합니다. Lambda는 전처리를 위해 타사 서비스를 호출하는데, 이 타사 서비스에 과부하가 발생하면 전처리가 실패하고 데이터가 손실됩니다. 설계자는 데이터 손실이 없도록 하고, 실패가 발생하더라도 나중에 처리가 가능하도록 해야 합니다. 설계자는 무엇을 구현해야 할까요?

이 솔루션은 데이터 손실을 방지하고 실패 시 재처리를 가능하게 하는 가장 강력한 메커니즘을 제공합니다. API Gateway가 메시지를 SQS 대기열로 직접 보내면, Lambda 함수 호출 실패 시 메시지가 자동으로 기본 대기열로 반환됩니다. 기본 대기열의 재시도 정책에 따라 메시지가 여러 번 재시도된 후에도 처리되지 않으면, 구성된 DLQ(보조 대기열)로 이동하여 데이터 손실 없이 나중에 수동 또는 자동 재처리를 가능하게 합니다. 첫 번째 옵션은 API Gateway의 DLQ를 SQS 대기열로 구성하는 것이지만, API Gateway는 DLQ를 직접 지원하지 않습니다. Lambda 함수의 DLQ를 구성하는 것이 일반적입니다. 세 번째 및 네 번째 옵션은 EventBridge를 사용하지만, EventBridge는 메시지 큐 시스템이 아니므로 SQS와 같은 강력한 재시도 및 DLQ 메커니즘을 기본적으로 제공하지 않습니다. 특히 타사 서비스 과부하와 같은 일시적인 실패에 대한 견고한 처리가 어렵습니다.