한 회사에 새로운 데이터 전송에 대한 알림을 수신하는 Amazon SNS 토픽과 데이터를 처리하고 저장하는 AWS Lambda 함수로 구성된 데이터 수집 워크플로가 있습니다. 가끔 네트워크 연결 문제로 인해 수집이 실패하고, 작업이 수동으로 다시 실행되지 않으면 해당 데이터가 수집되지 않습니다. 모든 알림이 결국 처리되도록 하려면 솔루션스 아키텍트가 무엇을 해야 할까요?

네트워크 연결 문제로 인한 데이터 수집 실패는 Lambda 함수의 처리 실패로 이어집니다. 이 경우, 실패한 알림이 손실되지 않도록 보장하는 메커니즘이 필요합니다. Amazon SQS 대기열을 Lambda 함수의 on-failure 대상으로 구성하면, Lambda 함수 실행이 실패할 때 해당 알림이 SQS 대기열로 전송됩니다. 이후 별도의 Lambda 함수나 다른 서비스가 이 SQS 대기열의 메시지를 폴링하여 실패한 알림을 재처리할 수 있습니다. 이는 메시지 손실을 방지하고 모든 알림이 결국 처리되도록 하는 견고한 패턴입니다. 다른 옵션들은 이 문제를 해결하지 못합니다. Lambda 함수를 여러 가용 영역에 배포하는 것은 가용성을 높이지만, 개별 함수 실행의 네트워크 연결 실패를 직접적으로 해결하지는 못합니다. CPU 및 메모리 할당을 늘리는 것은 성능 문제를 해결할 수 있지만, 네트워크 연결 문제를 해결하지는 않습니다. SNS 토픽의 재시도 전략은 SNS에서 구독자에게 메시지를 다시 보내는 것을 관리하지만, Lambda 함수가 이미 메시지를 수신한 후 처리 단계에서 실패하는 경우를 직접적으로 다루지 않습니다.