데이터 분석 회사는 FTP를 통해 주기적으로 수천 개의 작은 데이터 파일을 수신합니다. 현재 온프레미스 배치 작업은 밤새도록 파일을 처리하며 몇 시간이 걸립니다. 이 회사는 FTP 클라이언트를 최소한으로 변경하면서 들어오는 파일을 가능한 한 빨리 처리하는 AWS 솔루션을 원합니다. 솔루션은 성공적으로 처리된 후 파일을 삭제해야 합니다. 각 파일 처리에는 3~8분이 소요됩니다. 어떤 솔루션이 가장 운영 효율적으로 이러한 요구 사항을 충족할까요?
정답 선택
옵션을 탭하여 정답을 확인하세요.
정답: AWS Transfer Family를 사용하여 FTP 서버를 생성하고 들어오는 파일을 Amazon S3 Standard에 저장합니다. 각 파일을 처리하고 처리 후 파일을 삭제하는 AWS Lambda 함수를 생성합니다. 파일이 도착하면 S3 이벤트 알림을 사용하여 Lambda 함수를 호출합니다..
이것이 정답인 이유
이 솔루션은 AWS Transfer Family를 사용하여 기존 FTP 클라이언트 변경을 최소화하면서 파일을 수신합니다. 수신된 파일은 S3 Standard에 저장되어 즉시 액세스할 수 있습니다. S3 이벤트 알림은 파일 도착 시 Lambda 함수를 자동으로 트리거하여 각 파일을 개별적으로 처리하고 처리 후 삭제합니다. Lambda는 서버리스 방식으로 3~8분 소요되는 각 파일 처리에 적합하며, 파일 도착 즉시 처리를 시작하여 "가능한 한 빨리" 처리 요구 사항을 충족합니다.
오답 설명:
첫 번째 및 두 번째 옵션은 야간에 파일을 처리하도록 EventBridge 규칙을 사용하므로 "가능한 한 빨리" 처리해야 하는 요구 사항을 충족하지 못합니다. 또한 S3 Glacier Flexible Retrieval은 즉각적인 액세스에 적합하지 않습니다.
세 번째 옵션은 AWS Transfer Family를 사용하지만 파일을 EBS 볼륨에 저장합니다. S3에 저장하는 것이 서버리스 아키텍처 및 S3 이벤트 알림을 활용하는 데 더 효율적입니다. 또한, S3 이벤트 알림은 S3 버킷에 저장된 객체에 대해 작동하며 EBS 볼륨에는 직접 적용되지 않습니다.