한 회사에서 S3 버킷에 저장된 데이터에 대해 대규모 배치 처리 시뮬레이션 작업을 실행합니다. 이 작업은 내결함성(중단될 수 있음)이 있으며 출력은 별도의 S3 버킷에 저장됩니다. 각 작업은 15~20GB의 입력 데이터를 처리합니다. 어떤 아키텍처가 요구 사항을 가장 비용 효율적으로 충족할까요?

이 시나리오는 대규모 배치 처리, 내결함성, 그리고 비용 효율성을 요구합니다. EC2 Spot Instances를 사용하는 AWS Batch는 이러한 요구사항에 가장 적합합니다. Spot Instances는 온디맨드 가격보다 훨씬 저렴하게 컴퓨팅 용량을 제공하며, 작업이 중단될 수 있다는 내결함성 요구사항과 일치합니다. SPOTCAPACITYOPTIMIZED 할당 전략은 중단 가능성이 가장 낮은 Spot Instances를 선택하여 작업 안정성을 높입니다. AWS Batch는 컨테이너화된 배치 작업을 효율적으로 오케스트레이션하여 대규모 데이터 처리에 적합합니다. AWS Lambda는 15-20GB의 데이터를 처리하기에는 적합하지 않습니다. Lambda 함수는 최대 10GB의 임시 스토리지를 제공하며, 장시간 실행되는 배치 작업에는 비용 효율적이지 않습니다. Amazon EKS는 컨테이너 오케스트레이션에 강력하지만, AWS Batch는 배치 작업에 특화된 서비스로 더 간단하고 비용 효율적인 솔루션을 제공합니다. 온디맨드 인스턴스를 혼합하는 것은 비용을 증가시키므로, 내결함성이 허용되는 경우 Spot Instances만 사용하는 것이 가장 비용 효율적입니다.