Amazon S3에 2TB 데이터셋이 있고 학습된 모델 컨테이너가 Amazon ECR에 저장되어 있습니다. 데이터셋에 대해 비용 효율적이고 확장 가능한 배치 스코어링 작업을 실행해야 합니다. 가장 비용 효율적이고 확장 가능한 솔루션은 무엇입니까?

정답은 관리형 Amazon EC2 스팟 인스턴스를 사용하는 AWS Batch로 스코어링을 실행하고 스팟 인스턴스에 Amazon FSx for Lustre 파일 시스템을 연결하는 것입니다. AWS Batch는 대규모 배치 작업을 효율적으로 관리하며, 스팟 인스턴스는 비용 효율성을 극대화합니다. Amazon FSx for Lustre는 S3 데이터에 대한 고성능 파일 시스템 액세스를 제공하여 2TB 데이터셋 처리에 적합합니다. 오답: 관리형 Amazon EC2 예약 인스턴스를 사용하는 AWS Batch는 스팟 인스턴스보다 비용 효율성이 낮습니다. EC2 인스턴스 스토어는 휘발성이며, 대용량 데이터셋에 대한 영구적인 고성능 스토리지가 아닙니다. SageMaker 노트북은 대규모 배치 스코어링보다는 대화형 개발 및 실험에 더 적합하며, 비용 효율성과 확장성 측면에서 AWS Batch보다 불리합니다. 예약 인스턴스는 비용 효율성이 낮고, EBS 볼륨은 대용량 데이터셋에 대한 고성능 병렬 액세스에 제한이 있습니다. SageMaker 노트북은 위와 동일한 이유로 부적합합니다. Amazon EFS는 범용 파일 시스템으로, FSx for Lustre만큼 고성능을 제공하지 못할 수 있습니다.