ML 엔지니어는 두 소스에서 주간 데이터를 병합하고 변환해야 합니다. 두 소스는 S3의 대규모 CSV 파일(각각 수백만 개의 행 포함)과 Amazon Aurora 클러스터입니다. 병합된 출력은 다른 S3 버킷에 기록되어야 합니다. 운영 오버헤드가 가장 적은 옵션은 무엇입니까?

정답은 AWS Glue입니다. AWS Glue는 서버리스 ETL(추출, 변환, 로드) 서비스로, 대규모 데이터 처리 작업을 위한 관리형 Spark 환경을 제공합니다. 이는 운영 오버헤드를 최소화하면서 수백만 행의 CSV 파일과 Aurora 데이터를 효율적으로 병합하고 변환하는 데 가장 적합합니다. DynamicFrame은 Glue에서 데이터 처리를 간소화하는 데 사용됩니다. 오답 설명: Amazon EMR은 Spark 작업을 실행할 수 있지만, 클러스터를 수동으로 프로비저닝하고 관리해야 하므로 운영 오버헤드가 더 큽니다. AWS Lambda는 Spark 코드를 직접 실행하기에 적합하지 않으며, 대규모 데이터 처리에는 제한이 있습니다. AWS Batch는 EC2 인스턴스를 관리해야 하므로 Glue보다 운영 오버헤드가 더 큽니다.