다음 요구 사항을 충족하는 일일 ETL 워크플로우를 설계하세요. 새 데이터가 S3에 업로드될 때 시작하고, 필요한 모든 업로드가 완료되면 새 데이터와 S3에 있는 여러 테라바이트 규모의 데이터 세트를 조인하는 ETL 작업을 실행합니다. 조인 결과를 S3에 다시 쓰고, 작업이 실패하면 관리자에게 알립니다. 어떤 아키텍처가 이러한 요구 사항을 충족할까요?

정답은 S3 업로드 이벤트를 사용하여 AWS Lambda를 트리거하고, AWS Step Functions 워크플로우를 시작하여 모든 업로드가 완료될 때까지 기다립니다. AWS Glue를 호출하여 조인을 수행하고, Amazon CloudWatch 경보를 사용하여 실패 시 SNS 알림을 보냅니다. 이 아키텍처는 S3 업로드 이벤트를 통해 워크플로우를 시작하고, Step Functions를 사용하여 여러 업로드 완료를 조율하며, 테라바이트 규모의 데이터 처리에 적합한 AWS Glue를 사용하여 ETL 작업을 효율적으로 수행합니다. CloudWatch 경보는 실패 알림 요구 사항을 충족합니다. SageMaker 노트북 인스턴스는 ETL 워크플로우 자동화보다는 대화형 개발 및 탐색에 더 적합하며, 대규모 데이터 조인에 비효율적일 수 있습니다. AWS Batch는 대규모 컴퓨팅 작업에 적합하지만, S3 업로드 이벤트 트리거 및 여러 업로드 완료 대기 로직을 직접 처리하기 어렵습니다. Lambda 함수가 S3에서 직접 테라바이트 규모의 데이터를 조인하는 것은 Lambda의 실행 시간 및 메모리 제한으로 인해 비실용적입니다.