10개의 소스 시스템에서 15분마다 전달되는 파일(CSV, JSON 또는 Parquet)을 10개의 Amazon Redshift 테이블로 수집하는 ETL 파이프라인을 구축해야 합니다. 모든 파일은 단일 S3 버킷에 저장되며, 파일 크기는 10MB에서 20GB까지 다양합니다. 파이프라인은 스키마 변경을 허용해야 합니다. 이러한 요구 사항을 충족하는 솔루션은 무엇입니까? (두 가지를 선택하세요.)

두 가지 정답 모두 스키마 변경을 허용하고 15분 간격 또는 파일 도착 시 데이터를 처리하는 요구 사항을 충족합니다. AWS Glue 워크플로는 AWS Glue crawler를 사용하여 스키마 변경을 자동으로 감지하고 AWS Glue Data Catalog를 업데이트합니다. 이후 AWS Glue 작업이 업데이트된 스키마를 사용하여 Redshift로 데이터를 로드합니다. EventBridge 규칙은 15분마다 실행을 트리거하고, S3 이벤트에 대한 Lambda 함수는 파일이 S3에 로드될 때 즉시 실행을 트리거합니다. 첫 번째 오답은 스키마 변경을 처리할 crawler가 없으므로 부적합합니다. 세 번째 오답은 EventBridge 규칙이 crawler 완료 시 Glue 작업을 호출하는 것이 아니라 Lambda 함수를 호출하도록 잘못 구성되어 있어 불필요하게 복잡합니다. 마지막 오답은 Kinesis Data Firehose를 사용하는데, 이는 대규모 파일 처리에는 비효율적이며 스키마 변경을 직접 처리하지 않습니다.