데이터 엔지니어는 Amazon S3에 있는 수 테라바이트의 원시 데이터를 정리하고 준비한 다음, 처리된 데이터를 분석을 위해 Amazon Redshift로 로드해야 합니다. 데이터 분석가는 복잡한 쿼리를 실행할 수 있어야 합니다. 이 솔루션은 복잡한 ETL 파이프라인의 필요성을 없애고 인프라 관리를 피해야 합니다. 가장 적은 운영 오버헤드로 필요한 기능을 제공하는 접근 방식은 무엇입니까?

이 접근 방식은 운영 오버헤드를 최소화하면서 요구 사항을 충족합니다. AWS Glue DataBrew는 코드가 필요 없는 시각적 인터페이스를 제공하여 수 테라바이트의 원시 데이터를 정리하고 준비하는 데 적합합니다. AWS Glue는 서버리스 ETL 서비스로, 복잡한 ETL 파이프라인 관리 없이 데이터를 Amazon Redshift로 효율적으로 로드할 수 있습니다. Amazon Redshift는 복잡한 분석 쿼리를 실행하는 데 최적화된 데이터 웨어하우스입니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Amazon EMR은 인프라 관리가 필요하며, Step Functions는 로딩에 적합하지만 QuickSight는 쿼리 실행 도구이지 데이터 웨어하우스가 아닙니다. AWS Lambda는 대규모 데이터 준비에 적합하지 않으며, Kinesis Data Firehose는 스트리밍 데이터에 더 적합하고 Athena는 Redshift만큼 복잡한 쿼리에 최적화되어 있지 않습니다. AWS Glue는 데이터 준비에 사용될 수 있지만, AWS DMS는 주로 데이터베이스 마이그레이션에 사용되며, Redshift Spectrum은 S3 데이터에 직접 쿼리하는 데 사용되므로 Redshift로 로드된 데이터에 대한 복잡한 쿼리에는 적합하지 않습니다.