데이터 엔지니어가 매월 Amazon Redshift에서 Amazon S3로 훈련 데이터를 추출합니다. 소스 스키마에는 TransactionTimestamp (timestamp), CardName (varchar), CardNo (varchar)가 포함됩니다. 엔지니어는 (1) CardNo = NULL인 행을 제거하고, (2) TransactionTimestamp를 TransactionDate 및 TransactionTime으로 분할하고, (3) CardName을 NameOnCard로 이름을 변경해야 합니다. 이 솔루션은 인프라 설정을 최소화하고, 매월 자동화되며, Redshift 클러스터에 최소한의 부하를 주어야 합니다. 어떤 솔루션이 이러한 요구 사항을 충족합니까?

AWS Glue는 Redshift에서 S3로 데이터를 추출, 변환, 로드(ETL)하는 데 최적화된 서버리스 서비스입니다. Glue의 내장 변환(Filter, Map, RenameField)을 사용하여 CardNo = NULL 행 제거, TransactionTimestamp 분할, CardName 이름 변경 등 필요한 모든 데이터 변환을 손쉽게 수행할 수 있습니다. Glue 작업은 서버리스이므로 인프라 설정이 최소화되며, 매월 자동화된 스케줄링을 지원합니다. 또한, Redshift 클러스터에 직접적인 부하를 주지 않고 데이터를 처리하므로 요구 사항을 모두 충족합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다: Amazon EMR은 클러스터 프로비저닝 및 관리가 필요하여 인프라 설정이 최소화되어야 한다는 요구 사항에 부합하지 않습니다. SQL 클라이언트를 사용하는 방법은 수동 작업이 필요하며, 자동화 및 Redshift 부하 최소화 요구 사항을 충족하지 못합니다. Redshift Spectrum은 S3의 데이터를 쿼리하는 데 사용되며, Redshift에서 S3로 데이터를 직접 쓰는 기능은 제공하지 않습니다.