한 회사에 서로 다른 웨어하우징 엔진(Amazon Redshift, Teradata Vantage on AWS, Google BigQuery)을 사용하는 세 개의 자회사가 있습니다. 이들은 Apache Iceberg를 사용하여 데이터를 S3 데이터 레이크로 통합하려고 합니다. 새로운 파이프라인은 각 소스에 연결하고, 각 소스 엔진을 사용하여 변환을 실행하고, 결과를 조인하고, 최소한의 운영 노력으로 Iceberg에 기록해야 합니다. 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 접근 방식은 무엇입니까?

Amazon Athena 페더레이션 쿼리 커넥터는 Redshift, Teradata, BigQuery와 같은 다양한 소스에 직접 연결하여 데이터를 쿼리하고 조인할 수 있게 합니다. 이는 각 소스 엔진에서 변환을 실행하고 결과를 통합하는 요구 사항을 SQL만으로 충족시키며, Iceberg 테이블에 Merge 작업을 수행할 수 있습니다. Athena는 서버리스 서비스이므로 운영 오버헤드가 최소화됩니다. AWS Glue는 네이티브 커넥터를 제공하지만, 각 소스 엔진에서 변환을 실행하는 기능이 제한적일 수 있으며, Glue 변환은 추가적인 개발 노력이 필요할 수 있습니다. Amazon EMR은 유연하지만 클러스터 관리 및 PySpark 코드 작성에 더 많은 운영 노력이 필요합니다. Amazon AppFlow는 데이터 이동에 적합하지만, 복잡한 조인 및 변환 로직을 직접 처리하기 어렵고, Athena를 추가로 사용해야 합니다.