한 회사에서 SQL Server 데이터베이스를 EC2에서 Amazon RDS for SQL Server로 마이그레이션하고 있습니다. 마이그레이션이 완료될 때까지 분석 팀은 매일 대규모 조인된 데이터 요소를 Apache Parquet 형식으로 Amazon S3로 내보내야 합니다. 다음 중 운영 효율성이 가장 높은 솔루션은 무엇입니까?

이 솔루션은 AWS Glue의 통합된 ETL 기능을 활용하여 운영 효율성을 극대화합니다. AWS Glue는 SQL Server 데이터베이스의 뷰에서 직접 데이터를 읽고, Parquet 형식으로 변환하여 S3로 내보내는 작업을 단일 서비스 내에서 처리할 수 있습니다. 이는 데이터 추출, 변환, 로드(ETL) 프로세스를 간소화하고 관리 오버헤드를 줄입니다. 다른 옵션들은 다음과 같은 이유로 효율성이 떨어집니다. SQL Server Agent 및 S3 이벤트/Lambda 조합은 .csv에서 Parquet으로의 추가 변환 단계가 필요하여 복잡성과 비용이 증가합니다. AWS Glue 크롤러를 사용하는 것은 데이터 스키마를 검색하는 데 유용하지만, 이미 정의된 뷰에서 데이터를 직접 처리하는 경우 불필요한 단계가 될 수 있습니다. Lambda 함수를 사용하여 JDBC 쿼리, 변환 및 S3 업로드를 모두 처리하는 것은 Lambda의 실행 시간 및 메모리 제한에 부딪힐 수 있으며, 대규모 데이터 처리에는 AWS Glue가 더 적합합니다.