Amazon S3에 새로운 데이터 레이크를 구축하고 Amazon Athena로 쿼리할 예정입니다. 온프레미스 Oracle 데이터베이스(70개 테이블, 모두 기본 키 포함)가 소스이며, 데이터는 가끔 변경됩니다. 회사는 매일 최소한의 노력으로 테이블을 데이터 레이크로 수집하기를 원합니다. 어떤 솔루션을 사용해야 할까요?

AWS DMS는 온프레미스 Oracle 데이터베이스에서 Amazon S3로 데이터를 지속적으로 복제하는 데 가장 적합한 솔루션입니다. DMS는 변경 데이터 캡처(CDC)를 지원하여 데이터가 변경될 때마다 증분적으로 수집할 수 있으며, S3에 Parquet 형식으로 직접 쓸 수 있어 Athena 쿼리에 최적화됩니다. Apache Sqoop은 EMR 클러스터에서 실행되므로 관리 오버헤드가 발생하고, 증분 수집을 위해 별도의 로직 구성이 필요합니다. AWS Glue 북마크는 증분 수집에 유용하지만, Glue 작업은 데이터 변환 및 처리 시나리오에 더 적합하며, DMS만큼 원활한 지속적 복제 기능을 제공하지 않습니다. 마지막 옵션은 온프레미스 데이터베이스를 RDS로 마이그레이션하고 Lambda 트리거를 사용하는 복잡한 다단계 솔루션으로, 요구 사항에 비해 과도하고 불필요합니다.