한 회사에 온프레미스 Oracle 데이터 웨어하우스가 있으며 Amazon S3에 데이터 레이크를 구축하고 있습니다. 이 회사는 웨어하우스 테이블을 S3에 로드하고 매일 증분 데이터로 동기화 상태를 유지해야 합니다. 각 테이블에는 단조 증가하는 열이 있으며, 크기는 50GB 미만이고, 매일 오전 1시에서 2시 사이에 새로 고침되며, BI 쿼리는 오전 10시에서 오후 8시까지 실행됩니다. 어떤 접근 방식이 가장 운영 효율적일까요?

정답은 AWS DMS의 전체 로드 및 CDC(변경 데이터 캡처) 기능을 사용하여 초기 전체 로드를 수행하고 이후 증분 데이터를 지속적으로 동기화하는 것입니다. DMS는 온프레미스 Oracle에서 S3로의 데이터 마이그레이션 및 동기화에 최적화되어 있습니다. 단조 증가하는 열은 CDC 과정에서 변경 사항을 효율적으로 식별하는 데 도움이 됩니다. AWS Glue의 사용자 지정 로직을 사용하여 S3에 있는 전체 로드 복사본에 증분 데이터를 추가하는 것은 데이터 레이크의 최신 상태를 유지하면서 기록 데이터를 보존하는 일반적인 패턴입니다. AWS Glue JDBC 연결을 사용하는 옵션은 초기 전체 로드 및 증분 로드를 모두 Glue 스크립트로 처리해야 하므로 DMS보다 운영 복잡성이 높을 수 있습니다. 매일 전체 로드를 수행하고 이전 데이터를 덮어쓰는 두 가지 옵션은 데이터 레이크에 기록 데이터를 유지해야 하는 요구 사항과 일치하지 않으며, 매일 50GB 미만의 데이터를 전송하는 것은 비효율적입니다.